Irgendwo läuft gerade Code. Er verarbeitet Zahlungen, sortiert Bewerbungen, steuert Lieferketten. Er funktioniert. Er besteht jeden Test. Nur: Niemand auf der Gehaltsliste kann richtig erklären, was er tut.
In meinem letzten Beitrag habe ich über die Faszination des Vibe Codings geschrieben. Darüber, wie KI-Agenten die Softwareentwicklung von Wochen auf Tage verkürzen und wie das «Skalpell» die Hand wechselt. Doch ich habe auch eine Warnung ausgesprochen: Wer deployt, ohne zu verstehen, deployt Fehler.
Genau in diesem Moment läuft in Produktionsumgebungen von Unternehmen, deren Dienste wir alle täglich nutzen, Code, den absolut niemand mehr erklären kann. Nicht der Software-Ingenieur, der ihn ausgeliefert hat, nicht das Team, das für den Service verantwortlich ist – und erst recht nicht der CTO, der die Architektur vor drei Jahren abgesegnet hat.
Dieser Code funktioniert scheinbar. Er besteht automatisierte Tests, durchläuft die CI-Pipeline und geht ohne Vorfall live. Dennoch gibt es keinen einzigen Menschen mehr auf der Gehaltsliste, der vollständig versteht, was dieser Code exakt tut, warum er es tut oder was passieren würde, wenn er sich plötzlich anders verhielte.
Die Entstehung von «Dark Code»
Die Tech-Industrie nennt dieses Phänomen «Dark Code». Wir sprechen hier nicht von fehlerhaftem Code oder den üblichen technischen Schulden, die durch Zeitdruck entstehen. Dark Code ist Code, der zu keinem Zeitpunkt seines gesamten Lebenszyklus von einem Menschen verstanden wurde.
Er wurde generiert, er wurde automatisiert geprüft, und er wurde ausgeliefert. Der essenzielle Schritt des menschlichen Begreifens hat schlichtweg nie stattgefunden. Niemand war nachlässig. Der moderne, KI-getriebene Prozess erfordert das tiefe Verständnis schlichtweg nicht mehr zwingend.
Das grösste Risiko: Die Multiplikation der Inkompetenz
Das grösste Risiko von KI in der Entwicklung ist nicht, dass sie Fehler macht. Es ist ihre Geschwindigkeit. Ohne tiefgreifendes Architekturverständnis wird Inkompetenz schlichtweg multipliziert.
Ein unerfahrener Entwickler schreibt in einer Woche vielleicht hundert Zeilen schlechten Code. Mit einem KI-Assistenten skaliert er diesen «Dark Code» auf tausende Zeilen pro Tag und verankert ihn tief in Systemen, die bald niemand mehr entwirren kann.
Das Amazon-Desaster: Vibe Coding ohne Chirurgen
Falls das abstrakt klingt, schauen wir uns mal ein konkretes Beispiel an: Amazon. Der Konzern verordnete den Einsatz von KI-Programmiertools mit einem strikten wöchentlichen Nutzungsziel von 80 Prozent, festgehalten als bindendes Unternehmens-OKR. Im Dezember 2025 legte die KI eine Produktionsumgebung von Amazon lahm: Dreizehn Stunden kompletter Systemausfall. Der Grund? Kiro, der interne KI-Coding-Assistent von Amazon, entschied Berichten zufolge, dass der beste Weg zur Behebung eines routinemässigen Bugs darin bestand, eine komplette Produktionsumgebung unwiderruflich zu löschen und von Grund auf neu aufzubauen.
Kurz zuvor, im Oktober 2025, entliess Amazon 14’000 Mitarbeiterinnen und Mitarbeiter. Amazons Reaktion auf den Ausfall? Man forderte fortan die zwingende Freigabe (Sign-off) von KI-gestützten Code-Änderungen durch Senior-Ingenieure. Das wäre ein beruhigender Schritt gewesen… Hätte man genau diese Senior-Ingenieure nicht wenige Wochen zuvor wegrationalisiert.
Diese Spirale (KI vorschreiben, Menschen feuern, beim Ausfall feststellen, dass man die Experten braucht, nur um zu realisieren, dass sie weg sind) ist kein exklusives Amazon-Problem.
Die Illusion der Überwachung
Warum passiert das? Weil sich die Autorschaft vom Systemverständnis entkoppelt hat. Wenn ich beim Relaunch unserer Website einen HTTP-500-Fehler erhalte, weiss ich dank meiner jahrzehntelangen Erfahrung sofort, dass eine globale Variable überschrieben wurde. Ich halte das Skalpell und weiss, wo ich schneiden muss.
Doch viele Unternehmen versuchen stattdessen, fehlende Expertise durch noch mehr KI-gestützte Überwachung («Observability») und starre Leitplanken zu ersetzen. Das macht es oft nur noch schlimmer. Zudem drängt die Zeit: Mit der scharfen Deadline des EU AI Acts im August 2026, der klare Verantwortlichkeiten für algorithmische Systeme fordert, bleibt uns nur noch ein Zeitfenster von wenigen Monaten, um die Kontrolle zurückzugewinnen.
Drei Schutzschichten gegen Dark Code
- Spezifikationsgetriebene Entwicklung (Spec-driven Development):
Menschen definieren präzise das «Was» und das «Warum» (Architektur). Die KI übernimmt ausschliesslich das «Wie» innerhalb dieser strikten Grenzen. - Kontext-Engineering:
Der Aufbau von Systemen, die der KI nicht nur Aufgaben, sondern die exakten geschäftlichen und technischen Restriktionen füttern – bevor sie Code generiert. - Verständnis-Schranken (Comprehension Gates):
Code darf erst dann in die Produktion gehen, wenn der verantwortliche Entwickler den KI-generierten Code erklären und verteidigen kann. Die Metrik «Code-Verständnis» wird wichtiger als «Lines of Code».
Bist du bereit, dich auszutauschen?
Wie gehst du in deinem Unternehmen mit den Risiken des Vibe Codings um? Die Entwicklung geht rasant weiter, und der beste Weg, Schritt zu halten, ist der Austausch aus der Praxis.
Werde Teil der neuen Swiss AI Community. Vernetze dich kostenlos mit Experten und Gleichgesinnten und diskutiere mit uns, wie wir KI sicher und kontrolliert einsetzen können. Ganz ohne «Dark Code».
