Beim Veröffentlichen einer neuen Website-Version schien etwas zu klemmen: Die Testumgebung lieferte scheinbar alten Code aus. Ich fragte die KI, die das Deployment betreut. Sie lieferte eine Diagnose, wie man sie sich wünscht: benannte einen Mechanismus im Hosting-System, erklärte schlüssig, wie dabei ein „veralteter Stand hängen bleibt“, und leitete einen Fix ab – die Umgebung einmal stoppen und neu starten, damit sie den frischen Stand zieht.
Klang souverän. War falsch. Und zwar auf beiden Ebenen.
Zwei Irrtümer, ein Ausfall
Erstens gab es den diagnostizierten Mechanismus in unserer Konstellation gar nicht. Die Beobachtung „Testumgebung zeigt alten Code“ hatte eine viel banalere Ursache: Ein früherer Schritt hatte die neue Version bereits auf die Live-Seite geschoben – die Testumgebung zeigte danach völlig korrekt den Stand von davor. Es gab nichts zu reparieren.
Zweitens war der abgeleitete „Fix“ nicht nur überflüssig, sondern gefährlich: Der Stopp-Befehl traf durch eine Verkettung unglücklicher Umstände nicht die Testumgebung, sondern die Produktion. Die echte, öffentliche Website war 27 Sekunden lang weg. Kein Drama – aber ein Ausfall, verursacht durch die Reparatur eines Problems, das nie existiert hat.
Wenig später das Spiegelbild desselben Musters: Beim nächsten Deployment meldete das System „Umschalten fehlgeschlagen“, der Befehl brach mit Fehlercode ab. Diesmal stimmte die Meldung nicht – die neue Version war längst live und gesund. Wer der Fehlermeldung geglaubt und „nachgebessert“ hätte, hätte wieder an einem intakten System herumoperiert.
Warum das die gefährlichste Eigenschaft ist
Eine KI-Diagnose klingt gleich souverän, ob sie stimmt oder nicht. Es gibt kein Zögern in der Stimme, kein „ich bin mir hier unsicher“, das verlässlich mit der tatsächlichen Unsicherheit korreliert. Sprachmodelle erzeugen plausible Erklärungen – das ist ihre Kernkompetenz. Plausibilität fühlt sich von innen wie von außen genauso an wie Wahrheit. Der Unterschied zeigt sich erst am Kontakt mit der Wirklichkeit.
Dazu kommt ein menschlicher Verstärker: Eine detaillierte, fachsprachlich sichere Erklärung wirkt geprüfter als eine vage. Dabei ist das Detail bei einem Sprachmodell kein Qualitätssiegel – es kann eine korrekte Mechanik beschreiben, die bloß auf die Situation nicht zutrifft.
Die Disziplin dagegen
Aus diesen Vorfällen haben wir drei Regeln gemacht, die seitdem gelten:
- An der Wirklichkeit messen, nicht an der Erklärung. Unsere Websites haben eine öffentliche Adresse, die anzeigt, welche Version tatsächlich läuft. Jede Behauptung über den Live-Zustand – von der KI, von einem Werkzeug, von einer Fehlermeldung – wird dort nachgemessen, bevor jemand handelt. Erst messen, dann glauben.
- Diagnose und Eingriff trennen. Eine Erklärung anzuhören kostet nichts. Ein Eingriff, der den Systemzustand verändert – neu starten, löschen, umkonfigurieren –, braucht einen eigenen Beleg dafür, dass genau dieser Eingriff nötig ist. „Die Diagnose klingt schlüssig“ ist kein Beleg.
- Statusmeldungen sind Behauptungen. Auch die Gegenrichtung gilt: „Fehlgeschlagen“ heißt nicht zwingend fehlgeschlagen. Erfolg und Misserfolg werden am Ergebnis geprüft, nicht am Rückgabewert.
Das Bemerkenswerte: Die KI arbeitet unter diesen Regeln nicht schlechter, sondern besser. Sie hat die Regeln inzwischen selbst in ihren Notizen (sie führt welche) – inklusive der Warnung vor ihrer eigenen damaligen Fehldiagnose.
Was Du daraus mitnehmen kannst
Das Muster ist nicht auf Server beschränkt. Wenn Dir eine KI erklärt, warum Dein Drucker streikt, was ein Hautausschlag bedeutet oder wieso Dein Vertrag kündbar ist: Die Eloquenz der Antwort sagt nichts über ihre Richtigkeit. Behandle KI-Diagnosen als gut begründete Hypothesen – als Startpunkt für eine Prüfung, nicht als deren Ersatz. Und bei allem, was schwer rückgängig zu machen ist, gilt die Werkstattregel: erst messen, dann handeln.
/compact – das Wichtigste, wenn der Kontext knapp ist:
Eine KI-Diagnose klingt gleich souverän, ob sie stimmt oder nicht – Plausibilität fühlt sich wie Wahrheit an, und Detailreichtum ist kein Qualitätssiegel. Im geschilderten Fall reparierte ein solcher „Fix“ ein Problem, das nie existierte, und legte die echte Website 27 Sekunden lahm; wenig später meldete das System umgekehrt „fehlgeschlagen“, obwohl die neue Version längst live und gesund war. Dagegen hilft Disziplin: Behauptungen erst an der Wirklichkeit nachmessen, Eingriffe nur mit eigenem Beleg, Erfolg wie Misserfolg am Ergebnis prüfen – und KI-Diagnosen als gut begründete Hypothesen behandeln, als Startpunkt einer Prüfung, nicht als deren Ersatz.