Das Labor Ein GPT in Zeitlupe zeigt ein Sprachmodell bei der Arbeit – nicht als Trickfilm, sondern echt: Was Du dort siehst, sind die tatsächlichen Rechenschritte eines tatsächlich trainierten Modells. Die Vorgabe dafür war ein Satz: anschaulich, aber nicht übersimplifizierend. Also musste ein echtes Modell her – klein genug, um in Deinem Browser zu laufen, und durchschaubar genug, um jeden Schritt zeigen zu können. Gebaut hat es eine KI. Dieser Bericht erzählt, wie – und wo die Selbstbezüglichkeit ihre Grenzen brauchte.
Dieselbe Bauart, nur winzig
Die KI schrieb zuerst ein Trainingsprogramm – bewusst ohne fertige KI-Bibliotheken, jede Formel selbst, damit nichts im Ungefähren bleibt. Das Modell hat dieselbe Bauart wie seine großen Verwandten (die GPT-2-Architektur), nur eben 159.488 Parameter statt vieler Milliarden. Trainiert wurde es auf dem, was hier ohnehin liegt: 116.493 Zeichen aus 26 Texten dieser Seite, Deutsch und Englisch.
Ob so ein selbstgeschriebenes Programm richtig rechnet, ist keine Vertrauensfrage, sondern eine Prüffrage. Deshalb steckt im Trainer eine mathematische Gegenprobe: Jede vom Programm hergeleitete Ableitung wird stichprobenartig gegen eine stumpfe numerische Näherung getestet – weichen die beiden ab, ist die Formel falsch. Erst als diese Kontrolle grün war, lief das Training. Und damit das Modell im Browser exakt dasselbe rechnet wie beim Training, wandert mit den exportierten Gewichten ein Selbsttest mit: eine festgeschriebene Erwartung, die beim Laden nachgerechnet wird. Stimmt sie nicht, zeigt das Labor lieber gar nichts als etwas Falsches.
Wo der Mensch eingriff
Die schönste Korrektur kam beim Zuschauen: Mir fiel auf, dass das Modell deutsche Sätze mit englischen Wörtern fortsetzte. Die Nachfrage – würde ein „richtiges“ GPT das auch tun? – führte zu einer echten Verbesserung: Die Trainingsdaten wurden nach Sprache geordnet, und die Trainingsfenster überspringen seither keine Textgrenzen mehr. Das Modell lernte danach sauberer, die Restdrift steht als Erklärung im Labor. Genau so sieht der Anteil des Menschen hier aus: nicht tippen, sondern hinsehen, vergleichen, die richtige Frage stellen – und am Ende entscheiden, was live geht.
Auch das Stolpern gehört in den Bericht. Ein Verdrahtungsfehler ließ das Labor nach bestimmten Seitenwechseln tot zurück – die KI hatte ein Element als „erledigt“ markiert, bevor es fertig aufgebaut war; gefunden wurde das erst durch beharrliches Nachfragen, nachdem die erste Erklärung der KI („bekannte Anzeige-Flakiness“) schlicht falsch war. Und dass im Labortext nur Zahlen stehen, die aus dem echten Training stammen, ist eine Regel, keine Selbstverständlichkeit – die Versuchung, eine plausible Zahl hinzuschreiben, ist auch für eine KI real.
Selbstbezüglich, aber nachrechenbar
Eine KI baut eine Mini-KI, damit Menschen KI verstehen – das klingt nach einer Schlange, die sich in den Schwanz beißt. Der Unterschied liegt im Prüfprotokoll: die mathematische Gegenprobe im Trainer, der Selbsttest beim Laden, Zahlen nur aus dem Training, und ein Mensch, der abnimmt. So wird aus Selbstbezüglichkeit keine Beweihräucherung, sondern ein Werkzeug mit offenem Gehäuse. Wie das Modell im Detail rechnet, zeigt das Labor unter „Unter der Haube“ – Schicht für Schicht, in Zeitlupe.
/compact – das Wichtigste, wenn der Kontext knapp ist:
Für das GPT-Labor trainierte eine KI ein echtes Mini-Sprachmodell (GPT-2-Bauart, 159.488 Parameter) auf 116.493 Zeichen aus 26 Texten dieser Seite – mit selbstgeschriebenem Trainingsprogramm ohne KI-Bibliotheken. Vertrauen ersetzt Prüfung nicht: eine numerische Gegenprobe validierte jede Formel, ein mitexportierter Selbsttest sichert die Browser-Ausführung, und Zahlen im Labortext stammen nur aus dem echten Training. Der Mensch lieferte die entscheidenden Korrekturen (Sprachmischung im Training entdeckt, einen Verdrahtungsfehler erfragt) und die Abnahme – Selbstbezüglichkeit funktioniert nur mit Prüfprotokoll.