Ein GPT in Zeitlupe
Das hier ist keine Animation eines Sprachmodells – es ist eines. Ein winziges, vollständiges GPT läuft direkt in Deinem Browser, und Du kannst ihm in Zeitlupe beim Denken zusehen: was es sieht, worauf es achtet, was es erwartet und wie daraus Text wird.
GPT ist kurz für Generative Pre-trained Transformer: vortrainiert auf viel Text, erzeugend, gebaut als Transformer – die Modell-Bauart hinter ChatGPT & Co. (mehr im Glossar).
Was Du siehst
Ein Mini-GPT (159.488 Parameter, trainiert nur auf den Artikeln dieser Site): sein Kontextfenster als Zeichen-Strip, seine Attention als Bögen, seine Erwartung als Wahrscheinlichkeits-Balken – und die Schleife, die schreibt.
Was es zeigt
Wie ein Sprachmodell wirklich arbeitet: lesen → gewichten (Attention) → Verteilung bilden → EIN Zeichen wählen → von vorn. Exakt die Maschinerie der Großen, nur viel kleiner.
1 · Was es sieht – das Kontextfenster
2 · Worauf es achtet – Attention
Attention heißt wörtlich Aufmerksamkeit: So gewichtet das Modell, welche Stellen im Text füreinander wichtig sind (Glossar). Die Bögen sind die acht stärksten Blicke des letzten Zeichens zurück in den Text; die Einfärbung ist relativ zur stärksten Stelle. Jedes Schicht/Kopf-Paar achtet anders – klick Dich durch.
3 · Was es erwartet – die Verteilung
Klick einen Balken, um genau dieses Zeichen zu nehmen – oder lass den Würfel entscheiden:
4 · Und weiter – die Schleife
Zahlen anfassen
Attention des letzten Zeichens (gewählte Schicht/Kopf):
Top 5 mit rohen Logits – den Punktzahlen, bevor der Softmax sie in Wahrscheinlichkeiten übersetzt:
Ohne JavaScript kann diese Seite das Modell nicht laufen lassen – aber das hier sind echte, beim Export festgehaltene Zahlen: nach dem Anfang „Der Kontext “ erwartet das Modell:
| k | 17,0 % | |
| d | 10,6 % | |
| – | 7,5 % | |
| a | 5,8 % | |
| e | 5,8 % |
Was hier läuft – ehrlich beschriftet
- Ein echter Transformer (GPT-2-Bauart) mit exakt 159.488 Parametern – den Stellschrauben, die das Training justiert (Glossar). Zur Einordnung: GPT-2 (2019) hatte 1,5 Milliarden; heutige Spitzenmodelle ein Vielfaches davon.
- Trainiert ausschließlich auf den 28 Artikel-Texten dieser Website (135.298 Zeichen). Was da nicht drinstand, existiert für es nicht – Trainingsdaten entscheiden alles.
- Es liest einzelne Zeichen; die Großen lesen Wortstücke (Tokens) – gleiche Mechanik, andere Körnung.
- Erwarte deutsch (und englisch) klingenden Unsinn: erfundene Wörter, verlorene Fäden. In dieser Größe ist das keine Panne, sondern der ehrliche Blick auf pure Mustermechanik, bevor Größe sie eloquent macht.
Unter der Haube
Architektur: 3 Transformer-Blöcke × 4 Attention-Köpfe, Modellbreite 64, Kontext 64 Zeichen, Vokabular 83 Zeichen, tied Unembedding. Der Kern jedes Blocks:
Attention(Q, K, V) = softmax(Q·KT / √dk) · V
Q, K und V sind drei gelernte Sichten auf jedes Zeichen – frei übersetzt: Wonach suche ich (Q), was biete ich an (K), was gebe ich weiter (V). Der Softmax macht aus den Übereinstimmungen genau die Gewichte, die oben als Bögen zu sehen sind.
Was die Großen anders machen: Wortstück-Tokens statt Zeichen, weit mehr Blöcke, Köpfe und Breite, verfeinerte Details (Positionskodierung, Normalisierung) – und vor allem der Assistenten-Feinschliff (Instruktions-Training und RLHF, also Nachschliff durch menschliches Feedback) plus ein Trainingskorpus in Internet-Größe statt 28 Artikeln.
Wohin von hier: Warum dieselbe Maschine verschiedene Antworten würfelt, zeigt das Würfel-Labor; wie die Lese-Häppchen der Großen aussehen, das Tokens-Labor; und die Begriffe dahinter erklärt das Glossar.