Was ist ein Token? (Es ist kein Wort)

Hier ist ein Geheimnis, das die Hälfte des seltsamen Verhaltens erklärt, das du je von einer KI gesehen hast: Sprachmodelle können keine Buchstaben sehen. Wörter auch nicht. Sie sehen Tokens — Textstücke, zerschnitten von einer festen Schere namens Tokenizer.

Glaub mir nicht einfach. Tippe deinen Namen ein und schau zu:

Häufige Wörter wie der oder hallo bekommen einen Block. Dein Nachname wurde vermutlich in zwei oder drei Stücke zerhackt. Warum? Zeit für den eigentlichen Mechanismus — er ist einfacher, als du denkst, und sobald du ihn siehst, hören Tokenizer auf, Magie zu sein.

Wie die Schere gebaut wurde: das Kompressionsspiel

Stell dir vor, du müsstest den gesamten Text im Internet komprimieren, und du hast nur ein Wörterbuch mit ~100.000 Einträgen. Hier ist der Algorithmus, der es baut — du könntest ihn von Hand ausführen:

1. Fang dumm an: Dein Wörterbuch sind nur die einzelnen Zeichen. hello = h+e+l+l+o, fünf Tokens.
2. Durchforste einen Berg Text. Finde das Paar benachbarter Tokens, das am häufigsten vorkommt. Vielleicht ist es t+h.
3. Klebe sie zusammen: th ist jetzt ein Wörterbucheintrag. Überall im Text ersetzt du t+h durch th.
4. Wiederhole. Nächsthäufigstes Paar? Vielleicht th+e → the. Dann in+g → ing. Dann ␣+the → ␣the.
5. Stopp nach ~100.000 Merges. Das ist dein Tokenizer. Für immer. Eingefroren.

Das nennt man Byte Pair Encoding (BPE), und es erklärt alles, was du unten sehen wirst. Häufiger Text wurde zu großen, bequemen Stücken verschmolzen. Seltener Text hat sich nie einen Merge verdient und wird aus Fragmenten zusammengesetzt, wie ein IKEA-Möbelstück. Der Tokenizer ist buchstäblich ein Fossilienbestand dessen, was zur Trainingszeit im Internet häufig war.

Sieh den Fossilienbestand in Aktion — ein echtes englisches Wort neben einem, das das Internet selten schreibt:

Vier Konsequenzen (jede ein berühmter KI-‘Bug’)

1. Das Erdbeer-Problem. Du hast das Internet über Modelle lachen sehen, die die r in „strawberry“ nicht zählen können. Jetzt kannst du sehen, warum:

Dem Modell wurden nie Buchstaben gezeigt. Es sie zählen zu lassen — oder ein Wort rückwärts buchstabieren zu lassen, probier das an jedem Modell aus — heißt, es über etwas nachdenken zu lassen, das es nicht wahrnehmen kann. Wenn es trotzdem richtig liegt, ist das Auswendiglernen, kein Hinschauen.

2. Das Mathe-Problem. Tippe eine große Zahl:

Stell dir vor, du rechnest, während die Zahlen zufällig in Stücke vorzerhackt sind und du nur die Stück-IDs siehst. Deshalb sind Sprachmodelle berüchtigt wackelig in Arithmetik: Der Tokenizer sabotiert die Ziffern, bevor das Modell sie je sieht. (Moderne Modelle sind hart darauf trainiert, das auszugleichen — aber jetzt weißt du, was sie ausgleichen.)

3. Das unsichtbare Leerzeichen. Schau dir einen Block genau an: Das Token ist nicht hallo, sondern ␣hallo — das Leerzeichen ist angeklebt. Für das Modell sind hallo am Satzanfang und hallo mitten im Satz zwei völlig verschiedene Tokens mit verschiedenen IDs:

4. Die Deutsch-Steuer. Englisch hat die guten Plätze im Kompressionsspiel bekommen, weil der meiste Internettext englisch ist. Jeder Merge, der für ␣the ausgegeben wurde, war ein Merge, der nicht für Deutsch übrig blieb:

Die verfluchten Tokens (eine wahre Geschichte)

2023 fanden Forschende beim Durchstöbern von GPTs Wörterbuch Tokens, die es nie hätte geben dürfen — und das Modell danach zu fragen, ließ es vor laufender Kamera durchdrehen: Es verweigerte die Antwort, beleidigte den Nutzer oder redete über ein völlig anderes Wort.

Das berühmteste war SolidGoldMagikarp. Es war der Benutzername eines Reddit-Power-Users aus einem Forum, in dem Leute buchstäblich nur aufwärts zählen (r/counting). Sein Name tauchte im gescrapten Text so oft auf, dass das Kompressionsspiel ihm ein eigenes Token gab — doch der Text selbst wurde dann herausgefiltert, bevor das Modell trainiert wurde. Ergebnis: ein Token, dessen ID das Modell sah, das es aber fast nie benutzt sah. Ein wortförmiges Loch in seinem Gehirn. Als Nutzer es tippten, fiel das Modell in das Loch.

Diese „Glitch-Tokens“ wurden in modernen Tokenizern größtenteils bereinigt, aber die Lehre bleibt: Das Wörterbuch ist zur Trainingszeit eingefroren, voller Fossilien, und das Modell erbt jede Eigenheit davon. Irgendwo im Vokabular jedes Modells ist ein Reddit-Zähler unsterblich.

Was MACHT das Modell also mit Token-IDs?

Ein Satz als Vorgeschmack auf spätere Module: Jede ID ist eine Zeilennummer in einer riesigen Tabelle, und jede Zeile enthält eine Liste von ein paar tausend Zahlen, die die Bedeutung dieses Tokens beschreiben — seine Koordinaten im „Bedeutungsraum“, wo king nahe bei queen und Paris nahe bei France liegt. Alles, was das Modell tut, geschieht mit diesen Koordinaten. Aber das ist Modul 4. Für jetzt: Text → Stücke → IDs. Das ist die ganze Eingabe.

Übung: Token-Safari 🏆

Drei Trophäen zu jagen. Der Zähler ist dein Schiedsrichter:

• Das Schwergewicht: ein einzelnes englisches Wort, das 5+ Tokens kostet (Chemikaliennamen, erfundene Markennamen und supercalifragilisticexpialidocious sind gute Jagdgründe)
• Das Federgewicht: eine Zeichenkette mit 20+ Zeichen, die ≤ 2 Tokens kostet (überleg: Was wiederholt das Internet ständig?)
• Der Gestaltwandler: ein Wort, dessen Tokenzahl sich ändert, wenn du es großschreibst (hello vs HELLO vs HeLLo — warum wäre GESCHREI im Trainingstext seltener?)