Temperatur und Sampling

Ein Sprachmodell erzeugt keinen Text — es erzeugt eine Wahrscheinlichkeitsverteilung über das nächste Token, Tausende Kandidaten mit je einem Score. Sampling entscheidet, welcher Kandidat gewählt wird, und die Sampling-Parameter bestimmen, wie mutig diese Wahl ausfällt.

Temperatur: der Abenteuer-Regler

Niedrige Temperatur schärft die Verteilung (der Top-Kandidat gewinnt fast immer); hohe Temperatur flacht sie ab (unwahrscheinliche Tokens bekommen eine echte Chance). Derselbe Prompt, drei Temperaturen:

Faustregeln:

• 0 – 0,3 für Extraktion, Klassifikation, Code — alles mit einer richtigen Antwort.
• 0,6 – 0,9 für Konversation und allgemeines Schreiben.
• 1,0+ für Brainstorming und bewusst schräge Ideen.

Top-p ist der andere gängige Regler: Statt die Wahrscheinlichkeiten zu verformen, kürzt er die Kandidatenliste auf die kleinste Menge, die p der Wahrscheinlichkeitsmasse abdeckt. In der Praxis stellt man einen der beiden ein, nicht beide.

Warum Zufall trotzdem gesteuert ist

Sampling klingt schnell, als würde das Modell würfeln, aber die Würfel sind durch die Wahrscheinlichkeitsverteilung gezinkt. Bei Temperatur 0 wählt das Modell immer wieder das stärkste nächste Token, deshalb sind Wiederholungen stabil genug für Extraktion und Auswertung. Bei höheren Temperaturen denkt das Modell nicht plötzlich frei aus dem Nichts: Es darf nur öfter schwächere Kandidaten wählen. Deshalb kann eine Antwort mit hoher Temperatur lebendig sein und trotzdem beim Thema bleiben, bis die Temperatur so hoch wird, dass schwache Kandidaten den Satz von der Aufgabe weglenken.

Nutze diese Unterscheidung, wenn du Belege liest oder Ausgaben debugst. Wenn eine Antwort bei niedriger Temperatur falsch ist, liegt das Problem wahrscheinlich im Prompt, im Kontext oder im Wissen des Modells — dieselbe Anfrage erneut zu starten wird sie selten magisch reparieren. Wenn eine Antwort bei hoher Temperatur nur seltsam ist, kann der Prompt trotzdem in Ordnung sein; du hast den Sampler zum Erkunden aufgefordert. Die Reparatur ist dann: Temperatur senken, ein strengeres Format verlangen oder mehrere Kandidaten erzeugen und mit einem Checker auswählen.

Top-p ist eine andere Art Leitplanke. Ein niedriger Top-p-Wert sagt: Ignoriere den langen Rand merkwürdiger Kandidaten und sample nur aus dem plausibelsten Cluster. Das kann für Chat nützlich sein, wenn Sprache natürlich bleiben soll, das Modell aber nicht zu weit greifen darf. Für den Anfang gilt: starte mit Temperatur. Nutze Top-p erst, wenn du erklären kannst, welches Verhalten du verändern willst. So bleibt jeder Regler eine Hypothese, nicht ein Aberglaube. Genau das macht Experimente auswertbar.

Probiere es selbst

Bewege die Regler und spüre den Unterschied. Stelle dieselbe Frage zweimal bei Temperatur 0, dann zweimal bei 1,5:

Teste dein Verständnis