Generierung sichtbar
Wie erzeugt ein Sprachmodell neuen Text?
Sprachmodelle schreiben nicht Satz für Satz — sondern Token für Token.
Die Animation zeigt, wie aus Wahrscheinlichkeitsverteilungen schrittweise Sprache entsteht: Das Modell berechnet mögliche nächste Tokens und wählt daraus fortlaufend neue Wörter.
Mit dem Temperature-Regler lässt sich anschließend selbst beobachten, wie sich deterministische und kreative Generierung unterscheiden.
Animation: Autoregressive Generierung — wie ein Sprachmodell Token für Token Text erzeugt
Schritt 1 · 0%
vom prompt zum nächsten token
Schritt 1 — Wir starten mit einem Satz
Wir starten mit einem Satz und lassen das Modell die Fortsetzung schreiben.
Temperature:
T = 0.8
Bisheriger Text
—
Nächstes Token
—
Wahrscheinlichkeit
—