Transformer & Sprachmodelle

Attention: Bedeutung entsteht aus dem Kontext

Das Wort „Bank“ hat für sich genommen keine feste Bedeutung. Erst der Zusammenhang legt fest, ob ein Geldhaus oder eine Sitzgelegenheit gemeint ist. Genau dieses Problem löst der Aufmerksamkeitsmechanismus, der dem Transformer seinen Namen gibt.

Beim Verarbeiten jedes Tokens fragt das Modell: Welche anderen Tokens in diesem Text sind für mich relevant? Es bildet dazu drei Vektoren pro Token – Query (wonach suche ich?), Key (was biete ich an?) und Value (was gebe ich weiter?). Die Ähnlichkeit zwischen der Query des einen und den Keys aller anderen ergibt die Gewichtung, die nach einer Softmax-Normierung bestimmt, wie stark deren Values einfließen.

Der entscheidende Vorteil gegenüber älteren Architekturen: Jedes Token erreicht jedes andere direkt, unabhängig von der Entfernung. Ein Bezug über 300 Wörter kostet nicht mehr Aufwand als einer über drei. Und weil alle Tokens gleichzeitig verarbeitet werden können, ließ sich das Training erstmals sinnvoll auf tausende Grafikkarten verteilen – das ist der eigentliche Grund für den Sprung ab 2018.

Wie ein Modell aufgebaut ist

Ein Transformer stapelt denselben Block immer wieder: Attention, dann ein kleines vollverbundenes Netz je Position, dazu Normierungen und Abkürzungsverbindungen, die das Training tiefer Stapel stabil halten. Große Modelle bestehen aus 30 bis über 100 solcher Schichten, jede mit typischerweise 16 bis 128 parallelen Attention-Köpfen.

Verschiedene Köpfe spezialisieren sich messbar auf verschiedene Aufgaben: Manche verfolgen Satzstrukturen, andere lösen Pronomen auf, wieder andere achten auf Formatierung. Auch das hat niemand vorgegeben.

Der Rest ist Größe. Die Architektur eines heutigen Spitzenmodells unterscheidet sich in ihren Grundzügen kaum von der Veröffentlichung des Transformers 2017. Was sich geändert hat, sind Parameterzahl, Datenmenge, Trainingsaufwand und die Nachbearbeitung.

• Vortraining: nächstes Token vorhersagen auf riesigen Textmengen – hier entsteht das Sprachwissen
• Instruction Tuning: an Beispielen lernen, Anweisungen zu befolgen statt nur fortzusetzen
• Verstärkendes Lernen aus Rückmeldungen: Antworten so ausrichten, dass sie hilfreich und sicher sind
• Kontextfenster: wie viele Tokens gleichzeitig betrachtet werden können – heute typisch 128.000 bis 1 Mio.

Texterzeugung: würfeln, anhängen, wiederholen

Nach dem Durchlauf durch alle Schichten steht für jedes Token des Vokabulars ein Wert. Softmax macht daraus eine Wahrscheinlichkeitsverteilung, aus der ein Token gezogen wird. Dieses wird angehängt, und der gesamte Text läuft erneut durchs Modell – für jedes einzelne Wort.

Die Temperature steuert dabei, wie stark die Verteilung zugespitzt wird. Nahe null gewinnt fast immer der wahrscheinlichste Kandidat, das Ergebnis ist verlässlich und wiederholbar. Höhere Werte flachen die Verteilung ab und lassen unwahrscheinlichere Fortsetzungen zu – mehr Variation, mehr Risiko.

Warum Halluzinationen zum System gehören

In der Demo mit der Umsatzzahl liegt die Ursache offen: Zwischen „12“, „15“ und „10“ entscheidet nichts als der Zufall, weil das Modell die echte Zahl nie gesehen hat. Es hat trotzdem eine Verteilung, denn eine leere Ausgabe ist nicht vorgesehen. Was herauskommt, klingt genauso flüssig wie eine korrekte Antwort – die Formulierungssicherheit ist unabhängig vom Wahrheitsgehalt.

Ein Sprachmodell hat kein Modell davon, was es weiß und was nicht. Es gibt keinen internen Marker „hier bin ich unsicher“, der zuverlässig auslesbar wäre. Deshalb sind die Gegenmaßnahmen ausnahmslos architektonisch: relevante Fakten mitliefern (RAG), Quellen ausgeben lassen und prüfen, Ergebnisse gegen ein System validieren, das die Wahrheit kennt.

Umgekehrt ist derselbe Mechanismus die Stärke: Weil das Modell Wahrscheinlichkeiten über Sprache abbildet und nicht Fakten nachschlägt, kann es formulieren, umschreiben, strukturieren und übersetzen – Aufgaben, bei denen es keine einzige richtige Antwort gibt.