Der Attention-Mechanismus ist das Verfahren, mit dem ein Sprachmodell für jedes Wort entscheidet, welche anderen Wörter dafür wichtig sind. Er ist der Kern der Transformer-Architektur und der Grund, warum heutige Modelle Zusammenhänge über lange Abstände hinweg erfassen.
- Attention-Mechanismus
Das Verfahren, mit dem ein Sprachmodell entscheidet, welche Wörter füreinander wichtig sind.
Beispiel: „Der Attention-Mechanismus verbindet das Wort ‚sie‘ im letzten Satz mit der Rechnung aus dem ersten.“Das Google-Glossar fasst ihn als Mechanismus in einem neuronalen Netz, der die Wichtigkeit eines bestimmten Wortes oder Wortteils anzeigt.
Woher er kommt: aus der Arbeit „Attention Is All You Need“ von Vaswani und Kollegen aus dem Jahr 2017, die den Titel wörtlich meinte und auf die bis dahin üblichen wiederkehrenden Netze verzichtete.
Wie er anschaulich wirkt
Für jedes Token berechnet das Modell, wie stark es sich auf jedes andere beziehen soll. Im Satz ‚Der Monteur holte den Schlüssel, weil er klemmte‘ bekommt das Wort ‚er‘ eine starke Verbindung zum Schlüssel und eine schwache zum Monteur. Diese Zuordnung ist nicht einprogrammiert; sie entsteht im Training und ist in den Gewichten abgelegt.
Warum lange Eingaben teuer sind
Weil jedes Token mit jedem anderen verrechnet wird. Verdoppelt sich die Eingabe, vervierfacht sich der Aufwand dieses Schrittes. Das ist der Grund, warum Kontextfenster lange klein blieben und warum sehr lange Anfragen auch heute spürbar mehr kosten und länger dauern. Die Arbeit an schnelleren Verfahren für diesen Schritt ist seit Jahren eines der aktivsten Forschungsfelder.
Was man als Anwender davon merkt
Dass Bezüge über große Abstände funktionieren und dennoch nachlassen, wenn sehr viel dazwischensteht. Wer eine wichtige Anweisung an den Anfang einer langen Eingabe stellt, verliert sie eher als jemand, der sie direkt vor die Frage setzt. Das ist keine Nachlässigkeit des Modells, sondern eine Folge davon, wie die Aufmerksamkeit verteilt wird. Dasselbe erklärt, warum Wiederholung wirkt: Was zweimal dasteht, bekommt mehr Gewicht als etwas, das nur einmal am Rand steht.