Self-Attention ist das Verfahren, mit dem ein Modell jedes Wort einer Eingabe auf jedes andere bezieht, um zu bestimmen, was zusammengehört. Es ist der Kern der Transformer-Architektur und damit der Grund, warum heutige Sprachmodelle funktionieren.
- Self-Attention (Selbstaufmerksamkeit)
Das Verfahren, mit dem ein Modell jedes Wort einer Eingabe auf jedes andere bezieht.
Beispiel: „Die Self-Attention verband das Fürwort am Satzende mit dem richtigen Hauptwort am Anfang.“Was es löst: Bezüge über Entfernung. In „Der Vertrag, den wir im Mai geschlossen haben, läuft aus“ gehört „läuft aus“ zum Vertrag und nicht zum Mai, und das muss ein Modell entscheiden können.
Die Vorsilbe selbst bedeutet, dass die Eingabe auf sich selbst schaut, statt auf eine zweite Eingabe. Dasselbe Verfahren zwischen zwei Texten heißt einfach Attention, siehe Attention-Mechanismus.
Warum es alles verändert hat
Weil es parallel rechnen kann. Die Verfahren davor arbeiteten Wort für Wort und mussten auf das vorige Ergebnis warten; Self-Attention berechnet alle Bezüge gleichzeitig und passt damit auf Grafikprozessoren. Erst diese Eigenschaft hat Modelle in heutiger Größe wirtschaftlich möglich gemacht, und sie ist der Grund für den Sprung ab 2017.
Was es kostet
Quadratisch mit der Länge. Wenn jedes Wort auf jedes andere schaut, wächst der Aufwand mit dem Quadrat der Eingabelänge: Doppelt so viel Text heißt viermal so viel Rechnung. Das ist der eigentliche Grund, warum ein Kontextfenster nicht beliebig groß wird und warum lange Eingaben überproportional teuer sind.
Was daran weiterentwickelt wird
Genau diese Grenze. Es gibt eine Reihe von Verfahren, die nicht mehr jedes Wort auf jedes beziehen, sondern Auswahlen bilden, Blöcke zusammenfassen oder nur nahe Nachbarn berücksichtigen. Die großen Kontextfenster der letzten Jahre kommen aus dieser Arbeit, und sie sind Annäherungen: Die Qualität in der Mitte langer Eingaben leidet messbar.
Was man davon im Alltag braucht
Die Erklärung für zwei Beobachtungen. Erstens, warum ein Modell Bezüge über Absätze hinweg oft richtig trifft und bei Aufzählungen über zwanzig Punkte Einzelnes übergeht. Zweitens, warum das Anhängen eines langen Dokuments die Antwortzeit nicht verdoppelt, sondern vervierfacht. Beides folgt unmittelbar aus diesem Verfahren.