Die Transformer-Architektur ist der Bauplan, auf dem heutige Sprachmodelle beruhen. Ihr Kern ist ein Mechanismus, der für jedes Wort bestimmt, welche anderen Wörter im Text dafür wichtig sind.
- Transformer-Architektur
Der Bauplan heutiger Sprachmodelle, der allein auf Aufmerksamkeit statt auf Reihenfolge setzt.
Beispiel: „Die Transformer-Architektur steckt im T von GPT: Generative Pre-trained Transformer.“Auch: Transformer. Der Name hat nichts mit Spielzeug oder Stromtechnik zu tun; gemeint ist das Umformen einer Folge von Zeichen in eine andere.
Abgrenzung zu den Vorgängern: Rekurrente Netze lasen einen Satz Wort für Wort und mussten sich das Vorige merken. Der Transformer sieht die ganze Folge auf einmal und gewichtet, was zusammengehört.
Was 2017 neu war
Vorgestellt wurde sie im Papier „Attention Is All You Need“ von Vaswani und Kollegen vom 12. Juni 2017. Der Titel ist das Programm: Die Architektur verzichtet sowohl auf rekurrente als auch auf gefaltete Schichten und stützt sich allein auf Aufmerksamkeitsmechanismen.
Der praktische Gewinn war die Parallelisierbarkeit. Ein rekurrentes Netz muss ein Wort nach dem anderen verarbeiten, weil es den Zustand des vorigen Schritts braucht. Der Transformer rechnet alle Positionen gleichzeitig, und erst das macht Training in der heutigen Größenordnung bezahlbar.
Was Aufmerksamkeit bedeutet
Für jedes Token wird berechnet, wie stark jedes andere Token der Folge dafür ins Gewicht fällt. Im Satz „Die Bank am Fluss war morsch“ bekommt „Fluss“ ein hohes Gewicht, wenn das Modell „Bank“ verarbeitet, und löst damit die Mehrdeutigkeit.
Weil dieselbe Folge sowohl die Fragen als auch die Bezüge liefert, heißt das Selbstaufmerksamkeit. Mehrere solcher Berechnungen laufen nebeneinander und achten auf verschiedene Arten von Bezug, etwa grammatische und inhaltliche.
Warum sie überall steckt
Weil sie nicht an Sprache gebunden ist. Die großen Sprachmodelle sind nur ihr bekanntester Einsatz. Was als Folge darstellbar ist, lässt sich so verarbeiten: Text, Bildausschnitte, Tonabschnitte, Programmcode. Die Bildmodelle mit Vision Transformer arbeiten nach demselben Prinzip.
Aus unserer Arbeit an über 2.500 Website-Projekten ist das der Punkt, an dem die Begriffe zusammenlaufen: GPT, Claude, Gemini und Llama unterscheiden sich in Daten, Größe und Nachbearbeitung, nicht im Bauplan.