Encoder-Decoder bezeichnet einen Modellaufbau aus zwei Teilen. Der Encoder liest die Eingabe und wandelt sie in eine innere Darstellung um; der Decoder erzeugt daraus die Ausgabe, Stück für Stück. Gebaut wurde der Aufbau für Übersetzungen, wo Eingabe und Ausgabe verschiedene Sprachen sind.
- Encoder-Decoder
Ein Modellaufbau aus zwei Teilen: einer liest die Eingabe, der andere erzeugt die Ausgabe.
Beispiel: „Der Encoder-Decoder-Aufbau stammt aus der maschinellen Übersetzung und steckt heute in vielen Werkzeugen für Sprache.“Die innere Darstellung dazwischen ist eine Zahlenfolge im Latent Space. Sie trägt die Bedeutung der Eingabe, ohne an die Wörter gebunden zu sein.
Die Transformer-Arbeit von 2017 stellte den Aufbau mit beiden Teilen vor. Die Entwicklung danach ging in zwei Richtungen auseinander.
Welche Modelle nur einen Teil benutzen
Die großen Sprachmodelle von heute benutzen nur den Decoder: Sie lesen den Text und setzen ihn fort, und beides geschieht im selben Teil. Modelle, die Texte einordnen oder durchsuchbar machen sollen, benutzen oft nur den Encoder; BERT ist das bekannteste Beispiel, und daraus stammen viele Embeddings. Beide Teile zusammen findet man weiterhin bei Übersetzung und Zusammenfassung.
Was das praktisch bedeutet
Es erklärt, warum manche Modelle gut suchen und schlecht schreiben. Ein reines Encoder-Modell erzeugt keinen Text; es wandelt Text in Zahlen um, damit Ähnlichkeit berechenbar wird. Wer für eine Suche auf der eigenen Website ein Modell auswählt, braucht genau diese Sorte, und nicht das größte Sprachmodell.
Warum der Begriff weiterlebt
Weil er in Modellbeschreibungen steht und die grobe Einordnung erlaubt. Wer in einer Modellkarte „encoder-only“ liest, weiß sofort, dass das Modell keine Antworten erzeugt. Für die Auswahl ist das eine der schnellsten Unterscheidungen überhaupt. Die zweite schnelle Unterscheidung ist die Größe: Für Suche und Einordnung genügen kleine Modelle, und die laufen auf gewöhnlicher Hardware. Ein Encoder-Modell für die Websuche hat oft wenige hundert Millionen Parameter und damit ein Tausendstel eines großen Sprachmodells.