Pretraining, auf Deutsch Vortraining, ist die erste und größte Stufe beim Bau eines Sprachmodells. Das Modell lernt dabei aus sehr großen Textmengen, das jeweils nächste Token vorherzusagen, und bildet dabei Sprache, Weltwissen und Zusammenhänge aus.
- Pretraining (Vortraining)
Die erste und größte Trainingsstufe, in der ein Modell Sprache aus Masse lernt.
Beispiel: „Das Pretraining dauerte Monate, die Stufen danach Wochen.“Die Aufgabe dabei ist einfach und die Menge groß: das nächste Token vorhersagen, milliardenfach. Eine Beschriftung der Daten braucht es nicht, denn die richtige Antwort steht im Text selbst.
Danach folgen die kleineren Stufen: Instruction Tuning für das Befolgen von Anweisungen und RLHF für die Ausrichtung an menschlichen Vorlieben.
Was dabei entsteht
Ein Foundation Model: ein Modell, das Sprache beherrscht und viel weiß, aber noch nicht gelernt hat, sich wie ein Assistent zu verhalten. Ein reines Pretraining-Modell setzt einen Text fort, statt eine Frage zu beantworten; das ist kein Mangel, sondern genau die Aufgabe, auf die es trainiert wurde.
Was es kostet
Den größten Teil des gesamten Aufwands. Monate Rechenzeit auf zehntausenden Grafikkarten, Beträge im hohen zweistelligen bis dreistelligen Millionenbereich bei den größten Modellen, dazu die Beschaffung und Aufbereitung des Textbestands. Genau deshalb gibt es wenige Anbieter von Grundmodellen und viele Anbieter von Anwendungen darauf.
Warum das für Anwender zählt
Weil es erklärt, was sich ändern lässt und was nicht. Alles, was im Vortraining steckt, ist festgeschrieben: der Wissensstand, die Sprachen, die Verzerrungen im Material. Spätere Stufen und Prompts formen das Verhalten, und sie fügen kein Wissen hinzu. Wer aktuelle oder eigene Angaben braucht, gibt sie in der Anfrage mit, statt auf das Gedächtnis des Modells zu bauen. Aus demselben Grund altern Modelle nicht gleichmäßig: Ihre Sprachfähigkeit bleibt, ihr Wissensstand verliert mit jedem Monat an Wert. Deshalb lohnt sich bei der Modellauswahl der Blick auf zwei getrennte Fragen: Wie gut formuliert und folgert es, und wie aktuell muss es überhaupt sein?