Instruction Tuning ist die Trainingsstufe, die aus einem Textfortsetzer einen Assistenten macht. Das Modell wird dabei an Beispielen trainiert, die aus einer Anweisung und einer guten Antwort bestehen, und lernt so, Aufforderungen zu befolgen, statt den Text einfach weiterzuschreiben.
- Instruction Tuning
Die Trainingsstufe, die aus einem Textfortsetzer einen Assistenten macht.
Beispiel: „Vor dem Instruction Tuning beantwortete das Modell die Frage nicht, es stellte drei weitere.“Technisch ist es überwachtes Lernen auf Beispielpaaren: Anweisung hinein, gewünschte Antwort als Vorgabe. Die Menge ist im Vergleich zum Vortraining klein, die Wirkung groß.
Danach folgt meist RLHF: Dort lernt das Modell aus Vergleichen zwischen zwei Antworten, welche Menschen bevorzugen. Instruction Tuning bringt die Form, RLHF den Feinschliff.
Was sich dadurch ändert
Die Form der Antwort und die Bereitschaft, überhaupt zu antworten. Ein Modell nach dem Vortraining spiegelt die Textsorte, die es erkennt; wer ihm eine Frage stellt, bekommt oft eine Liste weiterer Fragen, weil Fragen in Texten in Gruppen auftreten. Nach dem Instruction Tuning antwortet es auf die Frage, hält sich an Formatvorgaben und bricht ab, wenn es fertig ist.
Wofür Unternehmen es selbst einsetzen
Für eigene Aufgaben mit festem Muster. Wer tausende Beispiele hat, wie eine gute Antwort im eigenen Haus aussieht, kann ein kleineres Modell darauf trainieren und erhält ein Werkzeug, das die eigene Form trifft und im Betrieb wenig kostet. Für die meisten Fälle genügen allerdings Beispiele im Prompt, und die sind ohne Training zu haben.
Was dabei schiefgehen kann
Das Modell verliert Breite. Wer es sehr eng auf eine Aufgabe trimmt, bekommt ein Werkzeug, das außerhalb davon schlechter arbeitet als vorher. Deshalb gehört zu jedem solchen Training eine Prüfung gegen die alten Fähigkeiten und nicht nur gegen die neue Aufgabe. Zweitens kann ein Modell dabei Verhaltensregeln verlieren, die ihm vorher beigebracht wurden, und das ist der Grund, warum Anbieter das Nachtrainieren ihrer Modelle nur eingeschränkt erlauben. Geprüft wird beides mit festen Testfällen, siehe Evaluation.