RLHF ist das Nachtrainieren eines Sprachmodells anhand menschlicher Bewertungen seiner Antworten. Menschen vergleichen jeweils zwei Antworten und sagen, welche besser ist. Aus vielen solchen Vergleichen lernt das Modell, was erwünscht ist.
- RLHF (Reinforcement Learning from Human Feedback)
Das Nachtrainieren eines Sprachmodells anhand menschlicher Bewertungen seiner Antworten.
Beispiel: „Durch RLHF hörte das Modell auf, auf jede Frage mit einer Aufzählung zu antworten.“Der Ablauf in drei Schritten: Menschen bewerten Antwortpaare, aus den Bewertungen entsteht ein Modell der menschlichen Vorlieben, und mit diesem wird das Sprachmodell weitertrainiert. Der Vorgang wiederholt sich mit frischen Bewertungen.
Abgrenzung zum Fine-Tuning mit Beispielen: Dort lernt das Modell aus vorgegebenen guten Antworten. Beim RLHF lernt es aus Vergleichen, also daraus, welche von zwei eigenen Antworten besser ankam.
Warum es nötig wurde
Weil ein rein auf Textfortsetzung trainiertes Modell kein Assistent ist. Es setzt fort, was wahrscheinlich folgt, und das ist bei einer Frage oft eine weitere Frage. Hilfsbereitschaft, Knappheit und das Ablehnen schädlicher Anfragen stehen nirgends als Beispiel im Internet.
Die Arbeit, die das Verfahren bekannt gemacht hat, stammt von Anthropic: Training a Helpful and Harmless Assistant with RLHF vom April 2022. Sie beschreibt, wie Vorliebenmodelle und die darauf gestützte Weiterbildung im Wochenrhythmus mit frischen menschlichen Bewertungen aktualisiert wurden.
Was es nicht behebt
Falsches Wissen. RLHF verschiebt, wie ein Modell antwortet, und kaum, was es weiß. Ein Modell, das eine Jahreszahl falsch gelernt hat, gibt sie nach dem Verfahren höflicher und übersichtlicher falsch wieder, siehe Halluzination.
Wo die Kritik ansetzt
An der Herkunft der Bewertungen. Wer bewertet, bringt seine Maßstäbe mit, und ein Modell übernimmt sie. Die Auswahl der bewertenden Menschen ist damit eine inhaltliche Entscheidung und keine organisatorische.
Dazu kommt eine Nebenwirkung, die viele Nutzer kennen: Modelle werden durch das Verfahren freundlicher und zustimmender, weil zustimmende Antworten in Vergleichen besser abschneiden. Wer eine ehrliche Einschätzung will, fragt deshalb besser nach Gegenargumenten als nach einer Bewertung.