Reinforcement Learning, auf Deutsch bestärkendes Lernen, ist maschinelles Lernen durch Belohnung. Das Modell trifft Entscheidungen, bekommt dafür eine Bewertung und passt sein Verhalten so an, dass die Bewertung über viele Versuche hinweg steigt. Die richtige Antwort bekommt es nie gesagt.
- Reinforcement Learning (Bestärkendes Lernen)
Maschinelles Lernen durch Belohnung, bei dem das Modell aus den Folgen seiner Entscheidungen lernt.
Beispiel: „Beim Reinforcement Learning erfährt das Programm erst am Ende der Partie, ob die Eröffnung gut war.“Die Bestandteile: ein Handelnder, eine Umgebung, mögliche Handlungen und ein Belohnungssignal. Das Verfahren probiert, merkt sich, was sich ausgezahlt hat, und verschiebt sein Verhalten dorthin.
Abgrenzung zum überwachten Lernen: Dort steht die richtige Antwort zu jedem Beispiel fest. Hier gibt es nur eine Bewertung, oft erst viel später, und das Modell muss selbst herausfinden, welche Entscheidung sie verursacht hat.
Wo es seine Stärke hat
Bei Aufgaben mit Folgen. Spiele sind das Lehrbuchbeispiel, Robotersteuerung das praktische: Überall, wo eine Entscheidung erst später gut oder schlecht aussieht und wo es keine Sammlung richtiger Züge gibt, ist es das einzige Verfahren, das greift.
Wo es schwierig wird
Beim Belohnungssignal. Wer es ungenau formuliert, bekommt ein Modell, das genau die Kennzahl maximiert und dabei den Zweck verfehlt. Das Verfahren optimiert zuverlässig auf das, was gemessen wird, und nicht auf das, was gemeint war.
Warum es bei Sprachmodellen auftaucht
Weil sich Hilfsbereitschaft nicht als Label hinschreiben lässt. Ob eine Antwort gut ist, lässt sich vergleichen, aber nicht vorgeben. Genau dafür wurde das Verfahren auf Sprache übertragen, und die bekannte Form davon heißt RLHF.
Die Übertragung auf Sprachmodelle beschreibt die Arbeit Training a Helpful and Harmless Assistant with RLHF von Anthropic aus dem April 2022. Sie verbindet Vorliebenmodelle mit bestärkendem Lernen und aktualisiert beides im Wochenrhythmus mit frischen menschlichen Bewertungen.
Außerhalb der Modellentwicklung begegnet einem der Begriff selten. Wer ihn kennt, versteht allerdings, warum ein Sprachmodell sich so verhält, wie es sich verhält: Es wurde darauf trainiert, in Vergleichen gut abzuschneiden.