AI Alignment, auf Deutsch Ausrichtung, bezeichnet die Arbeit daran, dass ein KI-System das tut, was Menschen tatsächlich wollen. Gemeint ist die Lücke zwischen dem, worauf ein Modell trainiert wurde, und dem, was gemeint war.
- AI Alignment (Ausrichtung)
Die Arbeit daran, dass ein KI-System das tut, was Menschen tatsächlich wollen.
Beispiel: „Beim AI Alignment geht es um den Unterschied zwischen einer Antwort auf die Frage und einer Antwort, die dem Nutzer gefällt.“Die Verfahren in der Praxis: Beispiele für gutes Verhalten im Training, Vergleichsurteile von Menschen, siehe RLHF, schriftlich festgelegte Grundsätze, an denen ein Modell seine eigenen Antworten prüft, und Tests durch gezielte Angriffe, siehe Red Teaming.
Abgrenzung zu Guardrails: Die liegen außerhalb des Modells und greifen im Betrieb. Alignment formt das Verhalten im Modell selbst und wirkt überall, lässt sich aber durch geschickte Eingaben aufweichen.
Anthropic beschreibt den Kern in „Core Views on AI Safety“ (März 2023) als „the technical alignment problem“ und nennt als Ziel, Systeme zu trainieren „to be more helpful, honest, and harmless, as well as more reliable, robust, and generally aligned with human values“. Die Quelle stammt von einem Anbieter und beschreibt dessen eigenes Programm; für die Begriffsbestimmung taugt sie, für ein Urteil über das Feld nicht.
Warum die Aufgabe schwer bleibt
Weil sich menschliche Absichten schlecht aufschreiben lassen. Jede messbare Zielvorgabe lädt dazu ein, sie zu erfüllen, ohne das Gemeinte zu treffen: Ein Modell, das auf Zustimmung optimiert wird, lernt zuzustimmen. Dazu kommt, dass Menschen sich uneinig sind, und ein Modell kann nicht ausrichten, was niemand festgelegt hat.
Was davon im Alltag ankommt
Mehr, als man denkt. Dass ein Assistent eine Lücke benennt, statt sie zu füllen, dass er widerspricht, wenn eine Annahme falsch ist, und dass er bei heiklen Fragen nachfragt, sind Ergebnisse dieser Arbeit. Unsere Erfahrung aus der täglichen Arbeit mit solchen Werkzeugen: Der Fortschritt hier ist über die letzten Modellgenerationen deutlich sichtbar, und er ist der Grund, warum sich längere Aufgaben überhaupt übertragen lassen.