Eine Halluzination ist eine erfundene Angabe, die ein Sprachmodell im Ton einer gesicherten Auskunft ausgibt. Der Satzbau stimmt, die Quelle klingt echt, die Zahl sieht plausibel aus, und trotzdem hat die Aussage keine Grundlage.
- Halluzination (KI)
Eine erfundene Angabe, die ein Modell im Ton einer gesicherten Auskunft ausgibt.
Beispiel: „Das Aktenzeichen im dritten Absatz ist eine Halluzination, dieses Urteil gibt es nicht.“Typische Formen: erfundene Quellen und Studien, falsche Paragrafen und Normnummern, ausgedachte Zitate, Funktionen einer Software, die es nicht gibt, und Zahlen, die der Form nach stimmen und dem Wert nach nicht.
Abgrenzung zum Fehler: Ein Rechenfehler ist falsch und als solcher erkennbar. Eine Halluzination ist falsch und sieht richtig aus. Genau das macht sie gefährlich.
Warum ein Modell erfindet
Weil ein Sprachmodell die wahrscheinlichste Fortsetzung ausgibt. Ob es für sie eine Grundlage gibt, geht in diese Rechnung gar nicht ein, denn das Modell hat keinen Begriff davon, was es weiß. Auf eine Frage nach einem Paragrafen ist eine Antwort, die wie ein Paragraf aussieht, wahrscheinlicher als das Eingeständnis, ihn nicht zu kennen.
Das Glossar von Google Cloud beschreibt eine Halluzination als selbstbewusste Antwort, der die Grundlage in den Trainingsdaten fehlt. Das Wort „selbstbewusst“ trifft den Kern: Am Tonfall ist nichts abzulesen.
Woran du sie erkennst
An der Genauigkeit. Je konkreter eine Angabe ist, für die das Modell keine Quelle nennt, desto genauer sollte man hinsehen. Aktenzeichen, Paragrafen, Erfolgskriterien, Seitenzahlen, Erscheinungsjahre und Prozentwerte gehören zu den Angaben, die am häufigsten danebenliegen.
Aus unserer Arbeit an über 2.500 Website-Projekten kennen wir das vor allem aus dem Bereich Barrierefreiheit: Nach einem bestimmten Erfolgskriterium gefragt, liefern Modelle bereitwillig eine Nummer samt Wortlaut, und beides stammt gelegentlich aus keiner Fassung der Richtlinie. Wer mit Gesetzen und Normen arbeitet, prüft jede Fundstelle am Original.
Was dagegen hilft
Dem Modell die Quellen mitgeben, statt es aus dem Gedächtnis antworten zu lassen. Genau das leistet RAG: Die Antwort entsteht aus Abschnitten, die vorher im eigenen Bestand gesucht wurden, und lässt sich an der Fundstelle prüfen. Dazu gehört, Belege ausdrücklich zu verlangen und Fragen zu stellen, deren Antwort man selbst nachschlagen kann.