RAG ist ein Verfahren, das vor der Antwort im eigenen Bestand sucht und die gefundenen Abschnitte in den Prompt legt. Das Modell antwortet dann aus diesem Material statt aus dem Gedächtnis. Die Abkürzung steht für Retrieval Augmented Generation, also Erzeugung mit vorgeschaltetem Abruf.
- RAG (Retrieval Augmented Generation)
Ein Verfahren, das vor der Antwort im eigenen Bestand sucht und den Fund in den Prompt legt.
Beispiel: „Mit RAG beantwortet der Assistent Preisfragen aus den freigegebenen Angebotstexten und nennt die Fundstelle.“Was dafür nötig ist: ein durchsuchbarer Bestand. Die Dokumente werden in Abschnitte zerlegt, je Abschnitt in einen Zahlenvektor übersetzt und so abgelegt, dass sich zu einer Frage die inhaltlich nächsten Abschnitte finden lassen.
Abgrenzung zum Training: Beim Fine-Tuning ändert sich das Modell, bei RAG ändert sich nur der Prompt. Ein korrigiertes Dokument wirkt deshalb sofort und ohne Training.
Was das Verfahren löst
Drei Dinge auf einmal. Die Antwort kennt den eigenen Betrieb, weil sie aus eigenen Dokumenten stammt. Sie ist aktuell, weil der Bestand gepflegt wird. Und sie ist prüfbar, weil zu jeder Aussage die Fundstelle mitgeliefert werden kann. Damit schrumpft genau der Bereich, in dem Modelle sonst halluzinieren.
Anthropic führt RAG im Glossar der Entwicklerdokumentation als Verfahren, bei dem abgerufene Informationen in den Prompt gelangen, damit die Ausgabe darauf aufsetzt.
Woran es scheitert
An der Suche. Liefert sie den falschen Abschnitt, antwortet das Modell überzeugend falsch, und die mitgelieferte Fundstelle verleiht dem Ganzen auch noch den Anschein von Sorgfalt. Die Arbeit an einem RAG-System ist deshalb zum größten Teil Arbeit an der Suche: Wie die Dokumente zerlegt werden, was an Überschriften und Datum mitgeführt wird, wie viele Treffer in den Prompt gehen.
Was wir in Projekten dabei lernen
Das Problem sitzt fast immer im Bestand. Wer Angebote, Preislisten und Hilfetexte in drei Ständen und zwei Widersprüchen vorliegen hat, bekommt von einem Assistenten genau diese Widersprüche zurück, nur flüssig formuliert. Das Aufräumen der Inhalte steht deshalb vor dem Aufbau der Suche.