Der Retriever ist der Teil eines KI-Systems, der zu einer Frage die passenden Textstellen aus einem Bestand heraussucht. Er steht vor dem Sprachmodell: Erst sucht er, dann bekommt das Modell die Fundstellen zusammen mit der Frage.
- Retriever (KI)
Der Teil eines KI-Systems, der zu einer Frage die passenden Textstellen heraussucht.
Beispiel: „Der Retriever holte zwölf Abschnitte, und erst daraus formulierte das Modell die Antwort.“Zwei Verfahren konkurrieren. Die Stichwortsuche vergleicht Wörter und trifft Eigennamen, Artikelnummern und Fachbegriffe genau. Die Vektorsuche vergleicht Bedeutungen über Embeddings und findet auch, was anders formuliert ist.
In der Praxis arbeitet die Mischung aus beiden am besten, weil die Schwächen einander ausgleichen. Die Fachsprache nennt das hybride Suche.
Anthropic berichtet in „Introducing Contextual Retrieval“ (September 2024) messbare Verbesserungen durch genau diese Kombination: Die Fehlerquote beim Heraussuchen fiel von 5,7 Prozent über mehrere Stufen auf 1,9 Prozent, wobei die Mischung aus Vektor- und Stichwortsuche und ein nachgeschaltetes Umsortieren die größten Anteile ausmachten.
Was einen guten Retriever ausmacht
Die Vorarbeit am Bestand. Wie der Text in Abschnitte zerlegt ist, entscheidet mehr über das Ergebnis als die Wahl des Verfahrens, siehe Chunking. Dazu kommt, wie viele Fundstellen übergeben werden: zu wenige lassen die Antwort lückenhaft, zu viele füllen das Kontextfenster mit Nebensächlichem.
Woran man Fehler erkennt
Daran, dass die Antwort an der Frage vorbeigeht, obwohl die richtige Angabe im Bestand steht. In diesem Fall liegt der Fehler fast immer beim Heraussuchen und nicht beim Modell. Deshalb prüft man zuerst, welche Abschnitte übergeben wurden, bevor man am Prompt feilt; das spart in der Fehlersuche die meiste Zeit. Praktisch heißt das: Das System muss die übergebenen Fundstellen anzeigen können. Ein Aufbau, der das verbirgt, ist nicht zu warten. Bei uns gehört deshalb zu jedem solchen System eine Ansicht, die Frage, Fundstellen und Antwort nebeneinander zeigt. Sie kostet einen halben Tag und spart danach bei jeder Beschwerde eine Stunde.