Ein Reranker ist ein Modell, das die gefundenen Textstellen nach ihrer Nützlichkeit für die Frage neu sortiert. Er arbeitet nach dem Retriever und vor dem Sprachmodell und wirft aus, was nur zufällig ähnlich aussah.
- Reranker
Ein Modell, das die gefundenen Textstellen nach ihrer Nützlichkeit neu sortiert.
Beispiel: „Der Reranker behielt von fünfzig Fundstellen die besten zehn, und die Antwortgüte stieg messbar.“Warum zwei Schritte: Der Retriever muss schnell über einen großen Bestand arbeiten und vergleicht deshalb vorberechnete Zahlenfolgen. Ein Reranker liest Frage und Textstelle zusammen und urteilt dadurch genauer, kann das aber nur für wenige Kandidaten leisten.
Üblich ist deshalb die Reihenfolge: breit suchen, eng sortieren, wenige übergeben.
Was er praktisch bewirkt
Er hebt die richtige Stelle an die erste Position. Das zählt doppelt, weil Sprachmodelle den Anfang und das Ende ihrer Eingabe besser verwerten als die Mitte, siehe Lost in the Middle. Eine gute Fundstelle an Position dreißig wirkt dadurch kaum; dieselbe Stelle an Position eins verändert die Antwort.
Was er kostet
Zeit und Geld je Anfrage, weil jede Kandidatenstelle einzeln geprüft wird. Für fünfzig Kandidaten ist das vertretbar, für fünfhundert nicht. Deshalb gehört er hinter einen Retriever, der die Menge schon eingegrenzt hat, und nicht vor ihn.
Wann sich der Aufwand lohnt
Sobald der Bestand groß und die Fragen vielfältig sind. Bei fünfzig Handbuchseiten genügt eine saubere Suche. Bei zehntausend Dokumenten mit ähnlichem Wortlaut ist die Sortierung der Hebel, der über brauchbar und unbrauchbar entscheidet. Messen lässt sich das einfach: dieselben zwanzig Fragen mit und ohne Reranker, und die Antworten nebeneinander lesen. Üblich sind eigene, kleine Modelle dafür; manche Anbieter stellen sie als eigenen Dienst bereit, und ein Sprachmodell kann die Aufgabe ebenfalls übernehmen, allerdings langsamer und teurer. Für kleine Bestände ist das vertretbar und erspart einen zusätzlichen Dienst. Eigene Modelle dafür sind klein genug, um auf gewöhnlicher Hardware zu laufen.