Information Retrieval ist das Fachgebiet, das sich mit dem Auffinden relevanter Inhalte in großen Beständen befasst. Es ist deutlich älter als die heutige KI-Welle und liefert die Begriffe und Maße, mit denen Suche bis heute gemessen wird.
- Information Retrieval
Das Fachgebiet, das sich mit dem Auffinden relevanter Inhalte in großen Beständen befasst.
Beispiel: „Die Begriffe aus dem Information Retrieval beschreiben auch die Suche in einem KI-System genau.“Von dort stammen die Maße, die jede Suche beschreiben: Trefferquote für den Anteil der gefundenen relevanten Dokumente, Genauigkeit für den Anteil der relevanten unter den gefundenen, und der Platz des ersten brauchbaren Treffers.
Ebenso von dort: die Gewichtung seltener Wörter, die Zerlegung in Wortstämme und das Verfahren BM25, das in vielen Suchsystemen bis heute die Grundlage bildet.
Warum das Fach wieder zählt
Weil jedes KI-System mit Wissensanbindung eine Suche enthält. Die Aufmerksamkeit liegt beim Sprachmodell, der Engpass liegt fast immer bei der Suche davor. Wer die alten Maße kennt, misst die richtigen Dinge: Wie oft steht die beantwortende Stelle überhaupt unter den gefundenen, und an welcher Position?
Was sich geändert hat
Die Art des Vergleichs. Klassisch wurde über Wörter verglichen, heute zusätzlich über Bedeutungen im Zahlenraum, siehe Embedding. Das löst das alte Problem der verschiedenen Formulierungen und erzeugt ein neues: Vektorähnlichkeit kann Ähnlichkeit vortäuschen, wo inhaltlich nichts zusammengehört.
Was bleibt
Die Erkenntnis, dass Suche ein Zweistufenproblem ist: erst viel finden, dann gut sortieren. Diese Aufteilung ist Jahrzehnte alt und beschreibt moderne Systeme aus Retriever und Reranker genauso gut wie eine Bibliothekssuche der 1970er Jahre. Wer ein solches System baut, findet in der älteren Literatur deshalb mehr Brauchbares, als der Zeitabstand vermuten lässt. Besonders die Maße sind unverändert brauchbar und lassen sich auf jede KI-Suche anwenden. Sie sind zugleich der einfachste Weg, ein System zu bewerten, ohne sein Innenleben zu kennen. Das gilt auch beim Einkauf einer fertigen Lösung.