Needle in a Haystack bezeichnet einen Test für lange Eingaben: In einen sehr langen Text wird ein einzelner, inhaltlich fremder Satz eingefügt, und das Modell soll ihn auf Nachfrage wiedergeben. Gemessen wird, ob es ihn findet, und an welcher Position im Text er stand.
- Needle in a Haystack
Ein Test, bei dem ein Modell eine einzelne eingefügte Angabe in einer langen Eingabe finden soll.
Beispiel: „Im Needle-in-a-Haystack-Test fand das Modell den Satz bei 200.000 Token zuverlässig und bei 800.000 nicht mehr.“Das Ergebnis wird meist als farbige Fläche dargestellt: Länge der Eingabe auf der einen Achse, Position der Angabe auf der anderen, Trefferquote als Farbe. Dunkle Streifen in der Mitte zeigen den Effekt, der unter Lost in the Middle beschrieben ist.
Der Test ist schnell, billig und anschaulich, und genau deshalb steht er in vielen Modellankündigungen.
Was der Test verschweigt
Dass Wiederfinden die leichteste aller Aufgaben mit langem Kontext ist. Der eingefügte Satz unterscheidet sich vom umgebenden Text und ist damit auffällig; gesucht wird eine wörtliche Übereinstimmung, kein Verständnis. Ein Modell, das diesen Test besteht, kann deshalb noch lange nicht zwei Angaben aus verschiedenen Teilen eines Dokuments zusammenbringen oder einen Widerspruch zwischen ihnen bemerken.
Was stattdessen gemessen gehört
Aufgaben, die mehrere Stellen verbinden. Zwei Angaben aus verschiedenen Kapiteln vergleichen, eine Zahl aus einer Tabelle mit einer Aussage im Text abgleichen, alle Stellen zu einem Thema aufzählen. An solchen Aufgaben fällt die Güte mit der Länge deutlich früher ab als am Wiederfinden einzelner Sätze, und das deckt sich mit den Untersuchungen zum Context Rot.
Wie man selbst prüft
Mit dem eigenen längsten Dokument und fünf Fragen, deren Antworten verstreut darin stehen. Das dauert eine halbe Stunde und sagt für den eigenen Fall mehr als jede Tabelle in einer Ankündigung. Besonders aufschlussreich ist die Frage nach allen Stellen zu einem Thema, weil dort die Vollständigkeit geprüft wird und nicht nur der Treffer.