Lost in the Middle bezeichnet den Befund, dass Sprachmodelle Angaben in der Mitte einer langen Eingabe schlechter verwerten als Angaben am Anfang und am Ende. Dieselbe Information führt also je nach Position zu unterschiedlichen Ergebnissen.
- Lost in the Middle
Angaben in der Mitte einer langen Eingabe werden schlechter verwertet als am Anfang und am Ende.
Beispiel: „Lost in the Middle erklärte, warum dieselbe Angabe an Position 3 gefunden wurde und an Position 15 nicht.“Die Kurve ist U-förmig: hohe Trefferquote am Anfang, Einbruch in der Mitte, Erholung am Ende. Der Effekt tritt auch bei Modellen auf, die ausdrücklich für lange Eingaben gebaut sind.
Abgrenzung zu Context Rot: Der beschreibt den Abfall der Güte mit wachsender Länge insgesamt. Lost in the Middle beschreibt die Abhängigkeit von der Position innerhalb derselben Länge.
Der Befund stammt aus „Lost in the Middle: How Language Models Use Long Contexts“ (Liu u. a., Juli 2023). Die Güte ist am höchsten, wenn die gesuchte Angabe „at the beginning or end of the input context“ steht; in der Mitte fällt sie deutlich ab.
Was daraus für Prompts folgt
Die Anweisung gehört ans Ende, direkt vor die Antwort. Langes Material steht davor. Was unbedingt beachtet werden soll, steht zusätzlich am Anfang. Diese Reihenfolge ist kein Stilmittel, sondern die Antwort auf eine gemessene Eigenschaft, und sie wirkt bei langen Eingaben deutlich.
Was daraus für RAG folgt
Dass die Reihenfolge der Fundstellen zählt. Die beste Stelle gehört nach vorn oder ganz nach hinten, und genau deshalb lohnt ein Reranker doppelt: Er sortiert nicht nur aus, er setzt das Wichtigste an die Stellen, an denen es wirkt. Wer zwanzig Fundstellen in zufälliger Reihenfolge übergibt, verschenkt einen Teil davon.
Warum größere Kontextfenster das nicht lösen
Weil die Eigenschaft von der Verteilung der Aufmerksamkeit herrührt und nicht von einer Obergrenze. Ein Modell mit einer Million Token Kontext kann mehr aufnehmen, verwertet aber weiterhin die Ränder besser als die Mitte. Mehr Platz ersetzt deshalb keine Auswahl, siehe Kontextlänge.