Chunking ist das Zerlegen langer Dokumente in Abschnitte, damit ein KI-System sie einzeln finden und verarbeiten kann. Jeder Abschnitt bekommt sein eigenes Embedding und wird für sich gefunden. Die Zerlegung entscheidet damit darüber, was ein Assistent später überhaupt finden kann.
- Chunking
Das Zerlegen langer Dokumente in Abschnitte, die ein KI-System einzeln finden und verarbeiten kann.
Beispiel: „Beim Chunking wurde das Handbuch in 340 Abschnitte zu je rund 300 Token geteilt.“Drei Stellschrauben: die Größe eines Abschnitts, die Stelle, an der geschnitten wird, und die Überlappung zum nächsten. Alle drei wirken auf die Trefferqualität, und keine lässt sich allgemein richtig einstellen.
Üblicher Zuschnitt: nicht mehr als ein paar hundert Token je Abschnitt. Geschnitten wird möglichst an inhaltlichen Grenzen, also an Überschriften oder Absätzen, und nicht mitten im Satz.
Chunking in der Wahrnehmungspsychologie: das Bündeln einzelner Angaben zu größeren Einheiten, damit das Arbeitsgedächtnis sie behalten kann.
Beispiel: „Eine Telefonnummer in Dreiergruppen ist Chunking: Aus elf Ziffern werden vier Einheiten.“Chunking in der Gestaltung von Inhalten: das Gliedern eines Textes in kurze, überschriebene Abschnitte, damit er sich überfliegen lässt.
Beispiel: „Nach dem Chunking trug jeder Abschnitt eine eigene Zwischenüberschrift und beantwortete eine Frage.“
Warum Abschnitte ihren Kontext verlieren
Weil der Satz, der sie einordnet, oft woanders steht.
Anthropic führt im Beitrag Introducing Contextual Retrieval vom 19. September 2024 ein Beispiel an, das das Problem auf den Punkt bringt: Ein Abschnitt nennt eine Umsatzsteigerung von 3 %, sagt aber für sich genommen weder, um welches Unternehmen es geht, noch um welchen Zeitraum. Wer nach dem Umsatz einer bestimmten Firma sucht, findet diesen Abschnitt deshalb nicht.
Was dagegen hilft
Jedem Abschnitt den fehlenden Zusammenhang mitgeben, bevor er abgelegt wird: den Titel des Dokuments, die Überschrift darüber, den Zeitraum. Abgelegt werden die Abschnitte danach in einer Vektordatenbank. Dieselbe Quelle beziffert, was das bringt: Die Fehlerquote bei den zwanzig besten Treffern sank von 5,7 auf 3,7 Prozent, zusammen mit einer Stichwortsuche auf 2,9 Prozent und mit zusätzlicher Nachsortierung auf 1,9 Prozent.
Woher der Begriff stammt
Aus der Gedächtnisforschung. George A. Miller beschrieb 1956 in der Arbeit „The Magical Number Seven, Plus or Minus Two“, dass die Grenze des unmittelbaren Behaltens an der Zahl der Einheiten hängt und nicht an der Menge der Information darin. Diese Einheiten nannte er Chunks, und wer mehrere Angaben zu einer Einheit bündelt, verschiebt damit die Grenze. Der Begriff ist rund siebzig Jahre älter als seine Verwendung in KI-Systemen. Die Zahl sieben hat Miller selbst mit einem Augenzwinkern gewählt; neuere Arbeiten halten etwa vier für die bessere Schätzung, und am Prinzip ändert das nichts.
Wo er außerhalb der KI vorkommt
In der Gestaltung von Oberflächen und Texten. Ein Formular in Abschnitten mit je drei bis fünf Feldern wird eher ausgefüllt als eines mit zwanzig Feldern am Stück. Eine Telefonnummer in Gruppen wird eher richtig abgeschrieben. Ein Ratgeber mit Zwischenüberschriften alle paar Absätze wird eher zu Ende gelesen. In allen drei Fällen ist das Prinzip dasselbe, und es beruht auf derselben Beobachtung von 1956.
Bemerkenswert ist, dass beide Verwendungen am Ende dieselbe Arbeit verlangen. Ein Text, der für Leser gut gegliedert ist, lässt sich auch für ein KI-System sauber zerlegen: Die Überschriften markieren die Grenzen, und jeder Abschnitt trägt seinen Zusammenhang selbst. Wer das eine tut, bekommt das andere dazu.
Woran man eine schlechte Zerlegung merkt
An Treffern, die fast passen. Wenn die Suche beständig den Abschnitt davor oder danach liefert, sind die Schnitte an der falschen Stelle. Wenn sie lange, allgemeine Abschnitte liefert, in denen die Antwort irgendwo steckt, sind die Abschnitte zu groß.
Eine Überlappung von zehn bis zwanzig Prozent fängt die häufigsten Fälle ab, weil ein Satz dann in zwei Abschnitten steht und an beiden Stellen gefunden werden kann. Sie vergrößert den Bestand entsprechend, was bei einigen tausend Abschnitten niemanden stört.