Model Collapse bezeichnet den Qualitätsverfall von KI-Modellen, die über mehrere Generationen auf maschinell erzeugten Daten trainieren. Zuerst verschwinden die seltenen Fälle, dann verengt sich die Vielfalt der Ausgaben, und zurück führt kein Weg.
- Model Collapse (Modellkollaps)
Der Qualitätsverfall von KI-Modellen, die über Generationen auf maschinell erzeugten Daten trainieren.
Beispiel: „Nach fünf Generationen ohne frische Daten zeigte das Modell einen deutlichen Model Collapse.“Der Ablauf: Ein Modell gibt die Mitte seiner Verteilung häufiger aus als die Ränder. Trainiert das nächste Modell auf diesen Ausgaben, kennt es die Ränder noch schwächer, und mit jeder Runde schrumpft die Vielfalt weiter.
Betroffen sind nicht nur Sprachmodelle. Der Effekt zeigt sich auch bei Bildmodellen und bei einfachen statistischen Modellen.
Beschrieben haben ihn Ilia Shumailov und Mitautoren 2024 in Nature. Der Kernsatz der Arbeit lautet, dass die unterschiedslose Verwendung modellgenerierter Inhalte im Training zu nicht behebbaren Schäden am entstehenden Modell führt.
Warum das Thema praktisch geworden ist
Weil immer mehr Text im Netz maschinell entsteht. Wer heute einen Trainingsbestand aus dem offenen Netz sammelt, zieht damit zwangsläufig Ausgaben anderer Modelle mit ein, und niemand kann sagen, welcher Anteil das ist. Die Arbeit folgert daraus, dass Daten aus echter menschlicher Interaktion an Wert gewinnen, und genau das ist seit 2024 in den Lizenzverhandlungen der Anbieter zu beobachten.
Was die Arbeit nicht zeigt
Dass erzeugte Trainingsdaten grundsätzlich schaden. Untersucht wurde der Fall ohne Gegenmaßnahmen, also ein Training allein auf den Ausgaben der Vorgänger. Mischt man frische echte Daten dazu, hält der Verfall an; genau deshalb sind synthetische Trainingsdaten heute Normalfall und nicht Tabu. Wer die Arbeit als Beweis gegen sie zitiert, gibt sie falsch wieder.
Was daraus für eigene Inhalte folgt
Dass eigenes Material wertvoller wird, nicht billiger. Ein Blog mit eigenen Zahlen, eigenen Fällen und eigener Einordnung ist etwas, das aus keinem Modell fällt. Wer seine Seite mit maschinell erzeugtem Füllmaterial bestückt, liefert dagegen genau den Stoff, dessen Wiederverwendung diesen Verfall auslöst.