Skalierungsgesetze beschreiben den beobachteten Zusammenhang zwischen der Größe eines Modells, der Menge seiner Trainingsdaten, dem Rechenaufwand und der erreichten Güte. Sie sind keine Naturgesetze, sondern empirische Kurven, und sie haben die Entwicklung der letzten Jahre bestimmt.
- Skalierungsgesetze (Scaling Laws)
Der beobachtete Zusammenhang zwischen Modellgröße, Datenmenge, Rechenaufwand und Güte.
Beispiel: „Die Skalierungsgesetze sagten voraus, wie gut ein Modell werden würde, bevor es trainiert war.“Die Kernaussage der ersten Arbeit: Der Fehler sinkt als Potenzfunktion mit Modellgröße, Datenmenge und Rechenaufwand. Das heißt auch: Es gibt keinen plötzlichen Sprung, sondern eine gleichmäßige Verbesserung, die immer teurer wird.
Die zweite wichtige Erkenntnis kam zwei Jahre später und korrigierte die Verhältnisse: Größe und Datenmenge sollen gleichmäßig wachsen.
Die Urarbeit ist „Scaling Laws for Neural Language Models“ (Kaplan u. a., Januar 2020) mit dem Befund: „The loss scales as a power-law with model size, dataset size, and the amount of compute used for training.“
Die Korrektur brachte „Training Compute-Optimal Large Language Models“ (Hoffmann u. a., März 2022): „the model size and the number of training tokens should be scaled equally“. Belegt wurde das mit Chinchilla, 70 Milliarden Parameter auf der vierfachen Datenmenge, das ein Modell mit 280 Milliarden Parametern bei gleichem Rechenbudget übertraf.
Was daraus für die Gegenwart folgt
Dass Modellgröße allein nichts aussagt. Ein kleineres, gut mit Daten versorgtes Modell schlägt ein größeres, unterfüttertes, und genau das erklärt, warum die leistungsfähigsten Modelle nicht die größten sind. Für die Auswahl heißt das: Die Parameteranzahl taugt nicht als Maß für Leistung.
Wo die Kurven an Grenzen stoßen
Bei den Daten und beim Strom. Brauchbarer Text im Netz ist endlich, und die Rechenzentren stoßen an Grenzen der Energieversorgung. Deshalb verschiebt sich die Arbeit seit einiger Zeit von größeren Modellen zu besseren Verfahren: mehr Rechenzeit bei der Antwort statt beim Training, sparsamere Bauformen und kleinere Modelle, die aus größeren lernen.