Ein LLM-Benchmark ist eine öffentliche Aufgabensammlung, an der Sprachmodelle verglichen werden. Alle Modelle bekommen dieselben Aufgaben, das Ergebnis wird als Prozentwert angegeben, und daraus entstehen die Tabellen in Modellankündigungen.
- LLM-Benchmark
Eine öffentliche Aufgabensammlung, an der Sprachmodelle verglichen werden.
Beispiel: „Der LLM-Benchmark sagt wenig über unseren Anwendungsfall, weil darin keine deutschen Rechnungen vorkommen.“Bekannte Beispiele: MMLU für Wissen über 57 Fachgebiete, GSM8K für Rechenaufgaben, HumanEval für kurze Programmieraufgaben, SWE-bench für echte Programmfehler aus öffentlichen Projekten.
Abgrenzung zur Evaluation: Der Benchmark ist für alle gleich und deshalb zum Vergleich gedacht. Die Evaluation prüft das eigene System an den eigenen Fällen.
Wie schnell solche Zahlen altern, zeigt SWE-bench (Jimenez u. a., Oktober 2023): 2.294 echte Aufgaben aus zwölf Python-Projekten, und das beste Modell zum Zeitpunkt der Arbeit löste 1,96 Prozent davon. Dieselbe Aufgabensammlung liegt heute um Größenordnungen höher.
Was Benchmarks nicht messen
Die eigene Aufgabe. Ein Modell kann 57 Fachgebiete beherrschen und an einer Lieferantenrechnung im deutschen Format scheitern, weil genau das nicht vorkam. Dazu kommt die Verunreinigung: Sobald eine Aufgabensammlung öffentlich ist, landet sie in Trainingsdaten, und das Ergebnis misst dann teils Erinnerung und nicht Fähigkeit. Deshalb entstehen laufend neue Sammlungen, und deshalb geben Anbieter inzwischen zusätzlich Ergebnisse auf abgeschirmten Testsätzen an.
Die älteste der genannten Sammlungen, MMLU (Hendrycks u. a., September 2020), umfasst 57 Aufgabenfelder von Grundschulmathematik bis Jura. Zum Zeitpunkt der Arbeit lagen die besten Modelle in allen 57 Feldern unter Expertenniveau.
Wofür sie trotzdem gut sind
Für die grobe Einordnung einer Modellgeneration. Wenn ein neues Modell über mehrere unabhängige Sammlungen hinweg deutlich vorn liegt, bedeutet das etwas. Brauchbar sind Benchmarks außerdem als Ausschlusskriterium: Ein Modell, das an Programmieraufgaben scheitert, wird im eigenen Programmierablauf nicht überzeugen.
Wie man eine Benchmarkzahl liest
Mit drei Fragen. Von wann ist sie? Wer hat gemessen, der Anbieter selbst oder eine dritte Stelle? Und welche Einstellungen galten, etwa wie viel Denkaufwand erlaubt war? Ohne diese drei Angaben ist ein Prozentwert eine Werbeaussage. Dazu kommt die Frage nach dem Abstand: Zwei Modelle, die sich um einen Prozentpunkt unterscheiden, sind für die Praxis gleich gut, und die Reihenfolge in der Tabelle kehrt sich beim nächsten Durchlauf womöglich um.