Ein Agenten-Benchmark ist eine Aufgabensammlung, an der KI-Agenten gemessen werden, und zwar an erledigten Aufgaben statt an einzelnen Antworten. Gezählt wird, wie viele Aufträge am Ende tatsächlich funktionieren.
- Agenten-Benchmark
Eine Aufgabensammlung, an der KI-Agenten an erledigten Aufgaben gemessen werden statt an Antworten.
Beispiel: „Im Agenten-Benchmark löste das Modell 62 von 100 Aufgaben, bei denen Tests über Erfolg entschieden.“Der Unterschied zum LLM-Benchmark: Dort gibt es Fragen mit richtigen Antworten. Hier gibt es Aufgaben mit einem prüfbaren Ergebnis, etwa durchlaufenden Tests.
Bekannte Sammlungen bestehen aus echten Fehlerberichten aus offenen Projekten samt den Tests, die hinterher durchlaufen müssen.
Was er besser zeigt als ein Wissenstest
Die Fähigkeit, eine Aufgabe zu Ende zu bringen. Ein Modell kann jede Einzelfrage richtig beantworten und an einem Auftrag über zwanzig Schritte scheitern, weil es den Zusammenhang verliert, in Schleifen läuft oder zu früh aufhört. Genau das entscheidet im Betrieb, und genau das steht in keinem Wissenstest.
Was er nicht zeigt
Kosten, Dauer und Weg. Ein Ergebnis von 62 Prozent sagt nichts darüber, ob der Agent dafür drei Schritte oder achtzig gebraucht hat, siehe Trajectory. Außerdem bestehen diese Sammlungen aus öffentlichem Material, das in den Trainingsdaten stehen kann; eine hohe Quote ist deshalb nicht in jedem Fall erarbeitet.
Was daraus für die eigene Auswahl folgt
Eine eigene kleine Sammlung. Zwanzig echte Aufgaben aus dem eigenen Projekt, mit festgelegtem Erfolgskriterium, sagen über die Eignung mehr als jede veröffentlichte Rangliste. Diese Sammlung einmal anzulegen kostet einen Tag und beantwortet jede künftige Frage nach einem neuen Modell in zwei Stunden, siehe Evaluation.
Wie man die eigene Sammlung baut
Aus echten Aufträgen der letzten Monate. Zwanzig Tickets, die tatsächlich bearbeitet wurden, mit dem damaligen Ergebnis als Maßstab: Das ist in zwei Stunden zusammengestellt und sagt mehr als jede Rangliste. Die Sammlung bleibt im Haus, denn sobald sie öffentlich ist, kann sie in Trainingsdaten geraten und verliert ihren Wert.