Compute bezeichnet die Menge an Rechenarbeit, die für das Training oder den Betrieb eines KI-Modells aufgewendet wird. Das englische Wort hat sich auch im Deutschen eingebürgert; die deutsche Entsprechung lautet Rechenleistung.
- Compute (KI)
Die Menge an Rechenarbeit, die für Training oder Betrieb eines KI-Modells aufgewendet wird.
Beispiel: „Das Compute für das Training lag im Bereich von zehn hoch fünfundzwanzig Rechenschritten.“Gemessen wird in Gleitkommaoperationen, abgekürzt FLOP. Für große Modelle werden die Zahlen unanschaulich, und deshalb rechnet man eher in Karten mal Stunden: zehntausend Grafikkarten über acht Wochen.
Zu unterscheiden sind zwei Arten. Trainingsrechenleistung fällt einmal an und ist gewaltig. Betriebsrechenleistung fällt bei jeder Anfrage an und ist winzig, summiert sich aber über Millionen von Anfragen.
Warum sie alles bestimmt
Weil die Güte eines Modells mit ihr zusammenhängt, und zwar vorhersagbar, siehe Skalierungsgesetze. Wer mehr Compute einsetzen kann, bekommt ein besseres Modell, solange Daten und Verfahren mithalten. Das macht sie zur eigentlichen Eintrittsschranke und erklärt, warum Grundmodelle von wenigen Unternehmen kommen.
Woran man die Größenordnung erkennt
An zwei Zahlen in Modellankündigungen: der Zahl der eingesetzten Prozessoren und der Dauer des Laufs. Zehntausend Karten über acht Wochen sind eine andere Liga als tausend über eine Woche, und dieser Abstand erklärt Unterschiede zwischen Anbietern besser als jede Benchmarktabelle. Veröffentlicht werden beide Zahlen allerdings immer seltener.
Wie sich das Verhältnis verschoben hat
Zugunsten der Betriebsseite. Modelle, die bei der Antwort nachdenken, verbrauchen je Anfrage ein Vielfaches dessen, was frühere Modelle brauchten, und bei verbreiteten Diensten übersteigt der Betrieb inzwischen das Training. Das ist der Grund, warum Anbieter an sparsameren Bauformen arbeiten, siehe Mixture of Experts.
Was das für Anwender heißt
Dass Compute eine Ware mit Preis ist und keine unbegrenzte Ressource. Wer sie verbraucht, bezahlt sie, und zwar je Anfrage. Daraus folgt die wichtigste Gewohnheit im Betrieb: Nicht die beste Antwort anstreben, sondern die ausreichende, und für jede Aufgabe das kleinste Modell wählen, das sie löst, siehe Modellrouting.