Trainingskosten sind der einmalige Aufwand, ein KI-Modell von Grund auf zu trainieren. Sie fallen vor der ersten Benutzung an und bestehen aus Rechenleistung, Strom, Daten und der Arbeit der Beteiligten.
- Trainingskosten
Der einmalige Aufwand, ein KI-Modell von Grund auf zu trainieren.
Beispiel: „Die Trainingskosten großer Modelle liegen im hohen zweistelligen bis dreistelligen Millionenbereich.“Woraus sie bestehen: der Rechenaufwand über Wochen auf zehntausenden Prozessoren, die Beschaffung und Aufbereitung der Trainingsdaten, die misslungenen Vorversuche und die Arbeit der Fachleute. Der Rechenaufwand ist der größte, aber nicht der einzige Posten.
Zu unterscheiden vom Nachtrainieren: Ein vorhandenes Modell für eine Aufgabe anzupassen kostet einen Bruchteil, siehe Fine-Tuning.
Warum die Zahlen schwer zu vergleichen sind
Weil unterschiedlich gerechnet wird. Manche Angaben nennen nur den Strom für den finalen Trainingslauf, andere schließen die Vorversuche ein, wieder andere die Anschaffung der Hardware. Eine Zahl ohne Angabe, was darin steckt, taugt zum Staunen und nicht zum Vergleich. Verlässlicher sind Angaben in Rechenschritten, weil sie unabhängig vom Strompreis und von der Hardwaregeneration sind; sie stehen allerdings seltener in Pressemitteilungen. Für unsere Texte gilt deshalb: Trainingskosten nur mit Quelle, Datum und dem Hinweis nennen, was eingerechnet ist.
Warum sie selten jemanden betreffen
Weil fast niemand ein Grundmodell trainiert. Für Unternehmen zählt der Betrieb, und der folgt einer völlig anderen Rechnung, siehe Inferenzkosten. Die Trainingskosten sind dennoch der Grund für die Marktstruktur: Sie erklären, warum es wenige Anbieter von Grundmodellen gibt und viele Anbieter von Anwendungen darauf.
Wohin sich die Kosten verschieben
Zu den Daten und zur Nachbearbeitung. Der reine Rechenaufwand je Leistungseinheit sinkt mit jeder Hardwaregeneration, während brauchbare Trainingsdaten knapper und teurer werden. Dazu kommen die Stufen nach dem Vortraining, also Instruktionstraining und Ausrichtung, die menschliche Arbeit in erheblichem Umfang brauchen. Für die Einordnung von Ankündigungen heißt das: Ein Modell, das bei gleicher Größe deutlich besser antwortet, verdankt das meist den Daten und der Nachbearbeitung und nicht mehr Rechenleistung.