Die Batch Size ist die Zahl der Beispiele, die ein KI-Modell vor jeder Korrektur seiner Gewichte ansieht. Sie entscheidet mit darüber, wie viel Grafikspeicher ein Training braucht und wie ruhig es verläuft.
- Batch Size (Batchgröße)
Die Zahl der Beispiele, die ein KI-Modell vor jeder Korrektur seiner Gewichte ansieht.
Beispiel: „Eine Batch Size von 8 passte noch in den Speicher, 16 brach den Lauf ab.“Kleine Werte liefern unruhige, aber häufige Korrekturen und brauchen wenig Speicher. Große Werte liefern ruhige, seltene Korrekturen und brauchen viel.
Abgrenzung zur Epoche: Eine Epoche ist ein vollständiger Durchgang durch alle Daten und besteht aus vielen Stapeln.
Warum sie an der Hardware hängt
Weil der Speicher eines Grafikprozessors die Obergrenze setzt. Im Speicher liegen das Modell, die Zwischenergebnisse und die Daten des aktuellen Stapels; je größer der Stapel, desto mehr Zwischenergebnisse. Die häufigste Fehlermeldung beim ersten eigenen Training ist deshalb ein vollgelaufener Speicher, und die erste Maßnahme dagegen ist ein kleinerer Stapel.
Welcher Umweg hilft, wenn der Speicher nicht reicht
Das Aufsummieren über mehrere Stapel. Man rechnet vier kleine Stapel durch, sammelt die Korrekturen und wendet sie erst danach an. Das Ergebnis entspricht einem vierfach größeren Stapel, kostet nur Zeit statt Speicher, und es ist der Standardweg, um ein größeres Modell auf kleinerer Hardware anzupassen.
Wie sie mit der Schrittweite zusammenhängt
Sie zieht sie mit. Verdoppelt man den Stapel, sind die Korrekturen ruhiger, und die Schrittweite darf größer ausfallen; eine verbreitete Faustregel verdoppelt sie mit. Wer nur einen der beiden Werte ändert und sich dann über ein schlechteres Ergebnis wundert, hat meist diesen Zusammenhang übersehen.
Was bei sehr großen Stapeln passiert
Der Zugewinn hört auf. Ab einer Größe, die vom Modell und von den Daten abhängt, bringt eine Verdopplung keine bessere Richtung mehr, sondern nur doppelte Rechenzeit je Schritt. Diese Grenze zu kennen lohnt bei gemieteter Hardware unmittelbar: Darüber zahlt man für Genauigkeit, die nicht mehr entsteht.