Hyperparameter sind Einstellungen, die vor dem Training eines KI-Modells von Hand gesetzt werden. Sie steuern, wie gelernt wird, und werden selbst nicht gelernt. Das unterscheidet sie von den Parametern, die das maschinelle Lernen aus den Daten ableitet.
- Hyperparameter
Einstellungen, die vor dem Training eines KI-Modells von Hand gesetzt werden und nicht gelernt sind.
Beispiel: „Mit der halbierten Lernrate als Hyperparameter wurde das Training stabiler und dauerte doppelt so lang.“Die wichtigsten: die Lernrate, also wie stark ein Gewicht je Schritt verschoben wird; die Stapelgröße, also wie viele Beispiele auf einmal verrechnet werden; und die Zahl der Durchläufe über die Daten.
Abgrenzung zum Parameter: Parameter lernt das Modell, Hyperparameter setzt ein Mensch. Die Zahl der Parameter steht in der Parameteranzahl, die Hyperparameter stehen in der Trainingskonfiguration.
Warum ihre Wahl so mühsam ist
Weil sie sich nicht ausrechnen lässt. Es gibt keine Formel, die aus einem Datensatz die richtige Lernrate ableitet; man probiert, misst und probiert erneut. Bei großen Modellen kostet jeder Versuch Rechenzeit in erheblicher Höhe, weshalb die Wahl zu einem eigenen Fachgebiet geworden ist.
Woran man eine schlechte Wahl merkt
An zwei gegenläufigen Bildern. Ist die Lernrate zu hoch, springt der Fehlerwert und das Modell findet keine stabile Lösung. Ist sie zu niedrig, sinkt der Fehler quälend langsam und das Training endet, bevor es irgendwo angekommen ist.
Wo sie einem im Alltag begegnen
Beim Fine-Tuning, und sonst kaum. Wer ein fertiges Modell über eine Schnittstelle benutzt, bekommt Hyperparameter nie zu Gesicht; dort heißen die Stellschrauben Temperature und Effort und wirken zur Laufzeit. Wer dagegen ein eigenes Training anstößt, trifft die Wahl spätestens bei der Lernrate.
Die Begriffe dazu sammelt das Machine Learning Glossary von Google. Dort steht auch die Größe, an der sich alles entscheidet: die Epoche als ein vollständiger Durchlauf über sämtliche Trainingsdaten, bei dem jedes Beispiel einmal verarbeitet wurde.
Beim Weitertrainieren eines fertigen Modells sind die Vorgaben eng. Die Anbieter geben nur wenige Stellschrauben frei, und das ist kein Mangel: Die Voreinstellungen sind auf den üblichen Fall abgestimmt und selten der Grund, wenn ein Ergebnis enttäuscht.