Die Parameteranzahl nennt, aus wie vielen gelernten Gewichten ein KI-Modell besteht. Angegeben wird sie in Milliarden, erkennbar am Buchstaben B für billion: Ein Modell mit der Bezeichnung 8B trägt acht Milliarden solcher Zahlen, und in ihnen steckt alles, was es gelernt hat.
- Parameteranzahl
Die Zahl der gelernten Gewichte eines KI-Modells, meist in Milliarden angegeben.
Beispiel: „Die Parameteranzahl von 70 Milliarden erklärt, warum dieses Modell deutlich mehr Grafikspeicher braucht als die Variante mit 8 Milliarden.“Wie man sie liest: Die Zahl bestimmt grob den Speicherbedarf. Als Faustregel braucht ein Modell in halber Genauigkeit etwa zwei Gigabyte Speicher je Milliarde Parameter, also rund 16 Gigabyte bei 8B.
Abgrenzung zum Hyperparameter: Parameter lernt das Modell selbst, Hyperparameter setzt ein Mensch vor dem Training. Die Wörter ähneln sich, die Sachen haben nichts miteinander zu tun.
Was die Zahl aussagt
Eine Obergrenze dessen, was ein Modell behalten kann, und sonst wenig. Mehr Parameter bedeuten mehr Platz für Gelerntes, mehr Rechenaufwand je Anfrage und mehr Speicherbedarf. Über die Güte der Antworten sagen sie wenig: Ein kleineres Modell mit besseren Trainingsdaten schlägt ein größeres mit schlechteren regelmäßig.
Warum große Anbieter sie verschweigen
Weil sie zum Wettbewerbsgeheimnis geworden ist. Bei offenen Modellen steht die Zahl im Namen, weil man sie zum Betreiben braucht. Bei den großen geschlossenen Modellen nennt sie seit Jahren niemand mehr, und veröffentlichte Schätzungen sind genau das.
Wann sie wirklich zählt
Wenn man das Modell selbst betreiben will. Dann entscheidet die Parameteranzahl zusammen mit der Quantisierung darüber, ob es auf die vorhandene Hardware passt. Wer ein Modell über eine Schnittstelle einkauft, bezahlt nach Token und kann die Zahl getrost ignorieren.
Wie eng Parameterzahl und Speicherbedarf zusammenhängen, beschreibt die Dokumentation von Hugging Face zur Quantisierung: Der Platz je Gewicht hängt an der gewählten Zahlengenauigkeit, und ein Modell mit 8 Bit je Gewicht ist rund viermal kleiner als dasselbe mit 32 Bit. Die Parameteranzahl gibt also nur den einen Faktor der Rechnung vor.