Die Gewichte eines KI-Modells sind die Zahlen an den Verbindungen seines neuronalen Netzes. In ihnen steckt alles, was das Modell gelernt hat; der Aufbau des Netzes legt nur fest, wie die Zahlen angeordnet sind.
- Gewichte (Modell)
Die Zahlen an den Verbindungen eines neuronalen Netzes, in denen das Gelernte steckt.
Beispiel: „Die Gewichte des Modells belegen 140 Gigabyte, und ohne sie ist der Aufbau wertlos.“Wie sie entstehen: Zu Beginn stehen zufällige Werte. Beim Training werden sie Schritt für Schritt so verschoben, dass die Ausgaben besser zu den Beispielen passen, siehe Backpropagation.
Wie viele es sind, sagt die Parameteranzahl. Parameter ist dabei der Oberbegriff; er umfasst neben den Gewichten auch die Schwellenwerte der einzelnen Einheiten.
Warum sie das ganze Modell ausmachen
Weil der Aufbau öffentlich bekannt ist und die Gewichte es nicht sind. Wie ein Transformer gebaut ist, steht in einer Arbeit von 2017 und lässt sich an einem Nachmittag nachprogrammieren. Was ein bestimmtes Modell kann, steckt allein in den Zahlen, die aus Monaten Rechenzeit und einem bestimmten Trainingsbestand hervorgegangen sind. Deshalb heißt es Open-Weight-Modell und nicht offene Architektur, wenn ein Anbieter etwas freigibt.
Warum man sie nicht lesen kann
Weil eine einzelne Zahl nichts bedeutet. Wissen liegt in einem solchen Netz über Millionen Werte verteilt, und kein Gewicht lässt sich einer Tatsache oder einer Regel zuordnen. Genau daran arbeitet die Interpretierbarkeitsforschung, und genau deshalb ist ein Modell für die Prüfung schwerer zugänglich als ein Programm, siehe Black Box.
Was mit ihnen praktisch geschieht
Drei Dinge. Sie werden gröber gespeichert, damit das Modell auf kleinere Geräte passt, siehe Quantisierung. Sie werden nachjustiert, damit ein Modell eine Aufgabe besser erfüllt, siehe Fine-Tuning. Und sie werden teilweise eingefroren, wobei nur eine kleine Zusatzschicht lernt; das ist der Kern des Verfahrens LoRA. Für den Betrieb heißt das: Die Größe der Gewichtsdatei entscheidet, welche Hardware nötig ist, und sie ist die erste Zahl, die bei einem eigenen Betrieb zählt.