Mixture of Experts, kurz MoE, ist ein Aufbau für neuronale Netze, bei dem je Token nur ein kleiner Teil des Netzes rechnet. Statt einer großen Schicht liegen mehrere gleich gebaute Teilnetze nebeneinander, und ein Wegweiser entscheidet für jedes Token, welche davon zuständig sind.
- Mixture of Experts (MoE)
Ein Modellaufbau, bei dem je Token nur ein kleiner Teil des Netzes rechnet.
Beispiel: „Beim Mixture of Experts stehen 47 Milliarden Parameter bereit, rechnen tun je Token nur 13 Milliarden.“Die Teilnetze heißen Experten, was mehr verspricht, als der Aufbau hält: Sie bekommen kein Fachgebiet zugewiesen, sondern bilden sich im Training von selbst heraus. Welcher Experte wofür zuständig ist, lässt sich hinterher kaum in Worte fassen.
Der Wegweiser heißt Router und wird mittrainiert. Er entscheidet je Token und je Schicht, und damit kann ein einzelner Satz viele verschiedene Experten durchlaufen.
Die anschaulichsten Zahlen stehen in „Mixtral of Experts“ (Jiang u. a., Januar 2024): „each layer is composed of 8 feedforward blocks (i.e. experts)“, davon wählt der Router zwei aus, und damit hat jedes Token „access to 47B parameters, but only uses 13B active parameters during inference“.
Was der Aufbau spart
Rechenzeit und Geld bei der Benutzung. Ein Modell mit viel Wissen lässt sich betreiben, ohne bei jeder Anfrage das ganze Netz zu bewegen, und das senkt die Kosten je Antwort deutlich. Nicht gespart wird Arbeitsspeicher: Alle Experten müssen geladen sein, weil vorher nicht feststeht, welche gebraucht werden.
Warum Parameterzahlen dadurch zweideutig werden
Weil es zwei Zahlen gibt. Die Gesamtzahl der Parameter beschreibt, wie viel Speicher das Modell braucht; die Zahl der aktiven Parameter beschreibt, wie viel je Token gerechnet wird. Eine Angabe wie „47 Milliarden Parameter“ ohne den Zusatz ist deshalb unvollständig, und Vergleiche zwischen einem MoE-Modell und einem dichten Modell derselben Gesamtzahl gehen regelmäßig schief, siehe Parameteranzahl.
Woran man es im Betrieb merkt
Am Verhältnis von Preis und Fähigkeit. Modelle, die für ihre Größe auffällig günstig arbeiten, sind häufig so gebaut. Für die Nutzung ändert sich dadurch nichts: Der Aufbau liegt im Modell und ist von außen nicht zu steuern. Wichtig wird er erst beim Selbstbetreiben, weil dort der Speicherbedarf der Gesamtzahl folgt und nicht der aktiven Zahl.