MoE ist die Abkürzung für eine Architektur, in der je Token nur ein Teil des Modells rechnet. Der Gewinn ist handfest: Ein Modell kann sehr viele Parameter haben und bleibt im Betrieb bezahlbar, weil nie alle gleichzeitig arbeiten. Fast alle großen Modelle nutzen das heute.
Siehe: Mixture of Experts (MoE)