Mixtral ist eine Modellreihe von Mistral AI, die nach dem Prinzip der Fachteile aufgebaut ist: Das Modell enthält mehrere Teilnetze, und für jede Anfrage werden nur einige davon benutzt.
- Mixtral
Die Modellreihe von Mistral AI, die mehrere Fachteile enthält und je Anfrage nur einen Teil davon benutzt.
Beispiel: „Mixtral brachte die Leistung eines großen Modells bei der Rechenlast eines kleineren.“Das Prinzip heißt Mixture of Experts. Der Name Mixtral setzt es mit dem Namen des Hauses zusammen.
Ein Teil der Reihe steht unter offenen Gewichten und lässt sich herunterladen und selbst betreiben.
Was der Aufbau praktisch bringt
Mehr Leistung bei gleicher Rechenzeit je Anfrage. Weil nur ein Teil des Modells arbeitet, ist der Aufwand je Antwort niedriger, als die Gesamtgröße vermuten lässt. Der Speicherbedarf bleibt dagegen hoch, denn alle Teile müssen geladen sein.
Was das für den eigenen Betrieb heißt
Eine Abwägung zwischen Grafikspeicher und Tempo. Solche Modelle brauchen viel Speicher und arbeiten darin schnell; wer knapp bei Speicher ist, fährt mit einem kleineren dichten Modell besser. Diese Rechnung gehört vor den Kauf von Hardware, nicht danach.
Warum die Reihe in Projekten vorkommt
Weil sie den Betrieb im eigenen Haus zu vertretbarem Aufwand ermöglicht. Für Betriebe mit der Vorgabe, dass Daten das Haus nicht verlassen, ist das der entscheidende Punkt, und die Qualität reicht für umgrenzte Aufgaben aus.
Woran man den Aufbau im Betrieb merkt
Am Speicherbedarf. Ein solches Modell belegt den Speicher einer großen Ausführung und rechnet mit dem Tempo einer kleineren; wer Hardware danach auswählt, schaut auf die Gesamtgröße und nicht auf die aktive.