Ein Small Language Model ist ein Sprachmodell, das klein genug ist, um auf gewöhnlicher Hardware zu laufen: auf einer einzelnen Grafikkarte, auf einem Laptop oder auf einem Telefon. Eine feste Grenze gibt es nicht; üblich ist der Bereich bis etwa zehn Milliarden Parameter.
- Small Language Model (SLM)
Ein Sprachmodell, das klein genug ist, um auf gewöhnlicher Hardware zu laufen.
Beispiel: „Das Small Language Model sortiert die Anfragen auf dem eigenen Server, und nur die schwierigen gehen nach außen.“Woher die Leistung kommt: aus besseren Trainingsdaten und aus dem Lernen von größeren Modellen, siehe Distillation. Ein kleines Modell von heute kann mehr als ein großes von vor zwei Jahren.
Kleiner wird es zusätzlich durch gröbere Speicherung der Gewichte, siehe Quantisierung.
Was es kann und was nicht
Es kann alles, was eine klare Aufgabe mit begrenztem Zusammenhang ist: einsortieren, auslesen, umformulieren, zusammenfassen, Stimmung bestimmen, Daten aus Text ziehen. Es kann nicht, was langes Überlegen, breites Weltwissen oder das Verbinden vieler Stellen verlangt. Die Grenze verläuft entlang der Frage, ob die Aufgabe Urteil braucht oder Handwerk ist.
Wofür es die bessere Wahl ist
Für die Masse der Anfragen in einem Dienst. Wenn vier von fünf Anfragen einfach sind, erledigt sie ein kleines Modell zu einem Bruchteil des Preises und in einem Bruchteil der Zeit. Die übrigen gehen an ein großes, siehe Modellrouting. Dieser Zuschnitt ist die wirksamste einzelne Maßnahme gegen hohe Betriebskosten.
Was beim Einsatz zu beachten ist
Dass die Prüfung mit dem eigenen Material stattfindet. Ranglisten vergleichen kleine Modelle an allgemeinen Aufgaben; ob eines die eigene Einsortierung beherrscht, zeigt sich erst an dreißig echten Fällen. Dieser Vergleich dauert eine Stunde und entscheidet über eine Festlegung, die danach dauerhaft Kosten spart. Zu beachten ist dabei die Sprache: Viele kleine Modelle sind überwiegend an englischem Material trainiert und fallen im Deutschen stärker ab als die großen.