Large Language Models sind Sprachmodelle mit sehr vielen Parametern, die auf großen Textmengen trainiert wurden. Ihre einzige Grundaufgabe ist eine Vorhersage: Welches Token folgt als nächstes?
- Large Language Models
Sprachmodelle mit sehr vielen Parametern, die das nächste Token vorhersagen.
Beispiel: „Large Language Models beantworten eine Frage, indem sie Token für Token die wahrscheinliche Fortsetzung erzeugen.“Auch: LLM, großes Sprachmodell. Das „groß“ meint die Zahl der Parameter, nicht den Umfang des Wissens.
Abgrenzung zur Suchmaschine: Eine Suchmaschine findet vorhandene Texte und verweist darauf. Ein Sprachmodell erzeugt neuen Text und hat die Quelle nicht vorliegen, sofern sie ihm nicht eigens mitgegeben wird.
Abgrenzung zum kleinen Sprachmodell: Dieselbe Bauart, weniger Parameter. Kleine Modelle laufen auf dem eigenen Gerät, antworten schneller und kosten weniger, können dafür weniger.
Was sie tatsächlich tun
Die Dokumentation von Anthropic beschreibt sie in ihrem Glossar als Modelle mit vielen Parametern, die auf großen Textmengen trainiert sind und Text erzeugen, Fragen beantworten und zusammenfassen können. Der Mechanismus dahinter bleibt in allen Fällen derselbe: die Fortsetzung vorhersagen.
Daraus folgt beides, die Stärke und die Schwäche. Möglich wird sie durch die Transformer-Architektur. Weil Sprache so viel Struktur trägt, entsteht aus der bloßen Fortsetzung etwas, das wie Verstehen aussieht. Und weil nur die Fortsetzung berechnet wird, entsteht sie auch dann, wenn es nichts zu wissen gibt.
Woher das Wissen kommt
Aus den Trainingsdaten, und dort endet es auch. Jedes Modell hat einen Wissensstand, nach dem nichts mehr eingeflossen ist. Was danach geschah, kennt es nur, wenn es ihm im Prompt mitgegeben oder über eine Suche nachgeschlagen wird.
Das Wissen liegt dabei in den Gewichten des neuronalen Netzes; als Text ist es nirgends gespeichert. Zitieren kann ein Modell deshalb nicht. Es kann höchstens nennen, was in den Trainingsdaten häufig zusammen auftrat, und genau hier entstehen erfundene Belege.
Wofür sie taugen
Für Sprache: umformulieren, zusammenfassen, übersetzen, Struktur in unstrukturierten Text bringen, Entwürfe erzeugen. Überall dort ist die Vorhersage genau die richtige Fähigkeit.
Aus unserer Arbeit an über 2.500 Website-Projekten ist die Trennlinie brauchbar: Wo es auf Formulierung ankommt, sind sie stark; wo es auf eine einzige richtige Zahl ankommt, braucht es eine Quelle daneben. Ein Modell, das die Öffnungszeiten erfindet, folgt damit genau seiner Bauart.