Ein Einbettungsmodell übersetzt Texte, Bilder oder Tonaufnahmen in Zahlenfolgen, sodass sich Ähnlichkeit zwischen ihnen berechnen lässt. Es ist das Werkzeug, mit dem die Einträge einer Wissensbasis durchsuchbar gemacht werden.
- Einbettungsmodell (Embedding Model)
Ein Modell, das Texte oder Bilder in Zahlenfolgen übersetzt, damit sich Ähnlichkeit berechnen lässt.
Beispiel: „Das Einbettungsmodell wandelt jeden Abschnitt in eine Folge von 1024 Zahlen, und die Suche vergleicht nur noch diese.“Abgrenzung zum Embedding: Das ist das Ergebnis, also die einzelne Zahlenfolge. Das Einbettungsmodell ist das Werkzeug, das sie erzeugt.
Technisch sind es meist reine Encoder-Modelle, siehe Encoder-Decoder. Sie erzeugen keinen Text und sind deshalb viel kleiner und schneller als Sprachmodelle.
Worauf bei der Auswahl zu achten ist
Auf die Sprache zuerst. Ein Modell, das überwiegend auf englischem Material trainiert wurde, bildet deutsche Zusammensetzungen und Fachsprache schlechter ab, und das zeigt sich unmittelbar in den Suchergebnissen. Danach zählen die Länge der Abschnitte, die es verarbeiten kann, die Zahl der Dimensionen und der Preis je Million Token.
Warum ein Wechsel teuer ist
Weil die Zahlenfolgen verschiedener Modelle nicht vergleichbar sind. Wer das Einbettungsmodell tauscht, muss den gesamten Bestand neu durchrechnen. Bei zehntausend Abschnitten ist das eine Sache von Minuten und wenigen Euro, bei Millionen eine Planungsaufgabe. Deshalb lohnt der Vergleich vor der Entscheidung mehr als danach.
Wie man vergleicht
Mit dreißig echten Fragen aus dem eigenen Betrieb und der jeweils richtigen Antwortstelle daneben. Dann misst man, bei wie vielen Fragen die richtige Stelle unter den ersten fünf Treffern steht. Diese Zahl ist aussagekräftiger als jede Rangliste, weil sie den eigenen Bestand und die eigene Sprache einschließt. Der Aufwand dafür liegt bei einem halben Tag und entscheidet über eine Festlegung, die danach jahrelang trägt. Dieselben dreißig Fragen dienen später als Prüfsatz bei jeder Änderung am System. Damit ist der Vergleich beim nächsten Mal eine Sache von Minuten.