BERT ist ein Sprachmodell, das Google 2018 veröffentlicht hat. Die Abkürzung steht für Bidirectional Encoder Representations from Transformers, auf Deutsch etwa beidseitige Kodierer-Darstellungen aus Transformer-Bausteinen: Das Modell liest einen Satz in beide Richtungen und bildet daraus für jedes Wort eine Darstellung, die den Zusammenhang einschließt. Es war der Durchbruch für das Verstehen von Sprache im Zusammenhang und kam ab 2019 in der Suche zum Einsatz.
- BERT
Bidirectional Encoder Representations from Transformers: das Sprachmodell von Google aus dem Jahr 2018, das die Sprachverarbeitung in der Suche verändert hat.
Beispiel: „Seit BERT versteht die Suche, dass ein Wort je nach Satz etwas anderes bedeutet.“Die Besonderheit war, den Satz in beide Richtungen zu lesen. Vorherige Modelle lasen von links nach rechts; dieses berücksichtigt für jedes Wort das, was davor und danach steht.
Was die vier Teile des Namens sagen: beidseitig, weil der Satz in beide Richtungen gelesen wird; Kodierer, weil das Modell Text in Zahlen umsetzt statt Text zu erzeugen; Darstellungen, weil für jedes Wort eine solche Zahlenreihe entsteht; Transformer, weil es auf dieser Bauart beruht.
Was es verändert hat
Das Gewicht der kleinen Wörter. Vor diesem Modell verwarfen Suchmaschinen Präpositionen und Füllwörter weitgehend; danach entschieden sie über die Bedeutung einer Anfrage mit. Die Umstellung war der erste große Schritt von der Wortsuche zur Bedeutungssuche, siehe NLP in der Suche.
Warum es bis heute im Einsatz ist
Weil es klein, schnell und ausreichend ist. Für Einordnung, Erkennung benannter Dinge und Ähnlichkeitsvergleiche braucht es keine großen Sprachmodelle; ein Modell dieser Art läuft auf gewöhnlicher Hardware und kostet im Betrieb fast nichts. In Anwendungen steckt es deshalb häufiger, als man denkt.
Was es für Inhalte bedeutet
Dass natürlich formulierte Texte besser abschneiden als auf Stichwörter getrimmte. Was ein Modell mit Zusammenhang liest, muss zusammenhängend geschrieben sein; Aufzählungen von Suchbegriffen wirken dagegen seit dieser Umstellung nicht mehr.
Wo man ihm in Projekten begegnet
In Bibliotheken für Textverarbeitung. Einordnung von Anfragen, Erkennung benannter Dinge, Ähnlichkeitsvergleiche: Dafür laufen Modelle dieser Art im Hintergrund, meist ohne dass jemand den Namen nennt.