Model Drift bezeichnet den Qualitätsverlust eines KI-Modells, der entsteht, weil sich die Wirklichkeit seit dem Training verändert hat. Das Modell bleibt dabei unverändert; schlechter wird es nur im Verhältnis zu den Daten, die jetzt ankommen.
- Model Drift (Modell-Drift)
Der Qualitätsverlust eines KI-Modells, weil sich die Wirklichkeit seit dem Training verändert hat.
Beispiel: „Nach dem Sortimentswechsel setzte Model Drift ein, und die Produktzuordnung lag plötzlich bei 70 Prozent.“Zwei Formen werden unterschieden. Ändern sich die eingehenden Daten, spricht man von Data Drift; ändert sich der Zusammenhang zwischen Eingabe und richtiger Antwort, von Concept Drift.
Beispiele für Auslöser: neue Produkte, neue Rechtslage, geänderte Formulare, ein neuer Jargon bei den Nutzern, eine veränderte Jahreszeit.
Woran man es merkt
An der Messung, nicht am Gefühl. Wer einmal einen Testsatz mit bekannten richtigen Antworten angelegt hat, lässt ihn regelmäßig laufen und sieht die Quote sinken. Ohne diese Messung fällt der Verfall erst auf, wenn sich Kunden beschweren, und dann ist unklar, wann er angefangen hat.
Was dagegen hilft
Nachtrainieren mit frischen Daten, in festen Abständen oder sobald die Messung unter eine vereinbarte Grenze fällt. Wichtig ist, dass die neuen Daten wirklich neu sind: Ein Nachtraining mit denselben alten Beispielen ändert nichts. Bei Modellen, die über eine Schnittstelle zugekauft werden, fällt diese Aufgabe beim Anbieter an, und man merkt die Pflege nur daran, dass sich Antworten nach einer Aktualisierung anders verhalten.
Warum es im Webgeschäft zählt
Weil jede eingebaute Modellfunktion ein Haltbarkeitsdatum hat. Eine Produktsuche, eine Kategorisierung von Anfragen, eine Textvorschlagsfunktion: Alles das wird im ersten Monat gelobt und im zwölften stillschweigend umgangen, wenn niemand nachmisst. Das gehört in die Wartungsvereinbarung und nicht in die Hoffnung.
Was in die Wartungsvereinbarung gehört
Vier Angaben: in welchem Abstand gemessen wird, an welchem Testsatz, unter welchem Wert nachtrainiert wird und wer das macht. Ohne diese vier bleibt die Pflege eine Absicht, und erfahrungsgemäß fällt sie als erstes weg, sobald das Projekt abgenommen und das Team mit dem nächsten beschäftigt ist.