LLMOps bezeichnet den Betrieb von Anwendungen mit Sprachmodellen als eigene Disziplin: Abnahme, Einführung, Überwachung, Kostenkontrolle und Pflege über Modellwechsel hinweg. Der Name ist an den gängigen Begriff für den Betrieb von Software angelehnt.
- LLMOps
Der Betrieb von Anwendungen mit Sprachmodellen als eigene Disziplin, von der Abnahme bis zur Überwachung.
Beispiel: „Mit LLMOps dauerte der Wechsel auf den neuen Modellstand einen Vormittag statt einer Woche.“Was dazugehört: feste Abnahmefälle, Versionierung der Anweisungen, ein Zugang über eine Stelle, siehe LLM-Gateway, Mitschnitt im Betrieb und eine Kostenrechnung je Anwendungsfall.
Der Begriff ist Fachjargon und in Kundengesprächen entbehrlich. Gemeint ist, dass eine KI-Funktion Pflege braucht wie jede andere Software, nur an anderen Stellen.
Warum es anders ist als gewöhnlicher Betrieb
Weil sich die Grundlage ändert, ohne dass jemand etwas tut. Gewöhnliche Software bleibt gleich, bis sie geändert wird; eine KI-Funktion verändert ihr Verhalten, wenn der Anbieter einen Modellstand nachschiebt, und sie verliert Qualität, wenn sich die Welt um sie herum verschiebt, siehe Model Drift. Beides fällt ohne Messung nicht auf.
Was zuerst eingerichtet wird
Die Abnahmefälle. Zwanzig echte Eingaben mit erwarteten Antworten sind die Grundlage für alles Weitere: für den Modellwechsel, für die Prüfung einer geänderten Anweisung, für die Frage, ob eine Beschwerde ein Einzelfall ist. Ohne diese Liste bleibt jede Änderung eine Vermutung.
Was wir Kunden dazu empfehlen
Den Aufwand in den Wartungsvertrag, nicht in das Projekt. Eine KI-Funktion kostet nach dem Start weiter: zwei bis vier Stunden im Monat für Durchsicht, Messung und gelegentliche Nachschärfung, dazu ein halber Tag je Modellwechsel. Wer das nicht einplant, hat nach einem Jahr eine Funktion, die niemand mehr benutzt.
Wer das macht
Eine benannte Person, nicht das Team allgemein. Die Aufgaben sind klein und regelmäßig, und genau solche Aufgaben verschwinden ohne Zuständigkeit. In unseren Projekten ist es dieselbe Person, die die Abnahmefälle gepflegt hat; das ist der Teil, der Sachkenntnis braucht, und alles Weitere hängt daran.