Ein selbst gehostetes Modell läuft im eigenen Rechenzentrum oder auf eigener Hardware statt bei einem Anbieter. Möglich ist das nur mit Modellen, deren Gewichte frei verfügbar sind, siehe Open-Weight-Modelle.
- Selbst gehostetes Modell (Self-Hosted Model)
Ein KI-Modell, das im eigenen Rechenzentrum oder auf eigener Hardware läuft.
Beispiel: „Das selbst gehostete Modell beantwortet die Anfragen, ohne dass Daten das Haus verlassen.“Was dafür nötig ist: Grafikkarten mit genug Speicher, eine Software, die das Modell bedient, eine Verteilung der Anfragen und jemand, der all das betreibt und aktuell hält.
Der Mittelweg heißt dedizierter Betrieb: Ein Anbieter betreibt das Modell ausschließlich für einen Kunden, oft in einer Umgebung nach dessen Vorgaben. Das löst die meisten Datenschutzfragen ohne den Betriebsaufwand.
Wann es sich lohnt
In drei Fällen. Wenn Daten das Haus nicht verlassen dürfen, etwa in der Medizin oder bei Verschlusssachen. Wenn die Menge so groß ist, dass der Preis je Anfrage den Betrieb überholt; die Schwelle liegt grob bei dauerhafter Auslastung einer Karte. Und wenn Unabhängigkeit von einem Anbieter als Ziel gesetzt ist.
Was unterschätzt wird
Der Betrieb und das Tempo. Ein eigenes Modell veraltet, und das Nachziehen ist jedes Mal Arbeit: neue Gewichte, neue Software, neue Messungen. Dazu kommt die Auslastung: Eine Grafikkarte kostet rund um die Uhr, auch nachts und am Wochenende, während bei einem Anbieter nur die tatsächlichen Anfragen zählen. Wer selten anfragt, zahlt selbst gehostet deutlich mehr. Die Rechnung lohnt sich deshalb mit echten Zahlen: Anfragen je Tag, Verteilung über den Tag, erwartete Spitzen.
Was in der Praxis der richtige Zuschnitt ist
Ein kleines Modell für die Masse und ein großes über eine Schnittstelle für die schwierigen Fälle. Die meisten Aufgaben, die Datenschutz verlangen, sind einfach: einsortieren, auslesen, zusammenfassen. Dafür genügt ein Modell, das auf einer einzelnen Karte läuft und im Dauerbetrieb wenige hundert Euro im Monat kostet, siehe Small Language Model.