Ein LLM-Gateway ist eine Zwischenschicht, über die alle Anfragen einer Organisation an Sprachmodelle laufen. Die Anwendungen sprechen mit dem Gateway, und das Gateway spricht mit den Anbietern.
- LLM-Gateway
Eine Zwischenschicht, über die alle Anfragen einer Organisation an Sprachmodelle laufen.
Beispiel: „Nach der Einführung des LLM-Gateways lagen die Kosten je Abteilung erstmals auf einer Seite.“Was dort zusammenkommt: die Zugangsschlüssel, die Protokollierung, die Kostenzählung, Obergrenzen je Anwendung, der Wechsel zwischen Anbietern und die Filter für Ein- und Ausgabe.
Gebräuchlich ist auch die Bezeichnung AI Gateway. Gemeint ist dasselbe.
Was es leistet
Es macht eine verteilte Nutzung beherrschbar. Ohne Gateway liegen Schlüssel in jeder Anwendung, die Kosten erscheinen in fünf Abrechnungen, und niemand weiß, welche Daten wohin gehen. Mit Gateway steht an einer Stelle, wer was benutzt, und ein Anbieterwechsel ist eine Änderung an einer Konfiguration statt an acht Programmen.
Was es für den Datenschutz bedeutet
Es ist die Stelle, an der sich eine Regel überhaupt durchsetzen lässt. Personenbezogene Angaben entfernen, bestimmte Anbieter für bestimmte Daten ausschließen, Aufbewahrungsfristen erzwingen: Das geht zentral, siehe Datenschutz bei KI-Tools. Verteilt über viele Anwendungen bleibt dieselbe Regel eine Absichtserklärung.
Wo die Grenzen liegen
Es ist ein weiterer Dienst, der ausfallen kann, und es sieht nur, was durch es hindurchgeht. Mitarbeiter, die nebenher einen Dienst im Browser benutzen, erscheinen dort nicht, und ein Gateway, das Antworten zwischenspeichert, wird selbst zum Ort mit vertraulichen Daten. Für kleine Teams mit einem Anbieter ist der Aufwand zu hoch; ab mehreren Anwendungen und zwei Anbietern lohnt er sich.
Was es nicht ersetzt
Die Vorsicht in der Anwendung selbst. Ein Gateway sieht Anfragen und Antworten, nicht aber den Zusammenhang: Es kann nicht wissen, ob ein Inhalt aus einer vertrauenswürdigen Quelle kam oder welche Rechte der Nutzer hat. Prüfungen, die diesen Zusammenhang brauchen, bleiben in der Anwendung, und das Gateway nimmt ihr nur das Wiederholbare ab.