Ein Modell-Endpunkt ist die Adresse, über die eine Anwendung ein KI-Modell anspricht. Hinter der Adresse steht ein laufendes Modell, das Anfragen entgegennimmt und Antworten zurückgibt.
- Modell-Endpunkt (Endpoint)
Die Adresse, über die eine Anwendung ein KI-Modell anspricht.
Beispiel: „Der Modell-Endpunkt zeigt auf die europäische Region, und das steht im Vertrag.“Was dabei festgelegt wird: welches Modell antwortet, in welcher Version, in welcher Region es läuft, welche Zugangsdaten gelten und welche Grenzen für die Zahl der Anfragen bestehen.
Zwei Formen sind üblich. Ein geteilter Endpunkt bedient viele Kunden zugleich und wird nach Verbrauch abgerechnet. Ein zugewiesener Endpunkt steht einem Kunden allein zur Verfügung und wird nach Zeit abgerechnet.
Worauf zu achten ist
Auf die Version. Ein Endpunkt, der auf eine bewegliche Bezeichnung zeigt, liefert nach einer Modellaktualisierung andere Antworten, ohne dass jemand etwas geändert hat. Für alles, was geprüft und abgenommen wurde, gehört eine feste Version in die Anwendung, und der Wechsel wird bewusst vollzogen, mit erneuter Messung.
Was die Region entscheidet
Antwortzeit und Rechtslage. Ein Endpunkt in Europa antwortet schneller und erspart die Prüfung des Drittlandtransfers. Zu klären ist, ob die Zusage auch bei Überlastung gilt, denn manche Dienste weichen dann auf andere Regionen aus.
Was die Abrechnung bestimmt
Bei geteilten Endpunkten die Zahl der verarbeiteten Token, bei zugewiesenen die Laufzeit. Der Umschlagpunkt liegt dort, wo die Auslastung hoch genug ist; darunter ist der geteilte günstiger, darüber der zugewiesene. Gerechnet wird das mit den eigenen Zahlen und nicht mit Beispielrechnungen des Anbieters.
Was man einplanen sollte
Den Ausfall. Ein Endpunkt ist eine fremde Abhängigkeit, und sie fällt gelegentlich aus. Üblich und sinnvoll sind ein zweiter Endpunkt bei einem anderen Anbieter als Ausweichweg, eine Begrenzung der Wiederholungsversuche und eine Antwort für den Fall, dass gar nichts geht. Letzteres wird am häufigsten vergessen und fällt im Störungsfall am stärksten auf. Eine Anwendung, die ohne Modell eine verständliche Meldung zeigt und die Eingabe nicht verliert, wirkt im Zweifel zuverlässiger als eine, die einfach stehen bleibt.