Modellrouting ist das Verteilen von Anfragen auf verschiedene Modelle, je nach Schwierigkeit der Aufgabe. Einfache Anfragen gehen an ein kleines, schnelles Modell, schwierige an ein großes, und die Entscheidung darüber trifft das System selbst.
- Modellrouting (Model Routing)
Das Verteilen von Anfragen auf verschiedene Modelle je nach Schwierigkeit der Aufgabe.
Beispiel: „Durch Modellrouting gehen vier von fünf Anfragen an das kleine Modell, und die Rechnung sank auf ein Drittel.“Wie entschieden wird: über feste Regeln nach Aufgabentyp, über ein kleines Modell, das die Schwierigkeit einschätzt, oder über eine Eskalation, bei der zuerst das kleine Modell antwortet und bei Unsicherheit das große übernimmt.
Verwandt ist die Steuerung des Denkaufwands innerhalb eines Modells, siehe Reasoning Effort. Beides lässt sich kombinieren.
Was es spart
Zwischen dem kleinsten und dem größten Modell einer Familie liegt oft ein Preisfaktor von vierzig oder mehr. Wenn vier von fünf Anfragen einfach sind, und das ist in Diensten mit vielen Nutzern der Normalfall, sinken die Kosten deutlich, ohne dass die schwierigen Fälle schlechter beantwortet werden.
Woran es scheitert
An der Einschätzung der Schwierigkeit. Eine kurze Frage kann schwer sein, eine lange einfach, und ein Einteiler, der nach Länge geht, liegt regelmäßig daneben. Die Eskalation ist deshalb der verlässlichere Weg: Das kleine Modell antwortet, und bei schlechter Selbsteinschätzung oder fehlgeschlagener Prüfung übernimmt das große. Das kostet in diesen Fällen doppelt und bleibt in der Summe trotzdem günstiger.
Was zu beachten ist
Dass die Antworten unterschiedlich klingen. Zwei Modelle derselben Familie formulieren verschieden, und in einem laufenden Gespräch fällt der Wechsel auf. Wo der Ton zählt, lohnt die Einteilung nach Aufgabe und nicht nach Anfrage: Zusammenfassungen immer klein, Beratung immer groß. Und die Entscheidung gehört protokolliert, sonst ist später nicht nachvollziehbar, welches Modell eine Antwort erzeugt hat. Bei einer Beschwerde ist das die erste Frage, und ohne Protokoll bleibt sie unbeantwortet.