Modellinferenz ist die Form, die den Unterschied zum Programm betont. Für die Rechnung zählt daran, dass sie in zwei Teile zerfällt: das Lesen des Prompts, das sich parallel rechnen lässt, und das Erzeugen der Antwort Token für Token. Der zweite Teil bestimmt die Wartezeit.
Siehe: Inferenz