Chat Jimmy ist die öffentliche Demonstration von Taalas: ein Chat, in dem ein fest in Silizium geätztes Modell antwortet. Gezeigt wird darin die Zeit, die eine Antwort braucht; der Chat blendet sie zu jeder Antwort ein.
- Chat Jimmy
Die öffentliche Demonstration von Taalas, in der ein geätztes Modell antwortet.
Beispiel: „In Chat Jimmy steht unter jeder Antwort, wie lange ihre Erzeugung gedauert hat.“Zugrunde liegt ein offenes Modell mittlerer Größe aus der Llama-Reihe von Meta, umgesetzt als Hardcore Model.
Neben dem Chat steht eine Schnittstelle, über die sich dasselbe Modell programmatisch ansprechen lässt.
Wozu Chat Jimmy da ist
Als Beleg. Ein Ansatz, der Modelle in Hardware gießt, lässt sich schwer erklären und leicht vorführen; der sichtbare Unterschied ist, dass eine Antwort erscheint, bevor man mit dem Lesen der Frage fertig ist.
Deshalb steht die Zeitangabe im Vordergrund und nicht der Inhalt. Für die Qualität der Antworten gilt, was für das zugrunde liegende offene Modell ohnehin gilt.
Was Chat Jimmy nicht zeigt
Wie sich der Ansatz unter Last verhält, wie er mit größeren Modellen umgeht und was er im Dauerbetrieb kostet. Eine Vorführung mit einem Nutzer und einem Modell ist nicht dasselbe wie ein Rechenzentrum.
Ebenso wenig zeigt sie, was ein Modellwechsel bedeutet. Genau das ist bei geätzten Modellen die eigentliche Frage.
Was Chat Jimmy über den Markt sagt
Dass die Aufmerksamkeit sich vom Training zum Betrieb verschiebt. Ein Chat, der mit der Antwortzeit wirbt, richtet sich an Leute, die Modelle betreiben statt sie zu bauen.
Darin liegt auch der Grund für die Form der Demonstration: Qualitätsunterschiede zwischen Modellen sind schwer zu zeigen, ein Unterschied in der Geschwindigkeit ist es nicht.