Multimodalität ist die Fähigkeit eines KI-Modells, mehrere Arten von Eingaben im selben Durchgang zu verarbeiten: Text und Bild, oft auch Ton und Video. Modalität meint dabei die Art des Materials, nicht sein Format.
- Multimodalität
Die Fähigkeit eines KI-Modells, mehrere Arten von Eingaben zu verarbeiten, etwa Text und Bild.
Beispiel: „Dank Multimodalität genügt der Screenshot des Fehlers, eine Beschreibung in Worten braucht es nicht.“Auch: multimodale KI. Gemeint ist dasselbe, der Ausdruck taucht vor allem in Produktankündigungen auf.
Wie es technisch geht: Bilder und Ton werden ebenfalls in Token zerlegt und laufen durch dasselbe Modell wie Text. Deshalb kostet ein Bild im Kontextfenster Platz, und zwar je nach Auflösung einiges.
Was heute geht
Eingabe und Ausgabe sind getrennt zu betrachten. Bei der Eingabe nehmen die verbreiteten Modelle Text und Bilder entgegen, viele auch Dokumente und Ton. Bei der Ausgabe erzeugen Sprachmodelle weiterhin Text; für Bilder tritt ein Diffusion Model daneben.
Die Modellübersicht von Anthropic führt für die gesamte aktuelle Reihe Text und Bild als Eingabe und Text als Ausgabe. Das ist heute der übliche Zuschnitt.
Was im Alltag davon ankommt
Vor allem der Wegfall des Abtippens. Einen Screenshot einer Fehlermeldung hinwerfen, ein abfotografiertes Formular auswerten lassen, aus einer Tabelle im Bild eine Liste machen: Das sind die Fälle, in denen Multimodalität sofort Zeit spart.
Woran man denken muss
An die Kosten und an die Genauigkeit. Ein hochaufgelöstes Bild verbraucht leicht so viele Token wie mehrere Seiten Text. Und was auf dem Bild klein ist, liest ein Modell so zuverlässig wie ein Mensch aus der Entfernung: Bei Zahlenkolonnen in Schrägaufnahmen lohnt die Nachprüfung.
Und an die Erwartung. Multimodal heißt nicht, dass ein Modell sieht wie ein Mensch. Es erkennt zuverlässig, was auf einem Bild zu sehen ist, und scheitert an Aufgaben, die räumliches Vorstellungsvermögen verlangen, etwa am Abzählen eng stehender Objekte oder am Vergleich zweier fast gleicher Darstellungen.
Für Dokumente lohnt der Umweg über den Text. Ein PDF, aus dem sich der Text sauber herauslösen lässt, wird als Text günstiger und genauer verarbeitet als als Bild. Der Bildweg bleibt für das, was wirklich nur als Bild vorliegt.