Ein Vision-Language Model ist ein Modell, das Bilder und Text gemeinsam verarbeitet: Es nimmt ein Bild und eine Frage dazu und antwortet in Sprache. Es ist die Bauform hinter allem, was im Alltag als Bildverständnis auftritt.
- Vision-Language Model (VLM)
Ein Modell, das Bilder und Text gemeinsam verarbeitet und über Bilder sprechen kann.
Beispiel: „Das Vision-Language Model beschrieb den Screenshot und benannte die Schaltfläche, die nicht funktionierte.“Wie es gebaut ist: Ein Bildteil wandelt das Bild in dieselbe Art Zahlenreihen um, mit denen das Sprachmodell arbeitet. Danach ist das Bild für das Modell eine Folge von Einheiten wie Text.
Abgrenzung zur Bilderzeugung: Das läuft in die andere Richtung, siehe Text-to-Image. Ein VLM liest Bilder, es malt keine.
Wofür es im Weballtag taugt
Für Arbeit an Bildbeständen und für Fehlersuche. Alt-Texte für zehntausend Bilder vorschlagen, Produktfotos auf Mängel prüfen, einen Screenshot mit einer Fehlermeldung einordnen, eine Tabelle aus einem abfotografierten Dokument herausholen: Das sind die Fälle, in denen diese Modelle im Projektalltag Zeit sparen.
Wo es verlässlich scheitert
Beim Zählen und beim Genauen. Die Zahl der Gegenstände auf einem Bild, Positionsangaben, kleine Schrift, Uhrzeiten auf Zifferblättern und Werte auf Diagrammachsen kommen häufig falsch heraus, und das ohne Zögern. Für alles, was abgelesen und weiterverwendet werden soll, braucht es deshalb eine Kontrolle.
Was bei der Barrierefreiheit zu beachten ist
Dass ein Vorschlag kein Alt-Text ist. Ein Modell beschreibt, was zu sehen ist; ein guter Alt-Text sagt, was das Bild an dieser Stelle leisten soll, und das hängt am Zusammenhang der Seite. Als Entwurf für hundert Bilder ist der Vorschlag Gold wert, als Endergebnis taugt er nicht.
Was man vor dem Einsatz klären sollte
Wohin die Bilder gehen. Screenshots aus Anwendungen und Fotos aus Betrieben enthalten regelmäßig Kundendaten, Namen und Beträge, und ein Bild ist schwerer zu prüfen als ein Text. Für Bestände mit personenbezogenem Inhalt gilt dasselbe wie für Dokumente: Vertrag prüfen, Trainingsnutzung ausschließen, Zweck festhalten.