Computer Use bezeichnet die Fähigkeit eines KI-Modells, einen Rechner so zu bedienen wie ein Mensch: Es sieht Bildschirmaufnahmen, bewegt den Mauszeiger, klickt und tippt. Damit lassen sich auch Anwendungen steuern, die keine Schnittstelle anbieten.
- Computer Use
Ein KI-Modell bedient einen Rechner über Bildschirmaufnahmen, Maus und Tastatur.
Beispiel: „Mit Computer Use trug das Modell die Daten in das alte Branchenprogramm ein, das keine Schnittstelle hat.“Technisch ist es ein Satz von Werkzeugen: Bildschirmaufnahme, Heranzoomen, Klicken, Ziehen, Tippen, Tastenkürzel, Scrollen, Warten. Ausgeführt werden sie in einer Umgebung, die der Betreiber stellt.
Abgrenzung zum Browser-Agenten: Der arbeitet im Browser und kann die Seitenstruktur lesen. Computer Use sieht nur Bildpunkte und ist dafür nicht auf den Browser beschränkt.
Die Dokumentation von Anthropic beschreibt den Zweck als „screenshot capabilities and mouse/keyboard control for autonomous desktop interaction“ und nennt die Risiken im selben Atemzug: „Computer use has unique risks distinct from standard API features. These risks are heightened when interacting with the internet.“
Was der Anbieter ausdrücklich empfiehlt
Eine eigene virtuelle Maschine mit knappen Rechten, keine Zugangsdaten in Reichweite, eine Freigabeliste erlaubter Adressen und eine menschliche Bestätigung bei Handlungen mit Folgen. Dazu der Hinweis, dass Anweisungen in Webseiten oder Bildern die eigenen überlagern können, siehe Prompt Injection.
Wo die Grenzen liegen
Bei der Zuverlässigkeit. Die Dokumentation hält fest, dass das Modell manchmal den Ausgang einer Handlung annimmt, ohne ihn zu prüfen, und empfiehlt eine Bildschirmaufnahme nach jedem Schritt. Dropdowns und Rollbalken bleiben schwierig. Für wiederkehrende Abläufe mit vielen Schritten ist eine richtige Schnittstelle deshalb weiterhin die bessere Wahl; Computer Use ist das Mittel für Systeme, die keine haben. Genau dort liegt sein Wert im Mittelstand: bei Branchensoftware aus den 2000er Jahren, bei Portalen ohne Schnittstelle und bei allem, was sonst von Hand abgetippt wird. Vor dem Einsatz lohnt dennoch die Frage, ob es die Schnittstelle vielleicht doch gibt: Viele Systeme haben eine, die im Handbuch nicht auftaucht.