Computer Use.
Computer Use bezeichnet die Fähigkeit eines KI-Modells, einen Computer wie ein Mensch zu bedienen: Es sieht Bildschirmfotos, bewegt den Mauszeiger, klickt, tippt und wechselt zwischen Programmen. So kann ein KI-Agent auch Software nutzen, die keine Schnittstelle hat, etwa eine alte Branchenlösung oder ein Webportal.
Computer Use — ausführlich erklärt
Anthropic stellte Computer Use im Oktober 2024 als öffentliche Beta für Claude vor (Anthropic, «Introducing computer use», 22. Oktober 2024); inzwischen bieten weitere Hersteller vergleichbare Funktionen an, OpenAI zum Beispiel laut eigener Mitteilung mit GPT-6.1 Terra seit dem 26. Oktober 2026 (OpenAI Newsroom, abgerufen 11.11.2026). Das Prinzip ist bei allen ähnlich: Das Modell erhält ein Bildschirmfoto, erkennt Knöpfe, Felder und Texte, entscheidet über den nächsten Schritt und gibt einen Befehl wie «klicke hier» oder «tippe diesen Text». Danach folgt das nächste Bildschirmfoto. So arbeitet sich der Agent Schritt für Schritt durch eine Aufgabe.
Der grosse Vorteil: Computer Use braucht keine Schnittstelle. Viele KMU arbeiten mit Software, die keine API hat oder deren Anbindung teuer wäre. Ein Agent kann dort Daten abtippen, Berichte herunterladen oder Formulare ausfüllen. Der Nachteil: Der Weg über die Oberfläche ist langsamer, teurer und fehleranfälliger als eine direkte Verbindung. Ein geänderter Knopf, ein Pop-up oder eine langsame Seite kann den Ablauf stören. Wo eine Schnittstelle oder ein MCP-Connector existiert, ist dieser Weg fast immer die bessere Wahl.
Ähnlich wirkt die klassische Robotic Process Automation. Auch RPA bedient Oberflächen, folgt aber fest programmierten Schritten und bricht ab, wenn etwas anders aussieht als erwartet. Computer Use entscheidet dagegen anhand dessen, was es sieht, und kommt mit wechselnden Situationen besser zurecht, ist dafür aber weniger vorhersehbar. Eng verwandt sind KI-Browser, die dasselbe Prinzip auf Websites anwenden. Die Abwägung zwischen RPA, KI-Agent und Schnittstelle beschreibt der Artikel RPA oder KI-Agent?.
Ein Agent mit Zugriff auf Maus und Tastatur kann alles, was der angemeldete Benutzer kann. Daraus folgen klare Regeln: in einer abgeschotteten Umgebung arbeiten, etwa einer virtuellen Maschine, nur mit einem eigenen Benutzerkonto mit minimalen Rechten, ohne Zugang zu E-Mail oder Zahlungen, sofern nicht nötig. Inhalte auf Websites oder in Dokumenten können versteckte Anweisungen enthalten, siehe Prompt Injection. Heikle Schritte brauchen deshalb Guardrails und eine Freigabe durch Menschen.
Wann Computer Use sinnvoll ist
Computer Use lohnt sich als Brücke: für Programme ohne Schnittstelle, für seltene Aufgaben, bei denen sich eine feste Anbindung nicht rechnet, und für Abläufe, die heute jemand von Hand von einem Fenster ins andere überträgt. Weniger geeignet ist es für Aufgaben mit hohem Volumen, für Zahlungen und für alles, was sekundenschnell und fehlerfrei laufen muss. Dort ist eine direkte Verbindung über eine Schnittstelle stabiler und günstiger.
Welcher Weg für Ihre Abläufe passt, klären wir bei der KI-Automatisierung für KMU. Agenten mit abgesicherten Rechten und Protokoll entstehen bei KI-Agent entwickeln lassen. Was Websites für Besuche durch Agenten vorbereiten sollten, steht im Artikel KI-Browser und Browser-Agenten.
Beispiel: Ein Transportunternehmen überträgt Aufträge aus einem Kundenportal
Ein konstruiertes Beispiel: Ein Transportunternehmen im Thurgau erhält Aufträge eines Grosskunden nur über dessen Webportal, ohne Export und ohne Schnittstelle. Bisher tippt jemand jeden Morgen die neuen Aufträge in die eigene Dispositionssoftware ab. Ein Agent mit Computer Use übernimmt das: Er meldet sich mit einem eigenen Lesekonto im Portal an, liest die neuen Aufträge und legt sie in der Disposition als Entwurf an.
Die Leitplanken: Der Agent läuft in einer eigenen virtuellen Maschine, darf im Portal nur lesen und in der Disposition nur Entwürfe anlegen. Unklare Aufträge markiert er zur Prüfung. Die Disponentin kontrolliert und gibt frei. Parallel fragt das Unternehmen beim Kunden nach einer Schnittstelle, denn sobald es eine gibt, ist die direkte Verbindung die robustere Lösung.
Weiterführende Seite
KI-Automatisierung für KMUHäufige Fragen zu Computer Use
RPA folgt fest programmierten Klickfolgen und bricht ab, wenn die Oberfläche anders aussieht. Computer Use entscheidet anhand von Bildschirmfotos selbst über den nächsten Schritt und kommt mit Änderungen besser zurecht, ist aber langsamer und weniger vorhersehbar.
Nur mit klaren Grenzen. Der Agent sollte in einer abgeschotteten Umgebung mit eigenem Konto und minimalen Rechten arbeiten. Inhalte auf Websites können versteckte Anweisungen enthalten, deshalb brauchen heikle Schritte eine Freigabe durch Menschen.
Fast immer, wenn es eine gibt. Eine direkte Verbindung über eine API oder einen Connector ist schneller, günstiger und zuverlässiger. Computer Use ist die Brücke für Software ohne Schnittstelle.
Weitere Begriffe mit „C“
CLS (Cumulative Layout Shift)
CLS ist eine der drei Core Web Vitals von Google und misst die visuelle Stabilität einer Seite. Er q...
CMS (Content Management System)
Ein CMS (Content Management System, deutsch Redaktionssystem) ist eine Software, mit der Sie Texte, ...
CDN (Content Delivery Network)
Ein CDN (Content Delivery Network) ist ein Netz verteilter Server, das Dateien einer Website wie Bil...
Bereit für Ihr Projekt?
Wenden Sie dieses Wissen auf Ihre Website an — DLM Digital hilft Ihnen dabei.
Computer Use in der Praxis
Wie der Begriff im Alltag von Schweizer KMU auftaucht — vertieft in Artikeln aus dem DLM Magazin.