Computer use é a capacidade de um modelo de IA controlar a interface gráfica do computador como humano faria — ver a tela, mover o mouse, clicar, digitar texto, navegar entre apps. Anthropic lançou Claude Computer Use em outubro de 2024, OpenAI lançou Operator em 2025, abrindo nova era de automação desktop/browser.
Como funciona:
- Sistema captura screenshots periódicos da tela.
- Modelo "vê" via visão computacional.
- Modelo decide próxima ação: "clicar no botão azul no canto superior direito" ou "digitar 'olá' no campo X".
- Sistema executa ação via API de OS (PyAutoGUI, AppleScript, similar).
- Captura nova tela e repete.
Diferença de browser automation tradicional:
- Browser automation (Playwright/Puppeteer): controla browser via DOM. Rápido, robusto para web.
- Computer use: controla qualquer aplicativo (desktop, browser, terminal). Mais lento, mas universal.
Produtos em 2026:
- Claude Computer Use (Anthropic): API beta, controla qualquer app.
- OpenAI Operator: foco em web, usuário paga e libera.
- Apple Intelligence + Siri: controle limitado integrado.
- Microsoft Copilot Vision: vê tela e ajuda.
- Google Project Mariner: controla browser.
- Open source: Browser Use, Skyvern, AutoGUI.
Casos de uso:
- Apps legados sem API: ERPs antigos, sistemas internos sem integração.
- Demos e onboarding: agente "ensina" como usar app navegando ele.
- Testes E2E: QA automatizado com IA.
- Tarefas administrativas: agente preenche planilhas, atualiza CRMs, navega portais governamentais.
- Automação para usuários comuns: assistente que faz tarefas no seu computador.
Vantagens:
- Universalidade: funciona com qualquer app (desktop, web, mobile via emulador).
- Acessibilidade: para usuários não-técnicos, é a primeira "automação real".
- Sem integração necessária: contorna falta de API.
Desvantagens:
- Lentidão: 5-30 segundos por step (vs milissegundos para API).
- Custo: visão custa mais que texto, cada step é caro.
- Frágil: mudanças visuais quebram. App muda design = agente quebra.
- Erros visuais: modelo pode "ver" elemento errado.
- Segurança: agente com poder total no computador é grande risco.
Cuidados de segurança:
- Sandbox: rode em VM isolada, não no seu computador principal.
- Permissões mínimas: agente só com acesso ao necessário.
- Confirmação humana: ações destrutivas (deletar arquivo, enviar dinheiro) sempre confirmadas.
- Logs detalhados: tudo registrado para auditoria.
- Kill switch: forma rápida de parar agente.
Para o profissional brasileiro:
- Empresas com sistemas legados (governo, jurídico, contábil): computer use viabiliza automação que era impossível.
- Tasks repetitivas que não cabem em RPA tradicional: IA generaliza melhor que UiPath/Automation Anywhere.
- Cuidado: muitos sites detectam e bloqueiam automation. Use com responsabilidade.
Em 2026, computer use está na fronteira da prática. Funciona, mas com supervisão. Daqui 2-3 anos, espera-se que vire ferramenta cotidiana — assistente que "usa o computador para você" enquanto você faz outra coisa. É o caminho para automatizar de fato o trabalho de escritório.