Probar un sitio a mano no escala: cada deploy obliga a recorrer lo mismo y los errores visuales pasan igual. Los agentes con computer-use (navegan un navegador real como un usuario) agregan una capa nueva de QA: recorridos de verdad sobre tu sitio, con criterio para reportar lo que ven. Esta guía dice qué automatizar, qué no y cómo no ahogarte en falsos positivos.
Qué automatizar primero
Cinco pruebas de humo cubren el 80% del riesgo visible: carga la home sin errores, login funciona, el flujo principal completa (compra, registro, reserva), el formulario de contacto envía y confirma, y las páginas críticas se ven bien en móvil. Cortas, estables, críticas. Si alguna falla, algo importante se rompió.
Qué no automatizar con agentes
Assertions exactas sobre datos (eso es testing clásico determinista), flujos con pagos reales sin sandbox, captchas y protecciones anti-bot (el agente no debe evadirlas) y contenido que cambia a cada minuto (el agente reportará "cambios" que son normalidad). La regla: el agente verifica comportamiento visible; los números exactos los verifican tests exactos.
Cómo escribir la prueba para que no falle sola
Describe el recorrido por intención, no por píxeles: "inicia sesión con el usuario de prueba y verifica que ve su panel", no "clic en x=412,y=208". Define qué cuenta como éxito con evidencia (captura + texto visible esperado) y qué hacer ante lo inesperado (reintentar una vez, después reportar). Las pruebas frágiles casi siempre nacen de instrucciones frágiles.
Clasifica cada fallo en tres
Bug real del sitio: se corrige en el código. Prueba frágil: selectores, tiempos o datos de prueba; se ajusta la prueba. Límite del agente: no pudo con un captcha, un 3D Secure o un flujo deliberadamente complejo; se documenta y se cubre de otra forma. Sin esta clasificación, el equipo deja de creerle al QA automático en un mes.
El flujo semanal que rinde
Corre humo en cada deploy, recorridos completos una vez por semana y revisión humana de los reportes con la clasificación de arriba. Mide falsos positivos por semana: si suben, recorta alcance antes de agregar pruebas. Un QA automático con cinco pruebas confiables vale más que uno con cincuenta que nadie mira.
Si tu equipo además construye con IA, la guía de Codex y Claude para proyectos pequeños pone el mismo criterio del lado del código: alcance corto, contexto explícito y prueba con criterio.