GuíaAvanzado

Agentes de Computer Use y de Navegador

Muchos sistemas de los que depende un negocio no tienen API: el portal de un proveedor, un sistema interno viejo, una aplicación de escritorio que nadie se atreve a tocar. Para que un agente trabaje ahí tiene que hacer lo que hace una persona: mirar la pantalla, mover el mouse, escribir y comprobar que pasó lo que esperaba. Esta guía te enseña a construir ese agente de punta a punta: el bucle que observa, actúa y verifica con capturas; el driver que convierte cada acción del modelo en clics reales con Playwright o con xdotool; el escalado de coordenadas que evita clics en el lugar equivocado; el modo por referencias a elementos que gasta menos que las capturas; el contenedor con escritorio virtual donde el agente no puede tocar nada que no deba; y las defensas contra el texto de la pantalla que intenta darle órdenes al agente, con confirmación humana antes de cualquier acción irreversible. Lo aprendes con **Halcyon Parts**, una distribuidora ficticia de refacciones. Cada mañana alguien copia a mano el estado de los pedidos abiertos desde el portal de su proveedor Kestrel Bearings, que no tiene API, hacia el escritorio de reorden de Halcyon, y pide un reorden a otro proveedor para lo que está agotado. Tu agente hace ese trabajo en un Chromium real dentro de Docker: acepta el banner de cookies, pagina, espera a que cargue la fecha de entrega, captura en el formulario, descubre que el botón de guardar tarda en activarse, pide permiso antes de enviar una orden de compra y, en el escenario con trampa, ignora una nota del proveedor que le pide abrir otra página y pedir 500 piezas. También opera una aplicación de escritorio en un servidor X virtual. Todo el código corre en tu laptop sin llave de API ni cuentas: los sitios son locales, el navegador y el escritorio viven en contenedores sin red, y el modelo es un piloto simulado con reglas fijas que responde con la misma forma que la Messages API de Claude y que comete, cuando se lo pides, los errores que documentan los proveedores: dar por hecho un paso sin mirarlo, usar referencias vencidas, obedecer instrucciones escritas en la página. Ves los mismos números que la guía. Un modo `--live` opcional usa la API real. Cada pieza se conecta con las herramientas de computer use de Anthropic, OpenAI y Google tal como las documentan a octubre de 2026.