GuíaAvanzado

Agentes de Voz y Tiempo Real

Un chat espera a que termines de escribir. Una llamada no espera a nadie: el audio llega en tramos de 20 milisegundos, la persona hace pausas a media frase, interrumpe al agente cuando ya entendió, tose, dice "ajá" mientras el agente habla y cuelga si hay un segundo de silencio de más. Esta guía te enseña a construir lo que hace que un agente de voz funcione en ese mundo: el **streaming bidireccional** de audio y eventos, la **detección de turnos**, las **interrupciones** (barge-in) con la conversación recortada a lo que el usuario de verdad oyó, la **latencia de punta a punta** medida tramo por tramo, las **herramientas** que se ejecutan sin dejar silencio al aire y la **telefonía**, con su audio μ-law a 8 kHz y su puente de media streams. Lo aprendes construyendo la línea telefónica de **Cardo Vet**, una clínica veterinaria ficticia: un agente que contesta, entiende que quieres una cita para tu perro, consulta la agenda, ofrece horarios, se calla cuando lo interrumpes, confirma el nombre de tu mascota repitiéndolo y agenda la visita. Escribes el cliente que manda el micrófono por WebSocket y reproduce la voz del agente, la política que decide cuándo una interrupción es real y cuándo es un "ajá", el puente que conecta una llamada telefónica con el modelo, y una suite de llamadas guionizadas que mide si el agente está listo para salir a producción. Todo el código corre en tu laptop sin llave de API y sin cuentas: un servidor simulado habla un subconjunto del protocolo de eventos de la Realtime API de OpenAI (los mismos nombres de eventos, citados de su referencia) sobre un WebSocket real, y un "llamante" guionizado habla con un tono por letra que el servidor puede leer de vuelta. La latencia se **mide** con un reloj real sobre ese simulador, no se inventa. Cada pieza se conecta con su equivalente en la Realtime API, la Live API de Gemini, los media streams de un operador telefónico y los frameworks de código abierto para voz, citados de su documentación.