GuíaAvanzado

Gateways de IA y Ruteo de Modelos

Cuando una empresa tiene varias apps, varios equipos y más de un proveedor de modelos, llamar directo a cada API deja de alcanzar: las llaves se copian en todos lados, nadie sabe qué equipo gasta qué, cada app reinventa sus reintentos y una caída del proveedor es una caída del producto. Un AI gateway es la capa que pone orden en medio: una sola API para todas las apps y una sola puerta hacia los proveedores, donde viven el ruteo, los fallbacks, los presupuestos, los límites, el caché, los guardrails y la observabilidad. Lo aprendes construyendo el gateway de **Ondaria**, una plataforma ficticia de cobros para pymes con tres equipos que usan LLMs: un chat de soporte en vivo, un lote nocturno de resúmenes y un equipo que prueba modelos nuevos. Primero mides cómo se comporta Ondaria sin gateway durante una caída simulada. Después construyes **minigate**, un gateway propio escrito solo con la biblioteca estándar de Python, módulo por módulo: un proxy que traduce entre la API de OpenAI y la de Anthropic, ruteo por costo con piso de calidad medido por evals, por calidad y por latencia, reintentos con backoff y presupuesto de reintentos, fallbacks y circuit breakers, claves virtuales con presupuesto por equipo, rate limits por tokens por minuto, caché con espacio de nombres por equipo, guardrails de entrada y salida, y un registro con métricas en formato Prometheus. En cada módulo montas lo mismo con **LiteLLM proxy** (v1.106.0), para saber qué hace una herramienta open source por dentro y decidir con criterio entre construir y adoptar. Todo corre en tu laptop con Docker y dos simuladores que imitan las APIs de Anthropic y de OpenAI, con sus formatos, sus errores y sus streams. No necesitas cuentas ni llaves de API. Un modo `--live` opcional apunta minigate a los proveedores reales con tus llaves. Precios y modelos con fecha de corte de octubre de 2026.