GuíaIntermedio

Guía de Streaming con Kafka y Flink

Esta guía empieza probando, con código, el error más caro y mejor documentado del streaming: recalcular en Kafka+Flink el mismo embudo de sesiones que Kiosko ya calculó en batch — y llegar exactamente al mismo `35.3%`, con más infraestructura y cero valor nuevo. A partir de esa prueba, la guía traza la línea real: streaming se justifica en los problemas que el batch, por diseño, no puede resolver, sin importar cuánto lo optimices. Con Apache Kafka (4.x, modo KRaft, $0 local) y Apache Flink/PyFlink corriendo de verdad en Docker, resuelves cuatro casos concretos con Kiosko: detectar en minutos que una tienda dejó de reportar (el caso estrella, contra un DAG diario que no se enteraría hasta mañana), capturar un cambio de precio directo del write-ahead log de Postgres con Debezium (CDC) en vez de declararlo a mano en Python, construir ventanas de tiempo-evento con watermarks sobre un flujo continuo, y mantener estado incremental sin re-sumar el historial completo en cada corrida. La guía es honesta sobre el hueco de mercado de Flink y responde con evidencia nueva (prima salarial de Kafka, ~33% de vacantes senior de streaming en el Reino Unido) sin exagerar el rol de Flink más allá de lo que Kiosko necesita de verdad.