GuíaAvanzado
Búsqueda y Recomendación con LLMs
La caja de búsqueda y la sección "te puede interesar" de una tienda son producto: deciden qué ve cada cliente y, por lo tanto, qué se vende. Esta guía te enseña a construirlas y a mejorarlas con LLMs sin perder de vista lo que de verdad importa: medir. Recorres el embudo completo, de la recuperación de candidatos (léxica, con vectores y híbrida) a entender la consulta, ordenar con un ranker entrenado, reordenar con un LLM y aplicar reglas de negocio; y del lado de la recomendación, de la popularidad y el filtrado colaborativo a los semantic IDs, la recuperación generativa y los híbridos en los que un LLM interpreta y un recomendador clásico ordena. Lo aprendes en **Kestrova**, una tienda ficticia de equipo para exteriores con 560 productos, 1,500 compradores y 92 consultas con juicios de relevancia. Ves por qué una búsqueda léxica devuelve polainas cuando alguien pide botas impermeables, cuánto gana entender la consulta con un LLM frente a reordenar con él (y cuánto cuesta cada cosa por cada mil búsquedas), cómo el sesgo de posición de un reranker cambia el resultado según el orden en que le das los candidatos, por qué un juez LLM puede invertir la comparación entre sistemas si no se arma bien el pool, cómo un semantic ID permite recomendar un producto que nadie ha comprado todavía, y por qué el interleaving detecta con mucho menos tráfico una diferencia que una prueba A/B no alcanza a ver. Todo corre en tu laptop sin llave de API: un catálogo sintético determinista, BM25 escrito desde cero, vectores calculados con numpy (sin descargar modelos), un modelo simulado con la misma forma de respuesta que la Messages API de Claude, y métricas reales (recall@k, MRR, NDCG, intervalos bootstrap) calculadas sobre esos datos. Ves exactamente los mismos números que la guía. Un modo `--live` opcional usa la API real con structured outputs.
- 64
- lecciones
- 8
- módulos
- Inglés · Español
- disponible en
- Gratis
- acceso
Resultados
Lo que vas a poder hacer
- Explicar la búsqueda y la recomendación como un mismo embudo por etapas, con un presupuesto de calidad, costo y latencia para cada etapa
- Construir un conjunto de juicios de relevancia y evaluar offline con recall@k, MRR y NDCG, intervalos de confianza y comparaciones pareadas, sin dejarte engañar por una muestra chica o por un juez LLM mal usado
- Implementar recuperación léxica (BM25), con vectores y híbrida (reciprocal rank fusion), con filtros por facetas y sabiendo qué recall le pides a cada etapa
- Entender la consulta con un LLM: corrección, extracción de restricciones con structured outputs, expansión, recuperación cuando no hay resultados y caché para la cabeza de la distribución
- Entrenar un ranker con features y añadir un reranking con LLM (pointwise, listwise y por ventanas), medir su sesgo de posición, decidir la profundidad y justificar su costo
- Recomendar con popularidad, item-to-item, factorización de matrices, semantic IDs y recuperación generativa, y armar híbridos en los que el LLM interpreta y un recomendador clásico ordena, con explicaciones verificadas
- Resolver el arranque en frío de productos y compradores nuevos, enriquecer el catálogo con un LLM en lote y explorar con un bandit sin caer en el bucle de popularidad
- Evaluar en línea con un modelo de clics, pruebas A/B, tamaño de muestra e interleaving, y decidir un lanzamiento con calidad, costo por mil consultas y latencia por etapa sobre la mesa
Antes de empezar
Qué necesitas traer
Es para ti si...
- Ingenieros de software o de ML que van a construir o mejorar la búsqueda o las recomendaciones de un producto y quieren saber dónde sí conviene un LLM
- Ingenieros de IA que ya hicieron RAG y necesitan pasar de "recuperar contexto para un modelo" a "ordenar productos para una persona"
- Líderes técnicos y de producto que tienen que decidir si un reranker con LLM vale lo que cuesta, con números
Requisitos y materiales
- Python intermedio: funciones, clases, diccionarios, JSON, correr un módulo con `python3 -m`
- Nociones básicas de álgebra lineal (vector, producto punto) y de probabilidad (proporción, promedio). La guía explica cada métrica desde cero
- Python 3.10 o superior y `pip install numpy`. No hace falta llave de API; para el modo `--live` opcional, una llave de Anthropic y `pip install anthropic`
Contenido
El temario, módulo por módulo
Abre cualquiera para ver sus lecciones.
- 1. Introducción: la caja de búsqueda es producto
- 2. Búsqueda y recomendación, un mismo problema
- 3. El embudo por etapas y sus presupuestos
- 4. Laboratorio, parte 1: datos, texto, recuperadores y métricas
- 5. Laboratorio, parte 2: el modelo simulado y el embudo
- 6. Laboratorio, parte 3: recomendación, simulación en línea y CLI
- 7. Tu primera lista ordenada
- 8. Proyecto: una línea base que puedas defender
- 1. Introducción: medir antes de construir
- 2. Juicios de relevancia y el golden set
- 3. Recall@k para la etapa de candidatos
- 4. MRR y NDCG para la lista ordenada
- 5. Intervalos de confianza y comparaciones pareadas
- 6. Más allá de la exactitud: cobertura, diversidad, novedad
- 7. Jueces LLM, pooling y acuerdo
- 8. Proyecto: un reporte de evaluación
- 1. Introducción: traer cien libros rápido
- 2. BM25 desde cero
- 3. Vectores sin un modelo grande
- 4. Recuperación híbrida con reciprocal rank fusion
- 5. Filtros, facetas y listados delgados
- 6. El problema de los accesorios y la intención de categoría
- 7. Búsqueda aproximada y el presupuesto de recall
- 8. Proyecto: ajustar la etapa de candidatos
- 1. Introducción: el librero que traduce
- 2. Qué escriben los compradores: un recorrido por el log
- 3. Normalización y corrección ortográfica
- 4. Extraer restricciones con structured outputs
- 5. Reescritura y expansión de la consulta
- 6. Cero resultados, relajación y fuera de catálogo
- 7. Cachear el entendimiento para la cabeza
- 8. Proyecto: una capa de entendimiento
- 1. Introducción: el librero experto cobra por consulta
- 2. Un ranker con features entrenado con pares
- 3. Reranking con LLM: pointwise, listwise y por ventanas
- 4. El prompt de reranking y la salida estructurada
- 5. Sesgo de posición: medirlo y mitigarlo
- 6. Qué tan profundo reordenar
- 7. Reglas de negocio después del ranking
- 8. Proyecto: ¿el reranker se paga?
- 1. Introducción: recomendar sin consulta
- 2. Popularidad e item-to-item
- 3. Factorización de matrices implícita en numpy
- 4. Semantic IDs con cuantización residual
- 5. Recuperación generativa sobre semantic IDs
- 6. Híbridos: un perfil LLM más un ranker clásico
- 7. Explicaciones verificadas
- 8. Proyecto: el recomendador de la página principal
- 1. Introducción: la semana de lanzamiento
- 2. Los tres arranques en frío
- 3. Productos nuevos por contenido y semantic IDs
- 4. Compradores nuevos desde la primera visita
- 5. Enriquecer el catálogo con un LLM en lote
- 6. Explorar con un bandit
- 7. Sesgo de popularidad y bucles de retroalimentación
- 8. Proyecto: plan para la semana de lanzamiento
Dudas frecuentes
Lo que suele preguntarse
Sin límite. Es una guía gratuita: entras cuando quieras, las veces que quieras.
No. Los módulos están ordenados de menos a más, pero puedes saltar al que necesites. Tu progreso se guarda por lección.
Lo que haga falta está en «Qué necesitas traer», arriba. Si no aparece nada ahí, puedes empezar desde cero.
En el grupo de WhatsApp, y cada quince días hay un live con un instructor donde se resuelven dudas en vivo.
Empieza cuando quieras
Lo que dicen los estudiantes
Estas reseñas son de estudiantes inscritos que completaron al menos el 50% del curso. Moderamos las reseñas solo por motivos de contenido (spam, lenguaje ofensivo, datos personales), nunca por ser críticas o negativas.
Aún no hay reseñas aprobadas.
¡Sé el primero en compartir tu experiencia!