GuíaBásico
Guía de Métricas de Producto y Experimentación
Enseña a medir si una apuesta funcionó, con rigor: la parte cuantitativa del producto. Cubre qué medir (North Star, métricas accionables vs. de vanidad, los frameworks HEART de Google y AARRR/pirate de McClure), cómo leer un funnel (conversión y fugas por paso), cómo medir retención por cohortes sin que un promedio agregado mienta, cómo proteger una métrica con guardrails, y —el corazón de la guía— cómo experimentar con A/B tests correctamente: la hipótesis, la aleatorización, el lift, la significancia estadística (p-value e intervalo de confianza con un z-test de proporciones real), el tamaño de muestra (MDE, poder estadístico), y las trampas que invalidan un resultado que parece bueno (peeking, comparaciones múltiples, la paradoja de Simpson, el efecto novedad). Continúa donde cerró la guía de Descubrimiento: la apuesta `recommendations` de Mercado, ya validada con una señal cualitativa (fake door), se lanza ahora como experimento controlado (`control` vs. `variant`) y se mide con estadística real, implementada y verificada en Node.js. Cierra con un proyecto capstone que mide el lanzamiento completo y decide enviar, revertir o iterar.
- 64
- lecciones
- 8
- módulos
- Inglés · Español
- disponible en
- Sí
- certificado
- Gratis
- acceso
Resultados
Lo que vas a poder hacer
- Elegir qué medir: distinguir métricas accionables de métricas de vanidad usando los frameworks HEART (Google) y AARRR (pirate metrics)
- Leer un funnel: tasa de conversión y drop-off por paso, ejecutado con `funnelAnalysis` sobre el checkout de Mercado
- Medir retención por cohortes con `retentionCurve` y entender por qué los promedios agregados engañan
- Definir una North Star metric y sus guardrails (latencia, quejas, churn) para evitar optimizar una métrica a costa del producto
- Diseñar y correr un A/B test correctamente: control vs. variant, aleatorización, hipótesis nula y lift
- Calcular la significancia estadística real con un z-test de proporciones: p-value e intervalo de confianza del 95%, implementado y verificado en Node (`abTest`)
- Calcular el tamaño de muestra necesario para detectar un efecto dado (MDE, alpha, power) con `sampleSize`
- Detectar las trampas que invalidan un resultado: peeking, comparaciones múltiples, la paradoja de Simpson, el efecto novedad
- Decidir enviar, revertir o iterar con evidencia, aplicado al lanzamiento de recomendaciones de Mercado en el proyecto capstone
Antes de empezar
Qué necesitas traer
Es para ti si...
- Ingenieros que validaron una apuesta en discovery y ahora necesitan medir el resultado real a escala, con estadística
- Devs que han visto a un equipo declarar "ganó el A/B" sin verificar si el lift era estadísticamente significativo
- Ingenieros backend o cercanos a datos que quieren instrumentar y leer correctamente funnels, cohortes y experimentos
- Cualquiera que vaya a ser dueño o revisor de resultados de A/B tests y necesite fundamento estadístico real, no de intuición
Requisitos y materiales
- Guía de Pensamiento de Producto para Ingenieros y Guía de Descubrimiento y Prototipado completadas (o equivalente: una apuesta priorizada y validada cualitativamente, lista para lanzarse como experimento)
- Comodidad corriendo scripts sencillos de Node.js (sin dependencias)
- Comodidad básica con aritmética/álgebra — no se requiere estadística previa, la guía enseña el z-test práctico desde cero
Contenido
El temario, módulo por módulo
Abre cualquiera para ver sus lecciones.
- Presentación de la guía: de la señal cualitativa al lift medido con estadística
- Métricas accionables vs métricas de vanidad
- Tasas, no totales
- El framework HEART
- Pirate metrics: el framework AARRR
- El árbol de métricas
- Qué hace buena a una métrica
- Proyecto: audita las métricas candidatas de Mercado y arma su árbol
- Presentación del módulo: el funnel, la primera foto de dónde ganas y pierdes usuarios
- Qué es un funnel
- La tasa de conversión por paso
- La conversión global: un producto, no una suma
- Encontrar el drop-off más grande
- Micro-conversión vs. macro-conversión
- Leer un funnel en contexto: segmentos, no solo el agregado
- Mini-proyecto: el funnel de checkout de Mercado, de punta a punta
- Presentación del módulo: de convertir en la sesión a volver la semana que viene
- Qué es una cohorte
- La curva de retención
- La meseta de retención
- Por qué el promedio agregado engaña
- Leyendo una tabla de cohortes
- La retención como el mejor proxy de valor real
- Proyecto: lee la tabla de cohortes de Mercado y compara con recomendaciones vs. sin
- Presentación del módulo: la métrica que gobierna, y lo que la protege
- Qué es una North Star metric
- Eligiendo la North Star con un criterio, no a ojo
- Input metrics: las palancas que mueven a la North Star
- La ley de Goodhart: cuando la métrica se convierte en el objetivo
- Guardrails: lo que no debe empeorar mientras optimizas
- La métrica que gobierna: North Star, inputs y guardrails juntos
- Mini-proyecto: la North Star oficial de Mercado, y lo que su lanzamiento no puede romper
- Presentación del módulo: de comparar dos curvas a diseñar el experimento que prueba la causa
- Correlación no es causa: por qué necesitas un experimento
- Control y variant
- Randomización
- La hipótesis nula
- Midiendo el lift
- Qué puede — y qué no puede — medir un A/B test
- Proyecto: diseña el A/B test del lanzamiento de recomendaciones de Mercado
- Presentación del módulo: ¿el lift es real, o es azar?
- ¿Podría el lift ser pura casualidad?
- La hipótesis nula y el p-value
- Qué NO significa el p-value
- El intervalo de confianza
- El z-test de proporciones, implementado y verificado
- Significancia estadística vs. importancia práctica
- Proyecto: ¿el lanzamiento de recommendations es real?
- Presentación del módulo: de "el lift es real" a "cuánta muestra necesitaba, y qué trampas me pudieron engañar"
- El mínimo efecto detectable (MDE)
- Tamaño de muestra y power
- El problema del peeking
- Comparaciones múltiples
- La paradoja de Simpson
- Efecto novedad y p-hacking
- Proyecto: dimensiona el A/B test de recommendations y audita sus trampas
- Presentación del módulo: todo el método, sobre un solo lanzamiento
- La métrica primaria y el funnel: dónde vive la oportunidad
- La retención de línea base: ¿la gente que compra, vuelve?
- La North Star oficial, y el guardrail que se rompió
- Dimensiona el experimento: ¿la muestra alcanzaba?
- Corre el experimento, y pregúntale al z-test si es real
- Revisa las trampas: ¿el resultado aguanta el escrutinio?
- Proyecto final: mide el lanzamiento de recomendaciones de Mercado
Dudas frecuentes
Lo que suele preguntarse
Sin límite. Es una guía gratuita: entras cuando quieras, las veces que quieras.
No. Los módulos están ordenados de menos a más, pero puedes saltar al que necesites. Tu progreso se guarda por lección.
Lo que haga falta está en «Qué necesitas traer», arriba. Si no aparece nada ahí, puedes empezar desde cero.
En el grupo de WhatsApp del Club, y cada quince días hay un live con un instructor donde se resuelven dudas en vivo.
Sí. Al terminar todas las lecciones se emite automáticamente, con un código verificable que puedes compartir en LinkedIn.
Empieza cuando quieras
Lo que dicen los estudiantes
Estas reseñas son de estudiantes inscritos que completaron al menos el 50% del curso. Moderamos las reseñas solo por motivos de contenido (spam, lenguaje ofensivo, datos personales), nunca por ser críticas o negativas.
Aún no hay reseñas aprobadas.
¡Sé el primero en compartir tu experiencia!