GuíaBásico

Guía de Métricas de Producto y Experimentación

Enseña a medir si una apuesta funcionó, con rigor: la parte cuantitativa del producto. Cubre qué medir (North Star, métricas accionables vs. de vanidad, los frameworks HEART de Google y AARRR/pirate de McClure), cómo leer un funnel (conversión y fugas por paso), cómo medir retención por cohortes sin que un promedio agregado mienta, cómo proteger una métrica con guardrails, y —el corazón de la guía— cómo experimentar con A/B tests correctamente: la hipótesis, la aleatorización, el lift, la significancia estadística (p-value e intervalo de confianza con un z-test de proporciones real), el tamaño de muestra (MDE, poder estadístico), y las trampas que invalidan un resultado que parece bueno (peeking, comparaciones múltiples, la paradoja de Simpson, el efecto novedad). Continúa donde cerró la guía de Descubrimiento: la apuesta `recommendations` de Mercado, ya validada con una señal cualitativa (fake door), se lanza ahora como experimento controlado (`control` vs. `variant`) y se mide con estadística real, implementada y verificada en Node.js. Cierra con un proyecto capstone que mide el lanzamiento completo y decide enviar, revertir o iterar.

64
lecciones
8
módulos
Inglés · Español
disponible en
certificado
Gratis
acceso
NIEVA

Resultados

Lo que vas a poder hacer

  • Elegir qué medir: distinguir métricas accionables de métricas de vanidad usando los frameworks HEART (Google) y AARRR (pirate metrics)
  • Leer un funnel: tasa de conversión y drop-off por paso, ejecutado con `funnelAnalysis` sobre el checkout de Mercado
  • Medir retención por cohortes con `retentionCurve` y entender por qué los promedios agregados engañan
  • Definir una North Star metric y sus guardrails (latencia, quejas, churn) para evitar optimizar una métrica a costa del producto
  • Diseñar y correr un A/B test correctamente: control vs. variant, aleatorización, hipótesis nula y lift
  • Calcular la significancia estadística real con un z-test de proporciones: p-value e intervalo de confianza del 95%, implementado y verificado en Node (`abTest`)
  • Calcular el tamaño de muestra necesario para detectar un efecto dado (MDE, alpha, power) con `sampleSize`
  • Detectar las trampas que invalidan un resultado: peeking, comparaciones múltiples, la paradoja de Simpson, el efecto novedad
  • Decidir enviar, revertir o iterar con evidencia, aplicado al lanzamiento de recomendaciones de Mercado en el proyecto capstone

Antes de empezar

Qué necesitas traer

Es para ti si...

  • Ingenieros que validaron una apuesta en discovery y ahora necesitan medir el resultado real a escala, con estadística
  • Devs que han visto a un equipo declarar "ganó el A/B" sin verificar si el lift era estadísticamente significativo
  • Ingenieros backend o cercanos a datos que quieren instrumentar y leer correctamente funnels, cohortes y experimentos
  • Cualquiera que vaya a ser dueño o revisor de resultados de A/B tests y necesite fundamento estadístico real, no de intuición

Requisitos y materiales

  • Guía de Pensamiento de Producto para Ingenieros y Guía de Descubrimiento y Prototipado completadas (o equivalente: una apuesta priorizada y validada cualitativamente, lista para lanzarse como experimento)
  • Comodidad corriendo scripts sencillos de Node.js (sin dependencias)
  • Comodidad básica con aritmética/álgebra — no se requiere estadística previa, la guía enseña el z-test práctico desde cero

Contenido

El temario, módulo por módulo

Abre cualquiera para ver sus lecciones.

Dudas frecuentes

Lo que suele preguntarse

Empieza cuando quieras

Reseñas

Lo que dicen los estudiantes

Estas reseñas son de estudiantes inscritos que completaron al menos el 50% del curso. Moderamos las reseñas solo por motivos de contenido (spam, lenguaje ofensivo, datos personales), nunca por ser críticas o negativas.

Aún no hay reseñas aprobadas.

¡Sé el primero en compartir tu experiencia!