¿Cuántos visitantes necesita un test A/B? La regla práctica
La respuesta honesta sobre la muestra en un test A/B: los 3 factores que definen el número, la regla general y por qué poca gente decide bien.
📚 Este artículo es parte de la guía Significancia Estadística en Tests A/B: La Guía.
“¿Cuántos visitantes necesito?” es la pregunta que decide si tu test A/B vale algo o es ruido. La respuesta corta: depende de tres cosas y casi siempre es más gente de la que imaginas.
Los 3 factores que definen la muestra
- Tasa de conversión actual. Cuanto menor la tasa, mayor la muestra. Detectar una mejora en una página que convierte 1% exige mucha más gente que en una que convierte 10%.
- Efecto mínimo detectable (MDE). ¿Cuál es la menor ganancia que vale la pena descubrir? Detectar +20% es barato, detectar +2% cuesta una muestra enorme.
- Rigor (confianza y poder). El estándar del mercado es 95% de confianza y 80% de poder. Más rigor, más muestra.
La regla general
Para una tasa base de ~5% y una ganancia relativa de ~10%, necesitas miles de visitantes por variación, corriendo durante al menos una a dos semanas completas. Correr con 200 personas y “ver quién ganó” es el camino más corto hacia una decisión equivocada.
Una muestra pequeña no da un resultado “menos preciso”: da un resultado engañoso. El ganador se vuelve suerte.
¿Y si mi tráfico es bajo?
Si no alcanzas el tamaño de muestra en un plazo razonable, prueba cambios más grandes (no microcopy), enfócate en la métrica más frecuente del embudo, o usa enfoques secuenciales/bayesianos que manejan mejor el volumen bajo. Probar lo irrelevante con poca gente solo genera falsa confianza.
Haz esto automático en Donnu
Donnu calcula el tamaño de muestra y la duración por ti, y usa estadística bayesiana que evita la trampa de parar demasiado pronto. Tú te enfocas en la hipótesis, la matemática queda con nosotros.