Calculadora de significancia estadística
Descubre si la diferencia entre tus versiones es real o suerte. Pega los números del test y lee el veredicto, con valor-p, mejora e intervalo de confianza.
Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.
Cómo usarla
- Completa visitantes y conversiones del control (A).
- Completa los mismos dos números de la variación (B).
- Deja la confianza en 95% o ajusta a 90% o 99%.
- Lee el veredicto arriba y los detalles: tasa de cada versión, mejora relativa, valor-p e intervalo de confianza de la diferencia.
Cómo funciona: el test z de dos proporciones
La calculadora aplica el test z bilateral de dos proporciones. Compara las dos tasas usando un error estándar agrupado y devuelve el valor-p:
Donde p₁ y p₂ son las tasas de A y B, n₁ y n₂ los visitantes de cada una y p̄ la tasa agrupada (todas las conversiones sobre todos los visitantes). El valor-p bilateral viene de 2·(1 − Φ(|z|)), donde Φ es la normal estándar.
Ejemplo trabajado (reproduce el resultado por defecto)
Con los números ya cargados: A con 4.200 visitantes y 210 conversiones (5,00%) y B con 4.200 visitantes y 273 conversiones (6,50%). La tasa agrupada es 483/8.400 = 5,75%. El error estándar da cerca de 0,00508, entonces z = 0,015 / 0,00508 = 2,95. Esto lleva a un valor-p de 0,0031, muy por debajo de 0,05.
Resultado: la mejora relativa es +30,0%, el intervalo de confianza del 95% de la diferencia va de +0,5% a +2,5% (puntos) y el veredicto es B gana con significancia. Es lo que muestra la herramienta arriba al abrir la página.
Cómo interpretarla y dónde puede engañar
El valor-p mide el riesgo de falso positivo, no el tamaño del efecto. Un valor-p minúsculo con una mejora de +0,3% puede no justificar el cambio. Por eso mira también el intervalo de confianza: si incluye el cero, la ganancia sigue siendo incierta, aunque el número central parezca bueno.
El error más caro es confundir "sin significancia" con "las versiones son iguales". Casi siempre es falta de muestra. Dimensiona antes con la calculadora de tamaño de muestra y planifica el plazo con la calculadora de duración. Y nunca pares el test en la primera significancia: eso es el problema del peeking.
Buenas prácticas al leer el resultado
El veredicto de arriba es un resumen, no una sentencia aislada. Para no tomar la decisión equivocada con números correctos, revisa estos puntos antes de terminar el test y cambiar la página.
- Mira el intervalo de confianza, no solo el valor-p. Si el intervalo toca el cero, la ganancia sigue siendo incierta aunque el veredicto sea positivo.
- Confirma que la muestra planificada se alcanzó. Leer antes de eso es peeking e infla el falso positivo.
- Prefiere la confianza 95% como estándar. Solo sube a 99% cuando el costo de un error sea muy alto.
- Traduce la mejora relativa a ingresos antes de celebrar. Una ganancia de +30% sobre una base minúscula puede valer poco en caja.
Preguntas frecuentes
- ¿Qué significa que un resultado sea estadísticamente significativo?
- Significa que la diferencia entre A y B es demasiado grande para explicarse solo por azar, dado el nivel de confianza elegido. Con un valor-p menor a 0,05 (confianza 95%), el mercado trata el resultado como significativo. No es garantía de verdad absoluta, es una regla de riesgo de error.
- ¿Qué es el valor-p?
- Es la probabilidad de ver una diferencia tan grande como la tuya (o mayor) solo por azar, si A y B fueran realmente iguales. Un valor-p de 0,03 significa 3% de probabilidad de que el resultado sea suerte. Cuanto menor, más fuerte la evidencia de que la diferencia es real.
- ¿"Sin significancia" significa que las versiones son iguales?
- Casi nunca. En la práctica, "sin significancia" casi siempre significa que faltó muestra, no que A y B empataron. Antes de concluir que no hay efecto, revisa si tenías suficientes visitantes con la calculadora de tamaño de muestra.
- ¿Puedo leer el resultado en cualquier momento durante el test?
- No. Espiar el valor-p y parar apenas cruza 0,05 infla mucho el falso positivo (el problema del peeking). Fija la muestra antes de empezar, corre hasta completarla y solo entonces lee el veredicto aquí.
- ¿Cuál es la diferencia entre mejora relativa y absoluta?
- La absoluta es la diferencia en puntos porcentuales (de 5% a 6,5% son +1,5 punto). La relativa es la ganancia proporcional (de 5% a 6,5% son +30%). Las dos describen el mismo resultado, la relativa suele sonar mayor.
Continúa
La fórmula anotada término a término y los errores que invalidan la lectura están en la guía significancia estadística en tests A/B y en el panorama qué es un test A/B.