Calculadora de poder estadístico para test A/B

Esta es la calculadora de la mirada retrospectiva: el test que ya corriste, ¿tenía poder suficiente? Responde "con la muestra que tuve, ¿cuál era mi probabilidad de captar el efecto?". Es distinta de la calculadora de tamaño de muestra, que planifica cuántos visitantes recolectar ANTES de empezar, y de la calculadora de MDE, que dice el menor efecto que tu tráfico puede captar. Usa esta para diagnosticar un test que dio "no significativo" y entender si fue un empate de verdad o solo falta de muestra.

Cómo usarla

1. Ingresa la tasa de conversión del control (la de A, en %).
2. Elige el efecto que querías detectar: la menor mejora que aún cambiaría tu decisión, en relativo (%) o absoluto (puntos).
3. Coloca la muestra por variación que el test realmente tuvo.
4. Deja confianza 95% y bilateral (los estándares) o ajusta a lo que usaste.
5. Lee el poder alcanzado y compáralo con la muestra que daría 80% de poder para el mismo efecto.

Cómo funciona: la fórmula

El poder es la inversa exacta del cálculo de tamaño de muestra. Con el N por variación fijo, aislamos el término del poder en la misma aproximación normal de dos proporciones y lo pasamos por la función de distribución normal:

Donde n es la muestra por variación, δ la diferencia absoluta entre las tasas (p₂ − p₁), p₁ la tasa base, p₂ la tasa objetivo (base más el efecto), p̄ el promedio de ambas, z_α el valor crítico de la confianza (1,96 para 95% bilateral) y Φ la función de distribución de la normal estándar. Por construcción, si ingresas el N que pidió la calculadora de muestra, el poder vuelve a dar 80%.

Ejemplo trabajado (reproduce el resultado por defecto)

Con los valores que ya vienen cargados: tasa base 5%, efecto buscado +10% relativo (objetivo de 5,5%), 20.000 visitantes por variación, confianza 95% bilateral. La diferencia absoluta es 0,5 punto (δ = 0,005). El término del ruido bajo la nula, z_α·√(2·p̄·(1−p̄)), da cerca de 0,6182. La señal, √20.000 · 0,005, da 0,7071. La desviación bajo la alternativa, √(p₁·(1−p₁) + p₂·(1−p₂)), da 0,3154.

Entonces z_β = (0,7071 − 0,6182) / 0,3154 = 0,2819, y el poder es Φ(0,2819) = 61,1%. Es decir: ese test tenía solo un 61% de probabilidad de detectar una mejora de +10%. Para llegar al 80% de poder en el mismo efecto harían falta 31.234 visitantes por variación, y no 20.000. Es exactamente lo que muestra la herramienta al abrir la página, y es el caso clásico de test subdimensionado.

Cómo interpretarlo y dónde engaña

El poder cambia todo en la lectura de un resultado sin significancia. Con poder alto (80% o más), un "no significativo" es evidencia de verdad de que el efecto, si existe, es demasiado pequeño para valer el cambio. Con poder bajo (60%, 50%), el mismo "no significativo" casi siempre significa falta de muestra: no empataste, quedaste ciego. Leer ambos casos igual es el error que hace que los equipos descarten variaciones buenas demasiado pronto.

El límite clave: evita el llamado "poder observado", que es calcular el poder a partir del efecto medido en el propio test. Eso es circular y no informa nada nuevo. Aquí ingresas el efecto objetivo que definiste antes (el mismo que entraría en la calculadora de muestra), lo que hace el número honesto y útil para diagnóstico. Y recuerda: el poder alto no arregla sesgo de recolección, SRM ni peeking, solo cubre el riesgo de falso negativo.

Buenas prácticas con el poder

El poder es el gemelo olvidado de la significancia. Para no decidir mal, revisa estos puntos.

• Define el poder objetivo (80% o 90%) y el efecto mínimo ANTES de empezar, nunca después de ver el dato.
• Si el test dio "no significativo", calcula el poder aquí antes de concluir que hubo empate.
• Poder bajo con efecto pequeño es señal de que faltó tráfico: junta más muestra o busca un efecto mayor.
• No confundas poder con significancia: son riesgos opuestos y necesitas controlar los dos.

Preguntas frecuentes

¿Qué es el poder estadístico, en una frase?

Es la probabilidad de que tu test detecte un efecto real cuando este de verdad existe. Un poder del 80% significa que, si la variación B es realmente mejor en el tamaño que definiste, el test tiene un 80% de probabilidad de captarlo con significancia. El 20% restante es el riesgo de dejar pasar una mejora verdadera (un falso negativo).

¿Poder es lo mismo que confianza?

No, son dos riesgos distintos. La confianza (1 menos alfa) protege contra el falso positivo: decir que B ganó cuando en realidad empataron. El poder (1 menos beta) protege contra el falso negativo: no percibir una mejora que existe. Un test puede tener 95% de confianza y aun así solo 50% de poder, si la muestra es pequeña para el efecto que buscas.

¿Por qué el 80% de poder es el estándar?

Es la convención de mercado, el mismo nivel que la calculadora de tamaño de muestra usa por defecto. Equilibra el costo de recolectar más muestra con el riesgo de perder efectos reales. Algunos equipos suben al 90% en decisiones caras. Por debajo del 80% el test empieza a quedar ciego: corres el riesgo de cerrarlo sin ver una mejora que estaba ahí.

¿Un resultado sin significancia quiere decir que no hay diferencia?

Solo si el poder era alto. Si el test tenía 60% de poder, un resultado sin significancia es casi siempre falta de muestra, no prueba de empate. Por eso el poder importa tanto en la lectura: con poder bajo, "no dio significancia" no concluye nada. Con poder alto, un no significativo es evidencia de verdad de que el efecto, si existe, es pequeño.

¿Esto es lo mismo que el poder post-hoc?

Esta calculadora responde la pregunta útil de planificación: dado el tamaño de efecto que querías detectar y la muestra que tuviste, ¿cuál era el poder del diseño? Eso es legítimo y sirve para diagnosticar un test subdimensionado. Lo que la estadística critica es el "poder observado", calculado a partir del efecto medido en el propio test, que es circular. Aquí ingresas el efecto objetivo, no el observado.

Sigue

¿Descubriste que el test estaba subdimensionado? Planifica el próximo con la calculadora de tamaño de muestra y mira el menor efecto captable por tu tráfico en la calculadora de MDE. Para el veredicto de un test que ya terminó, usa la calculadora de significancia.