Calculadora de valor-p para test A/B

Esta es la calculadora didáctica del valor-p: para entender el número, no solo leer un veredicto. Muestra el z, el valor-p en una o dos colas y cómo el mismo resultado se aprueba o se rechaza según el umbral que elijas (0,10, 0,05 o 0,01). Si lo que quieres es la decisión de negocio directa, con quién ganó, mejora relativa e intervalo de confianza, usa la calculadora de significancia estadística: responde "¿puedo cambiar la página?". Esta responde "¿qué significa realmente este valor-p?".

Cómo usarla

1. Completa visitantes y conversiones del control (A).
2. Completa los mismos dos números de la variación (B).
3. Elige la lateralidad: bilateral (por defecto) o unilateral.
4. Lee el valor-p destacado, el estadístico z y la tasa de cada versión.
5. Revisa la tabla de decisión: si el valor-p queda debajo de 0,10, 0,05 o 0,01, el resultado rechaza la hipótesis nula en ese nivel.

Cómo funciona: el test z de dos proporciones

La calculadora compara las dos tasas con un error estándar agrupado y convierte la distancia entre ellas en un puntaje z. De ese z sale el valor-p:

Donde p₁ y p₂ son las tasas de A y B, n₁ y n₂ los visitantes de cada una y p̄ la tasa agrupada (todas las conversiones sobre todos los visitantes). El valor-p bilateral es 2·(1 − Φ(|z|)) y el unilateral es 1 − Φ(z), donde Φ es la función de distribución de la normal estándar. El unilateral da exactamente la mitad del bilateral para el mismo z.

Ejemplo resuelto (reproduce el resultado por defecto)

Con los números que ya vienen cargados: A con 2.000 visitantes y 100 conversiones (5,00%) y B con 2.000 visitantes y 130 conversiones (6,50%). La tasa agrupada es 230/4.000 = 5,75%. El error estándar da alrededor de 0,007362, así que z = 0,015 / 0,007362 = 2,04. El valor-p bilateral es 2·(1 − Φ(2,04)) = 0,0416 y el unilateral es la mitad, 0,0208.

En la tabla de decisión, ese 0,0416 queda debajo de 0,10 y de 0,05 (rechaza la nula al 90% y 95% de confianza), pero arriba de 0,01 (no rechaza al 99%). Es exactamente lo que muestra la herramienta al abrir la página, y es el mejor ejemplo de por qué importa el umbral: el mismo dato "gana" o "no gana" según el riesgo que aceptaste de antemano.

Cómo interpretarlo y dónde engaña

El valor-p mide una sola cosa: qué tan sorprendente es tu dato si A y B fueran iguales. No dice la probabilidad de que B sea mejor, no dice el tamaño de la mejora y no prueba que la nula sea verdadera cuando queda alto. Un valor-p de 0,20 casi nunca significa "las versiones empataron": casi siempre significa que faltó muestra para separar la señal del ruido. Antes de concluir que no hay efecto, revisa el tamaño planificado con la calculadora de tamaño de muestra.

El otro error costoso es el peeking: espiar el valor-p y detenerse apenas cruza 0,05 infla mucho el falso positivo. Fija la muestra antes de empezar, corre hasta el final y solo entonces lee el número aquí. Y recuerda que un valor-p diminuto con una mejora de +0,2% puede no pagar el cambio: significancia no es tamaño de efecto.

Buenas prácticas al leer el valor-p

El valor-p es una regla de riesgo, no una sentencia. Para no decidir mal con el número correcto, revisa estos puntos.

• Elige el umbral (0,10, 0,05 o 0,01) por el costo de equivocarte, antes de ver el dato. Nunca después.
• Usa bilateral por defecto. Ve a unilateral solo si la dirección se definió antes de correr.
• Traduce la mejora en ingresos antes de celebrar. Valor-p bajo con efecto diminuto puede valer poco.
• Confirma que se alcanzó la muestra planificada. Leer antes de eso es peeking y engaña.

Preguntas frecuentes

¿Qué es el valor-p, en una frase?

Es la probabilidad de observar una diferencia tan grande como la tuya (o mayor) solo por azar, suponiendo que A y B sean de hecho iguales. Un valor-p de 0,04 significa un 4% de probabilidad de ver ese resultado en un mundo donde no hay ninguna diferencia. Cuanto menor sea, más difícil es explicar el resultado por suerte.

¿Qué NO es el valor-p?

No es la probabilidad de que la hipótesis nula sea verdadera, ni la probabilidad de que tu variación sea mejor, ni el tamaño del efecto. Un valor-p de 0,04 no significa "96% de probabilidad de que gane B". Solo mide qué tan sorprendente es tu dato bajo el supuesto de que no hay diferencia. Confundir esto es el error de lectura más común.

¿Cuál es la diferencia entre unilateral y bilateral?

El test bilateral pregunta "¿son A y B diferentes?" y reparte el riesgo en las dos colas. El unilateral pregunta "¿es B mayor que A?" y concentra el riesgo en un solo lado, lo que hace que el valor-p sea la mitad del bilateral para el mismo z. Usa bilateral por defecto: es más honesto y es lo que espera el mercado. Elige unilateral solo si defines la dirección ANTES de correr el test.

¿El 0,05 es una regla sagrada?

No. El 0,05 es una convención histórica, no una ley de la naturaleza. Un valor-p de 0,049 y uno de 0,051 son prácticamente la misma evidencia. Por eso la calculadora muestra la decisión en tres umbrales (0,10, 0,05 y 0,01): sirve para ver que "significativo" es una elección de riesgo, no una propiedad del resultado. Elige el umbral por el costo de equivocarte, antes de ver el dato.

¿Para qué test sirve esta calculadora?

Para comparar dos tasas de conversión (proporciones): visitantes y conversiones de A y B, el caso clásico de test A/B. Usa el test z de dos proporciones. Para medias continuas (ingreso por visitante, tiempo en la página) el test correcto es otro. Si quieres el veredicto de negocio listo, con mejora e intervalo de confianza, usa la calculadora de significancia.

Continúa

¿Entendiste el valor-p? El siguiente paso es el veredicto de negocio, con mejora e intervalo de confianza, en la calculadora de significancia. Para planificar el test antes, dimensiónalo con la calculadora de tamaño de muestra. El concepto detrás está en la guía significancia estadística en tests A/B.