Calculadora bayesiana de test A/B

Esta es la lectura bayesiana de tu test. Responde directo "cuál es la probabilidad de que B sea mejor que A" y "cuánto arriesgo si decido ahora", en vez del valor-p. Si quieres el estándar clásico del mercado (valor-p, intervalo de confianza y un veredicto de sí o no al 95%), usa la calculadora de significancia estadística. Las dos leen los mismos datos con lentes diferentes: elige esta cuando quieras decidir por probabilidad y riesgo.

Cómo usarla

1. Ingresa visitantes y conversiones de A (el control) y de B (la variación).
2. Lee la probabilidad de que B le gane a A destacada: es la probabilidad directa de que B sea la mejor versión.
3. Mira el riesgo al elegir B (la pérdida esperada): cuánta conversión pierdes, en promedio, si decides por B y resulta peor.
4. Revisa las tasas posteriores de A y B con el intervalo de credibilidad del 95%, y la mejora relativa.
5. Decide cuando la probabilidad esté alta y la pérdida esperada baja. Los dos juntos, no uno solo.

Cómo funciona: la matemática bayesiana

Cada variación se convierte en una distribución de creencia sobre la tasa de conversión real, no en un número único. Con el modelo Beta-Binomial, la posterior de cada brazo es una distribución Beta:

El Beta(1,1) es el prior uniforme (antes de los datos, toda tasa es igualmente plausible). A partir de las dos posteriores, la probabilidad de que B gane es la probabilidad de que una muestra de la distribución de B sea mayor que una de A, calculada por integración: P(B > A) = ∫ f_B(x)·F_A(x) dx. La pérdida esperada al elegir B es el promedio de cuánto A supera a B en los escenarios donde A gana, E[(p_A − p_B)⁺].

Ejemplo trabajado (reproduce el resultado por defecto)

Con los valores ya cargados: A con 100 conversiones en 1.000 visitantes y B con 120 en 1.000. Las posteriores son Beta(101, 901) para A y Beta(121, 881) para B. Los promedios posteriores quedan en 10,08% (A) y 12,08% (B), una mejora relativa de +19,8%. Integrando las dos distribuciones, la probabilidad de que B le gane a A es 92,3% (luego 7,7% para A). El riesgo de elegir B, la pérdida esperada, es de apenas 0,05 punto porcentual. Es exactamente lo que muestra la herramienta arriba al abrir la página: 92% de probabilidad de que B sea mejor, con perjuicio promedio casi nulo si nos equivocamos.

Cómo interpretarla y dónde puede engañar

La probabilidad de que B gane es una afirmación directa: 92% significa 92% de probabilidad de que B sea la mejor versión, dado lo que observaste. La pérdida esperada es su par: incluso con 92%, existe 8% de probabilidad de equivocarse, y la pérdida esperada mide el tamaño promedio de ese error. Cuando es minúscula, decidir por B es barato incluso en la duda. Por eso los dos números van juntos: probabilidad responde "qué tan probable" y pérdida esperada responde "qué tan caro si me equivoco".

Límites a tener en cuenta: la cuenta asume una métrica binaria (convirtió o no), tráfico bien aleatorizado entre A y B e independencia entre los grupos. No cubre ingreso por visitante (mayor varianza), ni estacionalidad fuerte, ni varias variaciones al mismo tiempo. Y ser bayesiano no es licencia para espiar sin criterio: define antes un umbral de probabilidad y uno de pérdida esperada, y cierra ciclos semanales completos. Para el veredicto en el estándar clásico, cruza con la calculadora de significancia.

Buenas prácticas al decidir por probabilidad

La fuerza de la lectura bayesiana es convertir el test en una decisión de riesgo, no en un sí o no seco. Para usar esto bien, alinea estos puntos antes de encender el test.

• Combina dos gatillos de parada: probabilidad alta (por ejemplo 95%) y pérdida esperada bajo un límite pequeño que aceptas arriesgar.
• Dimensiona el test de todas formas. La bayesiana lee mejor con volumen, así que planifica la muestra con la calculadora de tamaño de muestra.
• Una métrica principal por test. Perseguir varias al mismo tiempo derrumba la confianza en la decisión.
• Si la probabilidad queda atascada cerca de 50% y la pérdida alta, el test está diciendo que todavía no se puede decidir. Recolecta más en vez de forzar una lectura.

Preguntas frecuentes

¿Qué responde el análisis bayesiano que el valor-p no responde?

La pregunta que el negocio realmente hace: cuál es la probabilidad de que B sea mejor que A. El valor-p responde algo distinto y contraintuitivo (la probabilidad de ver este resultado si no hubiera ninguna diferencia). El bayesiano entrega directo "92% de probabilidad de que B gane" y cuánto arriesgas perder al decidir ahora, que es lo que ayuda a tomar la decisión.

¿Qué es la pérdida esperada en un test A/B bayesiano?

Es cuánta tasa de conversión arriesgas perder, en promedio, si eliges la variación equivocada. Si la pérdida esperada al elegir B es 0,05 punto porcentual, decidir por B es seguro aunque termine siendo peor, porque el perjuicio promedio es minúsculo. Muchos equipos paran el test cuando la pérdida esperada cae bajo un límite pequeño que definen de antemano.

¿Qué prior usa la calculadora?

Un prior uniforme Beta(1,1), que no asume nada sobre la tasa antes de ver los datos: toda tasa de 0 a 100% empieza igualmente probable. Con volumen razonable de visitantes, los datos dominan y la elección del prior casi no cambia el resultado. Es la elección neutral y más común para un test A/B.

¿Puedo parar el test apenas la probabilidad pase de 95%?

El enfoque bayesiano es más tolerante a mirar el resultado a lo largo del tiempo que el frecuentista, pero espiar sin criterio todavía infla el riesgo. El camino seguro es combinar dos gatillos antes de empezar: una probabilidad alta (por ejemplo 95%) y una pérdida esperada bajo tu límite. Para solo cuando los dos se cumplan, y aun así cierra ciclos semanales completos.

¿Cuál es la diferencia entre esta y la calculadora de significancia?

La de significancia es frecuentista: valor-p, intervalo de confianza y un veredicto de sí o no al 95%. Esta es bayesiana: probabilidad directa de que B gane y pérdida esperada, sin umbral rígido. Usa la de significancia cuando quieras el estándar clásico del mercado, y esta cuando quieras decidir por probabilidad y riesgo. Las dos leen los mismos datos con lentes diferentes.

¿La calculadora sirve para tasas muy bajas o poco tráfico?

Sirve, pero cuanto menor la tasa y el volumen, más ancha queda la incertidumbre (el intervalo de credibilidad). Con poca gente, la probabilidad queda cerca de 50% y la pérdida esperada alta, señal honesta de que todavía no se puede decidir. Recolecta más antes de tomar la decisión.

Continúa

¿Comparaste por probabilidad? Cruza con el veredicto clásico en la calculadora de significancia estadística y dimensiona el próximo test con la calculadora de tamaño de muestra. El contexto completo está en la guía qué es un test A/B.