Pérdida Esperada en Test A/B Bayesiano: Cuándo Parar
Pérdida esperada en test A/B bayesiano: el criterio que mide el tamaño del riesgo de errar, no solo la probabilidad de acertar, con ejemplo calculado.
📚 Este artículo es parte de la guía Significancia Estadística en Tests A/B: La Guía.
La pérdida esperada (expected loss) es el criterio de parada de un test A/B bayesiano que responde a una pregunta más honesta que “cuál es la probabilidad de que B sea mejor”: ¿cuánto, en promedio, perderías en la métrica que importa si eligieras mal? En vez de decidir solo por la probabilidad de acertar, decides por el tamaño del riesgo que todavía queda. Cuando ese riesgo cae por debajo de lo que el negocio tolera, paras, incluso sin esperar a que un valor p cruce 0,05. Esta guía profundiza nuestra guía de priors bayesianos y el tratamiento bayesiano ya presentado en la guía completa de test A/B: aquí el foco es solo la regla de parada, con números calculados de verdad por el mismo motor bayesiano que corre la calculadora de este blog, no descritos de oído.
Lo que la probabilidad sola no te cuenta
La calculadora bayesiana de este blog ya muestra dos números lado a lado: la probabilidad de que B le gane a A y el “riesgo al elegir B”, que es exactamente la pérdida esperada. La mayoría de las guías sobre test A/B bayesiano se detienen ahí, tratando la probabilidad como si bastara para decidir. No es así.
La probabilidad responde “cuál es la chance de que esté equivocado”. La pérdida esperada responde “si estoy equivocado, cuánto me cuesta”. Son preguntas distintas, y la segunda es la que de verdad le importa al negocio: dos tests pueden llegar a la misma probabilidad de victoria y aun así cargar riesgos completamente diferentes, dependiendo del tamaño del efecto en juego y de cuánta muestra sostiene la estimación.
Corrimos dos simulaciones reales en el mismo motor bayesiano de este blog para mostrarlo con números, no solo con la idea:
El motivo es simple: el Test 2 tiene una muestra pequeña (110 por variación) sosteniendo un efecto grande (20% contra 30%). La incertidumbre sobre el tamaño real del efecto todavía es amplia, así que, en los escenarios en que la apuesta por B sale mal, puede salir muy mal. El Test 1 tiene una muestra grande sosteniendo un efecto pequeño: incluso en los escenarios en que B no es de hecho mejor, la diferencia probable es minúscula. La probabilidad de acertar casi no diferencia los dos casos; el tamaño del riesgo, sí.
La matemática detrás de la pérdida esperada
El punto de partida es el mismo de la guía de priors bayesianos: cada variación tiene un posterior Beta, actualizado a partir de un prior y de los datos observados (conversiones y no conversiones). A partir de esos dos posteriores, se puede calcular no solo quién probablemente ganó, sino el tamaño del error esperado en cada dirección:
En español: toma la diferencia entre la tasa real de A y la tasa real de B en cada escenario posible (ponderada por el posterior de cada una), pero cuenta esa diferencia solo cuando es positiva, es decir, cuando A de verdad supera a B. El signo “+” en el exponente quiere decir exactamente eso: anula la diferencia siempre que B sea la ganadora, y suma solo los escenarios en que elegir B habría sido un error. El resultado es el promedio de ese error posible, integrado sobre toda la incertidumbre que aún existe. Existe una pérdida esperada simétrica para el otro lado, elegir A cuando B era la ganadora real, y la calculadora bayesiana de este blog reporta ambas.
Fíjate en lo que esta definición ya resuelve: si B está muy por delante y la muestra ya es grande, los escenarios en que A gana se vuelven raros y, cuando ocurren, la diferencia tiende a ser pequeña, así que la pérdida esperada cae cerca de cero. Si la carrera todavía está reñida, o la muestra es pequeña, los escenarios en que la elección se equivoca siguen siendo probables y, según el efecto en juego, costosos, así que la pérdida esperada permanece alta. Es exactamente ese comportamiento el que la simulación de arriba capturó con números reales.
Un ejemplo resuelto, de principio a fin
Vamos a correr el mismo escenario usado en el cálculo de tamaño de muestra de este blog: tasa base de 5%, efecto mínimo detectable del 10% relativo (meta de 5,5%), 95% de confianza y 80% de poder. El motor de muestra de este blog devuelve 31.234 visitantes por variación, lo que, con un tráfico semanal de 10.000 visitantes (5.000 por variación), toma 44 días hasta alcanzar la muestra planificada, el punto en que un test frecuentista clásico finalmente declararía un ganador.
Solo que la tasa real de conversión de cada variación no salta directo al valor final: se va revelando poco a poco, visitante a visitante. Corriendo el mismo posterior Beta-Binomial día tras día, con la tasa real de A en 5,00% y la de B en 5,50% (el efecto que el test fue diseñado para detectar), la pérdida esperada al elegir B se encoge así:
| Día | Visitantes por variación | P(B le gana a A) | Pérdida esperada al elegir B | Pérdida esperada en ingresos/semana* |
|---|---|---|---|---|
| 3 | 2.143 | 77,39% | 0,0894 pp | R$ 1.340,44 |
| 7 | 5.000 | 86,86% | 0,0295 pp | R$ 441,93 |
| 10 | 7.143 | 91,14% | 0,0153 pp | R$ 229,33 |
| 14 | 10.000 | 94,35% | 0,0076 pp | R$ 114,10 |
| 16 | 11.429 | 95,72% | 0,0051 pp | R$ 77,20 |
| 21 | 15.000 | 97,39% | 0,0026 pp | R$ 38,37 |
| 30 | 21.429 | 99,03% | 0,0007 pp | R$ 10,56 |
| 44 | 31.429 | 99,76% | 0,0001 pp | R$ 1,86 |
*Conversión hipotética a ingresos: ticket promedio de R$150, aplicado al tráfico semanal de 10.000 visitantes, solo para darle una unidad de negocio a la pérdida esperada. Ajusta a tu propio ticket promedio y tráfico.
Eligiendo el umbral de tolerancia
El número que decide cuándo parar no sale de una fórmula estadística sola: es una elección de riesgo de negocio, y necesita definirse antes de que el test comience, del mismo modo que se define el tamaño de muestra antes de correr un test frecuentista. Chris Stucchio, en el whitepaper que describe el motor bayesiano usado por VWO, propone exactamente esta lógica: elegir un umbral de pérdida esperada tolerable, expresado en la propia unidad de negocio que importa, y parar cuando la pérdida esperada caiga por debajo de él.
En el ejemplo de arriba, usamos un umbral práctico: 0,1% del ingreso semanal esperado. Con un tráfico de 10.000 visitantes por semana y un ticket promedio de R$150, el ingreso semanal de referencia ronda los R$78.750, así que el 0,1% de eso es aproximadamente R$78,75 por semana. Convirtiendo ese valor de vuelta a la misma unidad que usa la calculadora bayesiana (puntos porcentuales de tasa de conversión), el umbral equivale a cerca de 0,0053 punto porcentual. Es exactamente ese número el que la pérdida esperada cruza en el día 16, contra los 44 días que el plan de muestra fijo tomaría para llegar a la misma confianza.
Esta es la ventaja práctica de decidir por pérdida esperada en vez de esperar un valor p o una muestra fija: paras en cuanto el riesgo residual es lo bastante pequeño para que tu negocio lo tolere, ni antes ni después. Vale la pena reforzar un punto que ya tratamos en la guía de priors bayesianos: todo este cálculo depende de que el posterior esté bien calibrado, y un prior mal elegido distorsiona la pérdida esperada exactamente igual que distorsiona la probabilidad de victoria.
Vale registrar, de paso, qué pasa con el mismo par de números usados en el ejemplo de significancia de la guía completa de test A/B: A con 210 conversiones en 4.200 visitantes, B con 273 en 4.200. Allí, el valor p quedó en aproximadamente 0,003. Corriendo la misma pareja de números por el motor bayesiano, la probabilidad de que B le gane a A es 99,84% y la pérdida esperada al elegir B es de apenas 0,0002 punto porcentual, esencialmente despreciable. Las dos lecturas concuerdan sobre quién ganó; la bayesiana solo agrega una regla directa de cuánto riesgo quedaba.
Segundo ejemplo: SaaS, de prueba a pago
El mismo razonamiento vale fuera del e-commerce. Toma un SaaS que testea un cambio en el onboarding, con la meta de subir la conversión de prueba (trial) a pago del 20% al 21,6% (un efecto del 8% relativo), con un tráfico más modesto de 700 pruebas por semana. El motor de muestra de este blog pide 10.101 pruebas por variación, lo que, en ese volumen, tomaría 203 días hasta que el plan de muestra fijo se complete, demasiado tiempo para la mayoría de los roadmaps de producto.
Aplicando el mismo umbral del 0,1%, ahora sobre el ingreso recurrente mensual de referencia de una semana de pruebas (ARPU hipotético de R$97/mes, generando una referencia de cerca de R$14.123 por mes), el umbral equivalente en puntos porcentuales queda alrededor de 0,0208. La pérdida esperada al elegir B cruza ese umbral en el día 70, con 3.500 pruebas por variación y 95,04% de probabilidad de que B le gane a A, contra los 203 días del plan fijo.
| Escenario | Base | Efecto relativo | Muestra del plan fijo | Duración del plan fijo | La pérdida esperada cruza en el día | Reducción de tiempo |
|---|---|---|---|---|---|---|
| E-commerce (conversión) | 5,00% | +10% | 31.234/variación | 44 días | día 16 (11.429/variación) | 28 días, ~64% más rápido |
| SaaS (prueba → pago) | 20,00% | +8% | 10.101/variación | 203 días | día 70 (3.500/variación) | 133 días, ~66% más rápido |
En ambos escenarios, decidir por pérdida esperada en vez de esperar el plan de muestra fijo completo recortó aproximadamente dos tercios del tiempo de test, sin abandonar el rigor: en los dos casos de corte, la probabilidad de que B le gane a A ya estaba por encima del 95%, y el riesgo residual, medido en la propia unidad de negocio, ya era lo bastante pequeño para la tolerancia definida antes de que el test comenzara.
La pérdida esperada no es una bala de plata
Vale la honestidad que la mayoría del material sobre bayesiano evita: la pérdida esperada resuelve un problema real, pero no es inmune a todos los riesgos de un test mal diseñado.
Todavía puede ser engañada por el peeking. Mirar el resultado repetidas veces y parar en cuanto la pérdida esperada cruza el umbral por primera vez todavía captura, ocasionalmente, un momento de suerte, sobre todo con poca muestra acumulada. El artículo de David Robinson sobre si el test A/B bayesiano es inmune a la parada anticipada muestra exactamente esto: la interpretación del posterior sigue siendo válida en cualquier N, pero parar en el primer cruce, sin ninguna disciplina adicional, todavía infla la chance de una decisión precipitada. La práctica más segura, en el mismo espíritu que el problema del peeking en tests A/B, es exigir una muestra mínima antes siquiera de mirar el criterio, y confirmar que la pérdida esperada se mantiene por debajo del umbral durante más de una lectura, no solo la primera vez.
Hereda la sensibilidad al prior. Como cualquier resultado que sale de un posterior, la pérdida esperada calculada con un prior mal calibrado (por ejemplo, un prior fuerte heredado de un contexto distinto, tratado en detalle en la guía de priors bayesianos) queda sistemáticamente distorsionada en la misma dirección del sesgo del prior. Ante la duda, el prior uniforme, que es el estándar de la calculadora de este blog, es la elección más segura.
El umbral es una elección de negocio, no una verdad estadística. No existe un valor universal de “pérdida esperada tolerable”. Depende de cuánto esté dispuesto tu negocio a arriesgar por decidir más rápido, y necesita definirse, y documentarse, antes de que el test comience, exactamente como se define la muestra en un test frecuentista.
Para poner lado a lado los tres criterios que deciden un test A/B, y dónde cada uno puede engañar:
| Criterio | Qué responde | Punto fuerte | Punto débil |
|---|---|---|---|
| Valor p (frecuentista) | Cuál es la chance de ver esta diferencia, o mayor, si A y B fueran de hecho iguales | Estándar de la industria, comparable entre estudios | No dice el tamaño del riesgo de errar, solo la chance de que el efecto sea ruido |
| Probabilidad P(B le gana a A) | Cuál es la chance de que B sea de hecho mejor que A | Intuitiva para quien decide, habla de creencia, no de repetición hipotética infinita | Un mismo valor de probabilidad puede esconder un error caro o barato; no los diferencia |
| Pérdida esperada | Si elijo mal, cuánto pierdo, en promedio, en la métrica que importa | Combina la chance de errar con el tamaño del error en una unidad de negocio directa | El umbral de tolerancia necesita elegirse con cuidado; sola, la fórmula no decide esto por ti |
Mira el riesgo de tu propia decisión
La calculadora de abajo ya muestra la pérdida esperada al lado de la probabilidad, exactamente el par de números que esta guía comparó: pega los visitantes y conversiones de A y B de tu propio test y lee el campo “riesgo al elegir B”, la misma pérdida esperada calculada aquí, de principio a fin:
Modelo Beta-Binomial con prior uniforme Beta(1,1) e intervalo de credibilidad del 95%. Cálculo determinístico, recalcula en vivo.
Si quieres aplicar el umbral de ingresos a tu propio caso, convierte la tolerancia que definiste (por ejemplo, 0,1% del ingreso esperado en el período) a la misma unidad que reporta la calculadora, dividiendo el valor tolerable en tu moneda entre el tráfico del período multiplicado por tu ticket promedio o ARPU, tal como hicimos en los dos ejemplos de arriba.
Haz esto automático en Donnu
Calcular la pérdida esperada a mano exige correr una integración numérica sobre dos posteriores Beta con cada visitante nuevo, y la mayoría de los equipos simplemente no lo hace, decidiendo de oído o esperando un valor p que quizás nunca llegue a tiempo para el roadmap. Donnu ya corre sobre un motor bayesiano nativo que calcula la probabilidad de victoria y la pérdida esperada en tiempo real con cada conversión nueva, sin planilla, sin integración manual y sin esperar el final de un plan de muestra fijo para saber si ya es seguro decidir.
Empieza una prueba gratis de 14 días y mira el riesgo de tu propia decisión encogerse visitante a visitante. Para entender la base que sostiene este cálculo, lee la guía de priors bayesianos y, si tu métrica primaria tiene mucho ruido (ingreso por usuario, sesiones), mira también cómo el CUPED reduce la varianza de un test A/B incluso antes de que entre en juego cualquier regla de parada. ¿Prefieres revisar primero la base frecuentista? Mira la guía de significancia estadística en tests A/B.
Referencias
- Stucchio, C. Bayesian A/B Testing at VWO (whitepaper técnico que define la pérdida esperada y el umbral de parada usados en esta guía). vwo.com/downloads/VWO_SmartStats_technical_whitepaper.pdf.
- GrowthBook. Statistical Details, Bayesian Engine (definición de “risk”/pérdida esperada en producción: cuánto se espera perder si la variación elegida resulta ser, en realidad, peor). docs.growthbook.io/statistics/details.
- Robinson, D. Is Bayesian A/B Testing Immune to Peeking? Not Exactly (por qué la pérdida esperada y la probabilidad bayesiana todavía exigen disciplina contra la parada anticipada). varianceexplained.org.
Preguntas frecuentes
- ¿Qué es la pérdida esperada (expected loss) en un test A/B bayesiano?
- Es el valor promedio que perderías, en la métrica que importa (tasa de conversión, ingresos), si eligieras una variación y esta en realidad no fuera la mejor. Formalmente, al considerar elegir B, es la esperanza de la parte positiva de la diferencia entre los posteriores, es decir, el promedio, ponderado por el posterior, de cuánto supera A a B en los escenarios en que A es realmente la ganadora. Cuando ese número es pequeño, el costo de equivocarse es bajo, aunque todavía quede algo de probabilidad de error.
- ¿Por qué la pérdida esperada es diferente de solo mirar la probabilidad de que B gane?
- Porque probabilidad y magnitud son cosas distintas. Dos tests pueden tener exactamente la misma probabilidad del 95% de que B le gane a A, pero equivocarse en uno de ellos cuesta una fracción mínima de punto porcentual de tasa de conversión y en el otro cuesta diez o veinte veces más. La probabilidad sola trata los dos casos como igualmente seguros para decidir; la pérdida esperada no, porque multiplica la probabilidad de error por el tamaño del error.
- ¿Qué umbral de pérdida esperada debo usar para detener un test?
- No existe un número universal: es una elección de riesgo de negocio, definida antes de que el test comience, del mismo modo que se define el tamaño de muestra en un test frecuentista. Una práctica descrita en el whitepaper de Chris Stucchio para VWO es expresar el umbral como una fracción pequeña de la métrica que importa, por ejemplo 0,1% del ingreso esperado en el período, convertida a la misma unidad que usa la pérdida esperada de la calculadora.
- ¿La pérdida esperada elimina el problema del peeking (espiar y parar antes de tiempo)?
- No lo elimina, solo cambia la naturaleza del riesgo. Mirar el resultado repetidas veces y parar en cuanto la pérdida esperada cruza el umbral por primera vez todavía puede capturar un momento de suerte, sobre todo con poca muestra acumulada. La práctica más segura es definir el umbral antes de empezar, exigir una muestra mínima y confirmar que el criterio se mantiene estable durante más de una lectura, no solo la primera vez que lo cruzó.
- ¿La pérdida esperada funciona solo para tasa de conversión binaria?
- El principio se generaliza a cualquier métrica con un posterior bien definido, incluyendo ingreso por usuario o tiempo de sesión, siempre que se use el modelo bayesiano adecuado para cada tipo de dato. La calculadora de este blog usa el modelo Beta-Binomial, adecuado para métricas de conversión binaria (convirtió o no convirtió), el caso más común en test A/B.