Tasa de Victoria en Tests A/B: lo que muestran los datos
Cuál es la tasa de victoria en tests A/B según los datos publicados, por qué varía tanto y por qué una tasa alta suele ser señal de problema.
📚 Este artículo es parte de la guía Cómo Construir una Cultura de Experimentación (2026).
La tasa de victoria en tests A/B, es decir, la proporción de experimentos que mejoran la métrica objetivo, no tiene un benchmark universal. Los datos públicos más citables abren un rango amplio: Ronny Kohavi documentó que en Microsoft aproximadamente un tercio de las ideas probadas mejora la métrica, un tercio queda neutro y un tercio empeora; Kohavi, Deng y Vermeer reunieron las tasas de éxito ya publicadas por diferentes operaciones y llegaron a un rango que va de 8% a 33%. Este artículo muestra qué mide realmente cada número, por qué divergen tanto, por qué una tasa alta suele ser síntoma de proceso flojo y, sobre todo, la cuenta que casi nadie hace: cuántos de tus ganadores son falsos positivos, dado que la mayoría de las ideas no funciona. Forma parte de la guía de cómo construir una cultura de experimentación.
Qué muestran realmente los datos publicados
Tres referencias sostienen prácticamente todas las citas de tasa de victoria que circulan en el mercado. Vale leer qué mide cada una, porque no están midiendo lo mismo.
| Fuente | Qué reporta | Qué mide de hecho |
|---|---|---|
| Kohavi, KDD 2015 (Microsoft) | Cerca de un tercio mejora la métrica objetivo, un tercio es neutro, un tercio empeora | Ideas probadas en un programa maduro, contando las tres direcciones |
| Kohavi, Deng y Vermeer, KDD 2022 | Compilación de tasas de éxito ya publicadas: 33% (Microsoft), 20% (Kaushik), 15% (Bing), 10% (Booking.com, Google Ads, Netflix), 8% (Airbnb Search) | Estimaciones de orígenes distintos, reunidas para calcular el riesgo de falso positivo de cada una |
| Thomke, HBR 2020 (Booking.com) | Programa con decenas de miles de experimentos por año y énfasis público en el aprendizaje con los fracasos | Volumen y cultura, más que una tasa comparable |
La distancia entre “un tercio” y “10%” suele leerse como contradicción y no lo es. Los dos extremos del rango salen de la misma tabla del artículo de 2022: 33% es la línea de Microsoft, y es exactamente la proporción de un tercio documentada en 2015; 10% es la línea atribuida a Booking.com, Google Ads y Netflix. Entre ellas quedan Bing con 15% y una estimación de Avinash Kaushik con 20%. No son mediciones de un mismo estudio comparando empresas: son números publicados en momentos y contextos diferentes, y los autores dicen con todas las letras que los criterios de conteo varían entre las fuentes y que sirven como orden de magnitud. Un rango de 8% a 33% no es ruido de medición, es el efecto de cuatro variables que la próxima sección desglosa.
Por qué las tasas varían tanto
Cuatro variables explican casi toda la diferencia entre equipos, y ninguna de ellas es el talento.
- Madurez del sitio. Un sitio nunca optimizado tiene problemas grandes y obvios esperando. Después de dos años de programa, lo que queda son efectos pequeños, que producen más empates. El mismo equipo, en el mismo sitio, tiende a ver la tasa caer con el tiempo.
- Tamaño del cambio probado. Probar una nueva propuesta de valor produce efectos mayores (y derrotas más grandes) que probar microcopy. Un equipo que solo prueba detalles va a acumular empates independientemente de la calidad de las hipótesis.
- Efecto mínimo detectable elegido. Dimensionar para detectar +20% relativo y dimensionar para +5% cambian por completo cuántos efectos reales alcanza a ver el test. Quien elige un MDE ambicioso registra como empate un montón de efecto real y pequeño. La cuenta está en la guía de significancia estadística en tests A/B.
- Definición interna de victoria. Algunos equipos cuentan como victoria cualquier resultado positivo, incluso sin significancia. Otros cuentan solo lo que efectivamente se subió a producción. Eso solo mueve la tasa decenas de puntos, sin que nada haya cambiado en la operación.
Antes de comparar tu tasa con cualquier benchmark, escribe tu definición de victoria. En la mayoría de los casos esa frase explica la diferencia entera.
Una tasa de victoria alta suele ser señal de alerta
Este es el punto contraintuitivo que la mayoría de los artículos sobre benchmarks ignora. Si las fuentes públicas apuntan a algo entre 8% y un tercio, un programa que reporta 60% o 70% de victorias merece una auditoría antes que una celebración. Las cuatro causas más comunes, en orden de frecuencia:
| Causa probable | Cómo identificarla | Qué hacer |
|---|---|---|
| Parada anticipada al ver el panel | Tests cerrados en fechas irregulares, siempre justo después de un pico favorable | Fijar la duración antes de correr; ver el problema del peeking |
| Tests sin poder estadístico | Muestra por variación muy por debajo de la necesaria para el MDE declarado | Dimensionar antes; aceptar correr menos tests y mejores |
| Cambio de métrica después del resultado | La métrica primaria del reporte no es la de la planificación | Registrar métrica primaria y guardrails antes del inicio |
| Empate contado como victoria | Victorias reportadas sin valor p ni intervalo | Reportar siempre el intervalo, no solo la dirección |
Las dos primeras causas se refuerzan. Un test sin poder casi nunca cruza la línea de significancia por efecto real: cuando la cruza, es porque le tocó un sorteo favorable. Si además el equipo mira el panel todos los días y para cuando le gusta lo que ve, la tasa de victoria sube justamente porque la tasa de acierto bajó.
La cuenta que casi nadie hace: cuántos ganadores son falsos
Aquí está la parte que cambia decisiones. La pregunta “cuántos de mis ganadores son reales” no se responde con el valor p solo. Depende también de la proporción de tus ideas que realmente funcionan, y ahí es donde la tasa de victoria se vuelve información útil de verdad.
Considera 1.000 tests corridos con 95% de confianza bilateral y 80% de poder, en un escenario en el que el 10% de las ideas probadas produce efecto real.
- 100 tests tienen efecto real. Con 80% de poder, cerca de 80 de ellos serán detectados como significativos.
- 900 tests no tienen efecto. Un test bilateral al 5% produce 5% de falsos positivos, pero la mitad de ellos apunta a la dirección negativa y nadie llama a eso una victoria. Quedan 2,5% en la dirección positiva: cerca de 22,5 falsos ganadores.
- Total de “ganadores”: 80 más 22,5, es decir, 102,5.
- Proporción de falsos entre los ganadores: 22,5 dividido por 102,5, aproximadamente 22%.
Es decir: incluso con estadística correcta, incluso sin peeking, incluso con poder adecuado, cerca de uno de cada cinco ganadores de ese programa no es una victoria. Y eso empeora rápido conforme la proporción de ideas buenas cae o el poder disminuye.
| Proporción real de ideas que funcionan | Poder del test | Ganadores verdaderos por 1.000 | Falsos ganadores por 1.000 | Falsos entre los ganadores |
|---|---|---|---|---|
| 5% | 80% | 40,0 | 23,8 | 37,3% |
| 10% | 80% | 80,0 | 22,5 | 22,0% |
| 20% | 80% | 160,0 | 20,0 | 11,1% |
| 33% | 80% | 266,6 | 16,7 | 5,9% |
| 10% | 50% | 50,0 | 22,5 | 31,0% |
Cálculo con alfa de 5% bilateral, contando como “ganador” solamente el resultado significativo en la dirección positiva.
Vale registrar que esa cuenta no es invención nuestra: es exactamente el cálculo que Kohavi, Deng y Vermeer aplican en la tabla del artículo de 2022, y los valores coinciden línea por línea con los que ellos publican. Para las tasas de éxito de la compilación, el riesgo de falso positivo que reportan es de 5,9% (Microsoft, 33%), 11,1% (Kaushik, 20%), 15,0% (Bing, 15%), 22,0% (Booking.com, Google Ads y Netflix, 10%) y 26,4% (Airbnb Search, 8%). Es el motivo por el que la tabla existe en el artículo original: mostrar que cuanto menor es la tasa de éxito de un programa, mayor es la porción de sus ganadores que no es victoria ninguna.
Ejemplo trabajado: leyendo un ganador con esa lente
Un test en el flujo de checkout corre 12.000 visitantes por variación. El control convierte 360 veces (3,00%) y la variación convierte 420 veces (3,50%). Corriendo el test z de dos proporciones, bilateral, con 95% de confianza:
- Lift relativo: +16,67%.
- Diferencia absoluta: +0,50 punto porcentual.
- Estadístico z: 2,18.
- Valor p: 0,029.
- Intervalo de confianza de la diferencia: de +0,05 a +0,95 punto porcentual.
Comprueba ese cálculo con los mismos números, o con los tuyos:
Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.
Por el criterio clásico, es victoria: el valor p quedó por debajo de 0,05 y el intervalo no incluye el cero. Dos lecturas adicionales, sin embargo, cambian qué hacer con esa victoria.
La primera es el intervalo. Va de +0,05 a +0,95 punto porcentual, un rango que en términos relativos va de aproximadamente +1,7% a +31,7%. El efecto puntual de +16,67% es el centro de ese rango, no una previsión. Prometer +16% de ganancia de conversión a la dirección a partir de ese test es prometer el medio de un intervalo que casi toca el cero.
La segunda es la tasa base. Si ese equipo históricamente acierta alrededor del 10% de las hipótesis, cerca del 22% de sus ganadores son falsos, y un resultado con valor p de 0,029 (cerca de la línea, no lejos de ella) está justamente en la región donde se concentran los falsos positivos. La conducta correcta no es descartar el resultado, es subir el cambio y confirmar el efecto en el seguimiento, o replicar el test si el cambio es caro o arriesgado de revertir.
Cómo calcular tu propia tasa correctamente
Antes de compararla con cualquier benchmark, el número necesita calcularse de una forma que sobreviva a una auditoría. El error más común no está en el numerador, está en el denominador.
El denominador honesto es todo test que empezó a recoger datos, no todo test que llegó al final. Los tests abortados a la mitad, los descartados por problema de implementación y los que nadie cerró formalmente salen de la cuenta con mucha frecuencia, y salen de forma sesgada: un test se abandona mucho más cuando los primeros días parecen malos que cuando parecen buenos. Excluir los abandonados infla la tasa sin que nada haya mejorado.
El numerador honesto tiene tres definiciones posibles, y el único error es no elegir una y escribirla:
- Victoria estadística: resultado significativo en la dirección positiva de la métrica primaria, con los guardrails intactos. Es la más comparable entre equipos.
- Victoria de decisión: el test llevó a subir el cambio. Incluye casos en los que un empate fue suficiente para decidir (por ejemplo, simplificar una pantalla sin perder conversión), lo que es una buena decisión y no una victoria estadística.
- Victoria realizada: el cambio se subió y la ganancia se mantuvo en el seguimiento posterior al lanzamiento. Es la definición más dura y la más útil para planificación financiera.
Los equipos maduros reportan las tres, y la distancia entre ellas es diagnóstica. Una victoria estadística muy mayor que la realizada apunta a efectos inflados por la maldición del ganador o a ganancias que decaen después del lanzamiento. Una victoria de decisión muy mayor que la estadística indica que buena parte del valor del programa viene de empates informativos, lo cual es legítimo, siempre que esté escrito.
Un cuidado final sobre la ventana de tiempo: la tasa de victoria calculada por trimestre se mueve mucho en programas que corren pocos tests. Con 5 tests en el trimestre, un solo resultado mueve la tasa 20 puntos. Por debajo de más o menos 20 tests en la ventana, el número dice más sobre el azar que sobre el equipo, y la lectura anual es la única que se sostiene.
Qué medir en lugar de la tasa de victoria
La tasa de victoria es fácil de calcular, fácil de comparar y fácil de inflar, que es la combinación exacta de un mal indicador. Tres medidas resisten mejor al incentivo perverso:
| Indicador | Cómo medirlo | Por qué resiste a la manipulación |
|---|---|---|
| Efecto acumulado realizado en el año | Suma de las ganancias que siguieron en producción tras el lanzamiento, medidas y no estimadas | Solo crece si las victorias son reales y sobreviven |
| Tests con hipótesis registrada antes de correr | Proporción de tests con hipótesis, métrica primaria y duración escritas antes del inicio | No puede inflarse sin mejorar la planificación |
| Resultados documentados, incluyendo empates y derrotas | Proporción de tests con entrada completa en el repositorio | Mide el aprendizaje, que es el producto real del programa |
Los dos últimos vienen del proceso, no del resultado, y es exactamente por eso que funcionan: ninguno de ellos mejora cuando alguien para un test antes de tiempo. El tercero depende de tener dónde registrar, que es el asunto de la plantilla de roadmap de experimentación y de la rutina de documentación del programa.
Un cuarto indicador vale para equipos con más madurez: la proporción de la capacidad estadística aprovechada, es decir, cuántos de los tests corridos en el año tenían muestra suficiente para el efecto que se proponían detectar. Un programa con muchos tests subdimensionados va a tener, al mismo tiempo, una tasa de victoria alta y un efecto acumulado bajo, que es la firma clásica de un panel bonito sin ingresos detrás.
Hazlo automático en Donnu
Leer una victoria correctamente exige tres cosas al mismo tiempo: la duración fijada antes de empezar, el intervalo de confianza reportado junto al efecto, y el histórico del programa para saber dónde cae tu resultado. Donnu entrega las tres por defecto: dimensiona el test contra tu tráfico real y muestra la duración antes de que empieces, presenta el intervalo junto a todo resultado en lugar de un número suelto, y mantiene el registro de cada experimento con los números congelados tal como se leyeron. La tasa de victoria pasa a ser consecuencia del proceso, no una meta a perseguir.
Empieza una prueba gratis de 14 días y lee tus resultados con el intervalo a la vista. Para dimensionar cuántos tests aguanta tu tráfico antes de prometer cadencia, mira cuántos tests A/B deberías hacer por mes.
Referencias
- Kohavi, R. Online Controlled Experiments: Lessons from Running A/B/n Tests for 12 Years. Keynote, ACM SIGKDD 2015. exp-platform.com/Documents/2015-08OnlineControlledExperimentsKDDKeynoteNR.pdf.
- Kohavi, R., Deng, A. y Vermeer, L. A/B Testing Intuition Busters: Common Misunderstandings in Online Controlled Experiments. KDD 2022. La compilación de tasas de éxito y el riesgo de falso positivo correspondiente están en la Tabla 2. Página del artículo: exp-platform.com/abtestingintuitionbusters. Registro bibliográfico: dblp.org/rec/conf/kdd/KohaviDV22.html.
- Thomke, S. Building a Culture of Experimentation. Harvard Business Review, marzo-abril 2020. hbr.org/2020/03/building-a-culture-of-experimentation.
- Kohavi, R. y Thomke, S. The Surprising Power of Online Experiments. Harvard Business Review, 2017. hbr.org/2017/09/the-surprising-power-of-online-experiments.
- Kohavi, R. ExP Platform: accelerating innovation through trustworthy experimentation. exp-platform.com.
Lee también:
Preguntas frecuentes
- ¿Cuál es la tasa de victoria media en tests A/B?
- No existe un número único, y los datos públicos disponibles abren un rango amplio. Ronny Kohavi documentó que, en Microsoft, aproximadamente un tercio de las ideas probadas mejora la métrica objetivo, un tercio queda neutro y un tercio empeora. Kohavi, Deng y Vermeer reunieron las tasas de éxito publicadas por varias operaciones y llegaron a un rango de 8% (Airbnb Search) a 33% (Microsoft), con 10% reportado para Booking.com, Google Ads y Netflix. Los propios autores advierten que esos números usan criterios de conteo distintos entre sí y valen como orden de magnitud, no como benchmark comparable.
- ¿Una tasa de victoria alta es buena?
- No siempre, y por encima de cierto punto es una señal de alerta. Tasas muy por encima de un tercio suelen indicar problemas de proceso antes que talento: parada anticipada al ver el panel favorable, tests sin poder estadístico donde solo el azar favorable cruza la línea, cambio de métrica primaria después del resultado, o conteo de "victoria" incluyendo empates leídos como ganancia. Antes de celebrar una tasa alta, conviene auditar cómo se contó el número.
- ¿Por qué la tasa de victoria de un programa cae con el tiempo?
- Porque las mejoras obvias se acaban. Un programa nuevo recoge problemas grandes y evidentes, con efectos grandes y fáciles de detectar. Después de algunos trimestres, lo que queda son efectos menores, que exigen más muestra para aparecer y producen más empates. Una tasa de victoria que cae mientras el aprendizaje se acumula es el dibujo normal de un programa sano, no un síntoma.
- Si el 10% de los tests gana, ¿cuántos de los ganadores son falsos positivos?
- Cerca del 22%, y ese es el número que Kohavi, Deng y Vermeer publican para una tasa de éxito del 10%. Con 95% de confianza bilateral y 80% de poder, por cada 1.000 tests encuentras cerca de 80 ganadores verdaderos y 22,5 falsos positivos en la dirección positiva, es decir, aproximadamente el 22% de tus "ganadores" no son victorias. Esa cuenta depende de la tasa base de ideas buenas, no solo del valor p, y es la razón por la que replicar un ganador sorprendente antes de subirlo vale la pena.
- ¿Qué medir en lugar de la tasa de victoria?
- Tres números dicen más: el efecto acumulado realizado en el año (la suma de las ganancias que sobrevivieron en producción, no el conteo de victorias), la proporción de tests con hipótesis registrada antes de correr, y la proporción de resultados documentados incluyendo empates y derrotas. La tasa de victoria es un indicador de suerte y de dificultad de las apuestas; ninguno de los tres anteriores puede inflarse sin mejorar el proceso de verdad.
- ¿Vale la pena comparar mi tasa de victoria con la de otra empresa?
- Solo como conversación, nunca como meta. La tasa depende del tráfico disponible, del efecto mínimo detectable elegido, de cuánto se optimizó ya el sitio y de la definición interna de victoria. Dos empresas con procesos igual de buenos pueden tener tasas muy distintas por esas cuatro variables, así que una meta de tasa de victoria copiada de fuera acaba presionando al equipo a inflar el número en lugar de mejorar las decisiones.