Reparto de Tráfico en Test A/B: ¿50/50 o 90/10?
Reparto de tráfico en test A/B: por qué 50/50 es el óptimo, cuánto cuesta 90/10 en días (2,78 veces más) y cuándo la rampa resuelve el miedo al riesgo.
📚 Este artículo es parte de la guía Significancia Estadística en Tests A/B: La Guía.
Ejecutar un test en 90/10 no hace que el experimento sea más seguro, lo hace 2,78 veces más lento. El mismo plan que tarda 11 días con la mitad del tráfico en cada brazo tarda 30 días en 90/10 y 272 días en 99/1, porque la precisión de la comparación está limitada por el brazo más pequeño. En este artículo calculamos el factor exacto para cada reparto, mostramos el mismo test llegando a conclusiones opuestas solo por el reparto, explicamos por qué la rampa de exposición es la respuesta correcta al miedo que motiva el 90/10 y por qué la verificación de SRM necesita conocer el reparto desigual antes de que enciendas el test. Forma parte de nuestra guía completa de test A/B y complementa cuántos visitantes necesita un test A/B.
La cuenta que casi nadie hace
La precisión de una comparación entre dos grupos depende de los dos. La varianza de la diferencia de dos tasas es proporcional a 1 sobre el número de personas en el control más 1 sobre el número de personas en la variante. Con un total fijo de visitantes repartido en una proporción p para la variante, esa suma vale 1 dividido por p(1 menos p) por el total. Alcanza el mínimo exactamente en p igual a 0,5, y crece rápido hacia los lados.
Kohavi, Longbotham, Sommerfield y Henne ponen la regla en una sección con el título más directo posible, “Assign 50% of users to treatment”, y dan la aproximación práctica: el aumento multiplicativo en el tiempo de ejecución respecto a 50/50 es 1 dividido por 4p(1 menos p), con la variante recibiendo la porción p del tráfico. Y lo completan con el ejemplo que suele despertar a la sala: un test ejecutado en 99 contra 1 por ciento va a necesitar ejecutarse cerca de 25 veces más tiempo.
Comprobamos la fórmula contra la cuenta exacta de tamaño de muestra para dos proporciones, buscando numéricamente el total que entrega 80 por ciento de potencia en cada reparto. La aproximación de Kohavi y coautores acierta con holgura:
| Reparto (control / variante) | Factor por la fórmula | Total necesario | Factor medido | Días a 40 mil por semana | Visitantes en la variante |
|---|---|---|---|---|---|
| 50 / 50 | 1,0000 | 62.467 | 1,0000 | 11 | 31.234 |
| 60 / 40 | 1,0417 | 64.835 | 1,0379 | 12 | 25.934 |
| 70 / 30 | 1,1905 | 73.825 | 1,1818 | 13 | 22.148 |
| 80 / 20 | 1,5625 | 96.534 | 1,5454 | 17 | 19.307 |
| 90 / 10 | 2,7778 | 170.965 | 2,7369 | 30 | 17.097 |
| 95 / 5 | 5,2632 | 323.330 | 5,1760 | 57 | 16.167 |
| 98 / 2 | 12,7551 | 782.675 | 12,5294 | 137 | 15.654 |
| 99 / 1 | 25,2525 | 1.548.950 | 24,7963 | 272 | 15.490 |
La última columna guarda la intuición que falta en la mayoría de las discusiones: la variante necesita más o menos la misma cantidad de gente en cualquier reparto (entre 15 y 31 mil aquí). Lo que explota es el total, porque para dar 17 mil visitantes a la variante en 90/10 necesitas mandar 154 mil al control, y es el reloj quien paga esa cuenta.
El plan del que salen todos esos números
Todas las filas de arriba salen de un único plan de horizonte fijo. Tasa base de 5 por ciento, efecto mínimo detectable de 10 por ciento relativo, 95 por ciento de confianza, 80 por ciento de potencia, bilateral. La calculadora devuelve 31.234 visitantes por variante, o 62.468 en total, lo que da 11 días con 40 mil visitantes por semana.
Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.
Comprueba: base 5, MDE 10 por ciento relativo, confianza 95, potencia 80. Es ese 31.234 el que la tabla multiplica. La calculadora, como casi todas las del mercado, asume el reparto mitad y mitad; no tiene campo de proporción porque la respuesta correcta para ese campo siempre es 50. Si aun así vas a ejecutar en desigual, toma el total de 62.468 y multiplícalo por el factor de tu fila.
El mismo test, dos repartos, conclusiones opuestas
Nada de esto es abstracto. Simulamos un efecto real de 10 por ciento relativo (5,0 contra 5,5 por ciento) y gastamos exactamente el mismo tráfico total, 62.467 visitantes, de dos maneras.
| Escenario | Control | Variante | Lift relativo medido | valor p | Intervalo de confianza | Veredicto |
|---|---|---|---|---|---|---|
| 90 / 10 | 2.801 de 56.220 (4,9822%) | 337 de 6.247 (5,3946%) | 8,28% | 0,156893 | de menos 0,1760 a 1,0007 pp | inconcluso |
| 50 / 50 | 1.554 de 31.234 (4,9754%) | 1.703 de 31.234 (5,4524%) | 9,59% | 0,007326 | de 0,1284 a 0,8257 pp | gana la variante |
Misma verdad por debajo, mismo presupuesto de tráfico, mismo número de días. La única diferencia es dónde fue a parar el tráfico, y ella decidió si el equipo descubrió la ganancia o archivó la hipótesis. Pega las dos filas en la calculadora de significancia para ver los dos veredictos uno al lado del otro.
El efecto sobre la capacidad de detectar aparece con claridad cuando se fija el presupuesto de tráfico y se pregunta qué potencia sobra:
| Reparto | Visitantes en el control | Visitantes en la variante | Potencia analítica | Potencia medida en 40 mil réplicas | Menor efecto detectable |
|---|---|---|---|---|---|
| 50 / 50 | 31.233 | 31.234 | 80,00% | 80,03% | 10,00% relativo |
| 70 / 30 | 43.727 | 18.740 | no simulado | no simulado | 10,89% relativo |
| 80 / 20 | 49.974 | 12.493 | 61,94% | 61,64% | 12,48% relativo |
| 90 / 10 | 56.220 | 6.247 | 40,57% | 40,61% | 16,71% relativo |
| 95 / 5 | 59.344 | 3.123 | no simulado | no simulado | 23,17% relativo |
Con 90/10, la potencia del test cayó de 80 a 40 por ciento sin que nada del plan hubiera cambiado. Un test con 40 por ciento de potencia falla más de la mitad de los ganadores reales, y el equipo interpreta ese silencio como “la hipótesis no funcionó”. Es el mismo mecanismo que describimos en poder observado después del test: el resultado nulo no es información sobre el producto, es información sobre el diseño.
Lo que el reparto desigual NO estropea
Vale ser preciso, porque la confusión aquí es común. El reparto desigual no infla el falso positivo. Ejecutamos 40 mil réplicas bajo la hipótesis nula, con las dos variantes teniendo exactamente la misma tasa de 5 por ciento:
| Reparto | Falso positivo medido | Error estándar de Monte Carlo |
|---|---|---|
| 50 / 50 | 5,11% | 0,11 pp |
| 90 / 10 | 4,83% | 0,11 pp |
| 98 / 2 | 5,19% | 0,11 pp |
Todas dentro de lo esperado. La matemática del test de dos proporciones ya trata correctamente tamaños diferentes, y el valor p sigue queriendo decir lo que promete. El perjuicio del reparto desigual es enteramente del lado del error tipo II, el de no ver lo que está ahí. No aparece en ninguna alerta, solo en el tiempo que pasa.
Por qué 90/10 parece seguro, y la respuesta correcta a ese miedo
La motivación casi siempre es la misma y es razonable: si la variante es mala, cuanta menos gente la vea, mejor. Kohavi y coautores nombran esa práctica entre experimentadores principiantes y coinciden con la preocupación, pero discrepan de la solución. Su respuesta es la rampa de exposición: empezar en 99,9 contra 0,1 por ciento y subir a 0,5, después 2,5, después 10, después 50 por ciento, con cada escalón durando algunas horas y sirviendo para comprobar que no hay un problema grave antes de exponer a más gente.
La diferencia entre rampa y reparto desigual es lo que cada una intenta responder. La rampa responde “¿esto está roto?” y es corta. El reparto responde “¿esto funciona?” y es el test entero. Confundir las dos es aceptar un mal diseño de medición para resolver un problema de seguridad que tiene respuesta propia.
La rampa de Bing no es tu rampa
Aquí entra un detalle que la literatura de empresas grandes esconde. La rampa de 0,1 por ciento durante dos horas fue escrita para sitios con volumen enorme. En un sitio de 40 mil visitantes por semana, ese escalón expone a 0,5 usuario. No detecta nada.
| Escalón de la rampa | Horas para exponer a 500 usuarios con 40 mil/semana | Horas para exponer a 500 usuarios con 4 millones/semana |
|---|---|---|
| 0,1% | 2.100 h (87,5 días) | 21 h |
| 0,5% | 420 h (17,5 días) | 4,2 h |
| 2,5% | 84 h (3,5 días) | 0,84 h |
| 10% | 21 h (0,9 día) | 0,21 h |
| 50% | 4,2 h | 0,04 h |
La conclusión práctica para un sitio de tráfico medio es que la rampa útil tiene dos o tres escalones, no cinco, y viven en la franja de 10 a 50 por ciento. Por debajo de 2,5 por ciento, el escalón no es una comprobación de seguridad, es una pausa decorativa que solo consume calendario. Y consume poco del plan: tres días al 10 por ciento entregan 1.714 visitantes a la variante, o 5,49 por ciento de la N que necesita, lo cual es aceptable como coste de seguridad.
El brazo pequeño puede caer por debajo del piso de normalidad
Existe un problema adicional que solo aparece en métricas asimétricas, y es peor que la pérdida de potencia. La aproximación normal que sostiene el valor p necesita un número mínimo de observaciones para valer, y ese mínimo depende de la asimetría de la métrica. Kohavi, Deng, Longbotham y Xu proponen como regla de oro 355 veces el cuadrado del coeficiente de asimetría por variante, recomendada cuando el módulo de la asimetría pasa de 1, y publican la tabla de Bing:
| Métrica | Asimetría | Muestra mínima por variante |
|---|---|---|
| Ingresos por usuario | 17,9 | 114.000 |
| Ingresos por usuario (con capping) | 5,2 | 9.700 |
| Sesiones por usuario | 3,6 | 4.700 |
| Tiempo hasta el éxito | 2,1 | 1.550 |
En nuestro ejemplo de 90/10, la variante recibió 6.247 visitantes. Para tasa de conversión, una métrica binaria, eso está lejos de ser un problema. Para ingresos por usuario sin capping, con el piso en 114 mil, el brazo pequeño no solo está sin potencia: está por debajo del umbral en que el valor p de esa métrica significa algo. Si tu métrica principal son los ingresos, el reparto desigual sale de la categoría “más lento” y entra en la de “no interpretable”, y el capping de outliers pasa a ser prerrequisito, no refinamiento.
Cambiar el reparto a mitad del test es otro diseño, no un ajuste
Una tentación común es empezar en 90/10 “para ver si todo va bien” y subir a 50/50 cuando dé confianza, tratándolo como un detalle operativo. No lo es. La orientación de la FDA clasifica las adaptaciones en la asignación como una familia propia de diseño adaptativo y separa dos casos. Cuando la proporción cambia por características de base, buscando equilibrio entre los grupos, no aumenta directamente la probabilidad de error tipo I siempre que el análisis use la metodología apropiada. Cuando la proporción cambia en función de los desenlaces ya observados, lo que la agencia llama aleatorización adaptativa por respuesta, saliste del territorio del test A/B de horizonte fijo y entraste en el de los algoritmos que reasignan tráfico al brazo que está ganando, asunto de bandits contra test A/B.
La regla práctica que sale de ahí es simple: cambiar el reparto por calendario o por seguridad, con criterio escrito antes, es aceptable y el efecto es solo sobre cuánto tiempo tarda el test. Cambiar el reparto porque la variante va bien transforma la lectura final en otra cosa, y el valor p del test de dos proporciones deja de ser el instrumento correcto.
Declara el reparto al verificador de SRM
Último detalle operativo, y muerde la primera mañana. La verificación de sample ratio mismatch compara el reparto observado con el esperado. Si la herramienta asume 50/50 por defecto y encendiste un test 90/10, va a gritar todos los días:
| Pesos informados al verificador | Chi cuadrado | valor p | ¿Acusa problema? |
|---|---|---|---|
| 50 y 50 (el valor por defecto) | 39.977,9 | menor que 0,0001 | sí, y es falsa alarma |
| 0,9 y 0,1 (declarado) | 0,0000 | 0,9968 | no |
La falsa alarma es peor de lo que parece, porque entrena al equipo a ignorar el guardrail que existe justamente para detectar el problema real. Un reparto desigual intencional solo es aceptable cuando la proporción esperada está registrada junto con el experimento, de forma que el verificador la use como referencia.
Hazlo automático en Donnu
El reparto desigual rara vez es una decisión, suele ser un valor por defecto heredado de la herramienta o una cautela que nadie convirtió en días. En Donnu el reparto del experimento aparece junto con su coste: al mover el control de 50 a 90 por ciento, el panel muestra al instante el nuevo total necesario, la nueva fecha prevista de término y la potencia que sobra con el tráfico que tienes. La rampa de exposición es una fase propia, con criterio de salida, y el verificador de SRM lee la proporción declarada en el experimento en lugar de asumir mitad y mitad, así que un reparto desigual intencional no se convierte en falsa alarma todos los días.
Preguntas frecuentes
Las respuestas cortas están en la sección de preguntas frecuentes de esta página, montadas a partir de los mismos cálculos presentados aquí.
Referencias
- Ron Kohavi, Roger Longbotham, Dan Sommerfield y Randal M. Henne. Controlled experiments on the web: survey and practical guide, Data Mining and Knowledge Discovery, 2009. La sección 6.2.4 (“Assign 50% of users to treatment”) es la fuente de la recomendación de 50 por ciento por variante para maximizar potencia y minimizar tiempo, y de la aproximación 1 dividido por 4p(1 menos p) para el aumento multiplicativo del tiempo, con el ejemplo de 99 contra 1 por ciento necesitando cerca de 25 veces más tiempo. La sección 3.5.1 es la fuente de la rampa de exposición de 99,9/0,1 subiendo por 0,5, 2,5, 10 y 50 por ciento con algunos escalones de pocas horas, y la 6.2.5 trae el ejemplo del test de 5 días que se convierte en cuatro semanas en 95/5 y la advertencia sobre no ejecutar en 99/1 por el tiempo excesivo y la contaminación por cambio de cookie.
- Ron Kohavi, Alex Deng, Roger Longbotham y Ya Xu. Seven Rules of Thumb for Web Site Experimenters, KDD 2014. La regla 7 es la fuente de la regla de oro de 355 veces el cuadrado del coeficiente de asimetría por variante, recomendada cuando el módulo de la asimetría pasa de 1, y de la tabla de Bing con ingresos por usuario en asimetría 17,9 y muestra mínima de 114 mil, ingresos con capping en 5,2 y 9,7 mil, sesiones por usuario en 3,6 y 4,7 mil, y tiempo hasta el éxito en 2,1 y 1.550.
- U.S. Food and Drug Administration. Adaptive Designs for Clinical Trials of Drugs and Biologics: Guidance for Industry, noviembre de 2019. La sección V.E (“Adaptations to Patient Allocation”) es la fuente de la distinción entre asignación adaptativa por covariables, que busca equilibrio entre los grupos y no aumenta directamente la probabilidad de error tipo I cuando se analiza con la metodología apropiada, y la aleatorización adaptativa por respuesta, en la que la probabilidad de que un nuevo participante caiga en cada brazo cambia a lo largo del estudio con base en los desenlaces ya observados, incluyendo el registro de que esa segunda familia puede en algunas circunstancias reducir la varianza del estadístico de test y acortar el estudio.
Lee también
Preguntas frecuentes
- ¿Cuál es el mejor reparto de tráfico en un test A/B?
- La mitad para cada variante. Kohavi y coautores recomiendan explícitamente que el 50 por ciento de los usuarios vea cada variante, porque es el reparto que maximiza la potencia y minimiza el tiempo de ejecución. La precisión de la comparación está limitada por el brazo más pequeño, así que quitar tráfico de un lado para ponerlo en el otro siempre empeora el total, nunca lo mejora.
- ¿Cuánto cuesta ejecutar un test 90/10 en lugar de 50/50?
- Cerca de 2,78 veces más tráfico para la misma potencia. El factor es 1 dividido por 4p(1 menos p), siendo p la porción de la variante: 1,04 veces en 60/40, 1,56 en 80/20, 2,78 en 90/10, 5,26 en 95/5 y 25,25 en 99/1. En el plan de este artículo, un test de 11 días en 50/50 se convierte en 30 días en 90/10 y 272 días en 99/1.
- ¿El reparto desigual rompe la estadística del test?
- No. El test sigue siendo válido: en nuestras 40 mil réplicas bajo la hipótesis nula, la tasa de falso positivo quedó en 5,11 por ciento con 50/50, 4,83 por ciento con 90/10 y 5,19 por ciento con 98/2, todas dentro del error de simulación. Lo que el reparto desigual estropea es la potencia, no el alfa. No vas a ver más falsos ganadores, vas a dejar de ver ganadores de verdad.
- Si tengo miedo de exponer la variante nueva, ¿no debería usar 90/10?
- El miedo es legítimo, la solución es otra: rampa de exposición. Kohavi y coautores describen empezar en 99,9 contra 0,1 por ciento, subir a 0,5, 2,5, 10 y luego 50 por ciento, con cada escalón durando algunas horas y sirviendo para comprobar que no hay un problema grave. La rampa es una fase de seguridad corta, no el diseño de medición. Cuando termina, el test se ejecuta en 50/50, que es donde mide.
- ¿La verificación de SRM acusa un reparto desigual intencional?
- Lo acusa, si no le declaras el reparto. En nuestro ejemplo, un test 90/10 con 56.220 y 6.247 visitantes devuelve un chi cuadrado de 39.977,9 y un valor p indistinguible de cero cuando el verificador asume 50/50. Declarando los pesos 0,9 y 0,1, el mismo test devuelve un chi cuadrado de 0,0000 y un valor p de 0,9968. Un reparto desigual intencional exige registrar la proporción esperada junto con el experimento, si no el guardrail se convierte en ruido diario.
- ¿Existe algún caso en que el reparto desigual sea la elección correcta?
- Existen dos. El primero es la fase de rampa, que es corta y no es la medición. El segundo es cuando la variante tiene un coste real por usuario expuesto, como una llamada cara de API o un descuento, y aceptas conscientemente pagar en tiempo de calendario para reducir ese coste. Fuera de eso, el reparto desigual es casi siempre una decisión de comodidad que nadie tradujo a días.