Divisão de Tráfego em Teste A/B: 50/50 ou 90/10?
Divisão de tráfego em teste A/B: por que 50/50 é o ótimo, quanto 90/10 custa em dias (2,78 vezes mais) e quando a rampa resolve o medo do risco.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
Rodar um teste em 90/10 não deixa o experimento mais seguro, deixa ele 2,78 vezes mais lento. O mesmo plano que leva 11 dias com metade do tráfego em cada braço leva 30 dias em 90/10 e 272 dias em 99/1, porque a precisão da comparação é limitada pelo braço menor. Neste artigo a gente calcula o fator exato para cada divisão, mostra o mesmo teste chegando a conclusões opostas só por causa da divisão, explica por que a rampa de exposição é a resposta certa para o medo que motiva o 90/10 e por que a verificação de SRM precisa saber da divisão desigual antes de você ligar o teste. Faz parte do nosso guia completo de teste A/B e complementa quantos visitantes um teste A/B precisa.
A conta que quase ninguém faz
A precisão de uma comparação entre dois grupos depende dos dois. A variância da diferença de duas taxas é proporcional a 1 sobre o número de pessoas no controle mais 1 sobre o número de pessoas na variação. Com um total fixo de visitantes repartido numa proporção p para a variação, essa soma vale 1 dividido por p(1 menos p) vezes o total. Ela atinge o mínimo exatamente em p igual a 0,5, e cresce rápido para os lados.
Kohavi, Longbotham, Sommerfield e Henne colocam a regra numa seção com o título mais direto possível, “Assign 50% of users to treatment”, e dão a aproximação prática: o aumento multiplicativo no tempo de execução em relação a 50/50 é 1 dividido por 4p(1 menos p), com a variação recebendo a fatia p do tráfego. E completam com o exemplo que costuma acordar a sala: um teste rodado em 99 contra 1 por cento vai precisar rodar cerca de 25 vezes mais tempo.
Conferimos a fórmula contra a conta exata de tamanho de amostra para duas proporções, buscando numericamente o total que entrega 80 por cento de poder em cada divisão. A aproximação de Kohavi e coautores acerta com folga:
| Divisão (controle / variação) | Fator pela fórmula | Total necessário | Fator medido | Dias a 40 mil por semana | Visitantes na variação |
|---|---|---|---|---|---|
| 50 / 50 | 1,0000 | 62.467 | 1,0000 | 11 | 31.234 |
| 60 / 40 | 1,0417 | 64.835 | 1,0379 | 12 | 25.934 |
| 70 / 30 | 1,1905 | 73.825 | 1,1818 | 13 | 22.148 |
| 80 / 20 | 1,5625 | 96.534 | 1,5454 | 17 | 19.307 |
| 90 / 10 | 2,7778 | 170.965 | 2,7369 | 30 | 17.097 |
| 95 / 5 | 5,2632 | 323.330 | 5,1760 | 57 | 16.167 |
| 98 / 2 | 12,7551 | 782.675 | 12,5294 | 137 | 15.654 |
| 99 / 1 | 25,2525 | 1.548.950 | 24,7963 | 272 | 15.490 |
A última coluna guarda a intuição que falta na maioria das discussões: a variação precisa de mais ou menos a mesma quantidade de gente em qualquer divisão (entre 15 e 31 mil aqui). O que explode é o total, porque para dar 17 mil visitantes à variação em 90/10 você precisa mandar 154 mil para o controle, e é o relógio que paga essa conta.
O plano que vira todos esses números
Todas as linhas acima saem de um único plano de horizonte fixo. Taxa base de 5 por cento, efeito mínimo detectável de 10 por cento relativo, 95 por cento de confiança, 80 por cento de poder, bicaudal. A calculadora devolve 31.234 visitantes por variação, ou 62.468 no total, o que dá 11 dias com 40 mil visitantes por semana.
Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.
Confira: base 5, MDE 10 por cento relativo, confiança 95, poder 80. É esse 31.234 que a tabela multiplica. A calculadora, como quase todas do mercado, assume a divisão meio a meio; ela não tem campo de proporção porque a resposta certa para esse campo é sempre 50. Se você vai rodar desigual mesmo assim, pegue o total de 62.468 e multiplique pelo fator da sua linha.
O mesmo teste, duas divisões, conclusões opostas
Nada disso é abstrato. Simulamos um efeito real de 10 por cento relativo (5,0 contra 5,5 por cento) e gastamos exatamente o mesmo tráfego total, 62.467 visitantes, de duas maneiras.
| Cenário | Controle | Variação | Lift relativo medido | valor-p | Intervalo de confiança | Veredito |
|---|---|---|---|---|---|---|
| 90 / 10 | 2.801 de 56.220 (4,9822%) | 337 de 6.247 (5,3946%) | 8,28% | 0,156893 | de menos 0,1760 a 1,0007 pp | inconclusivo |
| 50 / 50 | 1.554 de 31.234 (4,9754%) | 1.703 de 31.234 (5,4524%) | 9,59% | 0,007326 | de 0,1284 a 0,8257 pp | vence a variação |
Mesma verdade por baixo, mesmo orçamento de tráfego, mesmo número de dias. A única diferença é onde o tráfego foi parar, e ela decidiu se o time descobriu o ganho ou arquivou a hipótese. Cole as duas linhas na calculadora de significância para ver os dois vereditos lado a lado.
O efeito na capacidade de detectar aparece com clareza quando se fixa o orçamento de tráfego e se pergunta qual poder sobra:
| Divisão | Visitantes no controle | Visitantes na variação | Poder analítico | Poder medido em 40 mil réplicas | Menor efeito detectável |
|---|---|---|---|---|---|
| 50 / 50 | 31.233 | 31.234 | 80,00% | 80,03% | 10,00% relativo |
| 70 / 30 | 43.727 | 18.740 | não simulado | não simulado | 10,89% relativo |
| 80 / 20 | 49.974 | 12.493 | 61,94% | 61,64% | 12,48% relativo |
| 90 / 10 | 56.220 | 6.247 | 40,57% | 40,61% | 16,71% relativo |
| 95 / 5 | 59.344 | 3.123 | não simulado | não simulado | 23,17% relativo |
Com 90/10, o poder do teste caiu de 80 para 40 por cento sem que nada no plano tivesse mudado. Um teste com 40 por cento de poder erra mais da metade dos vencedores reais, e o time interpreta esse silêncio como “a hipótese não funcionou”. É o mesmo mecanismo que descrevemos em poder observado depois do teste: o resultado nulo não é informação sobre o produto, é informação sobre o desenho.
O que a divisão desigual NÃO estraga
Vale ser preciso, porque a confusão aqui é comum. Divisão desigual não infla o falso positivo. Rodamos 40 mil réplicas sob a hipótese nula, com as duas variações tendo exatamente a mesma taxa de 5 por cento:
| Divisão | Falso positivo medido | Erro-padrão de Monte Carlo |
|---|---|---|
| 50 / 50 | 5,11% | 0,11 pp |
| 90 / 10 | 4,83% | 0,11 pp |
| 98 / 2 | 5,19% | 0,11 pp |
Todas dentro do esperado. A matemática do teste de duas proporções já trata tamanhos diferentes corretamente, e o valor-p continua querendo dizer o que promete. O prejuízo da divisão desigual é inteiramente do lado do erro tipo II, o de não enxergar o que está lá. Ele não aparece em nenhum alerta, só no tempo que passa.
Por que 90/10 parece seguro, e a resposta certa para esse medo
A motivação quase sempre é a mesma e é razoável: se a variação for ruim, quanto menos gente vir, melhor. Kohavi e coautores nomeiam essa prática entre experimentadores iniciantes e concordam com a preocupação, mas discordam da solução. A resposta deles é rampa de exposição: começar em 99,9 contra 0,1 por cento e subir para 0,5, depois 2,5, depois 10, depois 50 por cento, com cada degrau durando algumas horas e servindo para conferir se não há problema grave antes de expor mais gente.
A diferença entre rampa e divisão desigual é o que cada uma está tentando responder. A rampa responde “isso está quebrado?” e é curta. A divisão responde “isso funciona?” e é o teste inteiro. Confundir as duas é aceitar um desenho ruim de medição para resolver um problema de segurança que tem resposta própria.
A rampa do Bing não é a sua rampa
Aqui entra um detalhe que a literatura de empresas grandes esconde. A rampa de 0,1 por cento por duas horas foi escrita para sites com volume enorme. Num site de 40 mil visitantes por semana, esse degrau expõe 0,5 usuário. Não detecta nada.
| Degrau da rampa | Horas para expor 500 usuários a 40 mil/semana | Horas para expor 500 usuários a 4 milhões/semana |
|---|---|---|
| 0,1% | 2.100 h (87,5 dias) | 21 h |
| 0,5% | 420 h (17,5 dias) | 4,2 h |
| 2,5% | 84 h (3,5 dias) | 0,84 h |
| 10% | 21 h (0,9 dia) | 0,21 h |
| 50% | 4,2 h | 0,04 h |
A conclusão prática para um site de tráfego médio é que a rampa útil tem dois ou três degraus, não cinco, e eles vivem na faixa de 10 a 50 por cento. Abaixo de 2,5 por cento, o degrau não é uma checagem de segurança, é uma pausa decorativa que só consome calendário. E ela consome pouco do plano: três dias a 10 por cento entregam 1.714 visitantes à variação, ou 5,49 por cento do N que ela precisa, o que é aceitável como custo de segurança.
O braço pequeno pode cair abaixo do piso de normalidade
Existe um problema adicional que só aparece em métricas assimétricas, e ele é pior que perda de poder. A aproximação normal que sustenta o valor-p precisa de um número mínimo de observações para valer, e esse mínimo depende da assimetria da métrica. Kohavi, Deng, Longbotham e Xu propõem como regra de bolso 355 vezes o quadrado do coeficiente de assimetria por variação, recomendada quando o módulo da assimetria passa de 1, e publicam a tabela do Bing:
| Métrica | Assimetria | Amostra mínima por variação |
|---|---|---|
| Receita por usuário | 17,9 | 114.000 |
| Receita por usuário (com capping) | 5,2 | 9.700 |
| Sessões por usuário | 3,6 | 4.700 |
| Tempo até o sucesso | 2,1 | 1.550 |
No nosso exemplo de 90/10, a variação recebeu 6.247 visitantes. Para taxa de conversão, uma métrica binária, isso está longe de ser um problema. Para receita por usuário sem capping, com o piso em 114 mil, o braço pequeno não está só sem poder: ele está abaixo do patamar em que o valor-p daquela métrica significa alguma coisa. Se a sua métrica principal é receita, a divisão desigual sai da categoria “mais lento” e entra na categoria “não interpretável”, e capping de outliers passa a ser pré-requisito, não refinamento.
Mudar a divisão no meio do teste é outro desenho, não um ajuste
Uma tentação comum é começar em 90/10 “para ver se está tudo bem” e subir para 50/50 quando der confiança, tratando isso como detalhe operacional. Não é. A orientação da FDA classifica adaptações na alocação como uma família própria de desenho adaptativo e separa dois casos. Quando a proporção muda por características de base, buscando equilíbrio entre os grupos, ela não aumenta diretamente a probabilidade de erro tipo I desde que a análise use a metodologia apropriada. Quando a proporção muda em função dos desfechos já observados, o que a agência chama de aleatorização adaptativa por resposta, você saiu do território do teste A/B de horizonte fixo e entrou no dos algoritmos que realocam tráfego para o braço que está ganhando, assunto de bandits contra teste A/B.
A regra prática que sai daí é simples: mudar a divisão por calendário ou por segurança, com critério escrito antes, é aceitável e o efeito é só sobre quanto tempo o teste leva. Mudar a divisão porque a variação está indo bem transforma a leitura final em outra coisa, e o valor-p do teste de duas proporções deixa de ser o instrumento certo.
Declare a divisão para o verificador de SRM
Último detalhe operacional, e ele morde na primeira manhã. A verificação de sample ratio mismatch compara a divisão observada com a esperada. Se a ferramenta assume 50/50 por padrão e você ligou um teste 90/10, ela vai gritar todo dia:
| Pesos informados ao verificador | Qui-quadrado | valor-p | Acusa problema? |
|---|---|---|---|
| 50 e 50 (o padrão) | 39.977,9 | menor que 0,0001 | sim, e é falso alarme |
| 0,9 e 0,1 (declarado) | 0,0000 | 0,9968 | não |
O alarme falso é pior do que parece, porque ele treina o time a ignorar o guardrail que existe justamente para pegar o problema real. Divisão desigual proposital só é aceitável quando a proporção esperada está registrada junto com o experimento, de forma que o verificador teste contra ela.
Faça isso automático na Donnu
A divisão desigual raramente é uma decisão, costuma ser um padrão herdado da ferramenta ou uma cautela que ninguém converteu em dias. Na Donnu a divisão do experimento aparece junto com o custo dela: ao mover o controle de 50 para 90 por cento, o painel mostra na hora o novo total necessário, a nova data prevista de término e o poder que sobra com o tráfego que você tem. A rampa de exposição é uma fase própria, com critério de saída, e o verificador de SRM lê a proporção declarada no experimento em vez de assumir meio a meio, então uma divisão desigual proposital não vira alarme falso todo dia.
Perguntas frequentes
As respostas curtas estão na seção de perguntas frequentes desta página, montadas a partir dos mesmos cálculos apresentados aqui.
Referências
- Ron Kohavi, Roger Longbotham, Dan Sommerfield e Randal M. Henne. Controlled experiments on the web: survey and practical guide, Data Mining and Knowledge Discovery, 2009. Seção 6.2.4 (“Assign 50% of users to treatment”) é a fonte da recomendação de 50 por cento por variação para maximizar poder e minimizar tempo, e da aproximação 1 dividido por 4p(1 menos p) para o aumento multiplicativo do tempo, com o exemplo de 99 contra 1 por cento precisando de cerca de 25 vezes mais tempo. A seção 3.5.1 é a fonte da rampa de exposição de 99,9/0,1 subindo por 0,5, 2,5, 10 e 50 por cento com alguns degraus de poucas horas, e a 6.2.5 traz o exemplo do teste de 5 dias que vira quatro semanas em 95/5 e a advertência sobre não rodar em 99/1 por causa do tempo excessivo e da contaminação por troca de cookie.
- Ron Kohavi, Alex Deng, Roger Longbotham e Ya Xu. Seven Rules of Thumb for Web Site Experimenters, KDD 2014. Regra 7 é a fonte da regra de bolso de 355 vezes o quadrado do coeficiente de assimetria por variação, recomendada quando o módulo da assimetria passa de 1, e da tabela do Bing com receita por usuário em assimetria 17,9 e amostra mínima de 114 mil, receita com capping em 5,2 e 9,7 mil, sessões por usuário em 3,6 e 4,7 mil, e tempo até o sucesso em 2,1 e 1.550.
- U.S. Food and Drug Administration. Adaptive Designs for Clinical Trials of Drugs and Biologics: Guidance for Industry, novembro de 2019. Seção V.E (“Adaptations to Patient Allocation”) é a fonte da distinção entre alocação adaptativa por covariáveis, que busca equilíbrio entre os grupos e não aumenta diretamente a probabilidade de erro tipo I quando analisada com a metodologia apropriada, e a aleatorização adaptativa por resposta, em que a chance de um novo participante cair em cada braço muda ao longo do estudo com base nos desfechos já observados, incluindo o registro de que essa segunda família pode em algumas circunstâncias reduzir a variância da estatística de teste e encurtar o estudo.
Leia também
Perguntas frequentes
- Qual a melhor divisão de tráfego em um teste A/B?
- Metade para cada variação. Kohavi e coautores recomendam explicitamente que 50 por cento dos usuários vejam cada variação, porque é a divisão que maximiza o poder e minimiza o tempo de execução. A precisão da comparação é limitada pelo braço menor, então tirar tráfego de um lado para colocar no outro sempre piora o total, nunca melhora.
- Quanto custa rodar um teste 90/10 em vez de 50/50?
- Cerca de 2,78 vezes mais tráfego para o mesmo poder. O fator é 1 dividido por 4p(1 menos p), com p sendo a fatia da variação: 1,04 vez em 60/40, 1,56 em 80/20, 2,78 em 90/10, 5,26 em 95/5 e 25,25 em 99/1. No plano deste artigo, um teste de 11 dias em 50/50 vira 30 dias em 90/10 e 272 dias em 99/1.
- A divisão desigual quebra a estatística do teste?
- Não. O teste continua válido: nas nossas 40 mil réplicas sob a hipótese nula, a taxa de falso positivo ficou em 5,11 por cento com 50/50, 4,83 por cento com 90/10 e 5,19 por cento com 98/2, todas dentro do erro de simulação. O que a divisão desigual estraga é o poder, não o alfa. Você não vai ver mais falsos vencedores, vai deixar de ver vencedores de verdade.
- Se eu tenho medo de expor a variação nova, não devo rodar 90/10?
- O medo é legítimo, a solução é outra: rampa de exposição. Kohavi e coautores descrevem começar em 99,9 contra 0,1 por cento, subir para 0,5, 2,5, 10 e então 50 por cento, com cada degrau durando algumas horas e servindo para checar se não há problema grave. A rampa é uma fase de segurança curta, não o desenho de medição. Depois que ela passa, o teste roda em 50/50, que é onde ele mede.
- A verificação de SRM acusa uma divisão desigual proposital?
- Acusa, se você não declarar a divisão para ela. No nosso exemplo, um teste 90/10 com 56.220 e 6.247 visitantes devolve qui-quadrado de 39.977,9 e valor-p indistinguível de zero quando o verificador assume 50/50. Declarando os pesos 0,9 e 0,1, o mesmo teste devolve qui-quadrado de 0,0000 e valor-p de 0,9968. Divisão desigual proposital exige registrar a proporção esperada junto com o experimento, senão o guardrail vira ruído diário.
- Existe caso em que a divisão desigual é a escolha certa?
- Existem dois. O primeiro é a fase de rampa, que é curta e não é a medição. O segundo é quando a variação tem custo real por usuário exposto, como uma chamada cara de API ou um desconto, e você aceita conscientemente pagar em tempo de calendário para reduzir esse custo. Fora isso, a divisão desigual é quase sempre uma decisão de conforto que ninguém traduziu em dias.