Recalcular o Tamanho de Amostra no Meio do Teste A/B
Como recalcular o tamanho de amostra no meio do teste A/B quando a taxa base do plano estava errada, sem inflar o falso positivo. Poder de 42% para 78%.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
Existe uma forma legítima de mexer no tamanho de amostra depois que o teste A/B começou: recalcular usando somente a taxa de conversão AGRUPADA dos dois braços, sem olhar a diferença entre eles. Na simulação deste artigo, um plano feito para uma base de 5 por cento rodando sobre uma base real de 2 por cento entregou poder de 42,0 por cento no desenho fixo e 77,8 por cento com recálculo às cegas, com a taxa de falso positivo permanecendo entre 4,37 e 5,08 por cento em todos os cenários testados. Isso não é espiar: espiar é usar a diferença entre A e B, e é isso que quebra o teste. Este guia mostra a diferença entre as duas coisas, mede o estrago de errar a taxa base, quantifica quando recalcular, e registra o único caso em que o método não é seguro. Faz parte do nosso guia completo de teste A/B e complementa quantos visitantes um teste A/B precisa e o problema do peeking.
O plano nasce em cima de um número que você chutou
Todo cálculo de amostra precisa de quatro coisas: o nível de significância, o poder desejado, o efeito mínimo que você quer detectar e a taxa base. As três primeiras são decisões do time. A quarta é uma medição do passado, e é a única que pode estar simplesmente errada.
Ela erra por motivos banais: o histórico veio de outra estação do ano, a página mudou desde a última medição, a campanha trouxe tráfego de qualidade diferente, o evento de conversão foi redefinido, o filtro de bot mudou. Na literatura de ensaios clínicos esse tipo de parâmetro tem nome: parâmetro de perturbação, um número que afeta a distribuição da estatística de teste mas não é o que você quer testar. Para desfecho binário, o parâmetro de perturbação é exatamente a taxa de resposta agrupada sobre os dois braços.
O trabalho de referência sobre o pacote blindrecalc, de Baumann, Pilz e Kieser, ilustra a incerteza com uma meta-análise de 13 estudos em que a taxa de morbidade agrupada relatada variou de 0,10 a 0,62. É a mesma ordem de erro que um time de produto comete quando estima a conversão de um checkout novo a partir do checkout velho.
O que a taxa base errada faz com o tamanho de amostra
Vamos tomar um plano concreto: base assumida de 5 por cento, efeito mínimo detectável de 10 por cento relativo, alfa de 5 por cento bicaudal, poder de 80 por cento. A calculadora devolve 31.234 usuários por variação e 11 dias a 40.000 visitantes por semana.
Agora suponha que a base real seja outra. Com o efeito mínimo mantido em 10 por cento relativo, que é o jeito como a maioria dos times pensa:
| base real | N realmente necessário | N do plano | poder real com o N do plano | dias necessários |
|---|---|---|---|---|
| 2% | 80.682 | 31.234 | 41,4% | 29 |
| 3% | 53.211 | 31.234 | 57,4% | 19 |
| 4% | 39.475 | 31.234 | 70,3% | 14 |
| 5% | 31.234 | 31.234 | 80,0% | 11 |
| 6% | 25.740 | 31.234 | 87,0% | 10 |
| 8% | 18.872 | 31.234 | 95,0% | 7 |
| 10% | 14.751 | 31.234 | 98,3% | 6 |
Errar a base para baixo em 3 pontos percentuais custa metade do poder. E o time nunca fica sabendo: o teste termina, dá “não significante”, e a conclusão registrada é que a variação não funcionou.
Vale notar que o sinal do erro se inverte se o seu efeito mínimo for pensado em pontos percentuais absolutos:
| base real | N necessário (MDE de 0,5 pp) | poder real com o N do plano | dias necessários |
|---|---|---|---|
| 2% | 13.809 | 98,8% | 5 |
| 3% | 19.743 | 94,1% | 7 |
| 4% | 25.551 | 87,2% | 9 |
| 5% | 31.234 | 80,0% | 11 |
| 6% | 36.791 | 73,3% | 13 |
| 8% | 47.528 | 62,2% | 17 |
| 10% | 57.763 | 54,0% | 21 |
As duas tabelas apontam em direções opostas porque medem coisas diferentes. A lição prática é que você precisa saber qual das duas definições o seu time usa antes de discutir se a amostra está grande ou pequena. Mais sobre isso em efeito mínimo detectável.
Recalcular às cegas não é espiar
A confusão é compreensível, porque as duas coisas envolvem olhar dados no meio do teste. A separação é limpa:
| o que você olha no meio do teste | carrega informação sobre o efeito? | consequência |
|---|---|---|
| a diferença entre A e B, para decidir parar | sim | inflação séria do falso positivo, o problema do peeking |
| a conversão de cada braço separada, para redimensionar | sim | recálculo com o resultado à vista, exige correção formal |
| a conversão AGRUPADA dos dois braços somados | não, sob a hipótese nula | recálculo às cegas, sem correção necessária |
O estimador às cegas para desfecho binário é trivial de calcular e está escrito assim no artigo do blindrecalc: some as conversões dos dois braços e divida pela soma dos visitantes dos dois braços. Ninguém abre a quebra por variação. Com essa taxa agrupada, as taxas por braço sob a alternativa assumida são reconstruídas aritmeticamente a partir do efeito que você já tinha declarado no plano, e o N sai do mesmo jeito de sempre.
O procedimento completo, na formulação de Baumann, Pilz e Kieser:
- Calcule o N inicial com a melhor estimativa disponível da taxa base.
- Defina o ponto do piloto interno como uma fração desse N (eles sugerem 0,25, 0,5 ou 0,75).
- Ao atingir esse ponto, estime a taxa agrupada e recalcule o N.
- O N final é o mínimo entre o teto pré-especificado e o máximo entre o N do piloto e o N recalculado.
- Colete o restante e rode o teste normal no total, sem correção de nível.
O ponto 4 esconde uma escolha de desenho. Se você também impõe o N inicial como piso, tem o desenho restrito, que só cresce. Se não impõe, tem o desenho irrestrito, que pode encolher.
O que a simulação mostrou
Simulamos 6.000 réplicas por célula, com o piloto interno em 50 por cento do N planejado, teto de 4 vezes o plano e desenho irrestrito. Todas as taxas foram lidas com a mesma função de significância que alimenta as calculadoras deste blog.
Sob a hipótese nula (efeito real igual a zero), taxa de falso positivo:
| base real | desenho fixo | com recálculo às cegas | N médio final |
|---|---|---|---|
| 2% | 5,12% | 4,70% | 80.628 |
| 3% | 5,07% | 4,57% | 53.157 |
| 5% | 5,03% | 5,08% | 31.212 |
| 8% | 4,77% | 4,37% | 18.861 |
O erro-padrão de Monte Carlo em 5 por cento com 6.000 réplicas é de 0,28 ponto percentual, então todos esses valores estão dentro de duas barras de erro do nominal. Não há inflação de erro tipo I. Isso está de acordo com o que a literatura registra: no caso de superioridade, a re-estimativa às cegas pode ser feita sem inflação relevante do erro tipo I.
Sob a alternativa (efeito real de +10 por cento relativo), poder:
| base real | desenho fixo | com recálculo às cegas | N médio final |
|---|---|---|---|
| 2% | 42,00% | 77,82% | 76.851 |
| 3% | 57,57% | 77,98% | 50.581 |
| 5% | 80,28% | 77,83% | 29.663 |
| 8% | 95,27% | 77,15% | 17.876 |
Essa é a tabela inteira do argumento. O desenho fixo entrega poder que varia de 42 a 95 por cento conforme a sorte da estimativa inicial. O recálculo às cegas entrega poder estável em torno de 77 por cento em todos os cenários, e o custo disso é tráfego a mais quando a base real é baixa e tráfego a menos quando ela é alta.
Por que o poder para em 78 e não em 80
O recálculo não entrega exatamente os 80 por cento pedidos, e a causa é interessante o suficiente para valer uma seção.
Sob a hipótese nula, a taxa agrupada é uma estimativa não viesada da taxa do controle. Sob a alternativa, não é: ela fica no meio do caminho entre a taxa do controle e a taxa da variação, ou seja, um pouco acima da taxa base verdadeira. E como o N necessário cai conforme a base sobe, o recálculo devolve um N ligeiramente pequeno demais.
Medimos o tamanho exato desse viés com 3.000 réplicas por linha, com base verdadeira de 5 por cento:
| efeito real | taxa agrupada estimada | N recalculado | N realmente necessário | desvio |
|---|---|---|---|---|
| 0% | 5,0049% | 31.201 | 31.234 | -0,11% |
| +5% | 5,1305% | 30.396 | 31.234 | -2,68% |
| +10% | 5,2550% | 29.634 | 31.234 | -5,12% |
| +20% | 5,5055% | 28.207 | 31.234 | -9,69% |
| +50% | 6,2540% | 24.624 | 31.234 | -21,16% |
Sob a nula, o viés some. Sob um efeito de 10 por cento, o N sai 5,12 por cento curto, o que corresponde exatamente aos 2 pontos percentuais de poder que faltaram. E repare no lado bom: quanto maior o efeito real, mais o N encolhe, e é precisamente quando um efeito grande dispensa amostra grande. O viés trabalha na direção certa.
Se você quer blindar os 80 por cento, a correção é trivial: peça 82 ou 83 por cento de poder no recálculo, ou aplique a regra do desenho restrito descrita abaixo.
Restrito ou irrestrito: uma escolha de negócio
A diferença aparece quando a base real vem maior que a assumida. Rodamos os dois desenhos com base real de 8 por cento, plano feito para 5 por cento:
| desenho | falso positivo | poder | N médio por variação |
|---|---|---|---|
| irrestrito (pode encolher) | 5,15% | 77,23% | 17.892 |
| restrito (nunca abaixo do plano) | 5,57% | 94,92% | 31.234 |
O irrestrito gastou 43 por cento menos tráfego e entregou o poder contratado. O restrito gastou o planejado e entregou poder de sobra. Nenhum dos dois está errado: são objetivos diferentes.
- Escolha o irrestrito quando o gargalo é tráfego e você tem uma fila de testes esperando. Cada teste que termina mais cedo libera capacidade para o próximo, que é a lógica de quantos testes A/B por mês.
- Escolha o restrito quando o custo de um falso negativo é alto e o tráfego não é o gargalo, ou quando o time não aceita ver a amostra planejada sendo reduzida no meio do caminho.
Declare a escolha no plano de análise pré-registrado antes do teste começar, junto do ponto do piloto e do teto. Isso é o que separa o recálculo às cegas de improviso.
Quando recalcular importa menos do que parece
Testamos o ponto do piloto interno em cinco posições, com base real de 3 por cento e plano feito para 5 por cento, 6.000 réplicas cada:
| piloto em | n1 por variação | falso positivo | poder | N médio final | desvio-padrão da taxa estimada |
|---|---|---|---|---|---|
| 10% do plano | 3.123 | 5,10% | 78,28% | 50.841 | 0,2235 pp |
| 25% do plano | 7.809 | 4,85% | 78,87% | 50.628 | 0,1398 pp |
| 50% do plano | 15.617 | 5,57% | 77,78% | 50.618 | 0,0996 pp |
| 75% do plano | 23.426 | 5,23% | 77,75% | 50.573 | 0,0803 pp |
| 100% do plano | 31.234 | 5,20% | 78,72% | 50.552 | 0,0704 pp |
O N realmente necessário nesse cenário é 53.211, e o recálculo chegou perto disso em todas as posições. O falso positivo ficou entre 4,85 e 5,57 por cento, dentro de duas barras de erro do nominal em todas as linhas.
O que muda de verdade é a precisão da estimativa: o desvio-padrão da taxa agrupada caiu por um fator de 3 entre o piloto em 10 por cento e o piloto em 100 por cento. Na prática isso significa que recalcular cedo funciona desde que já exista dado suficiente para estimar a taxa com estabilidade. A regra prática de Baumann, Pilz e Kieser continua sensata: nem cedo demais, quando ainda há muita incerteza sobre o parâmetro, nem tarde demais, quando já não sobra espaço para ajustar porque o N recalculado já foi ultrapassado.
O caso em que isso NÃO é seguro
Existe uma exceção importante e ela tem nome: teste de não inferioridade e de equivalência.
Glimm e Läuter mostram por quê. Num teste de não inferioridade com margem, a variância total usada no recálculo é calculada sobre os dados deslocados pela margem, e isso faz com que ela carregue a diferença observada entre as médias dos braços. O resultado é que o recálculo dito às cegas se torna matematicamente equivalente a um recálculo com o resultado à vista, com todo o viés de erro tipo I que vem junto. Menos amostra extra é coletada quando a evidência do primeiro estágio favorece a alternativa, e mais quando ela desfavorece, o que é exatamente a receita para inflar o falso positivo.
Os mesmos autores registram, do outro lado, que no teste de superioridade a garantia assintótica existe: se o tamanho de qualquer um dos estágios cresce, a regra de recálculo fixa implicitamente o total de antemão e o nível alfa é mantido. As violações que eles constroem são extremamente pequenas e ocorrem em tamanhos de amostra que raramente têm relevância prática. A conclusão deles é explícita: o método pode ser usado com segurança na prática, para superioridade.
Se o seu caso é teste de equivalência, a saída é usar um nível nominal ajustado ou um método de combinação entre estágios, não o teste comum. E vale saber o preço da alternativa mais conservadora: nas simulações de Glimm e Läuter, com 1 milhão de rodadas, a combinação de valores-p de Fisher perde tipicamente de 3 a 4 pontos percentuais de poder quando o poder do teste comum está abaixo de 95 por cento, chegando a 7 pontos em alguns cenários (num deles, 76,4 por cento contra 69,6 por cento).
Rode o seu caso
Use a calculadora abaixo duas vezes: uma com a taxa base que você assumiu no plano e outra com a taxa agrupada que você mediu no piloto interno. A diferença entre os dois N é exatamente o ajuste que o recálculo às cegas manda fazer.
Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.
O roteiro, em oito linhas
- Calcule o N inicial com a melhor estimativa da taxa base e registre a fonte dessa estimativa.
- Escolha e escreva antes o ponto do piloto interno, o teto de amostra e se o desenho é restrito ou irrestrito.
- Defina quem faz o recálculo e garanta que essa pessoa receba apenas a taxa agrupada, nunca a quebra por braço.
- Ao atingir o ponto do piloto, calcule a taxa agrupada: conversões de A mais conversões de B, dividido por visitantes de A mais visitantes de B.
- Recalcule o N com essa taxa, mantendo alfa, poder e efeito mínimo exatamente como estavam.
- Aplique o teto e o piso do desenho escolhido e registre o novo N no mesmo documento do plano.
- Colete o restante e rode o teste comum sobre o total, sem correção de nível.
- No relatório final, declare que houve recálculo às cegas, em que ponto e qual taxa agrupada foi usada.
O passo 3 é o que mais falha na prática, porque o painel da ferramenta mostra a quebra por variação na primeira tela. Se não dá para esconder, a alternativa honesta é registrar no relatório que o recálculo foi feito com o resultado visível e tratar o teste com a desconfiança que isso merece.
Faça isso automático na Donnu
O recálculo às cegas é um procedimento simples que morre por causa de duas coisas: alguém abre o painel e vê a quebra por braço antes de recalcular, e ninguém registra que o recálculo aconteceu. Na Donnu o experimento carrega o plano junto (base assumida, alfa, poder, efeito mínimo, ponto do piloto, teto) e a leitura agrupada dos dois braços é uma visão separada da leitura por variação, então dá para redimensionar sem abrir o resultado. O novo N entra no histórico do experimento com carimbo de tempo, e o relatório final diz que houve recálculo e com qual taxa. Se a sua ferramenta atual não separa essas duas visões, esse é o item que precisa entrar antes de o método virar rotina.
Perguntas frequentes
As respostas curtas estão na seção de perguntas frequentes desta página, geradas a partir do mesmo material medido aqui.
Referências
- Lukas Baumann, Maximilian Pilz e Meinhard Kieser. blindrecalc: An R Package for Blinded Sample Size Recalculation, The R Journal 14/1, 2022. Traz o procedimento completo do piloto interno, a fórmula do N final como mínimo entre teto e máximo, a distinção entre desenho restrito e irrestrito, o estimador às cegas para desfecho binário, e o registro de que no caso de superioridade a re-estimativa às cegas não causa inflação relevante do erro tipo I. É também a fonte da recomendação do CHMP de 2006 de usar métodos de reavaliação às cegas sempre que possível.
- Ekkehard Glimm e Jürgen Läuter. Some Notes on Blinded Sample Size Re-Estimation, 2013. Demonstra que o controle assintótico do erro tipo I é garantido, constrói os casos de amostra pequena em que ele falha, e explica por que a inflação é muito mais séria em não inferioridade: o recálculo dito às cegas é equivalente a um recálculo com o resultado à vista. Traz também a comparação de poder entre o teste comum, a combinação de estatísticas t e a combinação de valores-p de Fisher, com 1 milhão de rodadas de simulação.
- Ron Kohavi, Alex Deng, Roger Longbotham e Ya Xu. Seven Rules of Thumb for Web Site Experimenters, KDD 2014. Lembra que a fórmula de tamanho mínimo assume que a distribuição da média é normal, e que muitas métricas de experimento online são assimétricas o bastante para exigir um piso maior. A regra de bolso deles é 355 vezes o quadrado do coeficiente de assimetria por variação, recomendada quando o módulo da assimetria passa de 1. É o piso que a re-estimativa às cegas não substitui: ela corrige a taxa base, não a assimetria.
Leia também
Perguntas frequentes
- Posso recalcular o tamanho de amostra depois que o teste A/B já começou?
- Pode, desde que o recálculo use apenas informação que não separa controle de variação. A taxa de conversão AGRUPADA dos dois braços é o que a literatura de ensaios clínicos chama de parâmetro de perturbação, e recalcular a amostra a partir dela é o desenho de piloto interno com re-estimativa às cegas. Na simulação deste artigo, com 6.000 réplicas por célula, a taxa de falso positivo com recálculo ficou entre 4,37 e 5,08 por cento contra os 5 por cento nominais, enquanto o desenho fixo ficou entre 4,77 e 5,12 por cento. Não houve inflação.
- Qual a diferença entre recalcular a amostra e espiar o resultado?
- Espiar é olhar a diferença entre os braços e decidir com base nela, o que infla o falso positivo de 5 por cento para muito mais. Recalcular às cegas é olhar apenas a taxa agrupada dos dois braços somados, que sob a hipótese nula não carrega informação nenhuma sobre a diferença. Operacionalmente, a regra é dura: quem faz o recálculo recebe um único número, a soma de conversões dividida pela soma de visitantes, e nunca vê a quebra por variação.
- O que acontece se eu não recalcular e a taxa base estava errada?
- Você perde poder sem saber. No exemplo medido aqui, um plano feito para uma base de 5 por cento (31.234 usuários por variação) rodando sobre uma base real de 2 por cento entrega poder de 41,4 por cento em vez dos 80 por cento planejados. Ou seja, quase 6 em cada 10 testes com efeito real de verdade terminam sem significância, e a leitura errada é concluir que a variação não funcionou. Com recálculo às cegas, o poder medido no mesmo cenário foi de 77,8 por cento.
- Em que momento do teste devo recalcular?
- A hora importa menos do que parece. Medimos o recálculo em 10, 25, 50, 75 e 100 por cento da amostra planejada e o poder final ficou entre 77,7 e 78,9 por cento em todos os pontos, com a taxa de falso positivo entre 4,85 e 5,57 por cento. O que muda com o momento é a precisão da estimativa da taxa base: o desvio-padrão dela caiu de 0,2235 ponto percentual em 10 por cento da amostra para 0,0704 em 100 por cento. Recalcular cedo demais só é problema quando ainda não há dado suficiente para estimar a taxa com estabilidade.
- O recálculo às cegas pode diminuir a amostra, e não só aumentar?
- Pode, e é aí que a maior economia aparece. No cenário com base real de 8 por cento (plano feito para 5 por cento), o desenho irrestrito terminou com 17.892 usuários por variação e poder de 77,2 por cento, contra 31.234 e poder de 94,9 por cento do desenho que nunca desce abaixo do planejado. São 43 por cento menos tráfego para entregar exatamente o poder que o time pediu. Se o seu objetivo é blindar o poder e nunca reduzir a amostra, use o desenho restrito e aceite o excesso.
- Existe algum caso em que o recálculo às cegas NÃO é seguro?
- Sim: teste de não inferioridade e de equivalência. Glimm e Läuter mostram que, nesse contexto, o recálculo dito às cegas é matematicamente equivalente a um recálculo com o resultado à vista, porque a variância total sob a nula deslocada carrega a diferença observada entre os braços. A consequência é inflação de erro tipo I bem mais séria e que não desaparece com amostra grande. Para teste de superioridade comum, que é o caso do teste A/B típico, as violações são extremamente pequenas e só aparecem em amostras minúsculas.