Quantos visitantes um teste A/B precisa? A regra prática
A resposta honesta sobre amostra em teste A/B: os 3 fatores que definem o número, a regra de bolso e por que pouca gente leva a decisões erradas.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
“Quantos visitantes eu preciso?” é a pergunta que decide se o seu teste A/B vale alguma coisa ou é ruído. A resposta curta: depende de três coisas e quase sempre é mais gente do que você imagina.
Os 3 fatores que definem a amostra
- Taxa de conversão atual. Quanto menor a taxa, maior a amostra. Detectar melhora numa página que converte 1% exige muito mais gente do que numa que converte 10%.
- Efeito mínimo detectável (MDE). Qual o menor ganho que vale a pena descobrir? Detectar +20% é barato; detectar +2% custa uma amostra enorme.
- Rigor (confiança e poder). O padrão de mercado é 95% de confiança e 80% de poder. Mais rigor, mais amostra.
A regra de bolso
Para uma taxa base de ~5% e um ganho relativo de ~10%, você precisa de milhares de visitantes por variação, rodando por pelo menos uma a duas semanas inteiras. Rodar com 200 pessoas e “ver quem ganhou” é o caminho mais curto para uma decisão errada.
Amostra pequena não dá um resultado “menos preciso”: dá um resultado enganoso. O vencedor vira sorte.
E se meu tráfego é baixo?
Se você não alcança o tamanho de amostra num prazo razoável, teste mudanças maiores (não microcopy), foque na métrica mais frequente do funil, ou use abordagens sequenciais/bayesianas que lidam melhor com volume baixo. Testar o irrelevante com pouca gente só gera falsa confiança.
Faça isso automático na Donnu
A Donnu calcula o tamanho de amostra e a duração pra você, e usa estatística bayesiana que evita a armadilha de parar cedo. Você foca na hipótese; a matemática fica com a gente.