Os erros que invalidam um teste A/B (e como evitar cada um)
Peeking, amostra pequena, SRM, testar demais e rodar pouco tempo: os erros que viram um teste A/B em ruído, com o sinal e a correção de cada um.
📚 Este artigo faz parte do guia O que é teste A/B? O guia completo (2026).
Um teste A/B mal conduzido é pior que nenhum teste: ele te dá confiança numa decisão errada. Estes são os erros que mais invalidam resultados, e como fugir de cada um.
1. Parar cedo (peeking)
Olhar o resultado todos os dias e encerrar assim que “deu vitória” infla o falso positivo de forma brutal: um teste desenhado para 5% de erro pode chegar perto de 25% se você fica espiando e parando. Correção: defina antes a duração/amostra e só decida no fim, ou use inferência sequencial que permite olhar sem penalizar.
2. Amostra pequena
Sem visitantes suficientes, o vencedor é sorte. Correção: calcule o tamanho de amostra antes de começar e respeite-o.
3. Divisão desigual (SRM)
Se A recebeu 60% do tráfego e B 40% sem motivo, algo quebrou (bug de redirecionamento, bot, cache) e o resultado não vale. Correção: monitore a proporção; se destoar do esperado, investigue antes de confiar no número.
4. Testar coisas demais de uma vez
Mudou botão, título, imagem e preço juntos? Você não sabe qual moveu o ponteiro. Correção: isole a variável, ou use um teste multivariado desenhado para isso.
5. Rodar por poucos dias
O comportamento de segunda é diferente do de domingo. Correção: rode ciclos inteiros (uma a duas semanas), nunca só os “dias bons”.
A regra de ouro: um vencedor honesto precisa de amostra suficiente, tempo suficiente e uma diferença sólida, ao mesmo tempo.
Faça isso automático na Donnu
A Donnu já bloqueia esses erros por padrão: calcula a amostra, checa SRM, e só declara vencedor com evidência de verdade. Sem peeking, sem achismo.