Como Fazer um Teste A/B Passo a Passo (com Calculadora)
Aprenda como fazer um teste A/B passo a passo: hipótese, amostra, configuração, peeking e leitura de resultado, com calculadora grátis.
📚 Este artigo faz parte do guia O que é teste A/B? O guia completo (2026).
Rodar um teste A/B “de verdade” é: achar algo que vale a pena mudar, escrever uma hipótese testável, dimensionar a amostra antes de começar, configurar a divisão de tráfego sem viés, deixar rodar o tempo certo sem espiar e parar cedo, e só então ler o resultado com o rigor que a estatística exige. Pular qualquer uma dessas etapas não torna o teste “mais rápido”, torna o resultado não confiável, mesmo que o painel mostre um número bonito.
Este guia percorre as oito etapas na ordem em que elas realmente acontecem, com uma calculadora de amostra e uma de significância embutidas, e dois exemplos trabalhados com números reais para você seguir a conta do início ao fim. Para o conceito do zero, veja o que é teste A/B; para a matemática por trás de cada etapa, veja o guia de significância estatística.
Antes de começar: você tem tráfego suficiente?
Nem toda situação pede um teste A/B. Se o seu volume é baixo, algumas centenas de visitantes por mês, um teste bem desenhado pode levar meses para fechar, e você provavelmente vai preferir mudar direto e monitorar. Se a correção é óbvia e sem risco, um link quebrado, um erro de digitação, apenas corrija; ninguém precisa de prova estatística de que consertar um bug é bom. E se a sua pergunta real é por que algo acontece, e não se uma mudança ajuda, isso pede pesquisa qualitativa (entrevistas, gravação de sessão), não um teste quantitativo.
Se nenhum desses casos é o seu, a pergunta seguinte é simples: o seu tráfego sustenta o tamanho de efeito que você quer detectar? Uma página com 800 visitas por mês e 3% de conversão vai demorar muito para confirmar um ganho modesto de +10%. Ela consegue, no entanto, confirmar uma mudança ousada de +40% num prazo razoável. Tráfego baixo não te tira do jogo, só te diz o quão ousada a mudança precisa ser para caber no tempo que você tem.
Vale também escolher o formato certo antes de sair testando, porque isso muda a conta de amostra:
| Formato | O que é | Quando usar |
|---|---|---|
| A/B | Controle contra uma variação, mesma URL | O caso padrão: uma mudança isolada e clara |
| A/B/n | Controle contra várias variações (C, D…) | Várias ideias fortes e tráfego de sobra |
| Split URL | Cada versão é uma página própria, dividida por redirecionamento | Redesenhos grandes, ou a variação já existe em outra página |
| Multivariado (MVT) | Testa combinações de vários elementos juntos | Achar a melhor combinação, só com tráfego bem alto |
Comece pelo A/B simples quase sempre. O multivariado parece mais eficiente, mas o número de combinações, e a amostra necessária para separar cada uma, cresce rápido demais para a maioria dos sites.
Passo 1: ache o que vale a pena testar
Nem todo elemento de uma página merece o mesmo esforço de teste. Os lugares de maior alavancagem costumam ser a proposta de valor e o título, o botão principal de ação, o comprimento e a fricção do formulário, onde a prova social aparece, e como o preço é apresentado. Um funil com um ponto claro de maior perda é o melhor lugar para começar: um ganho de alguns pontos percentuais no maior vazamento do funil vale mais do que o mesmo ganho aplicado onde passa pouco tráfego.
Com uma lista curta de ideias em mãos, priorize em vez de testar o que for mais fácil de construir. Dois frameworks comuns:
| Framework | Critérios | Foco |
|---|---|---|
| ICE | Impacto, Confiança, Esforço (nota 1 a 10 cada) | Rankear ideias pelo retorno esperado sobre o esforço |
| PIE | Potencial, Importância, Facilidade | Pesa mais o tráfego e a atenção que a página já recebe |
Nenhum dos dois é ciência exata. O valor de qualquer um deles é te obrigar a escrever por que uma ideia vale o teste antes de você gastar tempo construindo.
Passo 2: escreva uma hipótese testável
Um teste sem hipótese é um chute disfarçado de método. Uma hipótese forte liga uma observação a uma mudança, a um efeito esperado e à métrica que vai medir isso:
Um exemplo concreto: “porque 58% dos visitantes abandonam o checkout na etapa de pagamento (dado do funil), acredito que adicionar um selo de segurança perto do botão de pagar vai reduzir o abandono, medido pela taxa de conclusão de compra.” Repare no que essa frase já entrega de graça: a métrica primária, a direção esperada e a origem do palpite, um dado, não uma sensação. Hipóteses que começam com “e se a gente tentasse…” tendem a ser fracas; hipóteses que começam com um número ou uma observação tendem a ser fortes.
Se você ainda não tem uma hipótese escrita, vale o tempo de estruturar isso direito antes de seguir. Cobrimos o template com mais exemplos e as armadilhas mais comuns no guia dedicado de como escrever uma hipótese de teste A/B.
Passo 3: escolha suas métricas
Escolha uma métrica primária, o número que decide o teste. Tudo o mais tem papel de apoio:
| Papel | O que faz | Exemplo |
|---|---|---|
| Primária (OEC) | Decide o vencedor, deve ser uma só | Taxa de conclusão de compra |
| Secundária | Ajuda a explicar o porquê, não decide | Cliques no CTA, tempo na página |
| Guardrail | Não pode piorar enquanto a primária melhora | Taxa de cancelamento, reembolso |
Um redesenho de checkout que aumenta a conversão mas dispara reembolsos não é uma vitória; a métrica guardrail existe justamente para pegar isso antes de você comemorar cedo demais. E escolher a métrica primária depois de olhar os dados é uma armadilha clássica: se você roda o teste e só então sai procurando qual número “ganhou”, você sempre vai achar um por acaso. Trave isso antes do lançamento.
Passo 4: dimensione o teste
Esta é a etapa que decide se o seu resultado vai significar alguma coisa. O tamanho de amostra depende de três entradas: a sua taxa de conversão atual, o Efeito Mínimo Detectável (o menor ganho que vale a pena descobrir), e o rigor escolhido (95% de confiança e 80% de poder são o padrão de mercado). A relação entre o efeito e a amostra não é linear, é íngreme: cortar pela metade o efeito que você quer detectar multiplica a amostra necessária por cerca de quatro, e é exatamente por isso que testar uma palavra num site de tráfego médio raramente fecha com um resultado limpo.
Preencha com os seus próprios números e veja visitantes por variação e a duração estimada ao vivo:
Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.
Para a matemática por trás desta calculadora, veja a seção de tamanho de amostra do guia de significância estatística, ou use direto a calculadora de tamanho de amostra.
Um exemplo trabalhado
Digamos que a sua página converte hoje em 4%, e você quer conseguir detectar um ganho relativo de +15% (ou seja, chegar perto de 4,6%), com o padrão de 95% de confiança e 80% de poder, teste de duas pontas. Rodando esses números na calculadora acima, o tamanho de amostra necessário é de 17.943 visitantes por variação.
Se o seu site recebe cerca de 12.000 visitas por semana no total, divididas entre as duas variações, a duração estimada para atingir essa amostra é de 21 dias, três semanas cheias. É esse número, e não uma sensação de “já deu para ver”, que deveria decidir quando você olha o resultado pela primeira vez.
Passo 5: configure certo
A estatística parte do princípio de que a coleta é limpa. Alguns cuidados de execução separam um teste em que dá para confiar de um teste que só parece confiável:
- Rode um teste A/A antes. Coloque duas versões idênticas uma contra a outra. Se elas “acusarem” uma diferença significativa, a sua ferramenta ou a sua coleta tem um problema, e nenhum resultado de A/B depois disso deve ser levado a sério até corrigir.
- Divisão 50/50 e estável. O mesmo visitante precisa sempre ver a mesma versão. Se ele alterna entre A e B em visitas diferentes, a conversão dele não pertence a nenhum dos dois grupos e polui os dois.
- Cuidado com o anti-flicker (efeito FOOC). Em testes no navegador, a página original pode piscar por uma fração de segundo antes da variação carregar (“flash of original content”), o que enviesa o resultado e piora a experiência. Uma ferramenta bem construída esconde e revela sem travar o carregamento da página.
- Client-side ou server-side. No navegador é fácil de instalar e funciona bem para páginas de marketing; no servidor é mais robusto, não tem flicker, e é o padrão para produto e SaaS. Escolha pelo caso de uso, não só pela facilidade de instalar.
- Rode as variações ao mesmo tempo. Nunca compare “esta semana com B” contra “semana passada com A”. Sazonalidade e ruído externo contaminam a comparação. O sorteio simultâneo é o que isola a sua mudança de tudo o mais que está acontecendo no mundo.
Passo 6: deixe rodar, e não espie para parar cedo
Olhar o painel todo dia e encerrar assim que aparece “significativo” parece eficiente, mas destrói silenciosamente a confiabilidade do teste. Cada olhada extra é mais uma chance de o ruído aleatório cruzar a linha de significância. Um teste desenhado para 5% de falso positivo pode subir para 25% a 30% se você fica espiando e parando na primeira vez que dá vitória:
Para o desenvolvimento completo desse problema, com mais exemplos e as alternativas de teste sequencial, veja o guia dedicado do problema do peeking.
Além disso, rode pelo menos uma a duas semanas inteiras, mesmo que você atinja a amostra calculada antes disso. Comportamento de segunda-feira não é comportamento de domingo, e quem compra no dia do pagamento não é quem só está navegando no fim de semana. Encerrar em três dias “porque já parece pronto” captura só uma fatia enviesada da sua audiência real.
Passo 7: leia os resultados sem se enganar
Um valor-p abaixo de 0,05 significa que há menos de 5% de chance de uma diferença desse tamanho aparecer se as versões fossem, na verdade, idênticas. Não significa “95% de chance de B ser melhor”. Um intervalo de confiança costuma ser mais útil na prática: ele mostra a faixa plausível do ganho, e se essa faixa cruza o zero, o resultado ainda não é confiável, por melhor que o número bruto pareça.
Separe também significância estatística de significância prática. Um valor-p de 0,02 associado a um ganho de +0,1 ponto percentual é tecnicamente real e provavelmente não vale o custo de engenharia de implementar. Decida, antes do teste, que tamanho de ganho realmente justificaria colocar a mudança no ar.
Cole os seus próprios números na calculadora e veja as taxas, o ganho relativo, o valor-p, o intervalo de confiança da diferença e um veredito honesto:
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
Um exemplo trabalhado, com os números do teste que dimensionamos acima
Seguindo o teste do Passo 4 (21 dias, 6.000 visitantes por variação por semana), imagine que ao final das três semanas o controle (A) fechou com 240 conversões em 6.000 visitantes, e a variação (B), com 288 em 6.000.
- Taxa de A: 240 ÷ 6.000 = 4,0%. Taxa de B: 288 ÷ 6.000 = 4,8%.
- Ganho relativo: (4,8 − 4,0) ÷ 4,0 = +20%, acima do +15% que o teste foi dimensionado para detectar.
- Escore z ≈ 2,14.
- Valor-p (bilateral) ≈ 0,033.
- Intervalo de confiança de 95% da diferença: de aproximadamente +0,07 a +1,53 ponto percentual.
Com valor-p de 0,033 (abaixo de 0,05) e um intervalo de confiança que não cruza o zero, o resultado é significativo: B vence, mesmo no cenário mais conservador do intervalo. Se o intervalo tivesse ficado, por exemplo, entre −0,3 e +1,9 ponto percentual, o resultado seria inconclusivo, apesar de a taxa bruta de B também parecer maior. É por isso que olhar só a média engana.
Se o seu resultado vier não significativo, isso é um desfecho legítimo e comum, não um fracasso. Confira se você parou antes de atingir a amostra calculada, se o efeito real pode ser menor que o MDE que você mirou, ou se a mudança em si era pequena demais para mover uma métrica com esse volume de tráfego. O que não vale é sair fatiando os dados em segmentos atrás de um recorte que “deu vitória”: isso é pescaria, e fabrica falso positivo em série.
Passo 8: implemente o vencedor, documente e itere
Quando uma variação vence com limpeza, coloque-a no ar, mas considere uma rampa gradual para mudanças de alto risco em vez de virar 100% do tráfego de uma vez, para conseguir pegar qualquer métrica guardrail que escorregue quando toda a audiência passar a ver a mudança. Documente o que foi testado, por quê, e o que aconteceu, vitória, derrota ou inconclusivo, num registro compartilhado.
Esse registro vira memória institucional: ele evita que a mesma ideia seja retestada às cegas daqui a seis meses por alguém que esqueceu, e transforma uma sequência de testes isolados num programa de experimentação que realmente acumula aprendizado ao longo do tempo.
Faça isso automático na Donnu
Dimensionar o teste, evitar o peeking, cuidar de um rollout sem flicker e ler a significância com honestidade: essa é a disciplina completa que um teste A/B de verdade exige, e é trabalho manual em cada uma das oito etapas. A Donnu constrói isso por padrão: você define a hipótese e a métrica de objetivo, a Donnu dimensiona o teste, coleta os dados com um snippet que nunca trava a sua página, e declara o vencedor com estatística honesta, sem espaço para peeking manual influenciar a decisão.
Comece um teste grátis de 14 dias e rode o seu próximo experimento numa base que já acerta a mecânica. Se quiser revisar a base estatística antes, veja o guia de significância estatística ou a calculadora de significância.
Leia também
- O que é teste A/B: o guia completo
- Como escrever uma hipótese de teste A/B
- O problema do peeking em teste A/B
- Significância estatística em teste A/B
Prefere ler em inglês? Veja a versão em inglês deste guia (Read in English).
Referências
- Kohavi, R., Tang, D. & Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Material de apoio em experimentguide.com.
- Miller, E. How Not To Run an A/B Test (o problema do peeking), 2010. evanmiller.org.
- Kohavi, R. et al. Seven Rules of Thumb for Web Site Experimenters. KDD, 2014.
- VWO. The Complete Guide to A/B Testing. vwo.com/ab-testing.
- CXL. A/B Testing Guide. cxl.com.
Perguntas frequentes
- Quanto tempo leva para rodar um teste A/B do início ao fim?
- Some o tempo de preparo (achar o que testar, escrever a hipótese, configurar) com o tempo de coleta. A coleta sozinha costuma levar de uma a quatro semanas, dependendo do tráfego e do efeito que você quer detectar; o mínimo recomendado é uma a duas semanas inteiras, mesmo que a amostra calculada seja atingida antes.
- Quantos visitantes eu preciso para rodar um teste A/B?
- Depende da taxa de conversão atual, do menor efeito que vale a pena detectar (MDE) e do rigor escolhido (tipicamente 95% de confiança e 80% de poder). Não existe um número fixo universal: uma página com taxa de 4% que quer detectar +15% relativo precisa de milhares de visitantes por variação. Use a calculadora deste guia para o seu caso.
- Posso testar mais de uma coisa ao mesmo tempo?
- Sim, mas só com um desenho pensado para isso. Testar vários elementos isolados contra grupos de controle separados é um teste A/B/n; testar combinações de elementos ao mesmo tempo é teste multivariado (MVT), e exige muito mais tráfego porque o número de combinações cresce rápido.
- O que fazer quando o resultado do teste A/B é inconclusivo?
- Trate como um resultado legítimo, não como fracasso. Confira se você parou antes de atingir a amostra calculada, se o efeito real pode ser menor que o MDE mirado, e se a mudança em si era pequena demais para mover a métrica. Não saia fatiando os dados em segmentos atrás de uma vitória escondida: isso é pescaria e fabrica falso positivo.
- Posso parar o teste assim que aparecer significância no painel?
- Não é recomendado. Olhar o resultado repetidamente e parar na primeira vez que "deu significância" (peeking) infla o risco real de falso positivo, de 5% para até 25% a 30% dependendo de quantas vezes você espia. Defina a amostra e a duração antes de começar, e só decida no fim, ou use um método estatístico feito para permitir olhadas honestas.
- Preciso saber estatística para rodar um teste A/B?
- Não é preciso ter formação em estatística, mas é preciso respeitar quatro disciplinas: definir o tamanho de amostra antes de começar, não espiar e parar cedo, rodar ciclos completos de comportamento (não só os "dias bons"), e ler o valor-p e o intervalo de confiança corretamente. Uma boa ferramenta de teste cuida da conta; você cuida da disciplina.