O que é teste A/B? O guia completo (2026)

Teste A/B é o método de comparar duas ou mais versões de uma página, um e-mail ou um fluxo, mostrando cada versão para uma fatia aleatória do público e medindo qual gera mais conversões. Em vez de trocar a sua página no achismo e torcer, você deixa o comportamento dos seus próprios visitantes decidir o que fica.

É a ferramenta que transformou marketing e produto de opinião em evidência. Mas existe um abismo entre “rodar um teste” e “rodar um teste que dá uma resposta confiável”. Este guia cobre os dois lados: o conceito, o passo a passo e, principalmente, a estatística que separa um resultado real de um falso positivo, que é a parte que a maioria dos artigos pula. Tem calculadoras ao vivo, exemplos trabalhados com números de verdade e os erros que invalidam metade dos testes por aí.

O que é um teste A/B, de forma direta

Um teste A/B (também chamado de teste de divisão, ou split test) pega uma página com uma taxa de conversão conhecida e testa uma variação dela contra a versão atual, com tráfego real, ao mesmo tempo. A versão original é o controle (A). A versão modificada é a variação (B). Cada visitante entra num sorteio estável e vê A ou B; no fim, você compara as taxas de conversão e decide se a mudança valeu.

Um ponto que quase ninguém diz com clareza: um teste A/B não prova que B é melhor. Ele estima a probabilidade de B superar A, dado o que foi observado. Quem promete certeza absoluta está vendendo ilusão. O trabalho estatístico existe justamente para dizer o quão confiante você pode estar de que a diferença que você viu não foi sorte.

Os termos que você precisa saber

• Conversão: a ação que você quer que aconteça (uma compra, um cadastro, um clique, um lead).
• Taxa de conversão: conversões divididas por visitantes. 210 compras em 4.200 visitantes é uma taxa de 5%.
• Controle e variação: a versão atual (A) e a que você está testando (B). Dá para testar mais de uma variação (A/B/n).
• Métrica primária: o número que decide o teste. As demais são secundárias ou de guarda (guardrail), que você monitora para não piorar sem querer.
• Significância estatística: o quanto a diferença observada é improvável de ter surgido só por acaso.

De onde veio o teste A/B

A ideia é mais antiga que a internet. Nos anos 1920, o estatístico Ronald Fisher formalizou o experimento controlado com grupos aleatórios na pesquisa agrícola: a mesma lógica de “compare com um controle e deixe o acaso se distribuir igualmente” que usamos hoje. Na mesma época, na publicidade, Claude Hopkins já pregava anúncios mensuráveis com cupons rastreáveis. O salto para a web veio nos anos 2000: a Google ficou famosa por testar dezenas de tons de azul em links para achar o que rendia mais cliques, e ferramentas como a Optimizely popularizaram o teste A/B no marketing digital.

Por que isso importa para você? Porque o método é maduro e muito bem entendido. Os erros que invalidam um teste também são conhecidos há décadas, o que quer dizer que dá para evitar cada um deles de propósito, em vez de tropeçar.

Como um teste A/B funciona, passo a passo

O fluxo é sempre o mesmo, seja qual for a ferramenta:

1. Hipótese. Uma frase testável: “trocar o texto do botão de Comprar para Adicionar ao carrinho vai aumentar os cliques, porque reduz o medo de ir direto ao pagamento”.
2. Variações. A = controle (a página como está), B = variação (a mudança isolada). Mude uma coisa de cada vez, ou você não vai saber o que moveu o ponteiro.
3. Divisão aleatória. Cada visitante cai em A ou B por sorteio, e fica “grudado” na mesma versão nas próximas visitas.
4. Coleta. A ferramenta conta visitantes e conversões de cada lado, ao vivo.
5. Análise e decisão. Quando há evidência suficiente, você declara o vencedor. Se não houver, o teste é inconclusivo, e isso é um resultado legítimo, não um fracasso.

Um teste A/B honesto exige três coisas ao mesmo tempo: amostra suficiente, tempo suficiente e uma diferença estatisticamente sólida. Faltando qualquer uma, o “vencedor” pode ser ruído.

O que dá para testar (e onde estão os ganhos)

Quase todo elemento que influencia a decisão do visitante pode ser testado:

• Proposta de valor e título: a primeira frase que a pessoa lê costuma mover mais o ponteiro do que a cor de qualquer botão.
• CTA (chamada para ação): texto, cor, tamanho, posição e quantidade de botões.
• Formulários: número de campos, rótulos, divisão em etapas.
• Prova social: depoimentos, números de clientes, selos de segurança.
• Preço e oferta: forma de apresentar planos, âncoras de preço, garantias.
• Imagens e vídeo: herói da página, demonstração, foto de produto.
• Fluxo: checkout em uma página ou em etapas, onboarding de um SaaS.

Onde vale a pena começar? Onde o dinheiro está vazando. Um funil mostra em que etapa você perde mais gente, e é ali que um ganho percentual vira mais receita:

Teste A/B é a ferramenta errada em alguns casos: quando o volume é baixo demais (o teste levaria meses), quando a correção é óbvia e sem risco (um bug, um link quebrado: apenas conserte), ou quando a sua pergunta é “por quê” algo acontece, que se responde com pesquisa qualitativa (entrevistas, gravação de sessão), não com A/B.

A/B, A/B/n, split URL ou multivariado?

“Teste A/B” virou guarda-chuva, mas há tipos distintos, cada um com seu uso:

Tipo	O que é	Quando usar
A/B	Controle contra uma variação, mesma URL	O caso padrão: uma mudança isolada e clara
A/B/n	Controle contra várias variações (C, D…)	Quando você tem várias ideias boas e tráfego de sobra
Split URL	Cada versão é uma página com URL própria, dividida por redirecionamento	Redesenhos grandes, ou quando a variação já existe em outra página
Multivariado (MVT)	Testa combinações de vários elementos ao mesmo tempo	Para achar a melhor combinação, só com tráfego alto (exige muita amostra)

Comece sempre pelo A/B simples. Multivariado parece poderoso, mas o número de combinações explode e o tamanho de amostra necessário junto.

Como escrever uma hipótese que dá para testar

Teste sem hipótese é chute com verniz de método. Uma boa hipótese liga uma observação a uma mudança, ao efeito esperado e à métrica que vai medir isso. O formato que funciona:

Um exemplo concreto: “porque 62% dos carrinhos são abandonados na etapa de frete (dado do funil), acredito que mostrar o custo de frete já na página do produto vai reduzir o abandono, medido pela taxa de conclusão de compra”. Repare no que essa frase te dá de graça: a métrica primária (conclusão de compra), a direção esperada (subir) e a origem (um dado, não um palpite).

Hipóteses fracas começam com “e se a gente…”. Hipóteses fortes começam com uma evidência. E antes de sair testando tudo, priorize: frameworks como PIE (Potencial, Importância, Facilidade) ou ICE (Impacto, Confiança, Esforço) dão uma nota a cada ideia, para você atacar as de maior retorno primeiro, em vez de testar só o que é fácil de implementar.

A métrica que decide o teste

Escolha uma métrica primária, a que decide o vencedor, e trate o resto como apoio. São três papéis:

• Primária (o OEC, critério geral de avaliação): a conversão que importa. Uma só. Se você tem duas “primárias”, não tem nenhuma.
• Secundárias: ajudam a entender o porquê (cliques, tempo na página, alcance de etapas), mas não decidem o teste.
• De guarda (guardrail): o que não pode piorar enquanto você melhora a primária. Subiu a conversão mas disparou o cancelamento ou a devolução? A guardrail te impede de comemorar um estrago.

Uma armadilha comum: escolher a métrica depois de ver os dados. Se você roda o teste e só então procura qual número “deu vitória”, vai sempre achar um por acaso. Defina a primária antes de olhar o resultado, e não a troque no meio do caminho.

Quantos visitantes você precisa?

Essa é a pergunta que derruba a maioria dos testes. Rodar com pouca gente não dá um resultado “menos preciso”: dá um resultado enganoso, em que o vencedor é sorte. O tamanho de amostra depende de três fatores:

1. Taxa de conversão atual. Quanto menor a taxa, maior a amostra. Detectar uma melhora numa página que converte 1% exige muito mais gente do que numa que converte 10%.
2. Efeito mínimo detectável (MDE). Qual o menor ganho que vale a pena descobrir? Detectar +20% é barato; detectar +2% custa uma amostra enorme.
3. Rigor (confiança e poder). O padrão de mercado é 95% de confiança e 80% de poder. Mais rigor, mais amostra.

A relação entre MDE e amostra não é linear, é brutal. Cortar o efeito que você quer detectar pela metade multiplica a amostra por cerca de quatro:

Em vez de decorar tabela, calcule para o seu caso. Ajuste a taxa base, o efeito que você quer detectar e o seu tráfego semanal, e veja quantos visitantes e quantos dias o teste precisa:

Taxa de conversão atual%Efeito mínimo detectávelrelativo (%)absoluto (pp)Confiança909599%Poder8090%Visitantes por semana (total)Testebilateralunilateral

-Visitantes por variação

-Total (2 variações)

-Duração estimada

Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.

Quer só a ferramenta, sem o guia? Ela também vive na calculadora de tamanho de amostra e no guia de quantos visitantes um teste A/B precisa.

Duração: quanto tempo deixar rodando

Mesmo que a amostra seja atingida antes, rode o teste por pelo menos uma a duas semanas inteiras. O comportamento de segunda é diferente do de domingo; quem compra no dia do pagamento não é quem navega no fim de semana. Encerrar em três dias “porque já deu” captura só uma fatia enviesada da sua audiência.

E existe uma armadilha específica de quem fica de olho no painel.

O problema do peeking (espiar e parar cedo)

Olhar o resultado todo dia e encerrar na primeira vez que “deu significância” parece esperto, mas destrói a confiabilidade do teste. Cada espiada é uma nova chance de o acaso cruzar a linha. Um teste desenhado para 5% de falso positivo pode chegar perto de 25% a 30% se você fica espiando e parando no melhor momento:

Coloque o teste no ar sem se enganar

A estatística assume que a coleta está limpa. Alguns cuidados de execução separam um teste confiável de lixo com cara de dado:

• Teste A/A antes do A/B. Rode duas versões idênticas uma contra a outra. Se elas “acusarem” uma diferença significativa, a sua ferramenta ou a sua coleta está com problema, e nenhum resultado de A/B depois disso vai valer.
• Anti-flicker (o efeito FOOC). Em testes no navegador, a página original pode piscar por um instante antes de a variação carregar (o “flash of original content”). Isso enviesa o teste e piora a experiência. Uma boa ferramenta esconde e revela sem piscar, e sem travar o carregamento.
• Client-side ou server-side. No navegador (client-side) é fácil de instalar e ótimo para marketing; no servidor (server-side) é mais robusto, sem flicker, e o padrão para produto e SaaS. Escolha pelo caso, não pela facilidade.
• Rode as variações ao mesmo tempo. Nunca compare “esta semana com B” contra “semana passada com A”: sazonalidade e ruído externo destroem a comparação. O sorteio simultâneo é o que isola a sua mudança de todo o resto.
• Uma unidade de aleatorização estável. O mesmo visitante precisa ver sempre a mesma versão. Se ele alterna entre A e B, a conversão dele não pertence a lado nenhum e polui os dois.

Nada disso é opcional. É o que separa “o número diz que B ganhou” de “eu confio no número que diz que B ganhou”.

A estatística que separa sinal de ruído

Aqui é onde a maioria dos guias foge. Você não precisa virar estatístico, mas precisa entender quatro ideias.

Significância e o valor-p

O valor-p responde: “se A e B fossem na verdade iguais, qual a probabilidade de ver uma diferença tão grande quanto a que eu vi, só por acaso?”. Um valor-p de 0,03 quer dizer 3% de chance de esse resultado ser fruto do acaso. Por convenção, um valor-p abaixo de 0,05 (o famoso “95% de confiança”) é tratado como significativo. Não é mágica nem um número sagrado: é um limite de risco que o mercado combinou.

Cuidado com a leitura ao contrário: significância não é “95% de chance de B ser melhor”. É “5% de chance de eu estar gritando vitória à toa”. E “sem significância” quase nunca quer dizer “as versões são iguais”: quer dizer que faltou amostra para distinguir.

Poder, e os erros Tipo I e Tipo II

Todo teste pode errar de duas formas. O erro Tipo I (falso positivo) é declarar um vencedor que não existe, e a confiança de 95% controla isso em 5%. O erro Tipo II (falso negativo) é deixar passar uma melhora real, e o poder controla isso: 80% de poder significa 20% de chance de perder um efeito verdadeiro. É por isso que amostra pequena é perigosa dos dois lados.

A fórmula, sem esconder nada

Para duas proporções (a taxa de A e a de B), o teste clássico calcula um escore z, que é a distância entre as duas taxas medida em “desvios padrão do acaso”:

Termo a termo, em português: p_A e p_B são as taxas de conversão de cada versão; n_A e n_B, os visitantes de cada uma; p̄ é a taxa combinada das duas (a estimativa de “como seria se fossem iguais”). Quanto maior o z, mais longe do acaso está a diferença, e o valor-p é só a tradução desse z para uma probabilidade. É exatamente essa conta que a calculadora abaixo faz por você.

Declare o vencedor: calculadora de significância

Cole os visitantes e as conversões de cada versão. A calculadora devolve as taxas, a melhora relativa, o valor-p, o intervalo de confiança da diferença e um veredito honesto:

Controle (A)

VisitantesConversões

Variação (B)

VisitantesConversões

Confiança90%95%99%

Controle (A) · Taxa-

Variação (B) · Taxa-

Melhora relativa-

valor-p-

IC 95% da diferença-

Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.

Um exemplo trabalhado, ponta a ponta

Vamos usar os números que já estão na calculadora. O controle (A) teve 210 conversões em 4.200 visitantes; a variação (B), 273 em 4.200.

• Taxa de A: 210 ÷ 4.200 = 5,00%. Taxa de B: 273 ÷ 4.200 = 6,50%.
• Melhora relativa: (6,5 − 5,0) ÷ 5,0 = +30%. Parece ótimo, mas a pergunta é: é real?
• Taxa combinada p̄: (210 + 273) ÷ 8.400 = 5,75%.
• Erro padrão: √[0,0575 · 0,9425 · (1÷4.200 + 1÷4.200)] ≈ 0,00508.
• Escore z: (0,065 − 0,050) ÷ 0,00508 ≈ 2,95.
• Valor-p (bilateral) ≈ 0,003.

Com valor-p de 0,003 (bem abaixo de 0,05), o resultado é significativo: B vence. E o intervalo de confiança de 95% da diferença fica em torno de +0,5 a +2,5 pontos percentuais, ou seja, mesmo no pior cenário plausível B ainda é melhor. Repare como o desenho visual conta a mesma história: as faixas de confiança de A e B mal se tocam.

Frequentista ou bayesiano?

Existem duas escolas para tomar essa decisão. A frequentista é a do valor-p e do nível de significância que acabamos de ver. A bayesiana responde de um jeito mais direto para quem decide: em vez de um valor-p, ela dá a probabilidade de B ser melhor que A (“B tem 97% de chance de superar A”) e a perda esperada se você escolher errado.

Nenhuma é universalmente superior. A bayesiana costuma ser mais intuitiva e lida melhor com paradas antecipadas quando bem implementada; a frequentista é o padrão da indústria e da literatura. O que não muda em nenhuma das duas: você ainda precisa de amostra e tempo suficientes, e não pode trapacear com peeking. A escola não conserta um teste mal desenhado.

E quando o resultado é inconclusivo?

Esse é o desfecho mais comum de todos, e quase ninguém ensina o que fazer com ele. “Inconclusivo” não é empate nem fracasso: é falta de evidência. Antes de descartar a ideia, cheque três coisas:

• Faltou amostra ou tempo? Se você parou perto do tamanho calculado, talvez só precise deixar rodar mais. Se parou muito antes, o teste nunca teve chance de mostrar nada.
• O efeito real é menor do que você mirou? Um ganho de +1% pode existir e até valer a pena, mas exigir muito mais gente para aparecer. Reveja o seu MDE e recalcule a amostra.
• A mudança era pequena demais? Testar uma palavra num site de tráfego médio quase sempre dá inconclusivo. Prefira mudanças maiores, de maior potencial.

O que não fazer: sair fatiando os dados (“mas no mobile o B ganhou!”) até achar um recorte significativo. Isso é pescaria, e gera falsos positivos em série. Se quiser analisar por segmento, defina o segmento antes de rodar, não depois.

Um teste inconclusivo bem documentado vale ouro: ele te diz que aquela alavanca não move o ponteiro tanto quanto você achava, e te poupa de reimplementar a mesma ideia daqui a seis meses.

Os erros que invalidam um teste (e como pegar cada um)

Erro	Sinal de alerta	Correção
Parar cedo (peeking)	“Deu significância no 3º dia, vou encerrar”	Defina amostra e duração antes; só decida no fim
Amostra pequena	Poucas centenas de visitantes por lado	Calcule a amostra antes e respeite-a
Divisão desigual (SRM)	A recebeu 60% do tráfego, B 40%, sem motivo	Investigue bug de redirecionamento, bot ou cache antes de confiar
Testar coisas demais juntas	Mudou título, botão, imagem e preço de uma vez	Isole a variável, ou use multivariado desenhado para isso
Rodar poucos dias	Encerrou antes de uma semana cheia	Rode ciclos inteiros, nunca só os “dias bons”
Ignorar a significância prática	“Ganhou, mas foi +0,1%”	Pergunte se o ganho paga o esforço de implementar

O SRM (Sample Ratio Mismatch) merece destaque: se você configurou 50/50 mas o tráfego chegou muito desbalanceado, algo quebrou na coleta, e nenhum número daquele teste é confiável, mesmo que a diferença pareça linda.

Quanto é uma “boa” taxa de conversão?

A resposta honesta: o melhor benchmark é o seu próprio histórico. Faixas de mercado servem só para calibrar expectativa, e variam muito por setor, dispositivo e fonte de tráfego. Como referência aproximada, relatada por levantamentos de e-commerce e SaaS:

Contexto	Faixa típica relatada	Observação
E-commerce (visitante → compra)	~1% a 3%	Varia forte por categoria e ticket
SaaS (visitante → trial)	~2% a 10%	Depende de canal e intenção
SaaS (trial → pago, self-service)	~15% a 25%	Onboarding pesa muito
Lead gen (landing → formulário)	~5% a 15%	Formulários curtos convertem mais

Trate esses números como ponto de partida, não como meta. Uma loja de item caro converter 1% pode ser excelente; um SaaS de baixo atrito converter 2% para trial pode ser ruim. Meça o seu, e melhore o seu.

Ferramentas de teste A/B (visão neutra)

Não existe “a melhor ferramenta”, existe a certa para o seu contexto. As diferenças que importam na hora de escolher:

Critério	Por que importa
Client-side x server-side	Client-side é fácil de instalar mas pode causar “piscada” (flicker); server-side é robusto para produto/SaaS
Modelo estatístico	Frequentista x bayesiano muda como você lê e para o teste
Impacto na página	O script não pode travar nem atrasar o carregamento (afeta conversão e SEO)
Isolamento de dados	Em multiconta, os dados de um cliente nunca podem vazar para outro
Curva de instalação	Snippet único, integração com GTM, ou exige desenvolvedor?

A Donnu A/B se posiciona nesse mapa como uma opção client-side, bayesiana, de snippet leve que não trava a página, com isolamento de dados por conta. Mas o ponto do quadro é você escolher por critério, não por marketing, o nosso incluído.

Faça isso automático na Donnu

Você acabou de ver o trabalho que um teste A/B honesto dá: calcular a amostra, respeitar a duração, fugir do peeking, checar SRM e ler a significância sem se enganar. A Donnu já faz tudo isso por padrão. Você define a hipótese e a meta; a Donnu dimensiona o teste, coleta com um snippet que nunca trava a sua página, declara o vencedor com estatística bayesiana honesta e mantém os dados de cada conta isolados. Sem achismo, sem p-value theater.

Comece um teste grátis de 14 dias e rode o seu primeiro experimento hoje. Se quiser aprofundar antes, veja os erros que invalidam um teste A/B e quantos visitantes o seu teste precisa. Prefere ler em inglês? Veja a versão em inglês deste guia.

Referências

• Kohavi, R., Tang, D. & Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Material de apoio em experimentguide.com.
• Miller, E. How Not To Run an A/B Test (o problema do peeking), 2010. evanmiller.org.
• Georgiev, G. Statistical Methods in Online A/B Testing. analytics-toolkit.com.
• Kohavi, R. et al. Seven Rules of Thumb for Web Site Experimenters. KDD, 2014.
• VWO. The Complete Guide to A/B Testing. vwo.com/ab-testing.