Calculadora de tamanho de amostra para teste A/B

Como usar

1. Informe a sua taxa de conversão atual (a do controle, em %).
2. Escolha o efeito mínimo detectável: o menor ganho que ainda mudaria a sua decisão, em relativo (%) ou absoluto (pontos).
3. Deixe confiança 95% e poder 80% (os padrões do mercado) ou ajuste se souber o que está fazendo.
4. Coloque o seu tráfego semanal total para ver a duração estimada.
5. Leia o resultado: visitantes por variação, total para duas variações e dias até completar.

Como funciona: a fórmula

A calculadora usa a aproximação normal de duas proporções, o mesmo método por trás da maioria das ferramentas sérias de teste A/B. O tamanho por variação é:

Onde p₁ é a taxa base, p₂ é a taxa alvo (base mais o MDE), p̄ é a média das duas, z_α é o valor crítico da confiança (1,96 para 95% bilateral) e z_β é o do poder (0,84 para 80%).

Exemplo trabalhado (reproduz o resultado padrão)

Com os valores que já vêm preenchidos: taxa base 5%, MDE +10% relativo (alvo de 5,5%), confiança 95% e poder 80%, bilateral. A diferença absoluta é 0,5 ponto (0,055 − 0,05). Substituindo na fórmula, o numerador dá cerca de 0,7808 e o denominador 0,000025, então:

n ≈ 0,7808 / 0,000025 = 31.234 visitantes por variação, ou 62.468 no total para duas versões. Com 10.000 visitantes por semana (cerca de 1.429 por dia), completar as 62.468 leva 44 dias. É exatamente o que a ferramenta mostra acima quando você abre a página.

Como interpretar e onde ela engana

O número por variação é o alvo que você fixa antes de começar e não muda no meio do caminho. A regra de ouro: quanto menor o efeito que você quer detectar, muito maior a amostra. Por isso vale ser honesto no MDE, prometer detectar +2% relativo custa uma amostra que a maioria dos sites não tem em meses.

Limites a ter em mente: a conta assume tráfego estável e uma métrica binária (converteu ou não). Ela não cobre receita por visitante (variância maior, precisa de mais amostra), sazonalidade forte, nem múltiplas variações ao mesmo tempo. Se a sua taxa base é muito baixa (menos de 1%) ou o seu tráfego é pequeno, veja antes se dá para testar com a calculadora de significância e o guia de quantos visitantes um teste A/B precisa.

Boas práticas ao dimensionar

Antes de ligar o teste, deixe três coisas travadas: a amostra por variação, o efeito mínimo que você aceita e o prazo. Depois disso, siga estas regras simples.

• Prefira o menor MDE que ainda mudaria a sua decisão. Um MDE inflado esconde ganhos reais e faz você encerrar cedo demais.
• Rode ciclos semanais inteiros para capturar a diferença de comportamento entre dias úteis e fim de semana.
• Uma métrica principal por teste. Perseguir várias ao mesmo tempo multiplica o risco de falso positivo.
• Se a amostra necessária for maior que o seu tráfego de um mês inteiro, aumente o efeito buscado ou junte mais tráfego antes de começar.

Perguntas frequentes

Quantos visitantes um teste A/B precisa?

Depende de três coisas: a sua taxa de conversão atual, o menor efeito que você quer detectar e o nível de confiança/poder. Quanto menor a taxa base e menor o efeito buscado, maior a amostra. Para uma taxa de 5% detectando +10% relativo, com 95% de confiança e 80% de poder, são cerca de 31 mil visitantes por variação.

O que é efeito mínimo detectável (MDE)?

É o menor ganho que vale a pena descobrir. Em relativo (+10%) ou absoluto (+2 pontos). Ele é o que mais mexe no tamanho da amostra: detectar +2% relativo custa uma amostra enorme, detectar +20% é bem mais barato. Escolha o menor efeito que ainda mudaria a sua decisão.

Por que confiança 95% e poder 80%?

São as convenções de mercado. Confiança 95% significa aceitar 5% de chance de falso positivo. Poder 80% significa 80% de chance de detectar o efeito se ele existir. Subir qualquer um dos dois aumenta a amostra necessária.

Posso parar o teste assim que atingir a amostra?

Sim, se você fixou a amostra e o prazo antes de começar. O erro comum é o contrário: ficar espiando o resultado e parar na primeira vez que der significância, o que infla o falso positivo (o problema do peeking). Defina a amostra aqui, rode até completá-la e só então leia o veredito.

A calculadora serve para teste com mais de duas variações?

O número por variação continua valendo, mas o tempo total cresce porque o tráfego se divide entre mais grupos. Para planejar a duração com 3 ou mais variações, use a calculadora de duração de teste A/B.

Continue

Dimensionou o teste? Rode até completar a amostra e depois confira o resultado com a calculadora de significância estatística. Para planejar o calendário com mais de duas variações, use a calculadora de duração de teste A/B. O contexto completo está no guia o que é teste A/B.