Teste A/B com pouco tráfego: dá pra testar o seu site?

Esta é a calculadora do diagnóstico, não a do planejamento de um teste. Se você já sabe qual efeito busca e quer saber quantos dias ele leva, use a calculadora de duração de teste A/B. Se quer o menor efeito detectável a partir de uma amostra que já existe, use a calculadora de MDE. Se a pergunta é quantos testes cabem no seu ano, use a calculadora de velocidade de testes. Aqui a pergunta é anterior a todas elas e é a que trava times pequenos: com o tráfego que eu tenho, dá para testar alguma coisa?

Como usar

1. Informe os visitantes por mês que passam no fluxo que você quer testar (não o tráfego do site inteiro: só quem vê a página do teste).
2. Coloque a sua taxa de conversão atual nesse fluxo. Ela é o fator que mais muda o resultado, mais que o tráfego.
3. Diga por quantas semanas você aceita rodar um único teste. Seis semanas é um limite honesto para a maioria dos times, doze é o máximo que costuma sobreviver a mudanças de sazonalidade e de site.
4. Ajuste o número de variações (2 = A/B) e o ganho relativo que você gostaria de detectar.
5. Escolha o rigor. O padrão (95% de confiança, 80% de poder) é a convenção; relaxar para 90% e 70% reduz a amostra e aumenta o risco de erro, o que pode valer em contexto exploratório.
6. Leia o veredito e o quadro de cenários: ele mostra, para ganhos de +10% a +50%, quanta amostra cada um exige e se cabe na sua janela.

Como funciona: a conta por trás

A ferramenta faz duas contas encadeadas, as duas rodando no seu navegador. A primeira converte a sua janela em amostra disponível; a segunda transforma essa amostra no menor efeito que ela consegue distinguir do acaso.

Onde p é a sua taxa atual, n é a amostra por variação, z_α é o valor crítico da confiança (1,96 a 95%, bilateral) e z_β é o do poder (0,84 a 80%). O caminho de volta, quanta amostra um ganho específico exige, usa a mesma aproximação normal de duas proporções da nossa calculadora de tamanho de amostra, então os números das duas páginas concordam.

Exemplo trabalhado (reproduz o resultado padrão)

Com os valores que já vêm preenchidos: 8.000 visitantes/mês, conversão de 2%, janela de 6 semanas, 2 variações, alvo de +20% e rigor padrão.

• Tráfego diário: 8.000 / 30 = 266,7 visitantes por dia.
• Janela: 6 × 7 = 42 dias, ou seja 42 × 266,7 = 11.200 visitantes no total.
• Amostra por variação: 11.200 / 2 = 5.600.
• Menor ganho detectável: (1,96 + 0,84) × √(2 × 0,02 × 0,98 / 5.600) = 2,80 × 0,00265 = 0,0074, ou 0,74 ponto percentual.
• Em relativo: 0,0074 / 0,02 = +37,1%. A variação precisaria sair de 2% para 2,74% para o teste acusar.
• Veredito: apertado. Só mudança radical produz ganho desse tamanho.
• Alvo de +20%: exigiria 21.109 visitantes por variação, 42.218 no total, ou 159 dias (22,7 semanas). Não cabe nas 6 semanas: seria preciso ter 30.156 visitantes por mês, cerca de 3,8 vezes o tráfego atual.

O quadro de cenários fecha o raciocínio: com esses números, só o cenário de +50% cabe na janela (3.826 por variação, 4,1 semanas). O de +30% pede 10,6 semanas, o de +20% pede 22,7 e o de +10% pede 86,6 semanas, mais de um ano e meio. É exatamente o que a ferramenta mostra ao abrir a página.

Como interpretar o veredito

O número que importa é o menor ganho detectável em relativo, porque ele diz que tipo de mudança vale a pena testar no seu site:

• Até +10%: confortável. Você está na faixa em que testes normais de CRO produzem resultado, e pode testar hipóteses de refinamento.
• De +10% a +25%: dá para testar, mas só mudanças estruturais. Teste oferta, proposta de valor, layout inteiro da página, não a cor do botão.
• De +25% a +50%: apertado. Um ganho desse tamanho existe, mas é raro. Considere trocar a métrica por uma micro conversão mais frequente antes de queimar 6 semanas.
• Acima de +50%: inviável na conversão final. Testar assim é comprar um resultado inconclusivo com semanas do seu calendário. Mude de abordagem.

Um alerta importante: nunca use um teste subdimensionado para concluir que a variação não funciona. Poder baixo significa que o teste falha em detectar efeitos reais, então um resultado sem significância não é prova de ausência de efeito. Se quiser ver o poder do teste que você já rodou, use a calculadora de poder estatístico.

O plano B para site de baixo tráfego

Quando o veredito é apertado ou inviável, existem saídas honestas. Todas trocam precisão por velocidade de aprendizado, e nenhuma delas envolve parar o teste quando ele parece bonito.

• Suba de métrica. Meça o clique no CTA principal, o início de checkout ou a visualização de preço. A base é muito maior (20%, 30%, 40%), então a amostra exigida despenca. O risco é otimizar uma métrica que não puxa a receita, então escolha uma micro conversão que você já sabe correlacionada com a compra.
• Teste mudanças grandes. Página inteira contra página inteira, oferta contra oferta. Efeito grande é o único que aparece com amostra pequena.
• Junte páginas parecidas. Se você tem dez páginas de produto com o mesmo template, teste a mudança no template todo e some o tráfego das dez.
• Estenda a janela com cuidado. Doze semanas ainda é defensável; seis meses não, porque o seu site, o seu preço e o seu tráfego mudam no meio do caminho e contaminam a comparação.
• Use leitura bayesiana. Ela não cria informação onde não existe, mas entrega uma resposta mais útil para decidir com pouca amostra: a probabilidade de a variação ser melhor e a perda esperada se você errar. Veja a calculadora bayesiana.
• Complemente com pesquisa qualitativa. Gravação de sessão, mapa de calor, cinco entrevistas e um teste de usabilidade custam pouco e apontam problemas óbvios que nenhum teste A/B precisaria provar.

O contexto completo dessa estratégia está no guia CRO para sites de baixo tráfego, e a conta de quantos visitantes um teste exige está em quantos visitantes um teste A/B precisa.

Limites desta calculadora

A conta assume uma métrica binária (converteu ou não), tráfego estável ao longo da janela, uma divisão equilibrada entre as variações e visitantes independentes entre si. Ela não modela sazonalidade forte, campanhas que mudam o mix de tráfego no meio do teste, efeito de novidade, nem o tempo entre a decisão e o desenvolvimento da próxima variação. O menor ganho detectável usa a aproximação normal com variância avaliada na taxa base, a convenção de mercado para MDE: com taxa muito baixa e amostra muito pequena, trate o resultado como ordem de grandeza, não como número exato.

Perguntas frequentes

Dá para fazer teste A/B com pouco tráfego?

Dá, mas só para efeitos grandes. Com pouco tráfego a amostra da sua janela é pequena, e amostra pequena só enxerga diferenças grandes. Com 8 mil visitantes por mês, 2% de conversão e uma janela de 6 semanas, o menor ganho detectável é de cerca de +37% relativo: mudanças de detalhe (cor de botão, microcopy) nunca vão aparecer, mas uma troca de oferta ou de proposta de valor pode aparecer. A calculadora mostra esse limite para os seus números.

Qual o tráfego mínimo para um teste A/B?

Não existe um número universal, porque o que manda é a combinação de tráfego, taxa de conversão e tamanho do efeito. Uma referência prática: para detectar +10% relativo sobre uma base de 2% em até 6 semanas, você precisaria de cerca de 115 mil visitantes por mês no fluxo testado. Se a sua base de conversão é maior (5% ou 10%), o mesmo ganho relativo custa muito menos amostra. Rode a calculadora antes de assumir que não dá.

O que fazer quando não há tráfego suficiente para testar?

Suba de métrica e mude o tamanho da aposta. Meça uma micro conversão mais frequente (clique no CTA principal, início de checkout, visualização de preço), que tem base muito maior e fecha amostra bem mais rápido. Teste mudanças radicais em vez de detalhes. Junte páginas parecidas num teste só. Use pesquisa qualitativa, gravação de sessão e heurística para decidir o que não dá para provar quantitativamente. E resista a rodar um teste subdimensionado: ele quase sempre termina inconclusivo.

Posso baixar a confiança de 95% para 90% para conseguir testar?

Pode, e a calculadora deixa você simular isso no seletor de rigor. Baixar a confiança para 90% e o poder para 70% reduz bastante a amostra necessária, ao custo de mais falsos positivos e mais falsos negativos. É uma troca defensável em contexto exploratório, quando o custo de implementar a variação vencedora é baixo e você aceita revisitar a decisão depois. Não é defensável quando a decisão é cara ou difícil de reverter.

Qual a diferença desta calculadora para a de duração de teste A/B?

A de duração parte de um efeito que você já escolheu e responde quantos dias ele leva. Esta parte da janela que você aceita esperar e responde o que cabe nela: qual o menor ganho visível, se o ganho que você quer entra, e quanto tráfego faltaria. É a ferramenta de diagnóstico de quem desconfia que o site é pequeno demais para testar, com o veredito e o plano B.

Continue

Se o veredito foi positivo, planeje o teste com a calculadora de tamanho de amostra e feche o resultado com a calculadora de significância estatística. Se foi negativo, comece pelo guia o que é teste A/B para entender o que a estatística consegue e o que não consegue provar com o tráfego que você tem hoje.