Quantos testes A/B por mês o seu tráfego banca

Esta calculadora é sobre capacidade, não sobre um teste só. Se você quer saber quanto tempo UM teste vai levar, use a calculadora de duração de teste A/B. Se quer saber qual amostra cada teste precisa, use a calculadora de tamanho de amostra. Aqui a pergunta é de roadmap: quantas ideias você consegue validar por mês e por ano com o tráfego que tem.

Como usar

1. Informe os visitantes por mês no fluxo que você testa e a sua taxa de conversão atual.
2. Escolha o efeito mínimo detectável: o menor ganho que ainda mudaria a sua decisão, em relativo (%) ou absoluto (pontos).
3. Diga quantas variações um teste típico tem (2 = A/B; 3 = A/B/C, contando o controle).
4. Deixe a duração mínima em 14 dias (um ciclo semanal completo) ou ajuste à sua realidade.
5. Leia a capacidade: testes por mês, testes por ano e o prazo de um teste. A linha abaixo diz o que está limitando você, o tráfego ou o piso de duração.

Como funciona: a conta por trás

A calculadora encadeia a matemática de tamanho de amostra com a sua realidade de tráfego, tudo rodando no seu navegador:

A amostra por variação vem da aproximação normal de duas proporções (95% de confiança, 80% de poder, bilateral), a mesma da nossa calculadora de tamanho de amostra. O máximo entre tráfego e piso garante que nenhum teste rode menos que um ciclo semanal, mesmo com tráfego de sobra.

Exemplo trabalhado (reproduz o resultado padrão)

Com os valores que já vêm preenchidos: 100.000 visitantes/mês, conversão 5%, MDE +10% relativo, 2 variações e piso de 14 dias.

• Amostra por variação: 31.234 visitantes (5% de base detectando +10% relativo, 95%/80%).
• Amostra total do teste: 31.234 × 2 = 62.468.
• Tráfego diário: 100.000 / 30 = 3.333/dia.
• Dias por tráfego: 62.468 / 3.333 = 18,7, arredondando para cima 19 dias.
• Dias por teste: máximo(19, 14) = 19 (o tráfego manda, está acima do piso).
• Testes por mês: 30 / 19 = 1,6. Testes por ano: 1,6 × 12 ≈ 19.

É exatamente o que a ferramenta mostra acima quando você abre a página: cerca de 1,6 teste por mês, 19 por ano e 19 dias por teste, limitado pelo tráfego.

Como interpretar e onde ela engana

A capacidade é o teto realista do seu programa, não uma meta a bater a qualquer custo. Ela serve para duas decisões honestas: dimensionar o roadmap (cabem 19 testes no ano, então priorize as 19 melhores hipóteses) e enxergar o gargalo (se o limite é o tráfego, mais variações ou um MDE menor só pioram; se o limite é o calendário, você tem folga para testar ideias mais ousadas).

Limites a ter em mente: a conta assume tráfego estável, uma métrica binária (converteu ou não) e testes rodados um de cada vez no mesmo fluxo. Ela não modela testes simultâneos em páginas diferentes (que somam capacidade), sazonalidade forte, nem tempo de análise e desenvolvimento entre testes (na prática, deixe uma folga). Se a sua taxa base é muito baixa ou o tráfego é pequeno, confirme antes se cada teste consegue vencer com a calculadora de significância e leia quantos visitantes um teste A/B precisa.

Boas práticas para acelerar sem trapacear

Velocidade de testes não é rodar qualquer coisa mais rápido, é validar mais hipóteses boas por ano. Algumas regras aumentam a capacidade sem inflar o falso positivo.

• Teste primeiro nas páginas de mais tráfego. É onde a amostra fecha rápido e onde o ganho vale mais.
• Prefira poucas variações por teste. A/B fecha antes que A/B/C/D e cabe mais no calendário.
• Busque o menor MDE que ainda mudaria a sua decisão, mas seja honesto: um MDE otimista fecha rápido e engana só você.
• Não pare o teste ao ver significância cedo (peeking). Fixe o prazo e respeite o piso de duração.
• Rode testes em fluxos diferentes ao mesmo tempo quando não se sobrepõem: cada fluxo tem sua própria capacidade.

Perguntas frequentes

Quantos testes A/B dá para rodar por mês?

Depende de quanta amostra cada teste precisa e de quanto tráfego você tem. Cada teste consome uma amostra (que sobe quando a sua taxa base é baixa, o efeito buscado é pequeno ou há mais variações); o seu tráfego diário determina em quantos dias essa amostra fecha. Divida os dias do mês pelo prazo de um teste e você tem a capacidade. Com 100 mil visitantes/mês, 5% de conversão e MDE de +10% relativo, dá cerca de 1,6 teste por mês.

Por que a minha velocidade de testes é tão baixa?

Quase sempre é falta de tráfego ou um efeito buscado pequeno demais. Detectar +2% relativo custa uma amostra enorme; detectar +10% custa muito menos. Se a capacidade decepciona, suba o MDE (busque ganhos maiores), foque os testes nas páginas de mais tráfego ou concentre o tráfego em menos variações. Testar em site de baixo tráfego pede escolhas mais agressivas.

Rodar mais variações reduz quantos testes eu consigo?

Sim. A amostra por variação continua a mesma, mas o total do teste é essa amostra vezes o número de variações. Um teste A/B/C (3 variações) consome 50% mais tráfego que um A/B, então cada teste demora mais e cabem menos por mês. É o trade-off entre testar muitas ideias de uma vez e rodar mais testes ao longo do ano.

Por que existe uma duração mínima por teste?

Para capturar ao menos um ciclo semanal inteiro: o comportamento muda entre dias úteis e fim de semana. Mesmo que o seu tráfego feche a amostra em 3 dias, encerrar antes de duas semanas expõe o resultado a ruído de sazonalidade curta. O piso padrão de 14 dias é a convenção de mercado; a calculadora usa o maior valor entre o prazo por tráfego e esse piso.

Qual a diferença desta calculadora para a de duração de teste A/B?

A de duração responde quanto tempo UM teste vai levar. Esta responde quantos testes cabem no seu mês e no seu ano, ou seja, a capacidade do seu programa. Use a de duração para planejar um teste específico e esta para planejar o roadmap: quantas ideias você consegue validar por trimestre com o tráfego que tem.

Continue

Sabendo a capacidade, planeje cada teste com a calculadora de duração de teste A/B e confirme os vencedores com a calculadora de significância estatística. Para saber quanto essa cadência vale em dinheiro, use a calculadora de ROI de experimentação. O contexto completo está no guia o que é teste A/B.