Quantos Testes A/B Você Deveria Rodar por Mês?
Quantos testes A/B por mês o seu site aguenta: a conta de capacidade a partir do tráfego, com calculadora e exemplo trabalhado.
📚 Este artigo faz parte do guia Como Construir uma Cultura de Experimentação (2026).
A resposta honesta para “quantos testes A/B rodar por mês” não é um número de benchmark: é a capacidade que o seu tráfego banca, e ela sai de uma conta de duas linhas. A duração de cada teste é o maior valor entre a amostra necessária dividida pelo tráfego diário e um piso de duas semanas; a capacidade mensal é o número de dias do mês dividido por essa duração. Este artigo mostra a conta, explica por que os números de Booking e Microsoft não servem de meta para quase ninguém, revela o ponto em que mais tráfego para de comprar mais testes e passa a comprar mais sensibilidade, e traz calculadoras ao vivo com um exemplo trabalhado ponta a ponta. Faz parte do guia de como construir uma cultura de experimentação.
Por que o benchmark do mercado não serve como meta
Todo artigo sobre velocidade de experimentação cita os mesmos gigantes. A Microsoft documentou publicamente o programa de experimentação do Bing, com milhares de experimentos rodando em escala (Bing Search Quality Insights, Large Scale Experimentation at Bing). Casos de empresas como Booking.com, que segundo relatos públicos chegou a manter centenas de testes simultâneos, circulam como referência de excelência.
Esses números descrevem uma condição que quase ninguém tem: dezenas de milhões de sessões por mês, plataforma interna dedicada e times inteiros de infraestrutura de experimentação. Copiar a meta sem copiar o tráfego produz o pior resultado possível: uma cadência artificialmente alta, testes encerrados antes da hora para “caber no mês” e uma sequência de decisões tomadas sobre ruído.
A pergunta útil não é “quantos testes a Booking roda”, é “quantos testes o meu tráfego banca com rigor estatístico”. Essa segunda pergunta tem resposta numérica exata.
A conta da capacidade
São três entradas e duas operações:
- Amostra por variação. Depende da taxa base de conversão, do efeito mínimo detectável (MDE) e do rigor (padrão de mercado: 95% de confiança e 80% de poder). É o mesmo cálculo do guia de como fazer um teste A/B passo a passo.
- Amostra total do teste. Amostra por variação multiplicada pelo número de variações (2 num A/B clássico).
- Tráfego diário no fluxo testado. Não o tráfego do site inteiro: só quem entra no fluxo em que o teste roda.
Com isso: dias por teste = maior valor entre (amostra total dividida pelo tráfego diário) e o piso de duração, e testes por mês = 30 dividido por dias por teste.
O piso de duração merece explicação. Mesmo que o tráfego feche a amostra em três dias, encerrar um teste em três dias mede só o comportamento de terça a quinta, e o público de fim de semana costuma converter de forma diferente. Duas semanas é o piso mais comum de mercado porque captura dois ciclos semanais completos. É esse piso que transforma a conta em duas fases distintas, e a segunda surpreende muita gente.
Quantos testes A/B por mês o seu tráfego banca
A tabela abaixo aplica a conta a um cenário comum: conversão base de 2,5%, duas variações, piso de 14 dias, e a ambição de detectar um efeito relativo de 20% (o que exige 16.792 visitantes por variação, 33.584 no total).
| Visitantes por mês no fluxo | Dias limitados pelo tráfego | Duração real por teste | Testes por mês | Gargalo |
|---|---|---|---|---|
| 20.000 | 51 | 51 dias | 0,6 | Tráfego |
| 60.000 | 17 | 17 dias | 1,8 | Tráfego |
| 200.000 | 6 | 14 dias | 2,1 | Calendário |
| 600.000 | 2 | 14 dias | 2,1 | Calendário |
Amostra por aproximação normal de duas proporções (95% de confiança, 80% de poder, bilateral), 2 variações, piso de 14 dias, mês de 30 dias.
Duas leituras importantes saem daí. A primeira: entre 200 mil e 600 mil visitantes mensais, a capacidade não muda. Triplicar o tráfego não deu nenhum teste a mais, porque o piso de duas semanas já era o limite. A segunda: o site de 20 mil visitantes não está condenado a 0,6 teste por mês para sempre, ele só não consegue detectar um efeito de 20% nesse prazo. Buscando um efeito maior, a mesma operação volta a caber no calendário.
Calcule a sua capacidade real, com a sua taxa base, o seu MDE e o seu tráfego:
Amostra por variação a 95% de confiança e 80% de poder (bilateral), pela sua taxa e MDE. Ajuste os campos e veja a capacidade ao vivo.
O que fazer com o tráfego excedente
Quando o gargalo vira calendário, o tráfego que sobra tem um uso melhor do que “encerrar o teste em 6 dias”: comprar sensibilidade. Com mais amostra dentro da mesma janela de 14 dias, o mesmo teste passa a detectar efeitos menores, e efeitos menores são a maior parte dos efeitos reais.
No cenário da tabela, o site de 200 mil visitantes mensais que baixa a ambição de +20% para +10% relativo passa a precisar de 64.199 visitantes por variação. Isso estica a duração para 20 dias e derruba a capacidade de 2,1 para 1,5 teste por mês. É uma troca deliberada e quase sempre boa: menos testes por mês, mas cada um capaz de enxergar melhorias que antes passariam como empate.
| Ambição do teste | Amostra por variação | Duração a 200 mil por mês | Testes por mês |
|---|---|---|---|
| Detectar +20% relativo | 16.792 | 14 dias (piso) | 2,1 |
| Detectar +10% relativo | 64.199 | 20 dias | 1,5 |
Ou seja: a pergunta “quantos testes por mês” e a pergunta “que tamanho de efeito eu consigo enxergar” são a mesma pergunta, vista de dois lados. Fixar uma define a outra.
Exemplo trabalhado: um SaaS de 60 mil visitantes por mês
Um SaaS recebe 60.000 visitantes por mês na landing page de cadastro, com conversão de 2,5% em início de trial. O time quer detectar um ganho relativo de 20% (de 2,5% para 3,0%).
- Amostra por variação: 16.792 visitantes.
- Amostra total do teste (2 variações): 33.584 visitantes.
- Tráfego diário: 60.000 dividido por 30, ou seja, 2.000 visitantes por dia.
- Dias necessários pelo tráfego: 33.584 dividido por 2.000, ou seja, 17 dias.
- Duração real: 17 dias, porque 17 é maior que o piso de 14.
- Capacidade: 30 dividido por 17, aproximadamente 1,8 teste por mês, ou cerca de 21 testes por ano.
Confira o primeiro passo dessa conta com a sua própria taxa base:
Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.
Agora a parte que muda decisões. Esse time tem 21 testes por ano de capacidade. Se aplicar a proporção que Ronny Kohavi documentou para experimentos na Microsoft, aproximadamente um terço das ideias melhora a métrica alvo, um terço fica neutro e um terço piora (Kohavi, Online Controlled Experiments: Lessons from Running A/B/n Tests for 12 Years, KDD 2015), então a expectativa realista é de cerca de 7 vitórias por ano, sendo que várias delas serão pequenas.
Esse número costuma assustar, e é exatamente por isso que ele precisa estar no planejamento. Um roadmap que promete “vamos aumentar a conversão em 40% este ano com testes A/B” e tem capacidade de 21 testes está prometendo algo que a matemática não sustenta. Um roadmap que planeja 21 testes, espera 7 vitórias e trata cada uma como um ganho composto está sendo honesto com a própria capacidade. O template de roadmap de experimentação tem a coluna de duração justamente para forçar essa conversa antes do compromisso.
Paralelizar sem contaminar a leitura
A saída óbvia para dobrar a cadência é rodar dois testes ao mesmo tempo, e ela funciona com uma condição: os testes não podem disputar o mesmo público na mesma decisão. Dois experimentos em fluxos independentes (um na página de preços, outro no fluxo de recuperação de senha) convivem sem problema, porque a maior parte dos visitantes de um nunca vê o outro.
O caso perigoso é o oposto: dois testes na mesma jornada, ou dois testes que movem a mesma métrica primária. Aí surgem três problemas ao mesmo tempo. A amostra se divide entre quatro combinações em vez de duas, o que alonga os dois testes em vez de acelerar o programa. A interação entre as mudanças fica embutida no resultado, e nenhum dos dois relatórios consegue separar o efeito próprio do efeito do vizinho. E se os dois “vencerem”, subir as duas mudanças juntas pode entregar menos do que a soma prometida, porque parte do ganho era o mesmo ganho contado duas vezes.
Duas formas de organizar isso sem abrir mão da paralelização: exclusão mútua, em que cada visitante entra em no máximo um experimento e os grupos ficam completamente separados, ou camadas ortogonais, em que a alocação de um teste é sorteada de forma independente da do outro, garantindo que as combinações fiquem equilibradas. A primeira é mais simples e mais conservadora, a segunda aproveita melhor o tráfego. Em qualquer uma das duas, vale a regra prática: um teste por fluxo, e a decisão de paralelizar tomada no planejamento, não no meio da execução.
Se a sua capacidade for baixa
Um resultado de 0,6 teste por mês não significa “não teste”. Significa que a estratégia precisa mudar de forma:
- Teste mudanças grandes, não ajustes finos. Com pouca amostra, só efeitos grandes são detectáveis. Uma nova proposta de valor tem chance de produzir um efeito de 25% ou mais; uma cor de botão, quase nunca. O guia completo de otimização de conversão cobre que tipo de mudança costuma produzir efeito grande o bastante para ser detectável.
- Suba a métrica primária no funil. Medir início de cadastro (taxa base alta) em vez de compra concluída (taxa base baixa) reduz a amostra necessária em ordens de grandeza. O custo é medir um proxy do resultado final, o que precisa ficar documentado.
- Agrupe páginas semelhantes num único teste. Se três landing pages compartilham a mesma estrutura, testar a mudança nas três ao mesmo tempo soma o tráfego delas e reduz a duração proporcionalmente.
- Aceite prazos maiores para menos testes. Dois testes bem dimensionados por trimestre valem mais que seis testes encerrados na metade, que só produzem falsos positivos.
Erros comuns na hora de definir a cadência
| Erro | Sinal de alerta | Correção |
|---|---|---|
| Copiar o benchmark de um gigante | “A Booking roda milhares, a gente vai rodar 20 por mês” | Calcule a capacidade a partir do seu tráfego, não da meta dos outros |
| Encerrar cedo para caber no mês | Teste parado no dia 8 porque “já deu significância” | Fixe a duração antes de rodar e respeite o piso de duas semanas |
| Contar tráfego do site inteiro | Usou 500 mil sessões quando o fluxo testado recebe 40 mil | Use só o tráfego que entra no fluxo do teste |
| Ignorar o piso de duração | Teste de 4 dias porque o tráfego fecha a amostra | Rode ao menos um a dois ciclos semanais completos |
| Rodar dois testes no mesmo fluxo | Dois experimentos simultâneos no checkout | Um teste por fluxo; use fluxos distintos para paralelizar |
| Medir velocidade em vez de aprendizado | Painel com “testes rodados no mês” como KPI principal | Meça também quantos testes tinham hipótese defensável e o que cada um ensinou |
Faça isso automático na Donnu
Descobrir quantos testes cabem no seu mês envolve calcular amostra, dividir por tráfego real, respeitar o piso de duração e reordenar o roadmap quando a conta muda. A Donnu faz essa parte para você: ao configurar um teste, ela dimensiona contra o seu tráfego real, mostra a duração estimada antes de você começar, e acompanha a coleta sem deixar que uma espiada no painel vire uma decisão prematura. Você planeja a cadência com números em vez de esperança.
Comece um teste grátis de 14 dias e descubra a capacidade real do seu tráfego antes de prometer resultado. Para organizar a fila que essa capacidade comporta, veja o template de roadmap de experimentação.
Referências
- Kohavi, R. Online Controlled Experiments: Lessons from Running A/B/n Tests for 12 Years. Keynote, ACM SIGKDD 2015. exp-platform.com/Documents/2015-08OnlineControlledExperimentsKDDKeynoteNR.pdf.
- Bing Search Quality Insights. Large Scale Experimentation at Bing. Microsoft. blogs.bing.com/search-quality-insights/August-2013/Large-Scale-Experimentation-at-Bing.
- Kohavi, R. ExP Platform: accelerating innovation through trustworthy experimentation. exp-platform.com.
- Kohavi, R. e Thomke, S. The Surprising Power of Online Experiments. Harvard Business Review, 2017. hbr.org/2017/09/the-surprising-power-of-online-experiments.
Leia também:
Perguntas frequentes
- Quantos testes A/B por mês uma empresa deveria rodar?
- Não existe um número universal: a resposta certa é a capacidade que o seu tráfego banca. Ela sai de uma divisão simples: dias do mês dividido pela duração de cada teste, e a duração é o maior valor entre a amostra necessária dividida pelo tráfego diário e um piso de duas semanas para capturar o ciclo semanal completo. Um site com 60 mil visitantes por mês, conversão de 2,5% e ambição de detectar +20% relativo consegue cerca de 1,8 teste por mês. Um com 200 mil chega a 2,1, limitado pelo calendário e não mais pelo tráfego.
- Rodar mais testes A/B por mês significa crescer mais rápido?
- Só até certo ponto, e nunca sozinho. Velocidade multiplica a qualidade das hipóteses: se a maioria dos seus testes não tem hipótese defensável, aumentar a cadência apenas produz mais empates mais rápido. Segundo dados publicados por Ronny Kohavi sobre experimentos na Microsoft, aproximadamente um terço das ideias testadas melhora a métrica alvo, um terço não muda nada e um terço piora. Velocidade sem qualidade de hipótese só acelera esses dois últimos terços.
- Meu site tem pouco tráfego. Devo desistir de testar?
- Não, mas você precisa mudar o que testa. Com pouco tráfego, só efeitos grandes são detectáveis, então testes de mudança radical (novo layout, nova proposta de valor, nova estrutura de oferta) fazem mais sentido do que ajustes de cor de botão. Também vale mover a métrica primária para um evento mais frequente e mais alto no funil, como início de cadastro em vez de compra concluída.
- Por que mais tráfego, a partir de certo ponto, não aumenta o número de testes?
- Porque a duração mínima passa a ser um limite de calendário, não de amostra. Todo teste deveria rodar pelo menos uma ou duas semanas completas para capturar a variação entre dias úteis e fim de semana. Quando o tráfego já fecha a amostra em três dias, o piso de duas semanas manda, e o excedente de tráfego passa a comprar sensibilidade (detectar efeitos menores) em vez de quantidade de testes.
- Posso rodar dois testes A/B ao mesmo tempo para dobrar a cadência?
- Pode, desde que eles não disputem o mesmo fluxo nem a mesma métrica primária. Dois testes em páginas distintas de jornadas distintas convivem bem. Dois testes na mesma página compartilham visitantes, e a interação entre as mudanças contamina a leitura dos dois, além de dividir a amostra e alongar ambos.