Calculadora de duração de teste A/B
Quantos dias o seu teste precisa rodar e a data prevista de término, já considerando o número de variações e o seu tráfego. Grátis, ao vivo, com a conta explicada.
Esta é a ferramenta de tempo. Ela responde "quantos dias e quando termina", ideal para encaixar o teste no calendário e decidir se ele cabe. Se o que você quer é o número de visitantes por variação, use a calculadora de tamanho de amostra. As duas usam a mesma base estatística, mudam o ângulo: aqui o resultado principal é o prazo e a data.
Aproximação normal de duas proporções, divisão igual entre as variações. A data usa o seu fuso e recalcula ao vivo.
Como usar
- Informe a taxa de conversão atual e o efeito mínimo detectável (o menor ganho que muda a sua decisão).
- Escolha o número de variações, contando o controle (2 é um A/B simples).
- Coloque o seu tráfego semanal total na página testada.
- Leia os dias, o total de visitantes e a data prevista de término, mais o aviso de prazo saudável ou longo demais.
Como funciona: a fórmula
Primeiro a calculadora dimensiona a amostra por variação com a aproximação normal de duas proporções. Depois divide o total pelo tráfego diário:
O n por variação vem do mesmo cálculo da calculadora de amostra. O total multiplica por quantas variações existem, e o tráfego semanal vira tráfego diário para chegar aos dias. A data de término é hoje mais esses dias, no seu fuso.
Exemplo trabalhado (reproduz o resultado padrão)
Com os valores preenchidos: taxa 5%, MDE +10% relativo, confiança 95%, poder 80%, 2 variações e 20.000 visitantes por semana. A amostra dá 31.234 por variação, ou 62.468 no total. O tráfego diário é 20.000 / 7 = 2.857. Então dias = ⌈62.468 / 2.857⌉ = 22 dias, cerca de 3 semanas. É o que a ferramenta mostra acima.
Como interpretar e onde ela engana
Trate a duração como um piso, não um teto exato. Ela assume tráfego estável e divisão igual entre as variações. Na prática, feche sempre ciclos semanais inteiros: se der 22 dias, planeje 3 semanas cheias para não terminar no meio de uma segunda-feira atípica.
Se o prazo aparece como longo demais, o problema quase nunca é a ferramenta, é o teste. Aumente o MDE, leve mais tráfego ou reduza variações. E lembre: rodar até a data não vale de nada se você espiar e parar antes, isso é o problema do peeking. Ao terminar, confira o resultado com a calculadora de significância.
Boas práticas ao planejar o prazo
A duração só vale de alguma coisa se você respeitar o calendário que ela sugere. Antes de agendar o teste, alinhe estes pontos com quem cuida da página.
- Arredonde sempre para semanas cheias. Um teste que termina numa quarta-feira mistura semanas incompletas e engana a leitura.
- Reserve tráfego estável no período. Uma campanha de mídia no meio do teste muda o público e distorce o resultado.
- Se o prazo passa de poucas semanas, prefira menos variações. Um A/B simples responde muito mais rápido que um A/B/C.
- Anote a data de término e trate como compromisso. Encerrar antes por ansiedade é a forma mais comum de queimar um teste bem planejado.
Perguntas frequentes
- Quanto tempo um teste A/B precisa rodar?
- O tempo suficiente para acumular a amostra necessária em todas as variações, sem parar antes. Ele depende da sua taxa de conversão, do efeito que você quer detectar, do número de variações e do tráfego. Para 5% de taxa, +10% relativo e 20 mil visitantes por semana em duas versões, são cerca de 22 dias.
- Qual a diferença entre esta e a calculadora de tamanho de amostra?
- A de tamanho de amostra responde "quantos visitantes por variação". Esta responde "quantos dias e quando termina", já considerando o número de variações e o seu tráfego. Use a de amostra para dimensionar, esta para planejar o calendário do teste.
- Devo rodar o teste por pelo menos uma semana?
- Sim, sempre feche ciclos semanais inteiros. O comportamento de compra muda entre dias de semana e fim de semana, então terminar no meio de uma semana distorce o resultado. Se a duração der 9 dias, arredonde para 14.
- O que fazer quando a duração fica longa demais?
- Três alavancas: aumentar o efeito mínimo que você aceita detectar (MDE maior encurta muito o teste), levar mais tráfego para a página testada, ou reduzir o número de variações. Testar menos coisas ao mesmo tempo é quase sempre o caminho mais rápido para uma resposta.
- Mais variações deixam o teste mais lento?
- Sim. O tráfego se divide entre todos os grupos, então cada um demora mais para atingir a amostra. Um teste A/B/C bem dimensionado leva bem mais que o dobro de um A/B simples no mesmo tráfego.
Continue
Para entender por que o tempo e a amostra andam juntos, veja quantos visitantes um teste A/B precisa e o guia o que é teste A/B.