Calculadora de MDE (efeito mínimo detectável)

Esta calculadora responde à pergunta oposta à do tamanho de amostra. Em vez de partir do efeito que você quer detectar, ela parte do tráfego que você já tem e devolve o menor ganho que dá para provar. É o filtro de realidade antes de ligar o teste: se o seu MDE é +12% e a mudança que você fez costuma render +3%, o teste vai terminar inconclusivo por falta de sensibilidade, e é melhor saber disso agora. Quando o efeito é a meta e o tráfego é o resultado, use a calculadora de tamanho de amostra.

Como usar

1. Informe a sua taxa de conversão atual (a do controle, em %).
2. Coloque os visitantes por semana (total do teste) e a duração em semanas que você pretende rodar.
3. Escolha o número de variações: quanto mais variações, menos amostra sobra por grupo e maior o MDE.
4. Deixe confiança 95% e poder 80% (os padrões) ou ajuste se souber o que está fazendo.
5. Leia o resultado: MDE relativo, MDE absoluto (em pontos) e a taxa alvo que a variação precisa alcançar.

Como funciona: a fórmula

A calculadora inverte a conta de tamanho de amostra. Partindo do N por variação disponível, ela isola o menor efeito detectável pela aproximação normal de duas proporções, usando a variância agrupada (p2 próximo de p1):

Onde δ é o efeito mínimo em pontos, p é a taxa base, n é a amostra por variação, z_α é o valor crítico da confiança (1,96 para 95% bilateral) e z_β é o do poder (0,84 para 80%). O MDE relativo é δ dividido por p.

Exemplo trabalhado (reproduz o resultado padrão)

Com os valores que já vêm preenchidos: taxa base 5%, 10.000 visitantes por semana, 4 semanas, 2 variações, confiança 95% e poder 80%, bilateral. O tráfego total é 10.000 × 4 = 40.000, dividido por 2 variações dá 20.000 visitantes por variação. Substituindo na fórmula:

δ = (1,96 + 0,84) · √(2 · 0,05 · 0,95 / 20.000) = 2,80 · √(0,00000475) = 2,80 · 0,0021794 = 0,006106.

Isso é 0,61 ponto percentual (o MDE absoluto). Em relativo, 0,006106 ÷ 0,05 = +12,2%. A taxa alvo a bater é 5% + 0,61 pp = 5,61%. É exatamente o que a ferramenta mostra acima quando você abre a página.

Como interpretar e onde ela engana

O MDE é o menor ganho que vale a pena caçar com o seu tráfego. Efeitos menores que ele existem, mas o teste não tem força para separá-los do acaso dentro do prazo, então você termina sem veredito. Por isso o MDE é uma decisão de negócio, não só de estatística: se o seu MDE é +12% e a maioria das suas otimizações rende menos que isso, ou você acumula mais tráfego, ou testa mudanças mais ousadas.

Limites a ter em mente: a conta assume tráfego estável e uma métrica binária (converteu ou não). Ela não cobre receita por visitante (variância maior, MDE maior), sazonalidade forte, nem efeito de novidade. A aproximação agrupada é a convenção de mercado para MDE e superestima um pouco em efeitos muito grandes, mas para a faixa útil de decisão bate com a calculadora de tamanho de amostra. Depois de rodar, confira o resultado com a calculadora de significância e leia o guia de quantos visitantes um teste A/B precisa.

Boas práticas ao dimensionar pelo MDE

O MDE é o teste de sanidade que você faz antes de investir semanas de tráfego. Trate-o como o primeiro passo do planejamento.

• Compare o MDE com o ganho que a sua mudança costuma render. Se o MDE é maior, o teste nasce fadado ao empate.
• Menos variações concentram a amostra e derrubam o MDE. Só abra um teste A/B/n se o tráfego bancar todos os braços.
• Rode ciclos semanais inteiros para não misturar o MDE com ruído de dia da semana.
• Se o MDE só cai para algo aceitável em muitos meses, aumente o efeito buscado ou junte mais tráfego antes de começar.

Perguntas frequentes

O que é efeito mínimo detectável (MDE)?

É o menor ganho de conversão que o seu teste consegue provar com o tráfego que você tem. Se o MDE dá +12% relativo, uma melhora menor que isso provavelmente vai passar despercebida: o teste não tem sensibilidade para separá-la do acaso. O MDE é o piso da sua régua, e ele cai à medida que você acumula mais visitantes.

Qual a diferença entre esta calculadora e a de tamanho de amostra?

São as duas pontas da mesma conta. A de tamanho de amostra parte do efeito que você quer detectar e devolve quantos visitantes precisa. Esta parte do tráfego que você já tem (visitantes por semana e duração) e devolve o menor efeito que ele consegue detectar. Use esta quando o tráfego é fixo e você quer saber se dá para testar; use a outra quando o efeito é a meta.

MDE relativo ou absoluto: qual eu olho?

Os dois dizem a mesma coisa em unidades diferentes. O relativo (+12,2%) é a variação percentual sobre a taxa atual, mais fácil de comparar entre páginas. O absoluto (0,61 ponto) é a diferença em pontos percentuais, útil quando a taxa base é muito baixa. A taxa alvo a bater junta os dois: é a conversão que a variação precisa alcançar para o teste acusar vitória.

Meu MDE ficou alto demais. O que faço?

Um MDE alto significa que o seu tráfego só consegue provar ganhos grandes. Três saídas: acumule mais tráfego (aumente a duração ou junte mais visitantes), reduza o número de variações para concentrar a amostra, ou aceite que só vale testar mudanças com potencial de impacto grande. Perseguir um ganho de +2% com tráfego que só detecta +12% é queimar semanas para não concluir nada.

Por que confiança 95% e poder 80%?

São as convenções de mercado. Confiança 95% aceita 5% de chance de falso positivo; poder 80% dá 80% de chance de detectar o efeito se ele existir. Subir qualquer um dos dois deixa o teste mais exigente e, com o mesmo tráfego, aumenta o MDE (você passa a só detectar efeitos maiores).

Continue

Sabe o menor efeito que dá para detectar? Se ele couber na sua meta, dimensione o teste com a calculadora de tamanho de amostra e planeje o calendário com a calculadora de duração de teste A/B. Ao terminar, leia o veredito com a calculadora de significância estatística. O contexto completo está no guia o que é teste A/B.