Efeito Mínimo Detectável: como escolher o MDE
O que é efeito mínimo detectável, como escolher um MDE defensável, absoluto contra relativo e o que o seu tráfego consegue de fato resolver.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
O efeito mínimo detectável é a menor melhora que o seu teste foi construído para pegar de forma confiável, e é o parâmetro que decide todo o resto do experimento: quantos visitantes ele precisa, quanto tempo ele roda, e quais melhoras reais ele simplesmente não vai notar. A maioria dos times escolhe um MDE sem saber que escolheu, ao fixar uma duração ou aceitar o valor padrão de uma calculadora. Este guia cobre o que o MDE significa de fato, como escolher um que você consiga defender diante de alguém cético, a armadilha do absoluto contra o relativo que dimensiona testes errado em silêncio, e como ler o que o seu tráfego consegue e não consegue resolver. Faz parte do nosso guia completo de teste A/B e conversa direto com a aritmética de quantos visitantes um teste A/B precisa.
O que o efeito mínimo detectável significa, com precisão
O MDE é uma afirmação sobre o experimento, não sobre o mundo. Definir um MDE de 15% relativos diz: se o efeito verdadeiro fosse uma melhora de 15%, este desenho o detectaria com a probabilidade dada pelo seu poder, tipicamente 80%. Não diz que o efeito será de 15%, e não promete que um resultado de 15% será significativo numa rodada qualquer.
Duas consequências saem daí de imediato, e as duas passam batido com frequência.
Efeitos menores que o MDE não foram refutados, ficaram sem resposta. Um teste dimensionado para 15% que encontra um efeito verdadeiro de 9% normalmente termina com um intervalo de confiança cruzando o zero. O registro correto é “inconclusivo nesta amostra”, não “a mudança não fez nada”.
Poder não é certeza. Com 80% de poder, uma rodada em cada cinco perde um efeito verdadeiro exatamente do tamanho para o qual você desenhou. Isso é a convenção padrão, não um defeito, mas significa que um único teste inconclusivo numa ideia promissora é evidência fraca contra a ideia.
Absoluto ou relativo: o mesmo desenho, duas unidades
Um MDE pode ser declarado em pontos percentuais (absoluto) ou como fração da base (relativo). Converter entre os dois é aritmética, e errar a conversão é uma das formas mais rápidas de dimensionar um teste uma ordem de grandeza menor do que deveria.
Numa base de 4%, as duas afirmações abaixo descrevem o mesmo experimento e produzem a mesma exigência:
| Afirmação | Significado | Visitantes por variação |
|---|---|---|
| MDE absoluto de 1 ponto percentual | de 4,0% para 5,0% | 6.745 |
| MDE relativo de 25% | de 4,0% para 5,0% | 6.745 |
| MDE absoluto de 0,4 ponto percentual | de 4,0% para 4,4% | 39.475 |
| MDE relativo de 10% | de 4,0% para 4,4% | 39.475 |
A armadilha é que as duas unidades carregam intuições opostas. “Um ponto percentual” soa como um pedido modesto; numa base de 4% é um quarto da taxa inteira, resultado que a maioria das mudanças de página nunca produz. Já “10% melhor” soa ambicioso sendo, nessa base, um movimento de 0,4 ponto percentual que custa quase seis vezes mais tráfego.
A mesma mudança absoluta também custa valores selvagemente diferentes dependendo de onde a sua base está:
| Base | MDE absoluto de 1 ponto percentual | Efeito relativo equivalente | Visitantes por variação |
|---|---|---|---|
| 2% | de 2,0% para 3,0% | 50% | 3.826 |
| 4% | de 4,0% para 5,0% | 25% | 6.745 |
| 10% | de 10,0% para 11,0% | 10% | 14.751 |
| 30% | de 30,0% para 31,0% | cerca de 3,3% | 33.275 |
Regra da casa que vale adotar: declare o MDE em termos relativos e escreva o equivalente absoluto ao lado. O relativo viaja melhor entre páginas de bases diferentes, e escrever os dois no registro do experimento torna a ambição impossível de ser mal lida depois. Coloque os seus números aqui:
Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.
Como escolher um MDE que você consiga defender
O MDE é uma decisão de negócio vestida de estatística. Quatro passos deixam ela defensável.
1. Comece pela decisão, não pela calculadora
Pergunte qual melhora de fato mudaria o comportamento: a partir de que ganho você sobe a variação em definitivo, a partir de que ganho você investe mais naquela área, abaixo de que ganho a mudança não paga o custo de manutenção. Coloque o MDE logo abaixo do menor desses limiares. Se ninguém consegue nomear um número, o teste ainda não tem propósito, e descobrir isso antes de subir é economia, não atraso.
2. Confira a ambição contra o tamanho da mudança
Mudanças pequenas produzem efeitos pequenos. Cor de botão, ajuste de microcopy, campo reordenado: raramente movem uma taxa de conversão em 20%, então um teste dimensionado para MDE de 20% numa mudança dessas está praticamente garantido a terminar inconclusivo. Reescrita completa de página, oferta diferente, etapa removida do fluxo: essas plausivelmente conseguem. Case a ambição do MDE com a ambição da mudança, ou conte com não aprender nada.
3. Coloque preço em tráfego e em calendário
Agora rode a aritmética, porque é aqui que a maioria dos MDEs morre. A amostra escala com aproximadamente um sobre o quadrado do efeito.
Aproximação normal de duas proporções, divisão igual entre as variações. A data usa o seu fuso e recalcula ao vivo.
| Visitantes por variação disponíveis | MDE relativo que isso resolve numa base de 4% | Equivalente absoluto |
|---|---|---|
| 2.500 | cerca de 42,6% | +1,70 ponto percentual |
| 5.000 | cerca de 29,3% | +1,17 ponto percentual |
| 10.000 | cerca de 20,3% | +0,81 ponto percentual |
| 25.000 | cerca de 12,6% | +0,51 ponto percentual |
| 50.000 | cerca de 8,9% | +0,35 ponto percentual |
| 100.000 | cerca de 6,2% | +0,25 ponto percentual |
Leia essa tabela ao contrário e ela vira ferramenta de planejamento: o seu tráfego já escolheu um MDE por você. A pergunta de desenho é só se você aceita esse número ou muda alguma outra coisa no teste.
4. Escreva antes de subir
O MDE, a base que ele assume, a amostra que ele implica e a data planejada de encerramento pertencem ao registro do experimento antes do primeiro visitante ser sorteado. Esse único hábito é o que separa “o teste foi inconclusivo” de “a gente continuou até ficar bonito”, e é a defesa mais barata que existe contra o problema do peeking.
Exemplo trabalhado: desenhado para 15%, encontrou 9,5%
Uma página de checkout converte a 4,0%. O time quer detectar uma melhora de 15% relativos, ou seja de 4,0% para 4,6%, com 95% de confiança e 80% de poder. O motor devolve 17.943 visitantes por variação, 35.886 no total, cerca de 13 dias a 20.000 visitantes elegíveis por semana.
Dois jeitos de isso terminar, usando exatamente essa amostra.
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
O efeito chega no tamanho planejado. O controle termina com 718 conversões em 17.943 visitantes (4,00%), e a variação com 826 (4,60%). Resultado: z = 2,81, valor-p = 0,0050, intervalo de confiança da diferença de +0,18 a +1,02 ponto percentual, melhora relativa de +15,0%. Significativo, como desenhado.
O efeito é real, mas menor. Mesma amostra, controle em 718, variação em 786 (4,38%). Isso é uma melhora relativa de +9,5%, que numa página de checkout é um ganho comercial relevante. Resultado: z = 1,79, valor-p = 0,0732, intervalo de confiança de -0,04 a +0,79 ponto percentual. Não significativo, e o intervalo inclui o zero.
O segundo desfecho é o ponto inteiro de entender MDE. Nada falhou. O desenho prometeu resolver efeitos de 15% e recebeu um de 9,5%. Ler isso como “o novo checkout não funciona” seria erro factual, e subir o original por causa disso jogaria fora uma melhora real. O registro correto é: inconclusivo nesta amostra, direção observada positiva, e um teste capaz de resolver um efeito de 9,5% nessa base precisaria de cerca de 43.640 visitantes por variação, o que é decisão para a próxima rodada de planejamento, não extensão em pleno voo.
O MDE pertence a uma métrica, não ao teste
Um MDE cobre uma métrica, e a maioria dos experimentos acompanha várias em silêncio. Um teste de checkout tipicamente tem uma métrica primária (compras concluídas), uma secundária (adição ao carrinho) e pelo menos um guardrail que não pode piorar (taxa de reembolso, tempo de carregamento, contatos com o suporte). Cada uma delas tem a sua própria base, então cada uma tem o seu próprio efeito detectável na mesma amostra.
Isso tem duas consequências práticas. Primeiro, um teste com poder para a métrica primária normalmente está sem poder para os guardrails, porque guardrail costuma ser evento mais raro, de base mais baixa. Um guardrail que não mostra piora significativa num teste dimensionado para compras não foi liberado, apenas não foi examinado com amostra suficiente para dizer qualquer coisa. Trate guardrail como monitoramento direcional com um limiar de alarme, não como checagem aprovada, assunto do nosso guia de métricas de guardrail.
Segundo, ler várias métricas em busca de significância multiplica a chance de uma delas cruzar a linha por acidente. Com cinco métricas independentes a um limiar de 5%, a probabilidade de pelo menos uma produzir falso positivo é de cerca de 23%, não 5%. A correção é nomear a métrica primária no registro do experimento antes de subir e deixar que ela carregue a decisão, tratando o resto como contexto. Nosso guia de erros comuns em teste A/B cobre os métodos de correção para quando você genuinamente precisa decidir sobre mais de uma métrica de uma vez.
Erros comuns com MDE
| Erro | O que produz |
|---|---|
| Nunca declarar um MDE | Você tem um mesmo assim, definido implicitamente por quando você parou; só não consegue distinguir teste inconclusivo de ideia fracassada |
| Confundir ponto percentual com percentual relativo | Testes dimensionados várias vezes menores do que deviam, e depois lidos como se fossem conclusivos |
| Definir o MDE pelo tráfego disponível e reportar como ambição | O desenho vira “o que a gente conseguiu enxergar”, e efeitos reais pequenos são rotulados como ausência de efeito |
| Casar uma mudança minúscula com um MDE grande | Um jeito caro de garantir um resultado inconclusivo |
| Estender o teste porque o valor-p está perto | Peeking com outro nome; a garantia que o desenho oferecia deixa de valer |
| Tratar inconclusivo como prova de ausência de efeito | Mata boas ideias e esconde que o teste nunca teve como responder |
Se o seu programa fica caindo nas duas últimas linhas, a correção estrutural é redução de variância, que corta a amostra necessária para o mesmo MDE, coberta no nosso guia de CUPED, ou um desenho que legitimamente permita análise intermediária, coberto em teste sequencial explicado.
Faça isso automático na Donnu
Um MDE só protege você se ficar fixo antes de o teste começar e visível enquanto ele roda. A Donnu A/B calcula a amostra que o seu tráfego real sustenta para o efeito que você escolheu, mantém a data planejada de encerramento à vista em vez de convidar a um veredito diário, e reporta o intervalo de confiança ao lado do efeito observado, então um resultado inconclusivo se lê como inconclusivo e não como quase lá. Quando o seu tráfego não consegue resolver o efeito que você quer, ela diz isso antes de você gastar duas semanas descobrindo.
Comece um teste grátis de 14 dias e defina o MDE do seu próximo teste contra a sua própria base.
Referências
- Kohavi, R., Tang, D. e Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Capítulos sobre poder estatístico, efeito mínimo detectável e desenho de experimento. Material complementar em experimentguide.com.
- Gelman, A. e Carlin, J. Beyond Power Calculations: Assessing Type S (Sign) and Type M (Magnitude) Errors. Perspectives on Psychological Science, 2014. O relato formal de por que desenhos sem poder exageram os efeitos que conseguem detectar, via razão de exagero. stat.columbia.edu.
- Deng, A., Xu, Y., Kohavi, R. e Walker, T. Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data. WSDM 2013. Redução de variância como caminho para baixar o efeito detectável sem mais tráfego. exp-platform.com.
Leia também: Quantos visitantes um teste A/B precisa · Significância estatística em teste A/B · Teste sequencial explicado · O que é CUPED · Calculadora de MDE grátis · Read in English
Perguntas frequentes
- O que é efeito mínimo detectável (MDE)?
- O efeito mínimo detectável é a menor diferença entre variações que o seu teste foi construído para detectar de forma confiável, dado o tamanho de amostra, o nível de confiança e o poder. É uma propriedade do desenho do experimento, não uma previsão do resultado. Um MDE de 15% relativos não significa que você espera um ganho de 15%, significa que se o efeito verdadeiro fosse de 15%, este teste o pegaria em cerca de 80% das vezes no poder escolhido, e que efeitos verdadeiros menores passariam com frequência como inconclusivos.
- Como escolher um bom MDE?
- Comece pela decisão, não pela estatística. Pergunte qual melhora seria grande o bastante para mudar o que você faz, subir, reverter, investir mais naquela área, e coloque o MDE logo abaixo desse limiar. Depois confira a conta de tráfego: se esse MDE pedir mais visitantes do que você consegue coletar numa janela razoável, existe um conflito real a resolver abertamente, seja testando uma mudança maior, mudando para uma métrica de base mais alta, ou aceitando que aquela página não é testável hoje. O que não dá é subir o MDE em silêncio até caber no tráfego e continuar chamando o resultado de conclusivo.
- Qual a diferença entre MDE absoluto e relativo?
- MDE absoluto é declarado em pontos percentuais, por exemplo sair de 4% para 5% é 1 ponto percentual. MDE relativo é declarado como fração da base, então a mesma mudança é uma melhora de 25% relativos. Os dois descrevem o mesmo experimento e produzem o mesmo tamanho de amostra quando convertidos corretamente: numa base de 4%, tanto 1 ponto percentual absoluto quanto 25% relativos pedem 6.745 visitantes por variação. Confundir os dois é uma das causas mais comuns de um teste ser dimensionado dez vezes menor do que devia, porque 1 ponto percentual soa modesto quando numa base de 4% ele é um quarto da taxa inteira.
- O que acontece se o efeito real for menor que o meu MDE?
- O teste normalmente termina inconclusivo, e é importante não ler isso como evidência de que a mudança não fez nada. Concretamente, um teste dimensionado para 15% relativos numa base de 4% precisa de 17.943 visitantes por variação. Se a melhora verdadeira for de cerca de 9,5%, esse mesmo teste devolve um valor-p perto de 0,073 com intervalo de confiança cruzando o zero: um ganho real que o experimento não consegue confirmar. Registrar isso como inconclusivo, e não como fracasso, é o que mantém um programa honesto, e o intervalo diz o quanto maior o teste precisaria ser.
- Posso baixar o MDE depois que o teste já começou?
- Não sem abrir mão da garantia que o desenho oferecia. Estender um teste em andamento porque o resultado está perto é uma forma de peeking: a decisão de continuar coletando dados foi tomada depois de olhar os dados, o que infla a taxa de falso positivo acima do nível para o qual você desenhou. As alternativas disciplinadas são decidir a regra de extensão antes de subir, por exemplo um desenho de dois estágios pré-registrado, ou usar um método sequencial construído para permitir olhadas intermediárias com taxa de erro válida em todos os pontos.
- Um MDE maior deixa meu teste melhor ou pior?
- Nenhum dos dois, deixa diferente. Um MDE grande dá um teste rápido e barato que só enxerga efeitos grandes, o que é o desenho certo para um redesenho ou uma oferta substancialmente diferente. Um MDE pequeno dá um teste lento e caro que resolve diferenças sutis, o que é o desenho certo para uma página de muito tráfego em que 3% de melhora vale dinheiro de verdade. O erro não é escolher um MDE grande, é escolher um sem perceber e depois interpretar um resultado inconclusivo como prova de que a mudança não teve valor.
- Como o MDE se relaciona com amostra e duração?
- O tamanho de amostra escala com aproximadamente um sobre o quadrado do MDE, então cortar pela metade o efeito que você quer detectar multiplica os visitantes necessários por cerca de quatro. Numa base de 4%, 5.000 visitantes por variação resolvem cerca de 29,3% relativos, 25.000 resolvem cerca de 12,6% e 100.000 resolvem cerca de 6,2%. Essa curva quadrática é o motivo de o dimensionamento parecer generoso na ponta ambiciosa e brutal na ponta sutil, e de a pergunta honesta na maioria dos programas não ser quanto tempo rodar, e sim quais efeitos o seu tráfego nunca vai deixar você ver.