Calculadora de poder estatístico para teste A/B

Esta é a calculadora do olhar retrospectivo: o teste que você já rodou tinha poder suficiente? Ela responde "com a amostra que eu tive, qual era a minha chance de flagrar o efeito?". É diferente da calculadora de tamanho de amostra, que planeja quantos visitantes coletar ANTES de começar, e da calculadora de MDE, que diz o menor efeito que o seu tráfego consegue captar. Use esta aqui para diagnosticar um teste que deu "não significativo" e entender se foi empate de verdade ou só falta de amostra.

Como usar

1. Informe a taxa de conversão do controle (a de A, em %).
2. Escolha o efeito que você queria detectar: o menor ganho que ainda mudaria a sua decisão, em relativo (%) ou absoluto (pontos).
3. Coloque a amostra por variação que o teste realmente teve.
4. Deixe confiança 95% e bilateral (os padrões) ou ajuste para o que você usou.
5. Leia o poder alcançado e compare com a amostra que daria 80% de poder para o mesmo efeito.

Como funciona: a fórmula

O poder é a inversa exata da conta de tamanho de amostra. Fixado o N por variação, isolamos o termo do poder na mesma aproximação normal de duas proporções e passamos pela função de distribuição normal:

Onde n é a amostra por variação, δ a diferença absoluta entre as taxas (p₂ − p₁), p₁ a taxa base, p₂ a taxa alvo (base mais o efeito), p̄ a média das duas, z_α o valor crítico da confiança (1,96 para 95% bilateral) e Φ a função de distribuição da normal padrão. Por construção, se você jogar aqui o N que a calculadora de amostra pediu, o poder volta a dar 80%.

Exemplo trabalhado (reproduz o resultado padrão)

Com os valores que já vêm preenchidos: taxa base 5%, efeito buscado +10% relativo (alvo de 5,5%), 20.000 visitantes por variação, confiança 95% bilateral. A diferença absoluta é 0,5 ponto (δ = 0,005). O termo do ruído sob a nula, z_α·√(2·p̄·(1−p̄)), dá cerca de 0,6182. O sinal, √20.000 · 0,005, dá 0,7071. O desvio sob a alternativa, √(p₁·(1−p₁) + p₂·(1−p₂)), dá 0,3154.

Então z_β = (0,7071 − 0,6182) / 0,3154 = 0,2819, e o poder é Φ(0,2819) = 61,1%. Ou seja: esse teste tinha só 61% de chance de detectar um ganho de +10%. Para chegar aos 80% de poder no mesmo efeito seriam necessários 31.234 visitantes por variação, e não 20.000. É exatamente o que a ferramenta mostra ao abrir a página, e é o caso clássico de teste subdimensionado.

Como interpretar e onde ele engana

O poder muda tudo na leitura de um resultado sem significância. Com poder alto (80% ou mais), um "não deu significância" é evidência de verdade de que o efeito, se existe, é pequeno demais para valer a troca. Com poder baixo (60%, 50%), o mesmo "não significativo" quase sempre significa que faltou amostra: você não empatou, você ficou cego. Ler os dois cenários da mesma forma é o erro que faz times descartarem variações boas cedo demais.

O limite importante: evite o chamado "poder observado", que é calcular o poder a partir do efeito medido no próprio teste. Isso é circular e não informa nada de novo. Aqui você informa o efeito-alvo que definiu antes (o mesmo que entraria na calculadora de amostra), o que torna o número honesto e útil para diagnóstico. E lembre: poder alto não conserta viés de coleta, SRM ou peeking, só cobre o risco de falso negativo.

Boas práticas com poder

O poder é o gêmeo esquecido da significância. Para não decidir errado, cheque estes pontos.

• Defina o poder alvo (80% ou 90%) e o efeito mínimo ANTES de começar, nunca depois de ver o dado.
• Se o teste deu "não significativo", calcule o poder aqui antes de concluir que houve empate.
• Poder baixo com efeito pequeno é sinal de que faltou tráfego: junte mais amostra ou busque um efeito maior.
• Não confunda poder com significância: são riscos opostos e você precisa controlar os dois.

Perguntas frequentes

O que é poder estatístico, em uma frase?

É a probabilidade de o seu teste detectar um efeito real, quando ele de fato existe. Poder de 80% quer dizer que, se a variação B for mesmo melhor no tamanho que você definiu, o teste tem 80% de chance de flagrar isso com significância. O que sobra, 20%, é o risco de deixar passar um ganho verdadeiro (falso negativo).

Poder é a mesma coisa que confiança?

Não, são dois riscos diferentes. Confiança (1 menos alfa) protege contra o falso positivo: dizer que B ganhou quando na verdade empataram. Poder (1 menos beta) protege contra o falso negativo: não perceber um ganho que existe. Um teste pode ter 95% de confiança e mesmo assim só 50% de poder, se a amostra for pequena para o efeito buscado.

Por que 80% de poder é o padrão?

É a convenção de mercado, o mesmo patamar que a calculadora de tamanho de amostra usa por padrão. Ela equilibra o custo de coletar mais amostra com o risco de perder efeitos reais. Alguns times sobem para 90% em decisões caras. Abaixo de 80% o teste começa a ficar cego: você corre o risco de encerrar sem enxergar um ganho que estava lá.

Resultado sem significância quer dizer que não há diferença?

Só se o poder era alto. Se o teste tinha 60% de poder, um resultado sem significância é quase sempre falta de amostra, não prova de empate. Por isso o poder importa tanto na leitura: com poder baixo, "não deu significância" não conclui nada. Com poder alto, um não significativo é evidência de verdade de que o efeito, se existe, é pequeno.

Isso é o mesmo que poder pós-teste (post-hoc)?

Esta calculadora responde à pergunta útil de planejamento: dado o tamanho de efeito que você queria detectar e a amostra que teve, qual era o poder do desenho? Isso é legítimo e serve para diagnosticar um teste subdimensionado. O que a estatística critica é o "poder observado", calculado a partir do efeito medido no próprio teste, que é circular. Aqui você informa o efeito-alvo, não o observado.

Continue

Descobriu que o teste era subdimensionado? Planeje o próximo com a calculadora de tamanho de amostra e veja o menor efeito captável pelo seu tráfego na calculadora de MDE. Para o veredito do teste que já terminou, use a calculadora de significância.