Calculadora de significância estatística
Descubra se a diferença entre as suas versões é real ou sorte. Cole os números do teste e leia o veredito, com valor-p, melhora e intervalo de confiança.
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
Como usar
- Preencha visitantes e conversões do controle (A).
- Preencha os mesmos dois números da variação (B).
- Deixe a confiança em 95% ou ajuste para 90% ou 99%.
- Leia o veredito no topo e os detalhes: taxa de cada versão, melhora relativa, valor-p e intervalo de confiança da diferença.
Como funciona: o teste z de duas proporções
A calculadora aplica o teste z bilateral de duas proporções. Ela compara as duas taxas usando um erro padrão agrupado e devolve o valor-p:
Onde p₁ e p₂ são as taxas de A e B, n₁ e n₂ os visitantes de cada uma e p̄ a taxa agrupada (todas as conversões sobre todos os visitantes). O valor-p bilateral vem de 2·(1 − Φ(|z|)), onde Φ é a normal padrão.
Exemplo trabalhado (reproduz o resultado padrão)
Com os números que já vêm preenchidos: A com 4.200 visitantes e 210 conversões (5,00%) e B com 4.200 visitantes e 273 conversões (6,50%). A taxa agrupada é 483/8.400 = 5,75%. O erro padrão dá cerca de 0,00508, então z = 0,015 / 0,00508 = 2,95. Isso leva a um valor-p de 0,0031, bem abaixo de 0,05.
Resultado: a melhora relativa é +30,0%, o intervalo de confiança de 95% da diferença vai de +0,5% a +2,5% (pontos) e o veredito é B vence com significância. É o que a ferramenta mostra acima ao abrir a página.
Como interpretar e onde ela engana
O valor-p mede risco de falso positivo, não o tamanho do efeito. Um valor-p minúsculo com uma melhora de +0,3% pode não pagar a troca. Por isso olhe também o intervalo de confiança: se ele inclui o zero, o ganho ainda é incerto, mesmo que o número central pareça bom.
O erro mais caro é confundir "sem significância" com "as versões são iguais". Quase sempre é falta de amostra. Dimensione antes com a calculadora de tamanho de amostra e planeje o prazo com a calculadora de duração. E nunca pare o teste na primeira significância: isso é o problema do peeking.
Boas práticas ao ler o resultado
O veredito no topo é um resumo, não uma sentença isolada. Para não tomar a decisão errada com números certos, cheque estes pontos antes de encerrar o teste e trocar a página.
- Olhe o intervalo de confiança, não só o valor-p. Se o intervalo toca o zero, o ganho ainda é incerto mesmo com um veredito positivo.
- Confirme que a amostra planejada foi atingida. Ler antes disso é peeking e infla o falso positivo.
- Prefira a confiança 95% como padrão. Só suba para 99% quando o custo de um erro for muito alto.
- Traduza a melhora relativa em receita antes de comemorar. Um ganho de +30% sobre uma base minúscula pode valer pouco no caixa.
Perguntas frequentes
- O que significa um resultado ser estatisticamente significativo?
- Significa que a diferença entre A e B é grande demais para ser explicada só por acaso, dado o nível de confiança escolhido. Com valor-p abaixo de 0,05 (confiança 95%), o mercado trata o resultado como significativo. Não é garantia de verdade absoluta, é uma régua de risco de erro.
- O que é o valor-p?
- É a probabilidade de ver uma diferença tão grande quanto a sua (ou maior) só por acaso, se A e B fossem realmente iguais. Valor-p de 0,03 quer dizer 3% de chance de o resultado ser sorte. Quanto menor, mais forte a evidência de que a diferença é real.
- Sem significância quer dizer que as versões são iguais?
- Quase nunca. Na prática, "sem significância" quase sempre quer dizer que faltou amostra, não que A e B empataram. Antes de concluir que não há efeito, confira se você tinha visitantes suficientes com a calculadora de tamanho de amostra.
- Posso ler o resultado a qualquer momento durante o teste?
- Não. Espiar o valor-p e parar assim que ele cruza 0,05 infla muito o falso positivo (o problema do peeking). Fixe a amostra antes de começar, rode até completá-la e só então leia o veredito aqui.
- Qual a diferença entre melhora relativa e absoluta?
- A absoluta é a diferença em pontos percentuais (de 5% para 6,5% são +1,5 ponto). A relativa é o ganho proporcional (de 5% para 6,5% são +30%). As duas descrevem o mesmo resultado, a relativa costuma soar maior.
Continue
A fórmula anotada termo a termo e os erros que invalidam a leitura estão no guia significância estatística em teste A/B e no panorama o que é teste A/B.