Calculadora de valor-p para teste A/B

Esta é a calculadora didática do valor-p: para entender o número, não só ler um veredito. Ela mostra o z, o valor-p em uma ou duas caudas e como o mesmo resultado é aprovado ou reprovado conforme o limiar que você escolhe (0,10, 0,05 ou 0,01). Se o que você quer é a decisão de negócio direta, com quem venceu, melhora relativa e intervalo de confiança, use a calculadora de significância estatística: ela responde "posso trocar a página?". Esta aqui responde "o que este valor-p realmente significa?".

Como usar

1. Preencha visitantes e conversões do controle (A).
2. Preencha os mesmos dois números da variação (B).
3. Escolha a lateralidade: bilateral (padrão) ou unilateral.
4. Leia o valor-p em destaque, a estatística z e as taxas de cada versão.
5. Confira a tabela de decisão: se o valor-p fica abaixo de 0,10, 0,05 ou 0,01, o resultado rejeita a hipótese nula naquele nível.

Como funciona: o teste z de duas proporções

A calculadora compara as duas taxas com um erro padrão agrupado e transforma a distância entre elas em um escore z. Desse z sai o valor-p:

Onde p₁ e p₂ são as taxas de A e B, n₁ e n₂ os visitantes de cada uma e p̄ a taxa agrupada (todas as conversões sobre todos os visitantes). O valor-p bilateral é 2·(1 − Φ(|z|)) e o unilateral é 1 − Φ(z), onde Φ é a função de distribuição da normal padrão. O unilateral dá exatamente metade do bilateral para o mesmo z.

Exemplo trabalhado (reproduz o resultado padrão)

Com os números que já vêm preenchidos: A com 2.000 visitantes e 100 conversões (5,00%) e B com 2.000 visitantes e 130 conversões (6,50%). A taxa agrupada é 230/4.000 = 5,75%. O erro padrão dá cerca de 0,007362, então z = 0,015 / 0,007362 = 2,04. O valor-p bilateral é 2·(1 − Φ(2,04)) = 0,0416 e o unilateral é a metade, 0,0208.

Na tabela de decisão, esse 0,0416 fica abaixo de 0,10 e de 0,05 (rejeita a nula a 90% e 95% de confiança), mas acima de 0,01 (não rejeita a 99%). É exatamente o que a ferramenta mostra ao abrir a página, e é o melhor exemplo de por que o limiar importa: o mesmo dado "vence" ou "não vence" dependendo do risco que você aceitou de antemão.

Como interpretar e onde ele engana

O valor-p mede uma coisa só: quão surpreendente é o seu dado se A e B fossem iguais. Ele não diz a chance de B ser melhor, não diz o tamanho do ganho e não prova que a nula é verdadeira quando fica alto. Um valor-p de 0,20 quase nunca significa "as versões empataram": quase sempre significa que faltou amostra para separar o sinal do ruído. Antes de concluir que não há efeito, confira o tamanho planejado com a calculadora de tamanho de amostra.

O outro erro caro é o peeking: espiar o valor-p e parar assim que ele cruza 0,05 infla muito o falso positivo. Fixe a amostra antes de começar, rode até o fim e só então leia o número aqui. E lembre que um valor-p minúsculo com um ganho de +0,2% pode não pagar a troca: significância não é tamanho de efeito.

Boas práticas ao ler o valor-p

O valor-p é uma régua de risco, não uma sentença. Para não decidir errado com o número certo, cheque estes pontos.

• Escolha o limiar (0,10, 0,05 ou 0,01) pelo custo de errar, antes de ver o dado. Nunca depois.
• Use bilateral por padrão. Só vá para unilateral se a direção foi definida antes de rodar.
• Traduza o ganho em receita antes de comemorar. Valor-p baixo com efeito minúsculo pode valer pouco.
• Confirme que a amostra planejada foi atingida. Ler antes disso é peeking e engana.

Perguntas frequentes

O que é o valor-p, em uma frase?

É a probabilidade de observar uma diferença tão grande quanto a sua (ou maior) só por acaso, supondo que A e B sejam de fato iguais. Valor-p de 0,04 quer dizer 4% de chance de ver esse resultado num mundo em que não há diferença nenhuma. Quanto menor, mais difícil explicar o resultado por sorte.

O que o valor-p NÃO é?

Ele não é a probabilidade de a hipótese nula ser verdadeira, nem a probabilidade de a sua variação ser melhor, nem o tamanho do efeito. Um valor-p de 0,04 não quer dizer "96% de chance de B ganhar". É só uma medida de quão surpreendente é o seu dado sob a suposição de que não há diferença. Confundir isso é o erro mais comum de leitura.

Qual a diferença entre unilateral e bilateral?

O teste bilateral pergunta "A e B são diferentes?" e reparte o risco nas duas caudas. O unilateral pergunta "B é maior que A?" e concentra o risco em um lado só, o que torna o valor-p metade do bilateral para o mesmo z. Use bilateral por padrão: é mais honesto e é o que o mercado espera. Só escolha unilateral se você definir a direção ANTES de rodar o teste.

Valor-p de 0,05 é uma regra sagrada?

Não. O 0,05 é uma convenção histórica, não uma lei da natureza. Um valor-p de 0,049 e um de 0,051 são praticamente a mesma evidência. Por isso a calculadora mostra a decisão em três limiares (0,10, 0,05 e 0,01): serve para ver que "significativo" é uma escolha de risco, não uma propriedade do resultado. Escolha o limiar pelo custo de errar, antes de ver o dado.

Esta calculadora serve para qual teste?

Para comparar duas taxas de conversão (proporções): visitantes e conversões de A e B, o caso clássico de teste A/B. Ela usa o teste z de duas proporções. Para médias contínuas (receita por visitante, tempo na página) o teste correto é outro. Se você quer o veredito de negócio pronto, com melhora e intervalo de confiança, use a calculadora de significância.

Continue

Entendeu o valor-p? O próximo passo é o veredito de negócio, com melhora e intervalo de confiança, na calculadora de significância. Para planejar o teste antes, dimensione com a calculadora de tamanho de amostra. O conceito por trás está no guia significância estatística em teste A/B.