Calculadora bayesiana de teste A/B

Esta é a leitura bayesiana do seu teste. Ela responde direto "qual a probabilidade de B ser melhor que A" e "quanto arrisco se decidir agora", em vez do valor-p. Se você quer o padrão clássico do mercado (valor-p, intervalo de confiança e um veredito de sim ou não a 95%), use a calculadora de significância estatística. As duas leem os mesmos dados por lentes diferentes: escolha esta quando quiser decidir por probabilidade e risco.

Como usar

1. Informe visitantes e conversões de A (o controle) e de B (a variação).
2. Leia a probabilidade de B vencer A em destaque: é a chance direta de B ser a melhor versão.
3. Veja o risco ao escolher B (a perda esperada): quanto de conversão você perde, em média, se decidir por B e ele for pior.
4. Confira as taxas posteriores de A e B com o intervalo de credibilidade de 95%, e a melhora relativa.
5. Decida quando a probabilidade estiver alta e a perda esperada baixa. Os dois juntos, não um só.

Como funciona: a matemática bayesiana

Cada variação vira uma distribuição de crença sobre a taxa de conversão real, não um número único. Com o modelo Beta-Binomial, a posterior de cada braço é uma distribuição Beta:

O Beta(1,1) é o prior uniforme (antes dos dados, toda taxa é igualmente plausível). A partir das duas posteriores, a probabilidade de B vencer é a chance de uma amostra da distribuição de B ser maior que uma de A, calculada por integração: P(B > A) = ∫ f_B(x)·F_A(x) dx. A perda esperada ao escolher B é a média de quanto A supera B nos cenários em que A ganha, E[(p_A − p_B)⁺].

Exemplo trabalhado (reproduz o resultado padrão)

Com os valores que já vêm preenchidos: A com 100 conversões em 1.000 visitantes e B com 120 em 1.000. As posteriores são Beta(101, 901) para A e Beta(121, 881) para B. As médias posteriores ficam em 10,08% (A) e 12,08% (B), uma melhora relativa de +19,8%. Integrando as duas distribuições, a probabilidade de B vencer A é 92,3% (logo 7,7% para A). O risco de escolher B, a perda esperada, é de apenas 0,05 ponto percentual. É exatamente o que a ferramenta mostra acima quando você abre a página: 92% de chance de B ser melhor, com prejuízo médio quase nulo se estivermos errados.

Como interpretar e onde ela engana

A probabilidade de B vencer é uma afirmação direta: 92% quer dizer 92% de chance de B ser a melhor versão, dado o que você observou. A perda esperada é o par dela: mesmo com 92%, existe 8% de chance de errar, e a perda esperada mede o tamanho médio desse erro. Quando ela é minúscula, decidir por B é barato mesmo na dúvida. Por isso os dois números andam juntos: probabilidade responde "quão provável" e perda esperada responde "quão caro se eu errar".

Limites a ter em mente: a conta assume uma métrica binária (converteu ou não), tráfego bem aleatorizado entre A e B e independência entre os grupos. Ela não cobre receita por visitante (variância maior), nem sazonalidade forte, nem várias variações ao mesmo tempo. E ser bayesiano não é licença para espiar sem critério: defina antes um limiar de probabilidade e um de perda esperada, e feche ciclos semanais inteiros. Para o veredito no padrão clássico, cruze com a calculadora de significância.

Boas práticas ao decidir por probabilidade

A força da leitura bayesiana é transformar o teste em uma decisão de risco, não em um sim ou não seco. Para usar isso bem, alinhe estes pontos antes de ligar o teste.

• Combine dois gatilhos de parada: probabilidade alta (por exemplo 95%) e perda esperada abaixo de um limite pequeno que você aceita arriscar.
• Dimensione o teste mesmo assim. A bayesiana lê melhor com volume, então planeje a amostra com a calculadora de tamanho de amostra.
• Uma métrica principal por teste. Perseguir várias ao mesmo tempo derruba a confiança na decisão.
• Se a probabilidade fica presa perto de 50% e a perda alta, o teste está dizendo que ainda não dá para decidir. Colete mais em vez de forçar uma leitura.

Perguntas frequentes

O que a análise bayesiana responde que o valor-p não responde?

A pergunta que o negócio faz de verdade: qual a probabilidade de que B seja melhor que A. O valor-p responde algo diferente e contraintuitivo (a chance de ver este resultado se não houvesse diferença nenhuma). A bayesiana entrega direto "92% de chance de B vencer" e quanto você arrisca perder ao decidir agora, que é o que ajuda a bater o martelo.

O que é perda esperada em um teste A/B bayesiano?

É o quanto de taxa de conversão você arrisca perder, em média, se escolher a variação errada. Se a perda esperada ao escolher B é 0,05 ponto percentual, decidir por B é seguro mesmo que ele acabe sendo pior, porque o prejuízo médio é minúsculo. Muitos times param o teste quando a perda esperada cai abaixo de um limite pequeno que eles definem antes.

Qual prior a calculadora usa?

Um prior uniforme Beta(1,1), que não assume nada sobre a taxa antes de ver os dados: toda taxa de 0 a 100% começa igualmente provável. Com volume razoável de visitantes, os dados dominam e a escolha do prior quase não muda o resultado. É a escolha neutra e mais comum para teste A/B.

Posso parar o teste assim que a probabilidade passar de 95%?

A abordagem bayesiana é mais tolerante a olhar o resultado ao longo do tempo do que a frequentista, mas espiar sem critério ainda infla o risco. O caminho seguro é combinar dois gatilhos antes de começar: uma probabilidade alta (por exemplo 95%) e uma perda esperada abaixo do seu limite. Só pare quando os dois baterem, e ainda assim feche ciclos semanais inteiros.

Qual a diferença entre esta e a calculadora de significância?

A de significância é frequentista: valor-p, intervalo de confiança e um veredito de sim ou não a 95%. Esta é bayesiana: probabilidade direta de B vencer e perda esperada, sem limiar rígido. Use a de significância quando quiser o padrão clássico do mercado, e esta quando quiser decidir por probabilidade e risco. As duas leem os mesmos dados por lentes diferentes.

A calculadora serve para taxas muito baixas ou pouco tráfego?

Serve, mas quanto menor a taxa e o volume, mais larga fica a incerteza (o intervalo de credibilidade). Com pouca gente, a probabilidade fica perto de 50% e a perda esperada alta, sinal honesto de que ainda não dá para decidir. Colete mais antes de bater o martelo.

Continue

Comparou por probabilidade? Cruze com o veredito clássico na calculadora de significância estatística e dimensione o próximo teste com a calculadora de tamanho de amostra. O contexto completo está no guia o que é teste A/B.