Teste A/B Bayesiano: O Guia Completo (com Calculadora)
Teste A/B bayesiano explicado: prior, posterior, probabilidade de B vencer, perda esperada, exemplo trabalhado e quando escolher em vez do frequentista.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
Teste A/B bayesiano é o método de analisar um experimento tratando a taxa de conversão de cada versão como uma distribuição de probabilidade atualizada pelos dados, produzindo saídas como “B tem 93,7% de chance de ser melhor que A” em vez de um valor-p. Onde a abordagem clássica pergunta “quão surpreendentes seriam esses dados se não houvesse diferença nenhuma?”, a abordagem bayesiana pergunta “dado o que eu acreditava antes e o que observei agora, qual a chance de B ser realmente melhor, e por quanto?”.
Este guia é o par do nosso guia completo de significância estatística, que cobre o teste z e o valor-p em detalhe. Aqui tratamos o lado bayesiano nos termos dele: a mecânica de prior, verossimilhança e posterior; as métricas que de fato decidem subir ou não uma variação; um exemplo trabalhado ponta a ponta; e o maior mal-entendido do tema, a ideia de que dá para espiar quando quiser sem consequência nenhuma. Não dá, não totalmente, e é aí que boa parte da explicação de fornecedor silenciosamente escorrega.
O que é teste A/B bayesiano, exatamente
Num teste bayesiano, a taxa de conversão verdadeira de cada versão é tratada como uma quantidade desconhecida descrita por uma distribuição de probabilidade, e não como um número fixo que você tenta acertar com um palpite pontual. Você começa com uma distribuição a priori (o prior), que representa o que você acreditava antes de ver qualquer dado deste teste. Observa visitantes e conversões. Combina as duas coisas pela regra de Bayes e chega à distribuição a posteriori (a posterior), a crença atualizada sobre a taxa verdadeira de cada versão diante da evidência.
Com as posteriores de A e B na mão, você responde diretamente às perguntas que o time de negócio realmente faz: qual a probabilidade de B ser melhor que A? Se eu escolher B e estiver errado, quanto perco na média? Qual a faixa plausível do ganho real? Nenhuma delas exige traduzir um valor-p para linguagem de negócio, porque a saída já é uma afirmação de probabilidade sobre a coisa que interessa.
Frequentista x bayesiano: a diferença de fundo
As duas escolas discordam sobre o que “probabilidade” significa. A estatística frequentista trata probabilidade como frequência de longo prazo: o valor-p descreve com que frequência você veria dados tão extremos quanto esses ao repetir o experimento muitas vezes, num mundo sem efeito real. A estatística bayesiana trata probabilidade como grau de crença: a posterior descreve diretamente o quanto você deve confiar que B é melhor que A, dado o seu prior e este conjunto de dados.
| Frequentista | Bayesiano | |
|---|---|---|
| O que é probabilidade | Frequência de longo prazo em repetições | Grau de crença dado o dado observado |
| Saída principal | Valor-p, significativo ou não | Distribuição posterior, P(B melhor que A) |
| Como se lê | “5% de chance de ver esse padrão sem efeito real” | “93,7% de chance de B ser genuinamente melhor” |
| Intervalo | De confiança (sobre o procedimento) | De credibilidade (sobre o parâmetro) |
| Espiar no meio | Exige correção sequencial para continuar válido | Mais interpretável em qualquer N, não imune à parada oportunista |
| Tamanho de amostra | Fixado antes, a partir de base, MDE, alfa e poder | Sem mínimo rígido, mas a posterior precisa de dado para ficar precisa |
| Informação prévia | Não entra | Entra explicitamente, informativa ou não |
Nenhuma das duas colunas é a “certa”. Um teste frequentista bem conduzido e um teste bayesiano bem conduzido sobre os mesmos dados limpos costumam apontar para a mesma conclusão prática: são lentes diferentes sobre a mesma evidência, não afirmações concorrentes sobre a realidade.
Prior, verossimilhança, posterior: o laço que faz o trabalho
Todo cálculo bayesiano roda o mesmo laço de três partes: parte de uma crença inicial, atualiza com a verossimilhança (o quanto os dados observados são prováveis sob cada taxa verdadeira possível) e chega a uma crença posterior que mistura as duas.
Por que a distribuição Beta modela taxa de conversão
Conversão é um resultado binário por visitante, converteu ou não, o que faz do processo um Binomial. A distribuição Beta é o prior matematicamente conveniente para esse caso porque ela é conjugada ao Binomial: combinar um prior Beta com dado Binomial produz outra Beta como posterior, sem integração numérica nenhuma. Uma Beta tem dois parâmetros, escritos Beta(alfa, beta), em que alfa acompanha grosso modo os sucessos acumulados (conversões) e beta acompanha os fracassos (não conversões).
A regra de atualização é literalmente soma. Partindo de um prior Beta(alfa₀, beta₀), depois de observar “s” conversões em “n” visitantes, a posterior é:
Um prior Beta(1,1) é uniforme: ele diz “qualquer taxa de conversão entre 0% e 100% é igualmente plausível antes de eu ver dado”, o ponto de partida não informativo padrão. Um prior informativo como Beta(12,88) codifica “eu já acredito que a taxa gira em torno de 12 ÷ (12+88) = 12%”, útil quando existe histórico sólido daquela página. O cuidado é conhecido: um prior confiante demais precisa de bem mais dado novo para ser movido, e pode afogar um sinal legítimo. Na dúvida, comece não informativo, e trate prior informativo como otimização de time experiente, assunto tratado em priors bayesianos explicados.
As métricas que decidem de verdade
Com as posteriores de A e B, quatro números fazem o trabalho prático:
| Métrica | O que responde | Quando ela decide |
|---|---|---|
| Probabilidade de B vencer | Qual a chance de a taxa verdadeira de B ser maior que a de A | Direção do resultado, nunca o tamanho dele |
| Intervalo de credibilidade | Faixa que contém a taxa verdadeira com 95% de probabilidade | Quando você precisa comunicar incerteza, não só um veredito |
| Perda esperada ao adotar B | Quanto se perde na média se B for a escolha errada | Regra de parada consciente do risco |
| Perda esperada ao manter A | Quanto se perde na média por não trocar | O custo de esperar, que quase ninguém calcula |
A quarta linha é a mais esquecida. Toda discussão sobre parar ou continuar trata o erro de trocar como se fosse o único erro possível, e não é: manter a versão pior também custa conversão todo dia. A regra de parada por perda esperada, detalhada em perda esperada em teste bayesiano, coloca os dois custos na mesma balança.
Vale conhecer também a região de equivalência prática: em vez de perguntar se existe qualquer diferença, você define uma faixa ao redor do zero que conta como “praticamente igual” (digamos, mais ou menos 0,2 ponto percentual) e verifica quanto da posterior cai dentro ou fora dela. É um jeito de codificar a diferença entre “estatisticamente diferente” e “diferente o bastante para valer a pena” dentro da regra de decisão.
O exemplo trabalhado, ponta a ponta
O controle (A) teve 200 conversões em 2.000 visitantes. A variação (B) teve 230 conversões em 2.000 visitantes. Vamos percorrer a leitura bayesiana desses números exatos, com prior não informativo Beta(1,1) nos dois lados.
Passo 1, as taxas brutas. A converte a 200 ÷ 2.000 = 10,0%. B converte a 230 ÷ 2.000 = 11,5%. Ganho relativo bruto: +15%. A pergunta, como sempre, é se essa diferença é real ou ruído.
Passo 2, montar as posteriores. Com prior Beta(1,1), a regra de atualização dá:
A média de uma Beta(alfa, beta) é alfa ÷ (alfa + beta), o que dá 10,04% para A e 11,54% para B, praticamente coladas nas taxas brutas porque 2.000 visitantes já são dado suficiente para a influência do prior uniforme ser desprezível.
Passo 3, o veredito bayesiano. Rodando os números no motor deste blog:
- Probabilidade de B ser melhor que A: 93,7%.
- Intervalo de credibilidade de 95% de A: de 8,76% a 11,39%. De B: de 10,18% a 12,97%. Os dois se sobrepõem, e é dessa sobreposição que sai a chance de A ainda ser o melhor.
- Perda esperada ao adotar B e estar errado: 0,027 ponto percentual (a calculadora abaixo arredonda o visor para 0,03 pp).
- Perda esperada ao manter A e estar errado: 1,525 ponto percentual, cerca de 56 vezes maior.
Cole os mesmos números na calculadora e confira:
Modelo Beta-Binomial com prior uniforme Beta(1,1) e intervalo de credibilidade de 95%. Cálculo determinístico, recalcula ao vivo.
Passo 4, a comparação frequentista. O mesmo conjunto rodado no teste z de duas proporções deste blog dá escore z de 1,53, valor-p bilateral de 0,126 e intervalo de confiança de 95% da diferença de −0,419 a +3,419 pontos percentuais, cruzando o zero. Veredito clássico: não significativo, continue coletando. Confira:
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
A decisão. Com 93,7% de chance de B ser melhor e perda esperada desprezível ao adotá-la, muitos times subiriam B sinalizando explicitamente que a barra de “confiante” não foi totalmente vencida; um time com tolerância a risco mais rígida escolheria continuar coletando, e estaria igualmente certo. Essa nuance, “provavelmente uma vitória real, com uma fatia quantificada e não trivial de dúvida”, é exatamente o que um valor-p sozinho ou um rótulo de significativo e não significativo não comunica.
Quando dá para parar: espiar, e a verdade honesta
Esta é a parte que o marketing de fornecedor simplifica demais, para um lado ou para o outro, então vale dizer com cuidado.
O mito: “teste bayesiano deixa você espiar quando quiser, sem consequência, ao contrário do frequentista”. Isso é repetido porque captura algo verdadeiro, e então exagera.
O que é verdade: a posterior é um resumo válido e calibrado da evidência em qualquer tamanho de amostra, você nunca está “trapaceando com a matemática” ao olhar. Essa é uma propriedade genuína que o teste de horizonte fixo não tem sem maquinaria extra. Mas se a sua regra de decisão é “fico olhando a probabilidade de B vencer e paro no primeiro instante em que ela cruza 95%”, você está rodando uma parada oportunista, e parada oportunista infla a taxa de erro prática independentemente da escola que calculou o número em que você parou. A posterior não fica enviesada por ser olhada; o viés está no procedimento de olhar muitas vezes e parar no momento favorável.
Veja como a probabilidade se move com o mesmo desempenho relativo mantido, no exemplo deste guia:
| Momento | Visitantes por variação | Conversões A | Conversões B | P(B vencer) | Valor-p clássico |
|---|---|---|---|---|---|
| Espiada precoce | 200 | 20 (10,0%) | 23 (11,5%) | 68,4% | 0,628 |
| Meio do teste | 2.000 | 200 (10,0%) | 230 (11,5%) | 93,7% | 0,126 |
| Amostra confortável | 8.000 | 800 (10,0%) | 920 (11,5%) | 99,9% | 0,002 |
Repare que o desempenho relativo é idêntico nas três linhas: só a quantidade de evidência muda. Quem para na primeira linha não está lendo um teste bayesiano, está lendo ruído com roupa de probabilidade. O problema do peeking trata do mesmo fenômeno do lado frequentista.
Regras de parada que se sustentam:
- Combinar antes um limiar de probabilidade (95% ou mais) junto com uma amostra mínima, nunca o limiar sozinho.
- Usar uma tolerância de perda esperada: parar quando a perda esperada cair abaixo de um nível que você decidiu de antemão ser aceitável, porque isso considera o custo de errar e não só a chance de acertar.
- Definir a região de equivalência prática antes e parar quando massa suficiente da posterior estiver fora dela, numa direção só.
- Para uma garantia rigorosa de “olhe quando quiser”, usar um desenho sequencial construído para isso, tema do guia de teste sequencial.
Tamanho de amostra ainda existe no mundo bayesiano
A afirmação de que teste bayesiano dispensa tamanho de amostra merece aposentadoria. É verdade que não existe um N pré-registrado rígido como no desenho frequentista de horizonte fixo: você pode calcular a posterior depois do primeiro visitante. Mas uma posterior de 20 visitantes por variação é larguíssima e instável. O que você precisa, de fato, é de dado suficiente para a posterior estreitar até uma faixa precisa o bastante para agir, e isso é governado pelos mesmos fatores do dimensionamento clássico: a taxa base, o efeito que você quer detectar e quanta incerteza você tolera.
Com taxa base de 10% e a ambição de detectar 15% de melhora relativa (de 10,0% para 11,5%, exatamente o cenário do exemplo), o dimensionamento frequentista pede 6.693 visitantes por variação, cerca de 7 dias a 15.000 visitantes por semana. Se a ambição cair para 10% de melhora relativa, o requisito sobe para 14.751 por variação, cerca de 14 dias no mesmo tráfego. Rode a sua taxa real:
Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.
Assim como no frequentista, planeje rodar por ciclos completos de negócio, no mínimo uma a duas semanas, para que efeito de fim de semana e de dia de pagamento não distorçam a posterior. Um intervalo de credibilidade largo que está estreitando a cada dia é sinal de que o teste está no caminho; um que continua largo depois de semanas é sinal de que o seu tráfego não sustenta o efeito que você está perseguindo sem uma mudança mais ousada.
Erros comuns e mal-entendidos
- Ler intervalo de credibilidade como se fosse de confiança, e vice-versa. Eles costumam sair numericamente parecidos com prior não informativo, mas respondem a perguntas diferentes, assunto de intervalo de credibilidade x intervalo de confiança.
- Tratar a probabilidade de vitória como a história inteira. Uma variação pode ter 90% de chance de vencer com ganho minúsculo, ou com perda esperada desconfortável no cenário azarado. Olhe ganho e perda ao lado da probabilidade, não no lugar dela.
- Prior confiante demais atropelando o dado real. Sempre confira o que um Beta(1,1) diria sobre os mesmos dados antes de confiar num resultado que dependeu do prior.
- Ignorar desvio na divisão de amostra. Se o tráfego chegou 60/40 em vez de 50/50 sem explicação, algo está quebrado na randomização ou no rastreamento, e nenhuma posterior calculada em cima disso merece confiança, por mais alta que ela pareça.
- Efeito de novidade. Uma variação pode ir bem nos primeiros dias só por ser nova. A posterior se corrige conforme o dado entra, mas a instabilidade inicial se parece muito com confiança precoce para quem não acompanha o movimento dela ao longo do tempo.
Bayesiano e multi-armed bandits
Teste bayesiano e bandits (implementados tipicamente via Thompson Sampling) usam a mesma maquinaria de posteriores, mas respondem a perguntas diferentes. Teste A/B é “testar e subir”: rodar um experimento, chegar a uma conclusão defensável e mandar todo o tráfego para o vencedor. Bandit é “explorar e explorar”: deslocar continuamente mais tráfego para quem parece melhor agora, sem nunca “concluir” formalmente. Bandit minimiza o custo do tráfego gasto na versão pior durante o teste, o que serve campanha curta e muitas variações; teste fixo é preferível quando você quer uma resposta limpa, documentada e defensável antes de tornar a mudança permanente.
Faça isso automático na Donnu
Você acabou de percorrer o que é preciso para rodar um teste bayesiano com honestidade: montar as posteriores certas, ler a probabilidade de vitória ao lado da perda esperada em vez de isolada, e tratar o “pode espiar sempre” como verdade com ressalva, não como passe livre. A Donnu traz estatística bayesiana no relatório por padrão, com snippet leve que não bloqueia a sua página e isolamento de dado por conta, para você ter a leitura honesta sem implementar a matemática Beta-Binomial na mão.
Comece um teste grátis e rode o próximo experimento com uma estatística que aguenta escrutínio. Para o outro lado da mesma moeda, veja o guia de significância estatística, e para o fluxo completo do experimento, como fazer um teste A/B passo a passo.
Leia também: Priors Bayesianos Explicados · Perda Esperada em Teste Bayesiano · Intervalo de Credibilidade x de Confiança · O que é Teste A/B · Read in English
Referências
- Kohavi, R., Tang, D. e Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Capítulos sobre parada antecipada e leitura de resultado. Material de apoio em experimentguide.com.
- Gelman, A. et al. Bayesian Data Analysis, 3ª edição. Referência para o modelo Beta-Binomial e para o papel do prior. sites.stat.columbia.edu/gelman/book.
- Robinson, D. Understanding the Beta distribution (using baseball statistics). Explicação acessível de por que a Beta modela taxa. varianceexplained.org.
- Miller, E. How Not To Run an A/B Test. O texto que popularizou o problema da parada oportunista, 2010. evanmiller.org.
Perguntas frequentes
- O que é teste A/B bayesiano, em uma frase?
- É uma forma de ler um teste A/B que parte de uma crença inicial sobre a taxa de conversão de cada versão, atualiza essa crença com os dados coletados e devolve o resultado como probabilidade, do tipo "B tem 93,7% de chance de ser melhor que A", em vez de um valor-p. Ele responde diretamente à pergunta de negócio que todo mundo faz, que é qual a chance de a variação ser mesmo melhor, e não à pergunta que o valor-p responde, que é quão surpreendentes seriam esses dados num mundo sem diferença nenhuma.
- Posso mesmo espiar um teste bayesiano a qualquer momento?
- Você pode olhar a posterior a qualquer momento e ela continua sendo um resumo matematicamente válido da evidência acumulada até ali, o que é uma vantagem real sobre a leitura frequentista ingênua. Mas parar no instante exato em que a métrica fica bonita é uma regra de parada oportunista, e isso infla a taxa de erro na prática em qualquer uma das duas escolas. O método bayesiano é mais tolerante a olhar, não imune a ser burlado por quem só para quando o número agrada.
- O teste bayesiano é mais preciso que o frequentista?
- Nenhum dos dois é mais preciso: eles respondem a perguntas diferentes usando os mesmos dados. O frequentista devolve um valor-p contra uma hipótese nula; o bayesiano devolve uma distribuição de probabilidade sobre o próprio efeito. Os dois exigem amostra suficiente e coleta limpa para serem confiáveis, e um teste mal desenhado produz resposta enganosa nas duas escolas.
- Ainda preciso de tamanho de amostra num teste bayesiano?
- Precisa. A ideia de que teste bayesiano dispensa tamanho de amostra é mito. Com pouco dado a posterior fica larga e instável, e a probabilidade de B vencer oscila muito a cada punhado de conversões novas. No exemplo deste guia, aos 200 visitantes por variação essa probabilidade estava em 68,4% e, com o mesmo desempenho relativo mantido até 8.000 por variação, ela chegou a 99,9%. É o mesmo dado, em quantidades diferentes.
- O que é perda esperada em teste A/B bayesiano?
- É quanto de taxa de conversão você abriria mão, na média de todos os cenários plausíveis da posterior, se escolhesse uma versão e ela fosse a errada. Ela responde quanto custa o erro, e não apenas quem provavelmente está ganhando, o que a torna uma regra de parada mais consciente do risco que a probabilidade de vitória sozinha. Uma probabilidade alta com perda esperada desprezível é uma decisão confortável; a mesma probabilidade com perda esperada grande pede mais cautela.
- Qual a diferença entre intervalo de credibilidade e intervalo de confiança?
- O intervalo de credibilidade de 95% é a faixa que tem 95% de probabilidade de conter o valor verdadeiro, dado o prior e os dados observados, que é justamente a interpretação que a maioria das pessoas atribui por engano ao intervalo de confiança. O intervalo de confiança descreve outra coisa: com que frequência o procedimento de construir intervalos capturaria o valor verdadeiro ao longo de muitos experimentos repetidos.