Priors Bayesianos: informativos x não-informativos
Prior bayesiano explicado com números reais: a diferença entre priors informativos e não-informativos, como cada um muda a posterior e quando usar cada um.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
Todo cálculo bayesiano começa com uma escolha que a maioria dos artigos sobre o tema pula de fininho: qual crença você tinha antes de ver os dados do seu teste. Essa crença é o prior, e ela não é um detalhe técnico de rodapé, é a peça que decide quão rápido (ou devagar) a sua estimativa de taxa de conversão reage ao tráfego que chega. Este guia é um aprofundamento estatístico do nosso guia de multi-armed bandits x teste A/B, a peça que já explicou por que o Thompson Sampling (o algoritmo bayesiano mais comum em bandits de produção) depende exatamente desse mecanismo de prior e posterior para decidir, visita a visita, para onde mandar tráfego.
Aqui o foco é só o prior: o que ele é, a diferença prática entre um prior não informativo e um informativo, como cada um muda matematicamente a posterior calculada, e, principalmente, quando vale a pena usar cada tipo. Tudo com números calculados de verdade, não descritos de ouvido.
O que é um prior, sem rodeio
Na inferência bayesiana, você nunca parte do zero absoluto. Antes de olhar um único visitante do seu teste, você já tem, implícita ou explicitamente, alguma crença sobre a faixa provável da taxa de conversão. O prior é essa crença, formalizada como uma distribuição de probabilidade sobre os valores possíveis da taxa.
Para taxas de conversão (um número entre 0% e 100%), a distribuição Beta é a escolha padrão, porque ela é conjugada com o modelo Binomial que descreve conversões e não conversões: quando você atualiza um prior Beta com dados binomiais, a posterior também sai em forma de Beta, com uma fórmula simples e exata, sem precisar de simulação. A regra de atualização é:
Ou seja: você soma as conversões observadas ao parâmetro alfa e as não-conversões ao parâmetro beta, e pronto, tem a nova distribuição de crença. É a mesma conta que sustenta a calculadora bayesiana deste blog e o Thompson Sampling usado em bandits.
Prior não informativo x prior informativo
A escolha do prior se resume, na prática, a uma pergunta: quanto peso essa crença prévia deveria ter frente aos dados que estão chegando agora?
Prior não informativo (fraco): o exemplo clássico é o Beta(1,1), também chamado de prior uniforme. Ele atribui a mesma densidade de probabilidade a qualquer taxa de conversão entre 0% e 100%, ou seja, não favorece nenhum valor específico antes de ver o dado. É equivalente, em termos de peso, a ter observado só uma conversão e uma não conversão antes de começar, praticamente nada. Esse prior deixa “os dados falarem sozinhos”: a posterior converge para a taxa observada muito rapidamente.
Prior informativo (forte): um exemplo prático seria o Beta(20,180). A média desse prior é alfa dividido pela soma de alfa e beta, ou seja, 20 dividido por 200, que dá 10%. Ele embute a crença de que a taxa de conversão gira em torno de 10%, com uma confiança equivalente a ter observado 20 conversões em 200 visitas anteriores (é assim que se lê o “peso” de um prior Beta: a soma alfa mais beta funciona como um tamanho de amostra virtual, já vivido antes do teste atual começar). Quanto maior essa soma, mais concentrada a distribuição fica ao redor da média, e mais peso ela carrega frente a dados novos.
A figura abaixo compara as duas curvas de densidade lado a lado, antes de qualquer atualização com dado real:
Repare na assimetria: o prior uniforme é uma linha quase reta e baixa, sem preferência, enquanto o prior informativo já chega desenhando uma “opinião” concentrada antes de qualquer visitante ser contado.
Como prior e dado observado formam a posterior
O caminho do prior até a posterior segue sempre o mesmo fluxo, e vale visualizar antes de entrar nos números:
Note que a fórmula é idêntica para os dois tipos de prior. A diferença inteira mora no ponto de partida: um Beta(1,1) começa quase do zero, um Beta(20,180) começa já carregando o peso equivalente a 200 observações prévias. É esse peso inicial que determina o quanto a posterior se parece com o prior ou com o dado novo.
Exemplo trabalhado: a mesma evidência, dois priors diferentes
Vamos calcular de verdade, não descrever. O cenário: um teste novo recebeu 100 visitantes e 8 conversões, uma taxa observada bruta de 8,00%. Vamos atualizar os dois priors apresentados acima com exatamente esse mesmo dado, usando a regra de atualização conjugada.
Prior não informativo, Beta(1,1): Posterior = Beta(1 + 8, 1 + 92) = Beta(9, 93). Média da posterior = 9 dividido por (9 + 93) = 9/102 ≈ 8,82%.
Prior informativo, Beta(20,180): Posterior = Beta(20 + 8, 180 + 92) = Beta(28, 272). Média da posterior = 28 dividido por (28 + 272) = 28/300 ≈ 9,33%.
| Prior | Alfa, beta do prior | Média do prior | Posterior após 8 conversões em 100 | Média da posterior |
|---|---|---|---|---|
| Não informativo | Beta(1, 1) | 50,00% | Beta(9, 93) | 8,82% |
| Informativo | Beta(20, 180) | 10,00% | Beta(28, 272) | 9,33% |
Com exatamente a mesma evidência, as duas posteriores chegam a números diferentes. A do prior fraco fica bem perto da taxa bruta observada (8,00%), puxada só um pouco para cima pelo resquício do prior uniforme. A do prior forte fica puxada para mais perto de 10%, a média que o prior já carregava antes de qualquer visitante ser contado, porque o peso do prior (200 pseudo-observações) ainda supera bastante o peso do dado novo (100 visitantes reais).
O mesmo efeito aparece na incerteza de cada posterior. Usando a variância de uma distribuição Beta e uma aproximação normal para o intervalo de 95%:
| Posterior | Desvio padrão | Intervalo aproximado de 95% |
|---|---|---|
| Beta(9, 93), prior fraco | ≈ 2,80 pontos percentuais | ≈ 3,3% a 14,3% |
| Beta(28, 272), prior forte | ≈ 1,68 pontos percentuais | ≈ 6,0% a 12,6% |
Repare no detalhe que costuma passar despercebido: a posterior do prior forte parece “mais confiante” (intervalo mais estreito), simplesmente porque ela soma 200 observações virtuais às 100 reais, chegando a um total efetivo de 300. Essa confiança só é justificada se a crença de 10% embutida no prior realmente correspondia à realidade. Se a taxa verdadeira for de fato 8%, esse intervalo mais estreito está, na prática, mais confiante em torno de um valor levemente errado, o que é exatamente o risco de um prior mal calibrado, tratado em detalhe mais abaixo.
Calcule você mesmo: a mesma conta, com os seus números
A calculadora abaixo roda sobre o mesmo motor Beta-Binomial deste exemplo, com o prior padrão do produto: um Beta(1,1) uniforme, não informativo, a escolha segura sempre que não há uma crença prévia forte e confiável para embutir. Cole os visitantes e conversões de A e B do seu próprio teste e veja a posterior calculada ao vivo:
Modelo Beta-Binomial com prior uniforme Beta(1,1) e intervalo de credibilidade de 95%. Cálculo determinístico, recalcula ao vivo.
Se você quisesse aplicar um prior informativo como o Beta(20,180) deste guia, a conta por trás seria a mesma regra de atualização, só que somando esse peso inicial de 20 conversões e 180 não conversões ao alfa e ao beta antes de somar o dado novo, exatamente como fizemos manualmente acima. É por isso que a calculadora, com prior uniforme fixo, tende a devolver uma posterior mais próxima da taxa bruta observada do que uma calculadora carregada com um prior forte devolveria para o mesmo dado.
Quanto tráfego até o prior deixar de importar
Uma forma direta de enxergar a diferença entre os dois priors é perguntar: com o mesmo cenário (taxa real de 8%), quantos visitantes são necessários até a posterior de cada prior convergir para perto do valor verdadeiro? Continuando a fórmula de atualização (posterior = prior mais dados, com a taxa observada sempre em 8% do tráfego acumulado), a tabela abaixo mostra a média posterior de cada prior em diferentes tamanhos de amostra:
| Visitantes acumulados | Conversões (≈ 8%) | Posterior média, prior fraco Beta(1,1) | Posterior média, prior forte Beta(20,180) |
|---|---|---|---|
| 20 | 2 | 13,64% | 10,00% |
| 100 | 8 | 8,82% | 9,33% |
| 500 | 40 | 8,17% | 8,57% |
| 2.000 | 160 | 8,04% | 8,18% |
| 10.000 | 800 | 8,01% | 8,04% |
O padrão é claro e vale para qualquer prior Beta: quanto maior a soma de alfa e beta do prior (o “tamanho de amostra virtual” que ele carrega), mais visitantes reais são necessários para que o dado supere essa crença inicial. Um prior fraco cede ao dado quase de imediato. Um prior forte só cede depois de acumular tráfego real comparável, ou maior, ao peso que ele já trazia embutido.
Quando usar prior informativo, e quando usar prior fraco
A escolha não é estética, é uma decisão de risco. Prior informativo tende a valer a pena quando:
- Existe um histórico comparável e confiável. Você já rodou dezenas de testes parecidos (mesmo tipo de página, mesmo tipo de mudança, público semelhante) e tem uma distribuição real de taxas de conversão observadas nesses testes anteriores, não um palpite.
- O tráfego do teste atual é baixo e a decisão não pode esperar. Um prior bem calibrado reduz a variância da estimativa nas primeiras semanas, quando pouquíssimo dado ainda chegou, ao custo de ficar mais lento para corrigir se a crença estiver errada.
- A mudança testada é uma variação pequena de algo já testado antes, não uma ideia totalmente nova. Reaproveitar o conhecimento de testes de botão de CTA para um novo teste de botão de CTA é razoável; usar esse mesmo prior para testar um redesenho completo de checkout não é.
Prior fraco ou uniforme é a escolha mais segura quando:
- Não existe histórico comparável confiável, ou o histórico existente é de um contexto muito diferente (outro público, outra oferta, outro canal de tráfego).
- A mudança testada é genuinamente nova, sem precedente parecido para embasar uma crença específica.
- Você prioriza deixar o dado falar por si, mesmo que isso signifique uma estimativa inicial mais ruidosa nas primeiras semanas do teste.
Na dúvida, um prior fraco erra pelo lado mais barato: ele demora um pouco mais para refinar a estimativa nas primeiras semanas, mas nunca empurra a decisão para um valor que você só “achava” que era verdade.
O risco de um prior mal calibrado
O exemplo numérico acima mostrou o lado bom de um prior informativo bem calibrado: menos ruído nas primeiras semanas de um teste. O lado ruim aparece quando a crença embutida no prior está simplesmente errada.
Imagine o mesmo prior forte, Beta(20,180), com sua crença de 10%, só que a taxa real da nova página é, de fato, 3%, bem mais baixa do que o histórico sugeria (por exemplo, porque o público desse teste específico é mais frio, ou a oferta é menos familiar). Com 100 visitantes e cerca de 3 conversões (a mesma proporção de 3%), a posterior seria Beta(20 + 3, 180 + 97) = Beta(23, 277), com média de 23 dividido por 300, ou seja, aproximadamente 7,67%, mais que o dobro da taxa real. Um prior fraco, atualizado com os mesmos números (Beta(1 + 3, 1 + 97) = Beta(4, 98)), chegaria a uma média de 4 dividido por 102, aproximadamente 3,92%, muito mais perto da realidade.
Esse é o mecanismo exato do viés de um prior mal calibrado: ele não é um erro aleatório que se cancela com mais dado rapidamente, é um empurrão sistemático na direção da crença prévia, que só se corrige na velocidade em que o dado real supera o peso virtual do prior. Quanto mais forte o prior errado, mais caro fica o engano, e mais tempo uma decisão de negócio pode ficar apoiada num número inflado ou subestimado sem que ninguém perceba, porque a posterior continua parecendo “confiante” (intervalo estreito) o tempo todo, só que confiante em torno do valor errado.
A régua prática: usar um prior informativo é uma aposta de que a crença prévia está certa. Quando ela está, você ganha velocidade e menos ruído. Quando ela não está, você paga em viés sistemático, e o prior mais forte é justamente o que demora mais para se corrigir.
Faça isso automático na Donnu
Escolher o prior certo é só metade do trabalho bayesiano: a outra metade é rodar o cálculo sem errar a fórmula, sem confundir alfa com beta, e sem descobrir tarde demais que o prior escolhido estava puxando a decisão para o lado errado. A Donnu já roda sobre um motor bayesiano nativo com prior uniforme por padrão, exatamente a escolha mais segura para a maioria dos testes reais, sem exigir que você calcule posteriores manualmente para confiar no veredito.
Comece um teste grátis de 14 dias e veja a posterior bayesiana calculada corretamente a cada visitante novo. Para entender onde esse mesmo mecanismo de prior e posterior aparece na alocação de tráfego em tempo real, veja o guia multi-armed bandits x teste A/B e o aprofundamento em bandit contextual explicado. Se preferir revisar primeiro a base frequentista de significância, veja o guia de significância estatística em testes A/B, ou use a calculadora bayesiana de teste A/B isoladamente, sem o restante do guia.
Referências
- Jeffreys, H. An Invariant Form for the Prior Probability in Estimation Problems. Proceedings of the Royal Society of London, Series A, 186, 453-461, 1946. royalsocietypublishing.org.
- Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A. & Rubin, D. B. Bayesian Data Analysis, 3ª edição (texto completo disponível gratuitamente). stat.columbia.edu/~gelman/book.
- VWO. Enhanced SmartStats, Bayesian powered sequential testing engine (prior não informativo em produção). vwo.com/why-us/technology/statistics.
- Lyst Engineering. Bayesian AB Testing (como especificar alfa e beta de um prior Beta em produção, com exemplos numéricos). making.lyst.com.
Perguntas frequentes
- O que é um prior bayesiano, em termos simples?
- É a crença sobre uma taxa de conversão antes de você olhar qualquer dado do teste atual. Ela é representada como uma distribuição de probabilidade (no caso de taxas de conversão, quase sempre uma distribuição Beta) e é combinada matematicamente com os dados observados para produzir a posterior, que é a crença atualizada depois de ver a evidência.
- Qual a diferença entre prior informativo e não-informativo?
- Um prior não informativo, como o Beta(1,1) uniforme, trata todas as taxas de conversão entre 0% e 100% como igualmente prováveis antes de ver qualquer dado, então a posterior fica guiada quase inteiramente pela evidência observada. Um prior informativo, como um Beta(20,180) construído a partir de testes anteriores, já embute uma crença concentrada em torno de um valor específico (nesse exemplo, perto de 10%), e essa crença só cede aos poucos conforme mais dados chegam.
- Um prior mal calibrado pode enviesar a decisão de um teste real?
- Sim, e esse é o principal risco de usar um prior informativo sem justificativa sólida. Se a crença prévia estiver errada (por exemplo, herdada de um teste com público ou oferta diferente), a posterior fica puxada para um valor incorreto, e quanto mais forte o prior, mais dado é necessário para corrigir esse viés. Um prior fraco erra menos nesse sentido, porque cede à evidência quase de imediato.
- Quando faz sentido usar um prior informativo em vez de um uniforme?
- Quando existe um histórico confiável e comparável, por exemplo, dezenas de testes anteriores no mesmo tipo de página medindo o mesmo tipo de mudança, com uma distribuição de taxas de conversão já conhecida. Fora desse cenário, um prior fraco ou uniforme é a escolha mais segura, porque não impõe uma opinião prévia que pode estar simplesmente errada para o caso novo.
- A calculadora bayesiana deste blog usa que tipo de prior?
- Por padrão, um prior uniforme Beta(1,1), não informativo: todas as taxas de conversão possíveis começam igualmente prováveis, e a posterior fica guiada pelos números que você inserir. É a escolha segura sempre que você não tem uma crença prévia forte e confiável para embutir no cálculo.