Intervalo de Credibilidade x Confiança: a Diferença Real
Intervalo de credibilidade x intervalo de confiança: a diferença real entre a leitura bayesiana e a frequentista, com exemplo numérico ponta a ponta.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
Um intervalo de confiança frequentista de 95% e um intervalo de credibilidade bayesiano de 95% costumam sair com números quase idênticos, e mesmo assim respondem perguntas completamente diferentes. O primeiro descreve o comportamento de um método repetido infinitas vezes; o segundo descreve a probabilidade real do valor verdadeiro, dado o que você observou. A frase que quase todo mundo usa (“há 95% de chance de a taxa real estar aqui dentro”) só é verdadeira para o segundo. Aplicada ao primeiro, é um erro de interpretação tão comum que estudos com pesquisadores treinados encontram esse engano na maioria das respostas. Este guia mostra a diferença de verdade, com um exemplo numérico calculado pelos dois motores estatísticos que já rodam neste blog, o frequentista e o bayesiano, lado a lado, para o mesmo par de números.
O que cada intervalo responde, de fato
A confusão nasce de uma coincidência cruel: os dois intervalos costumam ocupar a mesma faixa de números, mas a pergunta que cada um responde é outra.
O intervalo de confiança frequentista responde: “se eu repetisse esse experimento um número enorme de vezes, coletando uma nova amostra a cada vez e calculando um novo intervalo do mesmo jeito, 95% desses intervalos conteriam o valor real.” A afirmação de confiança é sobre o procedimento, não sobre o intervalo específico que você tem na tela agora. Uma vez calculado, aquele intervalo particular já contém o valor real ou não contém, não sobra probabilidade nenhuma para distribuir dentro dele. A taxa de conversão verdadeira não é uma variável aleatória na visão frequentista, é um número fixo (só que desconhecido); quem é aleatório é o próprio intervalo, porque ele muda de amostra para amostra.
O intervalo de credibilidade bayesiano responde: “dado os dados que observei e a crença prévia (prior) com que eu comecei, há 95% de probabilidade de o valor real estar dentro deste intervalo.” Aqui a taxa de conversão verdadeira é tratada como incerta, e essa incerteza é modelada como uma distribuição de probabilidade (a posterior). O intervalo de credibilidade é, literalmente, a região dessa distribuição que concentra 95% da massa de probabilidade. É essa a leitura que a maioria das pessoas, sem querer, já atribui ao intervalo de confiança clássico.
Por que essa confusão é tão comum
A raiz histórica é simples: os dois intervalos foram desenhados por escolas diferentes da estatística (a frequentista, de Jerzy Neyman, nos anos 1930; a bayesiana, que usa o teorema de Bayes para atualizar crenças), mas o nome coloquial que as pessoas dão ao resultado é quase sempre a versão bayesiana, mesmo quando o cálculo por trás é frequentista. Dizer “estou 95% confiante de que o valor está aqui” soa natural para qualquer pessoa, só que essa frase só é logicamente correta para o intervalo de credibilidade.
Isso não é um exagero didático. Hoekstra, Morey, Rouder e Wagenmakers pediram a 120 pesquisadores e 442 estudantes de psicologia que avaliassem seis afirmações sobre um intervalo de confiança, todas falsas por construção. Tanto pesquisadores quanto estudantes concordaram, em média, com mais de três das seis afirmações erradas, incluindo a mais comum: “há 95% de probabilidade de que o valor real esteja dentro deste intervalo específico”. Segundo os autores, o engano foi tão frequente entre estatísticos experientes quanto entre iniciantes.
A segunda razão é numérica, e é o coração deste artigo: em muitos casos práticos, principalmente com um prior bayesiano fraco e amostra razoável, os dois intervalos saem com valores quase idênticos. Quando os números batem, fica fácil assumir (errado) que o significado também bate. A seção seguinte mostra exatamente essa coincidência, com dados reais.
Um exemplo lado a lado, com números reais
Para não deixar a diferença no abstrato, vamos usar o mesmo par de números do nosso guia de significância estatística: o controle (A) teve 210 conversões em 4.200 visitantes; a variação (B), 273 em 4.200. Os dois blocos abaixo saíram dos dois motores que já rodam nas calculadoras deste blog, o significance() frequentista e o bayesianAbTest() bayesiano (posterior Beta com prior uniforme Beta(1,1)), sem nenhum número arredondado de ouvido.
Taxa de cada versão: os dois intervalos, lado a lado
| Versão | Taxa observada | IC de confiança (Wilson, 95%) | Intervalo de credibilidade (95%) |
|---|---|---|---|
| A (controle) | 5,00% | 4,38% a 5,70% | 4,38% a 5,70% |
| B (variação) | 6,50% | 5,79% a 7,29% | 5,79% a 7,29% |
Repare: os dois intervalos de A praticamente coincidem (a diferença aparece só na quarta casa decimal), e o mesmo vale para B. Isso acontece porque o prior bayesiano usado aqui é o uniforme Beta(1,1), o mais fraco possível, e a amostra de 4.200 visitantes por lado é grande o bastante para a evidência dominar qualquer influência do prior. Mesmo assim, a pergunta que cada intervalo desta tabela responde continua sendo outra: o de confiança fala sobre o método; o de credibilidade fala sobre a probabilidade real da taxa de B estar entre 5,79% e 7,29%, dado que você observou 273 conversões em 4.200 visitantes.
A diferença entre A e B: onde os dois motores divergem de verdade
Onde a coincidência numérica acaba é na pergunta “B é melhor que A?”. Rodando o motor frequentista sobre a diferença entre as duas taxas, o resultado é um escore z de 2,95, valor-p de 0,0031 (bilateral) e um intervalo de confiança da diferença de +0,50 a +2,50 pontos percentuais, resultado significativo (abaixo de 0,05). Essa conta responde: “se A e B fossem de fato iguais, a chance de ver uma diferença deste tamanho só por acaso seria de 0,31%.”
Rodando o motor bayesiano sobre o mesmo par de números, a resposta muda de forma: a probabilidade de B realmente superar A é de 99,8%, a melhora relativa das médias posteriores é de +29,9%, e o risco esperado de decidir por B (a perda esperada caso A fosse, na verdade, melhor) é de apenas 0,00 ponto percentual (a conta exata dá 0,0002 pp, arredondada para baixo pela calculadora), contra 1,50 ponto percentual de risco ao decidir por A. Essa conta responde diretamente à pergunta que a maioria dos gestores realmente faz: “qual a chance de eu estar certo escolhendo B, e quanto eu arrisco se estiver errado?”.
Confira você mesmo os dois lados com os mesmos números (210 conversões em 4.200 visitantes para A; 273 em 4.200 para B). Primeiro, a leitura frequentista:
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
Agora a mesma dupla de números, na leitura bayesiana:
Modelo Beta-Binomial com prior uniforme Beta(1,1) e intervalo de credibilidade de 95%. Cálculo determinístico, recalcula ao vivo.
Note que os dois blocos concordam sobre o fato central (B é melhor, com folga), mas só o segundo devolve uma frase que soa como “há 99,8% de chance de B ser melhor que A”. O primeiro nunca vai devolver essa frase, mesmo que o valor-p pareça convidar a lê-la assim.
Onde essa diferença importa na prática
Para a maior parte das decisões do dia a dia, a distância entre os dois conceitos é acadêmica: ambos concordam sobre a direção do efeito, e o time segue em frente. Mas existem três situações concretas em que a diferença deixa de ser semântica e vira um risco real de comunicação:
- Relatar resultado para quem não é técnico. Um estatístico sabe que “95% de confiança” não é uma probabilidade sobre o valor real, mas um gestor, um investidor ou um cliente quase sempre vai interpretar assim, porque é a leitura mais natural em português. Se a peça que você está usando é frequentista, comunicar como se fosse bayesiana promete uma certeza que a conta não sustenta.
- Comparar o risco de duas decisões. “B tem 99,8% de chance de ser melhor, e o risco de errar escolhendo B é de apenas 0,0002 ponto percentual (arredondado, 0,00 pp na calculadora)” é uma frase acionável, que já embute o tamanho do erro possível. A tradução frequentista equivalente (“o valor-p é 0,0031”) exige um passo extra de interpretação que a maioria dos times pula, ou faz errado.
- Explicar por que um teste ficou inconclusivo. Um intervalo de confiança largo demais é fácil de descrever como “não sabemos”, mas um intervalo de credibilidade largo permite ir além: dá para dizer, por exemplo, “há 62% de chance de B ser melhor, mas ainda não o suficiente para decidir com segurança”, uma afirmação de grau que o valor-p sozinho não entrega.
| O que você quer dizer | Pode dizer com IC de confiança? | Pode dizer com intervalo de credibilidade? |
|---|---|---|
| “Há 95% de chance de o valor real estar aqui dentro” | Não. É a leitura errada mais comum, segundo Hoekstra et al. (2014) | Sim, é exatamente essa a definição |
| “Se eu repetisse este teste muitas vezes, 95% dos intervalos calculados assim conteriam o valor real” | Sim, é a definição correta | Não é a pergunta que este intervalo responde |
| “B tem X% de chance de ser melhor que A” | Não diretamente (exige transformar o valor-p, o que a maioria não faz certo) | Sim, é o resultado direto do modelo |
| “O risco esperado de escolher errado é de Y pontos percentuais” | Não faz parte do cálculo | Sim, é a perda esperada (expected loss) |
Uma diferença técnica a mais: de onde vem cada intervalo
Vale registrar de onde cada número sai, porque isso explica por que a coincidência do exemplo acima não é garantida em todo cenário. O intervalo de confiança Wilson usado nesta página é construído a partir da curva normal que aproxima a distribuição binomial, sem nenhuma crença prévia envolvida, só a contagem de conversões e visitantes. O intervalo de credibilidade sai de uma posterior Beta(1 + conversões, 1 + não-conversões), obtida ao combinar o prior uniforme Beta(1,1) com os mesmos dados observados, e depois cortada nos percentis 2,5% e 97,5% dessa distribuição (o corte chamado de equal-tailed, o mais comum e o que a calculadora bayesiana deste blog usa). Existe uma segunda forma de cortar o intervalo de credibilidade, o HPD (highest posterior density, ou região de maior densidade posterior), que busca o menor intervalo possível que ainda contém 95% da massa; para uma posterior simétrica como a deste exemplo, os dois cortes praticamente coincidem, mas para uma posterior bem assimétrica (poucos dados, taxa perto de 0% ou 100%) eles podem divergir de forma visível. O prior fraco e a amostra grande do nosso exemplo são exatamente a condição em que o intervalo de confiança e o de credibilidade convergem numericamente; com um prior mais forte ou uma amostra pequena, os dois números podem se afastar bem mais um do outro, mesmo que a interpretação de cada um continue exatamente a mesma.
CI e intervalo de credibilidade não são a mesma régua com nome diferente
Vale fechar um mal-entendido irmão deste: nenhum dos dois é “mais rigoroso” que o outro por definição. O guia de significância estatística já mostra a fórmula do teste-z e o intervalo de confiança da diferença; o guia de priors bayesianos mostra como a escolha do prior molda a posterior que gera o intervalo de credibilidade. As duas contas partem de dados reais e chegam a vereditos defensáveis, cada uma dentro da lógica da sua própria escola. O erro não é escolher a frequentista ou a bayesiana, é falar a frase de uma enquanto pensa no significado da outra, o que é exatamente o que a maioria das pessoas faz sem perceber.
Faça isso automático na Donnu
Você acabou de ver por que “95% de confiança” e “95% de chance de o valor real estar aqui” não são a mesma frase, mesmo quando os números parecem idênticos. Esse é o tipo de detalhe que vira mal-entendido caro numa reunião de resultado: alguém promete a um stakeholder uma certeza que o intervalo de confiança nunca ofereceu. A Donnu resolve isso na raiz porque já roda sobre um motor bayesiano nativo: o veredito que você recebe já vem na forma da pergunta que todo mundo realmente faz (“qual a chance de B ser melhor, e quanto eu arrisco se escolher errado?”), sem que o seu time precise traduzir um valor-p em uma frase que ele não sustenta.
Comece um teste grátis de 14 dias e leia também o guia completo de significância estatística, o guia de priors bayesianos e o Thompson Sampling explicado, que usa essa mesma posterior bayesiana para decidir tráfego em tempo real. Prefere calcular à parte? Use a calculadora de intervalo de confiança ou a calculadora bayesiana de teste A/B deste blog.
Referências
- Hoekstra, R., Morey, R. D., Rouder, J. N. & Wagenmakers, E.-J. Robust misinterpretation of confidence intervals. Psychonomic Bulletin & Review, 21(5), 1157-1164, 2014. pubmed.ncbi.nlm.nih.gov/24420726.
- Morey, R. D., Hoekstra, R., Rouder, J. N., Lee, M. D. & Wagenmakers, E.-J. The fallacy of placing confidence in confidence intervals. Psychonomic Bulletin & Review, 23, 103-123, 2016. pubmed.ncbi.nlm.nih.gov/26450628.
- GrowthBook. How to interpret a confidence interval, step by step. growthbook.io/insights/how-interpret-confidence-interval-step-by-step.
Perguntas frequentes
- Intervalo de confiança e intervalo de credibilidade dão o mesmo número?
- Frequentemente sim, ou muito perto disso, quando o prior bayesiano é fraco (como o uniforme Beta(1,1)) e a amostra é razoavelmente grande: as duas contas convergem para valores numéricos quase idênticos. O que muda por completo é o que esse número tem permissão de significar. É exatamente essa coincidência numérica que alimenta a confusão entre os dois conceitos.
- Posso dizer que "há 95% de chance de a taxa real estar dentro do intervalo de confiança"?
- Não, formalmente. Essa é a interpretação bayesiana, e ela pertence ao intervalo de credibilidade, não ao intervalo de confiança frequentista. O intervalo de confiança já foi calculado; a taxa real ou está dentro dele ou não está, não existe mais probabilidade nenhuma envolvida naquele intervalo específico. A frase "95% de confiança" descreve o método usado para construir o intervalo, não o intervalo em si.
- Por que essa diferença importa se os números costumam ser parecidos?
- Porque a decisão de negócio muitas vezes depende de uma afirmação probabilística direta ("qual a chance de essa mudança ser real?"), e só o intervalo de credibilidade responde isso com honestidade. Usar a linguagem errada com um stakeholder pode fazer parecer que você está mais (ou menos) seguro do resultado do que a matemática realmente sustenta.
- O intervalo de credibilidade depende do prior escolhido?
- Sim, essa é a principal diferença estrutural entre os dois. O intervalo de confiança não usa prior algum, só os dados observados. O intervalo de credibilidade combina os dados com uma crença prévia (o prior); com um prior fraco e uniforme, como o Beta(1,1) usado neste blog, essa influência é pequena e desaparece rápido conforme a amostra cresce, mas com um prior forte a diferença numérica entre os dois intervalos pode ficar bem maior.
- Qual dos dois eu devo usar no meu teste A/B?
- Os dois são defensáveis, e não competem entre si: o intervalo de confiança é o padrão da literatura clássica e de relatórios formais; o intervalo de credibilidade tende a comunicar melhor com quem decide, porque responde exatamente à pergunta que a maioria das pessoas já assume estar recebendo. O erro não é escolher um dos dois, é falar a linguagem de um enquanto pensa no significado do outro.