Calculadora de intervalo de confiança

Esta ferramenta mostra a faixa de incerteza que uma taxa esconde: o intervalo de confiança. Ela tem dois modos. No primeiro, você informa conversões e visitantes e vê o intervalo da própria taxa de conversão (com Wilson ou Wald). No segundo, informa A e B e vê o intervalo da diferença entre elas em pontos percentuais. Se o que você quer é o veredito de negócio direto (quem venceu, valor-p e melhora), use a calculadora de significância estatística: ela responde "posso trocar a página?". Esta aqui responde "quão precisa é a minha medida?".

Como usar

1. Escolha o modo: uma taxa (o intervalo de uma conversão só) ou diferença entre A e B.
2. Escolha o nível de confiança: 90%, 95% (padrão) ou 99%.
3. No modo de uma taxa, preencha conversões e visitantes e escolha o método (Wilson recomendado).
4. No modo de diferença, preencha visitantes e conversões de A e de B.
5. Leia o ponto estimado e os limites inferior e superior. Na diferença, veja se o intervalo cruza ou não o zero.

Como funciona: as fórmulas

Para uma proporção, o método Wilson (padrão) é bem mais preciso que a fórmula clássica de Wald quando a taxa é baixa ou a amostra é pequena:

Onde p̂ é a taxa observada (conversões sobre visitantes), n o número de visitantes e z o valor crítico da normal (1,96 para 95%). O intervalo vai de centro menos metade até centro mais metade. Para a diferença entre duas taxas, o intervalo é (p̂B − p̂A) mais ou menos z vezes o erro padrão √( p̂A(1−p̂A)/nA + p̂B(1−p̂B)/nB ).

Exemplo trabalhado (reproduz o resultado padrão)

Com os números que já vêm preenchidos no modo de uma taxa: 120 conversões em 2.000 visitantes, então p̂ = 6,00%, e z = 1,96 para 95%. O centro de Wilson é (0,06 + 3,8415/4.000) / (1 + 3,8415/2.000) = 0,06084. A metade é (1,96/1,00192) · √(0,06·0,94/2.000 + 3,8415/(4·2.000²)) = 1,9562 · 0,005333 = 0,01043. Então o intervalo vai de 0,06084 − 0,01043 a 0,06084 + 0,01043, ou seja, de 5,04% a 7,13%, exatamente o que a ferramenta mostra ao abrir.

Trocando o método para Wald, o mesmo dado dá 6,00% mais ou menos 1,96 · √(0,06·0,94/2.000) = 6,00% mais ou menos 1,04pp, ou seja, de 4,96% a 7,04%. Repare que o intervalo de Wilson é levemente deslocado para cima e um pouco mais largo: é essa correção nos extremos que faz dele o método preferido. No modo de diferença, com A a 5,00% (100/2.000) e B a 6,50% (130/2.000), a diferença de +1,50pp vem com IC de 95% de +0,06pp a +2,94pp: como não inclui o zero, a diferença é significativa a 5%.

Como interpretar e onde ele engana

O erro de leitura mais comum é achar que "95% de confiança" é a probabilidade de o valor real estar neste intervalo. Não é: a confiança é uma propriedade do método ao longo de muitas repetições, não uma probabilidade sobre este intervalo único. O segundo erro é ler só o ponto e ignorar a largura: uma taxa de 6% medida com 50 visitantes tem um intervalo tão largo que não decide nada. Antes de concluir qualquer coisa, olhe os limites, não só o centro.

No modo de diferença, o intervalo que cruza o zero é o sinal de que você ainda não pode afirmar quem é melhor, nem que empataram: quase sempre falta amostra. Para saber quanta amostra o seu teste precisa, use a calculadora de tamanho de amostra. E lembre que um intervalo estreito longe do zero é o cenário ideal: efeito real e bem medido.

Boas práticas ao ler um intervalo

O intervalo de confiança é honesto sobre a incerteza, desde que você o leia direito. Cheque estes pontos.

• Reporte sempre o intervalo junto do ponto. Uma taxa sem intervalo esconde o quanto ela pode variar.
• Use Wilson para proporções. O Wald engana quando a taxa é baixa ou a amostra é pequena.
• No A/B, olhe se o intervalo da diferença cruza o zero antes de declarar um vencedor.
• Se o intervalo está largo demais, colete mais dados. A largura cai com a raiz da amostra.

Perguntas frequentes

O que é um intervalo de confiança, em uma frase?

É a faixa de valores plausíveis para o número real da população, estimada a partir da sua amostra. Uma taxa observada de 6% com IC de 95% de 5,04% a 7,13% quer dizer que os dados são compatíveis com uma taxa verdadeira em qualquer ponto dessa faixa. O ponto sozinho engana: o intervalo mostra a incerteza que ele esconde.

O que "95% de confiança" significa de verdade?

Não é "95% de chance de o valor real estar neste intervalo específico". É uma propriedade do método: se você repetisse o experimento muitas vezes e calculasse o intervalo a cada vez, cerca de 95% desses intervalos conteriam o valor verdadeiro. O intervalo que você tem em mãos ou contém, ou não. A confiança é sobre o procedimento, não sobre este único intervalo.

Qual a diferença entre o método Wilson e o Wald?

O Wald é a fórmula clássica de livro (p̂ mais ou menos z vezes o erro padrão), simples mas ruim quando a taxa é baixa, a amostra é pequena ou o resultado chega perto de 0% ou 100%: nesses casos ele erra a cobertura e pode até passar de 0 ou de 100%. O Wilson corrige isso, tem cobertura muito melhor nos extremos e é o padrão recomendado hoje. Use Wilson por default; o Wald está aqui só para comparação didática.

Intervalo de confiança é a mesma coisa que teste de significância?

São dois lados da mesma moeda. Se o IC de 95% da diferença entre A e B não inclui o zero, a diferença é significativa a 5%. A vantagem do intervalo é que ele mostra o TAMANHO plausível do efeito, não só um sim ou não: um IC de +0,1pp a +0,3pp é significativo mas pequeno; um de +2pp a +8pp é significativo e grande. Para o veredito de negócio pronto, com valor-p e melhora, use a calculadora de significância.

Por que o intervalo diminui quando eu aumento a amostra?

Porque a largura do intervalo cai com a raiz do tamanho da amostra: para cortar o intervalo pela metade você precisa de quatro vezes mais dados. É por isso que taxas medidas com poucos visitantes vêm com intervalos enormes e não decidem nada. Se o seu intervalo está largo demais, o problema quase nunca é a fórmula: é a falta de amostra.

Continue

Entendeu a incerteza? O próximo passo é o veredito de negócio, com valor-p e melhora, na calculadora de significância. Para o valor-p isolado, veja a calculadora de valor-p. O conceito por trás está no guia significância estatística em teste A/B.