Significância Estatística em Teste A/B: O Guia

Significância estatística em teste A/B é a medida de quão improvável é que a diferença observada entre duas versões tenha surgido só por acaso. Um resultado costuma ser chamado de “significativo” quando o valor-p fica abaixo de 0,05, ou seja, menos de 5% de probabilidade de uma diferença desse tamanho (ou maior) aparecer se as duas versões fossem, de fato, idênticas.

Essa resposta de uma frase é onde a maioria dos guias para. Este não. Abaixo você encontra a fórmula real do z-test resolvida termo a termo, calculadoras ao vivo que reproduzem exatamente essa conta, o erro do peeking que infla falsos positivos em silêncio, e a resposta honesta para “deu significativo, e agora?”. É a referência que a gente gostaria de ter encontrado ao construir um produto de teste A/B do zero, escrita para quem precisa defender uma decisão de negócio real com esse número, não só passar numa prova de estatística.

O que é significância estatística em teste A/B

Todo teste A/B responde a uma pergunta: a diferença entre o seu controle (A) e a sua variação (B) é sinal, ou é ruído? Significância estatística é a ferramenta que separa um do outro.

Aqui está o exercício que faz isso fazer sentido. Imagine que você divide o tráfego em duas páginas idênticas, A e A, sem nenhuma diferença real entre elas. Por causa da aleatoriedade pura, elas quase nunca vão mostrar exatamente a mesma taxa de conversão. Uma sempre vai parecer um pouco melhor que a outra, só por acaso. Significância estatística é a disciplina de perguntar: a diferença que estou vendo é maior do que a diferença que duas páginas idênticas mostrariam de qualquer jeito, só pela aleatoriedade?

Formalmente, todo teste parte de uma hipótese nula: “não existe diferença real entre A e B”. Toda a maquinaria estatística existe para medir quanta evidência você tem contra essa hipótese nula. Você nunca “prova” tecnicamente que B é melhor, você acumula evidência suficiente para rejeitar a suposição de que os dois são iguais.

O valor-p, sem mistério

O valor-p responde a uma pergunta bem específica: se A e B fossem de fato idênticos, qual a probabilidade de ver uma diferença tão grande quanto essa, só por amostragem aleatória? Um valor-p de 0,03 significa 3% de chance de ver esse resultado (ou algo mais extremo) se não houvesse diferença real nenhuma.

Essa precisão importa porque o valor-p é lido errado o tempo todo. Três interpretações para evitar:

• “O valor-p é a probabilidade de B ser melhor.” Não. Um valor-p de 0,03 não é 97% de chance de B vencer. Ele só descreve o quão surpreendentes seriam os seus dados sob a suposição de que não há diferença.
• “Sem significância quer dizer que A e B são iguais.” Não. Quase sempre quer dizer que ainda falta evidência, geralmente porque a amostra é pequena, não que o efeito é zero.
• “p = 0,049 é bem diferente de p = 0,051.” Não. A linha de 0,05 é uma convenção, não um precipício. Trate valores perto do limite como “ainda reunindo evidência”, não como aprovado/reprovado.

Nível de confiança e nível de significância (alfa)

O nível de significância (alfa) é a taxa de falso positivo que você aceita correr, decidida antes do teste rodar. O nível de confiança é só 1 menos alfa, em porcentagem. Um nível de confiança de 95% significa alfa = 0,05: 5% de chance de declarar um vencedor que não existe.

Confiança	Alfa	O que custa
90%	0,10	Decisões mais rápidas, mas 1 em cada 10 “vitórias” é um alarme falso
95%	0,05	Padrão de mercado; equilibra velocidade e confiabilidade
99%	0,01	Poucos falsos positivos, mas exige muito mais tráfego

Use 90% só para mudanças de baixo risco e fáceis de reverter, onde velocidade importa mais que certeza. Reserve 99% para decisões caras ou difíceis de reverter (preço, arquitetura de checkout), onde o custo de um falso positivo justifica o tráfego extra.

Os dois erros que estragam decisões: Tipo I e Tipo II

Todo teste pode errar de exatamente duas formas. Um erro Tipo I (falso positivo) é declarar um vencedor que não existe; o nível de confiança escolhido controla isso diretamente (5% a 95% de confiança). Um erro Tipo II (falso negativo) é perder uma melhora real porque o teste não foi sensível o bastante para detectá-la; o poder estatístico controla isso.

Poder estatístico e Efeito Mínimo Detectável (MDE)

Poder é a probabilidade de o seu teste detectar um efeito real, se ele existir. O padrão da indústria é 80% de poder, o que significa aceitar 20% de chance de perder uma melhora genuína. Poder e tamanho de amostra estão diretamente ligados: com poucos visitantes, até um ganho real e relevante pode passar despercebido.

A outra metade da equação é o Efeito Mínimo Detectável (MDE): o menor ganho que você decidiu que vale a pena descobrir. Definir um MDE não é só exercício de estatística, é uma decisão de negócio. Detectar um salto enorme de +50% é barato em tráfego; detectar um ganho minúsculo de +2% pode exigir dezenas de vezes mais visitantes, porque o sinal fica muito mais perto do ruído comum da variação do dia a dia.

A matemática por trás: o z-test de duas proporções, termo a termo

Essa é a parte que quase todo guia pula. Para duas proporções (a sua taxa de controle e a de variação), o teste padrão calcula um escore z, a distância entre as duas taxas medida em “desvios padrão do acaso”:

Termo a termo: p_A e p_B são as taxas de conversão de cada versão; n_A e n_B, os visitantes de cada uma; p̄ (p-barra) é a taxa combinada das duas, a estimativa de “como seria a taxa se A e B fossem idênticas”. Quanto maior o escore z, mais longe do acaso está a diferença observada, e o valor-p é só esse z traduzido em probabilidade.

Um exemplo trabalhado, ponta a ponta

O controle (A) teve 210 conversões em 4.200 visitantes; a variação (B), 273 em 4.200.

• Taxa de A: 210 ÷ 4.200 = 5,00%. Taxa de B: 273 ÷ 4.200 = 6,50%.
• Melhora relativa: (6,5 − 5,0) ÷ 5,0 = +30%. Parece ótimo, mas é real?
• Taxa combinada p̄: (210 + 273) ÷ 8.400 = 5,75%.
• Erro padrão: √[0,0575 · 0,9425 · (1÷4.200 + 1÷4.200)] ≈ 0,00508.
• Escore z: (0,065 − 0,050) ÷ 0,00508 ≈ 2,95.
• Valor-p bilateral ≈ 0,003.

Um valor-p de 0,003 passa a barreira de 0,05 com folga: o resultado é significativo, B vence. É exatamente essa conta que a calculadora abaixo faz por você, ao vivo, com os seus próprios números.

z-test x t-test, unilateral x bilateral

Taxas de conversão (o visitante converte ou não) usam um z-test, que é o que roda a calculadora desta página. Métricas contínuas, como receita por visitante ou tempo na página, precisam de um t-test, porque a variância delas se comporta de forma diferente, e com amostras pequenas as caudas um pouco mais largas do t-test compensam melhor a incerteza extra de estimar variância com poucos dados. Sobre a lateralidade: um teste bilateral checa diferença em qualquer direção e é o padrão seguro; um teste unilateral só checa melhora numa direção específica, o que é mais arriscado porque não pega uma variação que piora as coisas em silêncio. A menos que você tenha um motivo bem específico para descartar uma direção inteira, use bilateral como padrão.

Teste agora: calculadora de significância estatística

Cole os visitantes e as conversões de cada versão. A calculadora devolve as taxas, a melhora relativa, o valor-p, o intervalo de confiança da diferença e um veredito honesto:

Controle (A)

VisitantesConversões

Variação (B)

VisitantesConversões

Confiança90%95%99%

Controle (A) · Taxa-

Variação (B) · Taxa-

Melhora relativa-

valor-p-

IC 95% da diferença-

Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.

Intervalos de confiança: reporte isso, não só o valor-p

O valor-p diz se existe diferença significativa. O intervalo de confiança diz a faixa plausível dessa diferença, o que é muito mais útil para uma decisão de negócio. Se o intervalo de 95% do lift de B é “+0,5 a +2,5 pontos percentuais”, mesmo o pior cenário plausível dentro dessa faixa ainda é uma melhora.

Um intervalo de confiança que cruza o zero (por exemplo, “-0,3 a +2,1 pontos”) é a definição visual de “sem significância”: o efeito real pode ser plausivelmente negativo, zero ou positivo, então você ainda não tem uma direção confiável.

Quão grande deve ser a sua amostra?

O tamanho de amostra depende de três coisas que você controla diretamente: a sua taxa de conversão atual, o MDE que você decidiu que vale a pena detectar, e a confiança e o poder escolhidos. Ajuste os números para o seu caso abaixo e veja visitantes por variação e a duração estimada:

Taxa de conversão atual%Efeito mínimo detectávelrelativo (%)absoluto (pp)Confiança909599%Poder8090%Visitantes por semana (total)Testebilateralunilateral

-Visitantes por variação

-Total (2 variações)

-Duração estimada

Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.

Como referência, mantendo 95% de confiança e 80% de poder, com taxa base de 5%:

Efeito mínimo detectável (relativo)	Amostra aproximada por variação
50%	~1.500
20%	~8.000
10%	~31.000
5%	~122.000

A relação não é linear, é brutal: cortar pela metade o efeito que você quer detectar multiplica por cerca de quatro a amostra necessária. É por isso que microtestes (“mudei uma palavra”) quase nunca alcançam significância em sites de tráfego médio, o efeito é pequeno e a amostra necessária, enorme. Para o passo a passo completo dessa tabela, veja quantos visitantes um teste A/B precisa.

Quanto tempo rodar o teste

Mesmo que a amostra calculada seja atingida antes, rode o teste por pelo menos uma a duas semanas inteiras. O comportamento de segunda é diferente do de domingo, e quem compra no dia do pagamento não é quem navega no fim de semana. Encerrar em três dias “porque já parece pronto” captura uma fatia enviesada da sua audiência real. No outro extremo, rodar um teste por seis semanas ou mais sem avanço geralmente quer dizer que o efeito é menor que o seu MDE, ou que o tráfego realmente não é suficiente; recalcular com um MDE maior costuma valer mais do que só esperar.

O erro nº 1 que finge significância: o peeking

Olhar o painel todo dia e parar assim que aparece “significativo” parece eficiente, mas destrói a confiabilidade do teste em silêncio. Cada olhada extra é mais uma chance de o ruído aleatório cruzar a linha de significância. Um teste desenhado para 5% de falso positivo pode subir para perto de 25% a 30% se você espia e para de forma oportunista:

Teste sequencial: espiar do jeito certo

O teste de horizonte fixo (calcular a amostra e não olhar até chegar nela) não é o único desenho válido, é só o mais simples de explicar a matemática. Teste sequencial e inferência always-valid são métodos feitos especificamente para deixar você checar resultados quantas vezes quiser sem inflar o falso positivo, gastando o seu orçamento de alfa aos poucos ao longo das olhadas em vez de tudo de uma vez.

O custo é a complexidade: métodos sequenciais (desenhos sequenciais em grupo, testes de razão de probabilidade sequencial mista e sequências de confiança always-valid parecidas) exigem que a ferramenta que roda o seu teste os implemente corretamente desde o início, não é algo que se “encaixa por cima” checando um valor-p de horizonte fixo com mais frequência. Se a sua plataforma de teste anuncia explicitamente “espie quando quiser” como recurso, ela quase certamente roda um desses métodos por baixo do capô. Se não anuncia, assuma que é horizonte fixo, e trate o peeking antecipado exatamente como no gráfico acima: um imposto silencioso sobre o seu falso positivo.

Comparações múltiplas: testar vários variantes ou métricas

Cada variante extra ou métrica extra que você checa é mais uma rodada de dados para um falso positivo escapar. Teste 20 métricas sem relação entre si a 95% de confiança e, em média, uma delas vai parecer “significativa” só por acaso, mesmo que nada real tenha mudado. É por isso que um teste com controle mais quatro variações (A/B/C/D/E) exige mais cuidado que um A/B simples, e por que “achamos um vencedor numa das doze métricas secundárias” é uma afirmação fraca por si só.

A correção padrão é um ajuste, o mais simples é o método de Bonferroni: divida o seu limite de significância (0,05) pelo número de comparações que está fazendo. Testar 5 variações contra o controle significa usar algo como 0,05 ÷ 5 = 0,01 como barreira de significância efetiva para cada uma. É conservador, mas mantém a sua taxa real de falso positivo honesta. A trava prática mais simples: decida a métrica primária e o número de variações antes do teste, e trate qualquer achado ao vasculhar o resto como hipótese para o próximo teste, não como conclusão deste.

Checagens de sanidade antes de confiar em qualquer valor-p

Um valor-p perfeito no papel ainda pode ser inútil se a coleta de dados estava quebrada. Duas checagens para rodar antes de confiar em qualquer resultado:

• Sample Ratio Mismatch (SRM). Se você configurou uma divisão 50/50 mas o tráfego real chegou, digamos, 55/45 sem um bom motivo, algo está quebrado na aleatorização, no cache ou na filtragem de bots, e nenhum valor-p daquele teste é confiável, por mais convincente que pareça. Um simples teste qui-quadrado sobre a contagem de visitantes (não conversões) pega isso em segundos.
• Efeito novidade, sazonalidade e bugs de instrumentação. Uma página redesenhada às vezes vence no início só porque é nova e visitantes curiosos clicam mais, um efeito que desaparece nas semanas seguintes. Comparar semana contra semana em vez de rodar as duas variações ao mesmo tempo convida a sazonalidade a se disfarçar de melhora real. E um bug de rastreamento que dispara um evento duas vezes, ou falha em disparar numa variação, produz números internamente consistentes e completamente errados.

Métricas contínuas: receita, ticket médio e tempo na página

Tudo o que vimos até aqui assume um resultado binário: o visitante converte, ou não. Métricas como receita por visitante, ticket médio (AOV) ou tempo na página são contínuas, e precisam de uma ferramenta diferente: tipicamente um t-test (ou uma alternativa não paramétrica como o teste de Mann-Whitney, quando os dados são muito assimétricos), não o z-test de duas proporções usado acima.

O incômodo prático com métricas contínuas é a variância. Um punhado de pedidos grandes pode balançar a sua média com força, o que infla o erro padrão e exige muito mais tráfego para chegar à significância do que um teste simples de taxa de conversão exigiria. Duas correções comuns: limitar ou winsorizar outliers (um único pedido de R$ 50 mil não deveria decidir sozinho um teste feito para medir comportamento típico), e reportar a mediana junto com a média, já que a mediana é bem menos sensível a um punhado de valores extremos.

Significância estatística x significância prática

Um resultado pode ser estatisticamente significativo e ainda assim não importar para o negócio. Se um valor-p de 0,02 corresponde a um lift de +0,1 ponto percentual, pergunte se esse ganho vale o custo de engenharia de colocar no ar. Antes de rodar o teste, defina um efeito mínimo praticamente significativo, o menor lift que de fato justificaria a implementação, separado do menor lift que você consegue detectar estatisticamente (o seu MDE). Significância estatística responde “isso é real?”; significância prática responde “vale a pena fazer?”

Essa distinção importa mais com amostras muito grandes. Rode um teste em milhões de visitantes e até um efeito genuinamente minúsculo e comercialmente irrelevante (digamos, +0,05 ponto percentual) acaba passando da barreira de 0,05, porque com dados suficientes quase qualquer diferença real, por menor que seja, se torna detectável. Empresas grandes com tráfego enorme às vezes caem na armadilha de colocar no ar uma lista longa de mudanças “estatisticamente significativas” que, somadas, não movem nenhum painel que um líder de negócio de fato acompanha. Definir o seu MDE de propósito, em vez de só rodar o teste até algo ficar verde, é o que mantém a significância ligada a algo que importa.

Frequentista x bayesiano: duas formas de definir “significância”

Tudo acima é a abordagem frequentista: valores-p e um nível de significância fixo. A abordagem bayesiana responde à mesma pergunta de outro jeito, ela dá diretamente a probabilidade de B ser melhor que A (“B tem 97% de chance de superar A”), junto com a perda esperada se você escolher errado.

	Frequentista	Bayesiano
Saída	Valor-p, significativo ou não	Probabilidade de B vencer
Soa como	“5% de chance de ser sorte”	“97% de chance de B ser melhor”
Parada antecipada	Exige métodos sequenciais	Naturalmente mais tolerante, com os priors certos
Status na indústria	Padrão consolidado	Crescente, principalmente em SaaS product-led

Nenhuma é universalmente superior. A saída bayesiana costuma ser mais intuitiva para quem decide sem ser estatístico; a frequentista continua o padrão acadêmico e de mercado. O que não muda em nenhuma das duas: você ainda precisa de amostra e tempo suficientes, e nenhuma das duas conserta um teste mal desenhado.

Sites de baixo tráfego: testar sem volume suficiente

Se o seu tráfego não alcança a amostra que um MDE pequeno exige, você tem três saídas honestas. Primeiro, aumente o seu MDE: pare de perseguir +2% e teste mudanças grandes o bastante para plausivelmente render +20% ou mais, já que efeitos maiores exigem drasticamente menos tráfego. Segundo, olhe para técnicas de redução de variância como o CUPED, que usa dados pré-experimento para reduzir ruído e aumentar a sensibilidade do teste sem mais visitantes. Terceiro, quando o volume de fato não sustenta nenhum teste confiável, apoie-se em pesquisa qualitativa, gravação de sessão, entrevistas com usuários e testes de usabilidade, para decidir bem sem um veredito quantitativo.

O checklist final: dá para declarar um vencedor?

• A amostra foi calculada antes de o teste começar, com base numa taxa base e um MDE reais?
• O teste rodou por pelo menos um a dois ciclos de negócio completos?
• O valor-p está abaixo do alfa escolhido, e o intervalo de confiança evita cruzar o zero?
• Você checou o Sample Ratio Mismatch (a divisão de tráfego bate com a configurada)?
• O tamanho do efeito é grande o bastante para ser praticamente significativo, não só estatisticamente?
• Você evitou espiar e parar oportunisticamente, ou usou um método feito para isso?

Se todos os itens estão marcados, dá para declarar o vencedor com confiança. Se falta algum, trate o resultado como provisório, continue coletando dados, ou rode o teste de novo já com a lacuna corrigida, em vez de reportar um número que você não consegue defender de verdade.

Nada desse checklist é sobre virar estatístico. É sobre a diferença entre um teste que é contestado três meses depois, quando a “vitória” não se sustenta nos números agregados, e um que resiste ao escrutínio porque cada etapa foi feita na ordem certa: planeje a amostra primeiro, rode limpo, e leia o resultado uma única vez.

Glossário rápido

• Alfa: o nível de significância que você aceita, tipicamente 0,05.
• Beta: a taxa de falso negativo que você aceita, tipicamente 0,20 (poder = 1 − beta).
• Taxa base: a taxa de conversão do seu controle antes do teste.
• MDE: Efeito Mínimo Detectável, o menor ganho que vale a pena descobrir.
• Proporção combinada (p̄): a taxa de conversão combinada das duas variações, usada para estimar como seria “sem diferença nenhuma”.
• SRM: Sample Ratio Mismatch, quando o tráfego não se divide do jeito configurado, sinal de que a coleta de dados do teste está quebrada.

Faça isso automático na Donnu

Você acabou de ver tudo o que um teste A/B estatisticamente honesto exige: o tamanho de amostra certo, a duração certa, evitar peeking, checar Sample Ratio Mismatch e ler significância sem se enganar. A Donnu já faz tudo isso por padrão. Você define a hipótese e a métrica-alvo; a Donnu dimensiona o teste, coleta os dados com um snippet que nunca trava a sua página, e declara o vencedor com estatística honesta, bayesiana ou frequentista. Sem achismo, sem p-value theater.

Comece um teste grátis de 14 dias e rode o seu próximo experimento sobre uma base que já faz a conta certa. Para os fundamentos, veja o que é teste A/B e como funciona, ou leia este guia em inglês.

Referências

• Kohavi, R., Tang, D. & Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Material de apoio em experimentguide.com.
• Miller, E. How Not To Run an A/B Test (o problema do peeking), 2010. evanmiller.org.
• Georgiev, G. Statistical Methods in Online A/B Testing. analytics-toolkit.com.
• Kohavi, R. et al. Seven Rules of Thumb for Web Site Experimenters. KDD, 2014.