Calculadora de significância para teste A/B/n (múltiplas variações)

Esta ferramenta é para testes com mais de uma variação (A/B/n). Se você só compara uma variação B contra o controle A, use a calculadora de significância estatística, que é mais direta. Aqui o problema é outro: cada variação a mais aumenta a chance de um resultado parecer vencedor só por acaso, e é isso que a correção de Bonferroni ou Šidák corrige.

Como usar

1. Preencha o controle (A): visitantes e conversões da versão original.
2. Preencha cada variação (B, C, D...) com seus visitantes e conversões. Use o botão para adicionar quantas quiser.
3. Escolha a correção (Bonferroni é o padrão seguro) e a confiança (95% é a convenção).
4. Leia o veredito no topo e o quadro por variação: taxa, melhora, valor-p bruto, valor-p ajustado e se cada uma vence.
5. Compare o valor-p bruto com o ajustado: é ali que a correção mostra o serviço.

Como funciona: a fórmula

Cada variação é comparada contra o controle com o mesmo teste z de duas proporções da calculadora de significância comum. O que muda é o limiar. Chame de m o número de variações (comparações). A correção baixa o alfa aceito por comparação:

Uma variação vence quando o seu valor-p bruto fica abaixo desse limiar corrigido. De forma equivalente, a ferramenta também mostra o valor-p ajustado (Bonferroni: p × m; Šidák: 1 − (1 − p)^m), que você compara direto com o alfa original de 5%. As duas leituras dão o mesmo veredito.

Exemplo trabalhado (reproduz o resultado padrão)

Com os valores que já vêm preenchidos, controle A = 8.000 visitantes / 400 conversões (5,00%) e três variações, Bonferroni a 95%, então m = 3 e o limiar por comparação vira α_adj = 0,05 / 3 = 1,667%:

• B (8.000 / 520 = 6,50%, +30,0%): valor-p bruto < 0,0001, ajustado 0,0001. Fica abaixo de 1,667%, então vence com significância.
• C (8.000 / 462 = 5,78%, +15,5%): valor-p bruto 0,0299, ajustado 0,0898. O bruto passaria sozinho a 95% (0,0299 < 0,05), mas está acima do limiar corrigido (0,0299 > 0,0167), então não vence. É o falso positivo que a correção segura.
• D (8.000 / 416 = 5,20%, +4,0%): valor-p bruto 0,5653, ajustado 1,0000. Longe de qualquer limiar, sem significância.

Resultado: a vencedora é B. Sem a correção, você olharia o C, veria 0,0299 e declararia dois vencedores; um deles seria sorte. É exatamente o que a ferramenta mostra acima quando você abre a página.

Como interpretar e onde ela engana

O veredito por variação responde uma pergunta só: essa variação bate o controle de forma que sobrevive ao número de apostas que você fez. Uma variação marcada como sem significância não é necessariamente igual ao controle, quase sempre quer dizer que falta amostra para aquele efeito, ainda mais depois de a correção apertar o limiar.

Limites a ter em mente: a conta assume tráfego estável e uma métrica binária (converteu ou não), e as correções de passo único (Bonferroni, Šidák) são conservadoras por natureza, elas trocam falso positivo por poder. Se o seu objetivo é maximizar detecção com muitas variações, o caminho definitivo é planejar a amostra com esse limiar menor em mente, usando a calculadora de tamanho de amostra, e não afrouxar a correção. Antes de confiar no veredito, confirme também que a divisão de tráfego não está quebrada com o verificador de SRM.

Boas práticas com testes A/B/n

• Teste menos variações por vez. Cada uma a mais rouba poder e amostra do conjunto todo.
• Defina a métrica principal e o número de variações antes de ligar o teste, nunca adicione variação no meio do caminho.
• Use Bonferroni como padrão. Só troque por Šidák se as comparações forem realmente independentes e você quiser um fio a mais de poder.
• Rode ciclos semanais inteiros e não pare no primeiro pico. A correção resolve o problema das múltiplas variações, não o do peeking.

Perguntas frequentes

O que muda quando testo três ou mais variações ao mesmo tempo?

Cada comparação extra contra o controle adiciona uma chance de falso positivo. Com uma variação a 95% de confiança, o risco de erro é 5%. Com cinco variações, a chance de pelo menos um falso positivo por acaso sobe para cerca de 23%. Por isso um teste A/B/n precisa corrigir o limiar de significância, não basta rodar vários testes de duas proporções e olhar o menor valor-p.

Qual a diferença entre Bonferroni e Šidák?

As duas seguram o erro da família dividindo a confiança entre as comparações. Bonferroni usa o limiar alfa dividido pelo número de comparações (0,05 / 3 = 0,0167 para três variações): é a mais simples e a mais conservadora. Šidák usa 1 menos (1 menos alfa) elevado a 1 sobre o número de comparações: é um pouquinho menos rígida e assume que as comparações são independentes. Na prática dão resultados muito próximos; Bonferroni é a escolha segura padrão.

Por que uma variação passa sozinha e reprova depois da correção?

Porque o limiar mudou. Um valor-p de 0,03 rejeita a hipótese nula a 95% se você só olhasse aquela variação isolada. Mas num teste com três variações a 95%, o limiar por comparação cai para 0,0167 (Bonferroni), então 0,03 já não passa. Não é a variação que piorou: é a conta que agora cobra o preço de ter testado várias apostas ao mesmo tempo.

Essa é a mesma coisa que a calculadora de significância de duas variações?

Não. A calculadora de significância comum compara uma variação B contra o controle A e responde se aquele duelo é real. Esta é para quando você tem B, C, D ou mais contra o mesmo controle: ela roda cada duelo e corrige o limiar para o conjunto todo. Se o seu teste tem só uma variação, use a calculadora de significância estatística; ela é mais direta.

A correção pode esconder um ganho verdadeiro?

Pode. Ser mais rígido com o falso positivo custa poder estatístico: efeitos reais, porém pequenos, ficam mais difíceis de detectar. O remédio não é abandonar a correção, é planejar. Teste menos variações por vez, ou dimensione a amostra sabendo que o limiar será menor. Rodar cinco variações num tráfego que mal banca duas é o caminho mais curto para um resultado inconclusivo.

Continue

Para um duelo de duas variações, a calculadora de significância estatística é mais direta. Se você quer entender o valor-p em si, veja a calculadora de valor-p. E antes de rodar, dimensione com a calculadora de tamanho de amostra para saber se o seu tráfego banca todas essas variações.