Simulador de peeking em teste A/B

Esta ferramenta é sobre um erro de processo, não sobre a conta de um teste. Se você quer o veredito de um teste que já terminou, use a calculadora de significância estatística ou a calculadora de valor-p. Aqui a pergunta é outra: se eu ficar olhando e parar cedo, quanto isso corrói a minha taxa de erro? A resposta assusta.

Como usar

1. Defina quantas vezes você espia o resultado ao longo do teste (por exemplo, uma olhada por dia num teste de dez dias = 10).
2. Escolha o nível de confiança que você usa para declarar vitória (95% é o padrão).
3. Diga se o teste é bilateral (A ou B pode vencer) ou unilateral (você só aposta que B sobe).
4. Deixe o número de testes A/A simulados em 20.000 (mais simulações = estimativa mais estável) e leia o falso positivo real.
5. Compare a barra vermelha (real ao espiar) com a azul (o que você imagina ter). Clique em rodar de novo para ver a estimativa oscilar entre simulações.

Como funciona: a simulação por trás

A ferramenta roda milhares de testes A/A: em cada um, A e B têm exatamente a mesma taxa, ou seja, não existe diferença real. Todo "vencedor" que aparecer é, por definição, falso. Em cada teste simulado, ela olha o resultado nas espiadas igualmente espaçadas e conta quantos cruzam o limite de significância em ALGUMA olhada, aplicando a regra de parada "parei no primeiro que deu significativo".

Para modelar a estatística de forma fiel, usamos o resultado clássico dos testes de grupo sequencial: no limite de amostra grande, o valor-z observado ao longo do tempo se comporta como um movimento browniano padronizado. A cada espiada na fração de informação t, o z vale B(t)/√t, com incrementos independentes normais. É a mesma base matemática das fronteiras de O'Brien-Fleming e de Pocock.

Desse modelo sai uma consequência contraintuitiva: a inflação depende de quantas vezes você espia, não do seu tráfego. Por isso o simulador não pede taxa de conversão nem tamanho de amostra: com 1.000 ou 1.000.000 de visitantes, dez espiadas inflam o falso positivo praticamente do mesmo jeito.

Exemplo trabalhado (reproduz o resultado padrão)

Com os valores que já vêm preenchidos: 10 espiadas, 95% de confiança, teste bilateral e 20.000 testes A/A simulados (semente fixa).

• Dos 20.000 testes A/A simulados, cerca de 3.920 cruzam o limite de significância em alguma das dez espiadas.
• Falso positivo real: 3.920 / 20.000 = 19,6%.
• Você achava que era 5% (o α nominal de 95% de confiança).
• Inflação: 19,6% / 5% ≈ ×3,9. Ou seja, cerca de 1 em cada 5 testes sem efeito real mostra um vencedor inexistente.

É exatamente o que a ferramenta mostra ao abrir a página. E a curva é conhecida: a tabela abaixo (com a mesma semente) reproduz o resultado clássico de Armitage para olhadas igualmente espaçadas.

Como interpretar e onde ela engana

O número que importa é a distância entre a barra vermelha e a azul: é o tamanho do autoengano. Uma equipe que espia todo dia e para no primeiro dia verde acha que erra 5% das vezes, mas erra quase 20%. Multiplicado por dezenas de testes ao ano, isso é uma pilha de "vitórias" que não se sustentam quando você tenta repetir o ganho em produção.

Dois limites honestos desta simulação. Primeiro, ela assume espiadas igualmente espaçadas e a regra de parada mais ingênua (parar no primeiro significativo, sem gastar alpha de propósito); métodos sequenciais bem-feitos controlam o erro justamente ajustando o limite a cada olhada. Segundo, é o cenário de amostra grande (aproximação browniana): com poucas conversões por espiada, o comportamento discreto foge um pouco da curva, mas a lição não muda. Espiar e parar cedo sem correção infla o falso positivo, ponto.

Como parar de espiar (sem perder velocidade)

A defesa não é olhar menos por força de vontade, é tirar a decisão da olhada.

• Fixe a amostra e o prazo antes de começar, com a calculadora de tamanho de amostra e a calculadora de duração, e só leia o veredito no fim.
• Se você precisa mesmo olhar no meio (para abortar algo que faz mal), use um método sequencial que gasta o alpha de propósito, não o corte de 95% repetido.
• Quer mais testes por ano sem trapacear? A alavanca é tráfego e tamanho de efeito. Veja quanto o seu tráfego banca na calculadora de velocidade de testes.
• Ao ler o fim do teste, confirme o veredito com a calculadora de significância em vez de confiar no primeiro dia que ficou verde.

Perguntas frequentes

O que é peeking em teste A/B?

Peeking (espiar) é olhar o resultado de um teste A/B enquanto ele ainda roda e decidir parar assim que o valor-p cruza o limite de significância. O problema é que cada espiada é uma nova chance de o acaso cruzar esse limite. Quando você para na primeira que deu significativo, o seu falso positivo real fica muito acima dos 5% que você acha que tem. É a causa nº 1 de vitórias falsas em experimentação.

Por que espiar infla o falso positivo?

Um teste a 95% de confiança aceita 5% de chance de falso positivo em UMA olhada. Se você olha dez vezes ao longo do teste e para na primeira significativa, são dez chances de o ruído cruzar o limite, não uma. As olhadas são correlacionadas (o dado de amanhã inclui o de hoje), então a inflação não é 10 × 5%, mas cresce rápido: dez espiadas levam o falso positivo real para perto de 20%.

Quantas vezes posso espiar sem estragar o teste?

Numa análise de horizonte fixo, o número honesto de espiadas para decidir é uma: no fim do prazo planejado. Toda espiada extra com regra de parada sobe o falso positivo. Se você precisa mesmo olhar no meio (por exemplo, para abortar um teste que faz mal), use métodos sequenciais que gastam o alpha de propósito, como as fronteiras de O'Brien-Fleming ou de Pocock, em vez de reusar o corte de 95% a cada olhada.

A inflação depende do meu tráfego ou da taxa de conversão?

Quase não. O que manda é quantas vezes você espia, não o tamanho da amostra nem a taxa base. Por isso este simulador pede só o número de espiadas, o nível de confiança e o tipo de teste: no limite de amostra grande, a estatística sequencial vira um movimento browniano padronizado, e a inflação do falso positivo fica praticamente igual para 1.000 ou 1.000.000 de visitantes.

Como parar de espiar sem perder velocidade?

Fixe a amostra e o prazo antes de começar (use a calculadora de tamanho de amostra e a de duração) e só leia o veredito no fim. Se quiser rodar mais testes por ano sem trapacear, a alavanca certa é tráfego e tamanho de efeito, não olhar mais cedo. Veja quantos testes o seu tráfego banca na calculadora de velocidade de testes.

Este simulador é reprodutível?

Sim. Ele roda uma simulação de Monte Carlo com semente fixa, então abrir a página sempre mostra o mesmo número para os mesmos parâmetros. O botão "rodar de novo" troca a semente para você ver a estimativa oscilar de leve entre rodadas, que é a variação natural de qualquer simulação. Aumentar o número de testes simulados deixa a estimativa mais estável.

Continue

Entendido o custo de espiar, dimensione o teste com a calculadora de tamanho de amostra, planeje o prazo com a calculadora de duração de teste A/B e leia o veredito só no fim com a calculadora de significância. O contexto completo está no guia o que é teste A/B e em quantos visitantes um teste A/B precisa. Para o aprofundamento no tema, leia o problema do peeking em teste A/B.