Teste Sequencial e Inferência Sempre Válida, Explicado
Teste sequencial em A/B: como a inferência sempre válida permite espiar o resultado a qualquer momento sem inflar o falso positivo, e quando vale a pena.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
Teste sequencial (ou inferência sempre válida) é uma família de métodos estatísticos, como o mSPRT (mixture Sequential Probability Ratio Test), que permite olhar o resultado de um teste A/B quantas vezes você quiser, a qualquer momento, e ainda assim manter a taxa real de falso positivo no nível combinado, geralmente 5%. É a resposta estatística de verdade para o problema do peeking: em vez de proibir você de olhar o painel antes do fim (a solução do teste de amostra fixa), o teste sequencial redesenha a própria matemática da decisão para que olhar repetidamente pare de ser um erro.
Este guia explica o que o teste sequencial promete de verdade, como o mSPRT chega nisso sem reinventar a estatística do zero, o que ele custa em troca dessa liberdade, e quando vale mais a pena adotar um método assim do que simplesmente calcular a amostra fixa deste blog e ter a disciplina de não espiar.
O problema que o teste sequencial resolve
Todo teste A/B clássico carrega uma promessa implícita: um valor-p abaixo de 0,05 significa 5% de chance de você estar comemorando um resultado que é só ruído. Essa promessa só vale sob uma condição muito específica, que quase ninguém verbaliza: você decidiu o tamanho de amostra com antecedência e olhou o resultado exatamente uma vez, no fim. Cada olhada extra antes desse ponto, combinada com a tentação de parar assim que o número parece bom, é uma nova chance de o acaso puro cruzar a linha de significância por um instante.
O nosso guia sobre o problema do peeking mostra a matemática por trás disso em detalhe, citando a análise de Evan Miller: um teste desenhado para 5% de falso positivo, monitorado continuamente e encerrado na primeira vitória aparente, pode entregar uma taxa real de erro perto de 26% (Miller, 2010). O gráfico abaixo reproduz essa curva de inflação, e coloca ao lado dela o comportamento de um teste sequencial de verdade, que fica sob controle o tempo inteiro, não porque você resiste à tentação de olhar, mas porque o método foi desenhado matematicamente para isso:
Como o teste sequencial realmente funciona
A ideia central não é “checar com mais cuidado”, é trocar a pergunta que a estatística responde. Um teste de horizonte fixo pergunta: “nesse N específico, decidido com antecedência, a diferença observada é grande demais para ser acaso?”. Um método sequencial pergunta uma coisa mais ambiciosa: “em qualquer ponto no tempo em que eu possa querer parar, a diferença observada até ali é grande demais para ser acaso, considerando que eu poderia estar olhando de novo daqui a uma hora?”. Responder essa segunda pergunta de forma matematicamente honesta exige uma estatística diferente do valor-p de um único olhar.
O método mais usado na indústria para isso é o mSPRT (mixture Sequential Probability Ratio Test), a base do que a Optimizely chama de Stats Engine e do que a Statsig e o GrowthBook oferecem como “sequential testing”. A mecânica, em três peças:
- Uma razão de verossimilhança misturada. Em vez de testar contra um único efeito hipotético, o método calcula a razão de verossimilhança dos dados observados até agora, misturada (uma média ponderada) sobre uma distribuição inteira de efeitos possíveis. Essa mistura é o que dá o nome ao método e o que garante que ele funcione bem independente de qual seja o efeito real, que você não conhece de antemão.
- Um processo que nunca cresce além do esperado sob a hipótese nula. Se A e B são de fato iguais, esse processo de verossimilhança misturada tem, em expectativa, um teto matemático que não é ultrapassado, não importa por quanto tempo você deixe rodando. É essa propriedade (formalizada pela desigualdade de Ville) que sustenta o “sempre válido”: a probabilidade de esse processo cruzar um limiar em qualquer momento, ao longo de toda a vida do teste, já vem controlada em 5% desde o início, em vez de 5% por olhada.
- Um valor-p (ou intervalo de confiança) recalculado a cada novo dado, sempre interpretável. Ao contrário do valor-p clássico, que só é válido no N planejado, o valor-p sequencial pode ser lido em qualquer ponto do teste. Ele tende a ser mais conservador cedo (mais difícil de declarar significância no início) exatamente porque já reserva parte do risco de erro para os looks futuros que ainda vão acontecer.
Um efeito colateral importante dessa mecânica: os intervalos de confiança e os “valores-p sempre válidos” de um método sequencial costumam ser mais largos e mais conservadores do que um valor-p de horizonte fixo calculado sobre o mesmo N, principalmente cedo no teste. Isso não é um defeito, é o preço explícito de a leitura continuar sendo válida em qualquer ponto futuro. A Statsig documenta essa troca com números reais de um teste próprio rodado por 28 dias com múltiplas checagens: o mSPRT manteve o falso positivo em cerca de 1,1% (abaixo do teto nominal de 5%), contra 5,0% de um horizonte fixo com um único olhar disciplinado e 17,3% de um z-test clássico checado repetidamente sem nenhuma correção, ao custo de um poder estatístico geral em torno de 84% do poder do teste de horizonte fixo equivalente (Statsig, 2025).
“Pare quando quiser”: o que essa promessa cobre, e o que ela não cobre
Vale desfazer um mal-entendido comum antes de ir adiante: teste sequencial não é “olhe sempre que quiser e não precisa mais pensar em amostra”. Ele troca uma regra rígida (nunca olhe antes do N) por uma regra mais flexível, mas ainda assim uma regra: a leitura em cada ponto do tempo é honesta, só que ela reflete tudo o que ainda pode acontecer depois. A tabela abaixo resume os três cenários que já apareceram nos gráficos acima, lado a lado:
| Abordagem | Quando você pode parar | Taxa real de falso positivo | O que exige de você |
|---|---|---|---|
| Horizonte fixo | Só no N calculado com antecedência, nunca antes | 5% (a promessa se cumpre), desde que você não espie e decida | Disciplina: calcular a amostra antes e não tocar na decisão até chegar lá |
| Peeking ingênuo | Sempre que “parecer bom” | Sobe de 5% para ~14% (5 olhadas) a ~26% (contínuo) | Nada, e é exatamente por isso que é perigoso: parece grátis |
| Sequencial (mSPRT) | A qualquer momento, com leitura válida | Capado no nível nominal por construção; ~1,1% medido na prática (Statsig, 2025) | Uma ferramenta feita para isso; poder um pouco menor, IC mais largo cedo no teste |
O horizonte fixo e o sequencial chegam ambos a uma taxa de erro honesta. A diferença é o preço que cada um cobra: o horizonte fixo cobra paciência (você não pode agir antes do N, ponto final); o sequencial cobra um pouco de poder estatístico e amostra extra, em troca de liberdade real para agir cedo quando o efeito é grande o bastante para já ter cruzado o limite mais rigoroso que o método impõe no início do teste.
O contraponto: o teste de amostra fixa tradicional
Para enxergar a troca com números reais, vale a pena rodar o cenário canônico deste blog pelo motor de amostra tradicional. Com uma taxa base de 5%, efeito mínimo detectável de 10% relativo, 95% de confiança e 80% de poder, o cálculo de horizonte fixo devolve 31.234 visitantes por variação, o que dá cerca de 44 dias rodando com um tráfego de 10 mil visitantes por semana. Ajuste os números para o seu caso:
Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.
Esse é o acordo do teste de amostra fixa: você calcula esse N uma vez, antes de lançar, e se compromete a não decidir nada até chegar nele. Nenhuma calculadora de significância, nenhum recálculo, nenhum “só uma olhadinha” no meio do caminho conta como decisão.
Agora imagine que, no dia 15 desse teste de 44 dias (cerca de um terço do caminho, com 10.411 visitantes por variação já coletados), você abre o painel só por curiosidade e vê o controle (A) com 521 conversões e a variação (B) com 614. Cole esses números na calculadora abaixo:
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
Rodando esses números no mesmo motor deste blog: taxa de A em 5,00%, taxa de B em 5,90%, valor-p de aproximadamente 0,0045, visivelmente abaixo de 0,05. Um observador que só olhasse uma vez, no dia 44, confiaria nesse tipo de leitura sem pestanejar. Mas essa leitura apareceu no dia 15, um terço do caminho, e um teste de horizonte fixo não te dá permissão para decidir com ela, porque o valor-p de 0,0045 foi calculado como se você tivesse olhado só essa vez, quando na verdade essa é uma entre várias olhadas possíveis ao longo do teste. É exatamente esse tipo de leitura precoce, tentadora e aparentemente sólida, que alimenta a curva de inflação do primeiro gráfico deste guia: uma fatia relevante desses “sinais” no meio do caminho não sobrevive até o N completo.
Um método sequencial de verdade trataria esse mesmo dado do dia 15 de outro jeito: ele compararia a razão de verossimilhança misturada acumulada até ali contra um limite propositalmente mais rigoroso do que 0,05 nesse ponto específico, porque parte do orçamento de erro de 5% já está reservada para os looks que ainda virão entre o dia 15 e o dia 44. Se a leitura passar desse limite mais alto, a decisão é válida ali mesmo, sem esperar o resto. Se não passar, o método simplesmente continua, sem que isso conte contra você, e sem que você precise fingir que não olhou.
Quando vale a pena usar teste sequencial (e quando o horizonte fixo já resolve)
A pergunta certa não é “qual método é mais moderno”, é “o que a sua operação de fato precisa”. As duas colunas abaixo resumem os casos mais comuns:
| Cenário | Prefira teste sequencial | Prefira horizonte fixo + calculadora deste blog |
|---|---|---|
| Custo de esperar até o N completo | Alto: cada dia a mais rodando uma variação ruim custa receita real agora | Baixo: o produto pode esperar o prazo calculado sem problema |
| Time de stakeholders pedindo status | Frequente, com pressão real para agir cedo se o sinal for forte | Raro, ou a cultura já aceita “ainda está rodando” como resposta |
| Ferramenta disponível | Uma plataforma que já implementa mSPRT ou equivalente (Optimizely, Statsig, GrowthBook) | Qualquer ferramenta, incluindo uma calculadora simples de significância |
| Disciplina de não espiar o painel | Difícil de garantir na prática (o painel atualiza sozinho, todo mundo vê) | Alta: a equipe consegue de fato tratar o N calculado como intocável |
| Efeito esperado | Grande e provável de aparecer bem antes do N completo | Pequeno ou incerto, exigindo a amostra inteira de qualquer forma |
Na prática, a maioria das equipes com tráfego médio e uma cultura de “calculamos a amostra e esperamos” não precisa de mSPRT: a calculadora de tamanho de amostra deste blog, seguida de disciplina real, já entrega os mesmos 5% honestos, de graça, sem exigir uma plataforma nova. Vale investir em teste sequencial quando o custo de esperar é alto o bastante, ou quando a tentação de espiar é forte o bastante, para que a liberdade de decidir cedo com validade pague o preço em poder estatístico que ela cobra.
Faça isso automático na Donnu
O medo por trás deste guia é real: você espia o painel do seu teste, o número parece bom, e a dúvida vira “isso é de verdade, ou eu vou invalidar o resultado se agir agora?”. Um mSPRT completo resolveria essa dúvida formalmente a qualquer momento; a Donnu resolve o mesmo medo pelo caminho que já está disponível hoje, sem exigir uma plataforma de pesquisa estatística à parte: ela calcula o seu tamanho de amostra e a sua duração com antecedência, mantém essa decisão travada até o N ser atingido, e usa um motor bayesiano nativo para uma leitura honesta assim que você chega lá, sem o teatro do valor-p e sem a tentação silenciosa de “só mais uma olhadinha”.
Comece um teste grátis de 14 dias e rode o seu próximo teste sabendo exatamente quando (e por que) você pode confiar no número que está vendo. Para o quadro completo do problema que o teste sequencial resolve, veja o nosso guia sobre o problema do peeking, para a base da significância estatística que sustenta o teste de horizonte fixo, veja o que é significância estatística em testes A/B, e para outra técnica bayesiana que também reduz a espera de um teste, veja o nosso guia sobre CUPED e redução de variância.
Referências
- Johari, R., Pekelis, L. & Walsh, D.J. Always Valid Inference: Bringing Sequential Analysis to A/B Testing. arXiv:1512.04922. arxiv.org/abs/1512.04922.
- Johari, R., Koomen, P., Pekelis, L. & Walsh, D. Peeking at A/B Tests: Why It Matters, and What to Do About It. KDD 2017. doi.org/10.1145/3097983.3097992.
- Statsig. Sequential Testing on Statsig (mSPRT, dados empíricos de falso positivo e poder). 2025. statsig.com/blog/sequential-testing-on-statsig.
- Optimizely. Fixed horizon, Bayesian, or sequential: Choosing a stats engine. optimizely.com/insights/blog/how-to-choose-the-right-stats-engine.
- Miller, E. Simple Sequential A/B Testing. 2015. evanmiller.org/sequential-ab-testing.html.
Perguntas frequentes
- O que é teste sequencial (inferência sempre válida) em teste A/B?
- É uma família de métodos estatísticos, como o mSPRT (mixture Sequential Probability Ratio Test), desenhada para que você possa olhar o resultado de um teste A/B a qualquer momento e tomar uma decisão, sem que isso infle a taxa real de falso positivo além do nível combinado (geralmente 5%). Em vez de calcular um único valor-p pensado para um olhar só no fim, o método calcula, a cada novo dado, um valor "sempre válido" que já reserva o risco de erro para todos os pontos futuros em que você poderia parar.
- Teste sequencial é o mesmo que teste bayesiano?
- Não. São eixos diferentes. Frequentista x bayesiano é sobre como você expressa e interpreta a evidência (valor-p e intervalo de confiança de um lado, probabilidade de B ser melhor que A do outro). Horizonte fixo x sequencial é sobre quando você pode validamente parar. Dá para ter um teste bayesiano de horizonte fixo (decide a amostra antes, só olha no fim) e um teste sequencial frequentista (mSPRT), que é justamente o caso mais comum na indústria hoje.
- Um teste sequencial elimina a necessidade de calcular o tamanho de amostra antes de começar?
- Reduz a dependência, mas não elimina por completo. Você ainda se beneficia de estimar uma faixa de efeito plausível e um tráfego esperado para saber se o teste é viável no seu volume. O que muda é a rigidez: em vez de um N fixo que você é proibido de checar antes de atingir, o método já embute uma regra de parada válida a cada novo lote de dados, então checar cedo deixa de ser um erro.
- Preciso de uma ferramenta especial para rodar teste sequencial, ou dá para fazer com a calculadora deste blog?
- Precisa de uma ferramenta feita para isso. A calculadora de significância deste blog usa o two-proportion z-test clássico, que assume um único olhar decidido com antecedência, exatamente o cenário de horizonte fixo. Ela é ótima para ler um teste que você decidiu não espiar, mas usá-la várias vezes ao longo do mesmo teste e parar na primeira leitura favorável recria o problema do peeking, não é o mesmo que um mSPRT de verdade.
- Um teste sequencial custa mais amostra do que um teste de horizonte fixo?
- Em geral sim, um pouco. Segundo dados da Statsig, num teste real de 28 dias monitorado repetidamente, o mSPRT sequencial manteve o falso positivo em cerca de 1,1% (abaixo do teto nominal de 5%) com um poder estatístico próximo de 84% do poder de um teste de horizonte fixo equivalente, e chegou a detectar significância em 58% dos casos que terminariam significativos já na metade da duração planejada, contra 33% da versão anterior do próprio método sequencial da Statsig no mesmo ponto. A troca é: um pouco menos de poder e intervalos de confiança um pouco mais largos, em troca de poder decidir a qualquer momento com validade real.