Análise Interina em Teste A/B: fronteiras de parada
Análise interina em teste A/B: como planejar 2 ou 3 olhares com gasto de alfa, o custo em amostra e por que 3 olhares a 5% dão 10,73% de falso positivo.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
Olhar o resultado três vezes usando o corte de 5 por cento em cada olhada leva o falso positivo real para 10,73 por cento, mais que o dobro do combinado. A saída não é parar de olhar: é planejar cada análise interina antes de começar e dar a cada uma um corte próprio, de forma que a soma feche em 5 por cento. No plano deste artigo, três olhares com fronteira tipo O Brien-Fleming custaram 2,21 por cento de amostra máxima a mais e devolveram, quando o efeito existia, um teste que terminou 14,9 por cento antes. Este guia mostra de onde vem a inflação, como uma função de gasto de alfa reparte o risco, quanto cada família de fronteira cobra, e traz um exemplo trabalhado com os três olhares para colar na calculadora. Faz parte do nosso guia completo de teste A/B e é o contraponto planejado do problema do peeking.
De onde vem a inflação: 5 por cento por olhada não é 5 por cento no total
Um teste de horizonte fixo promete uma coisa só: se você olhar uma vez, no N combinado, e chamar de vencedor quando o valor-p ficar abaixo de 0,05, a chance de gritar vitória sem efeito nenhum é de 5 por cento. Cada leitura extra é uma chance nova de cruzar a linha por acaso, e as chances se acumulam.
Dá para calcular exatamente quanto. As estatísticas z lidas em momentos diferentes do mesmo teste não são independentes, elas formam um passeio browniano: o z do segundo olhar carrega dentro de si todos os dados do primeiro. Integrando essa dependência numericamente, com olhares igualmente espaçados e corte de 5 por cento em cada um, o falso positivo real fica assim:
Esses números não são novidade nem opinião: são o resultado clássico que aparece em qualquer texto de análise sequencial, e a nossa integração os reproduz. O ponto prático é outro. A resposta óbvia, “então não olhe”, é impossível de cumprir em um time que tem um painel aberto. Johari, Pekelis e Walsh, no artigo que descreve a inferência sempre válida de uma plataforma comercial de testes, abrem exatamente com esse diagnóstico: os valores-p e intervalos de confiança tradicionais ficam completamente pouco confiáveis quando o usuário escolhe o tamanho da amostra de forma endógena, monitorando o teste continuamente. A ilustração que eles usam é um teste A/A cuja “chance de vencer” cruza o limiar de 95 por cento só por ser observado o tempo todo.
Há dois caminhos honestos a partir daí. Um é a inferência sempre válida, que já cobrimos em teste sequencial e inferência sempre válida e que aceita qualquer número de olhares. O outro, mais antigo e mais barato em amostra, é o assunto deste artigo: marcar poucos olhares antes de começar e repartir o alfa entre eles.
Gasto de alfa: a ideia de Lan e DeMets
Pense nos 5 por cento como um orçamento. O desenho de horizonte fixo gasta o orçamento inteiro numa compra só, no fim. Um desenho de grupo sequencial gasta um pedaço em cada leitura planejada, e a soma tem que fechar em 5 por cento.
A função de gasto de alfa é a regra que diz quanto do orçamento já pode ter sido gasto quando você chegou a uma certa fração da informação. A orientação da FDA sobre desenhos adaptativos descreve o método de Lan e DeMets exatamente assim: uma função que especifica como a probabilidade de erro tipo I é gasta ao longo do estudo, com a flexibilidade de escolher o número e o momento das análises interinas. Duas funções dominam a prática, e elas discordam sobre quando gastar.
Traduzido para o corte que cada leitura exige, com três olhares igualmente espaçados:
| Olhar | Fração da amostra | Alfa acumulado (OBF) | z crítico (OBF) | valor-p exigido (OBF) | Alfa acumulado (Pocock) | z crítico (Pocock) | valor-p exigido (Pocock) |
|---|---|---|---|---|---|---|---|
| 1 | 33% | 0,00069 | 3,395 | 0,00069 | 0,02264 | 2,279 | 0,02264 |
| 2 | 67% | 0,01637 | 2,407 | 0,01610 | 0,03817 | 2,295 | 0,02174 |
| 3 | 100% | 0,05000 | 2,015 | 0,04388 | 0,05000 | 2,296 | 0,02168 |
Repare no que a tabela diz sobre a última linha. Com a fronteira tipo O Brien-Fleming, quem chegou até o fim ainda tem quase todo o corte tradicional disponível (0,04388 contra 0,05). Com Pocock, o preço de ter podido parar cedo é que a leitura final ficou mais dura que a de um teste normal: 0,02168 em vez de 0,05. Não existe almoço grátis, existe escolha de onde pagar.
A FDA descreve a diferença entre as duas famílias em uma frase que vale copiar: a abordagem de O Brien e Fleming tende a exigir resultados iniciais muito persuasivos para parar o estudo por eficácia, enquanto abordagens alternativas como a de Pocock exigem resultados iniciais menos persuasivos e têm probabilidade maior de parada precoce.
O que a análise interina custa em amostra
Fronteira mais dura no meio significa fronteira um pouco mais frouxa no fim, e para manter os mesmos 80 por cento de poder o desenho precisa de um N máximo maior que o do horizonte fixo. Calculamos o fator exato para os dois formatos, com três olhares:
| Desenho | N máximo (fator sobre o fixo) | N esperado quando o efeito existe | N esperado quando não existe | Chance de parar no olhar 1 |
|---|---|---|---|---|
| Horizonte fixo | 1,0000 | 100% | 100% | não se aplica |
| 3 olhares, O Brien-Fleming | 1,0221 | 85,1% do N fixo | 101,6% do N fixo | 3,93% |
| 3 olhares, Pocock | 1,1703 | 81,9% do N fixo | 114,7% do N fixo | 29,82% |
A leitura é direta. A fronteira tipo O Brien-Fleming é quase de graça: 2,21 por cento de amostra máxima a mais, e se o efeito não existir o teste custa apenas 1,6 por cento a mais que o desenho fixo. Em troca, ela quase nunca para no primeiro olhar (3,93 por cento das vezes). Pocock é o oposto: quase um terço dos testes com efeito real param na primeira leitura, mas quando não há efeito o teste custa 14,7 por cento a mais de tráfego. Se o seu problema é fila de experimentos, Pocock devolve tempo de calendário; se o seu problema é tráfego escasso, a escolha é a outra.
O plano concreto: base 5 por cento, MDE de 10 por cento, 40 mil por semana
Vamos aterrissar isso num teste real. A calculadora de tamanho de amostra devolve, para taxa base de 5 por cento, efeito mínimo detectável de 10 por cento relativo, 95 por cento de confiança e 80 por cento de poder, 31.234 visitantes por variação, o que dá 11 dias com 40 mil visitantes por semana. Esse é o desenho de horizonte fixo, e é dele que o plano sequencial parte.
| Item | Horizonte fixo | 3 olhares, O Brien-Fleming | 3 olhares, Pocock |
|---|---|---|---|
| N máximo por variação | 31.234 | 31.926 | 36.555 |
| Duração máxima | 11 dias | 12 dias | 13 dias |
| Olhares (visitantes por variação) | 31.234 | 10.642 / 21.284 / 31.926 | 12.185 / 24.370 / 36.555 |
| valor-p exigido em cada olhar | 0,05000 | 0,00069 / 0,01610 / 0,04388 | 0,02264 / 0,02174 / 0,02168 |
| N esperado se o efeito existir | 31.234 (11 dias) | 26.575 (10 dias) | 25.592 (9 dias) |
| N esperado se não existir | 31.234 (11 dias) | 31.744 (12 dias) | 35.814 (13 dias) |
Esse é o plano inteiro em uma tabela, e ele cabe num parágrafo do documento de análise pré-registrada. Se você ainda não escreve esse documento, o plano de análise pré-registrado é o lugar onde as três datas e os três cortes precisam morar.
Um exemplo trabalhado, com a calculadora
Simulamos um teste com efeito real de 10 por cento relativo (5,0 contra 5,5 por cento) e o lemos nos três olhares do plano O Brien-Fleming. Os números abaixo são visitantes e conversões acumulados; cole cada linha na calculadora e você vê o mesmo valor-p.
| Olhar | Controle | Variação | valor-p | Lift relativo | Abaixo de 0,05? | Cruza a fronteira? |
|---|---|---|---|---|---|---|
| 1 (n = 10.642) | 549 de 10.642 (5,1588%) | 593 de 10.642 (5,5723%) | 0,180757 | 8,01% | não | não (z 1,338 contra 3,395) |
| 2 (n = 21.284) | 1.078 de 21.284 (5,0648%) | 1.182 de 21.284 (5,5535%) | 0,024567 | 9,65% | sim | não (z 2,248 contra 2,407) |
| 3 (n = 31.926) | 1.598 de 31.926 (5,0053%) | 1.768 de 31.926 (5,5378%) | 0,002608 | 10,64% | sim | sim (z 3,011 contra 2,015) |
A linha 2 é a razão de existir deste artigo. O valor-p de 0,024567 está abaixo de 0,05, e um time sem plano teria parado ali, declarado 9,65 por cento de ganho e passado para o próximo teste. O plano diz para continuar, porque 0,024567 ainda não é o 0,01610 que aquele olhar exigia. O teste segue e termina com 10,64 por cento, mais perto do efeito verdadeiro de 10 por cento, e com um valor-p uma ordem de grandeza menor.
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
Vale conferir a segunda linha na calculadora acima: 21.284 visitantes e 1.078 conversões no controle, 21.284 e 1.182 na variação. O intervalo de confiança devolvido vai de 0,0627 a 0,9146 ponto percentual, ou seja, encosta no zero. É um resultado que já é “significante” pelo critério tradicional e que ainda assim, olhando o plano, não é evidência suficiente para encerrar o experimento naquele momento.
Reproduzindo o número da FDA
A orientação da FDA afirma que um desenho de grupo sequencial com uma única análise interina e uma fronteira de eficácia comumente usada reduz o tamanho de amostra esperado do estudo em aproximadamente 15 por cento em relação a um desenho comparável de amostra fixa. A nota de rodapé especifica o cenário: interina na metade da amostra máxima, fronteira tipo O Brien-Fleming, e a hipótese alternativa em que o desenho tem 90 por cento de poder.
Rodamos exatamente esse cenário no nosso integrador. As fronteiras saíram em z de 2,7718 e 1,9793, o N máximo ficou 0,79 por cento acima do desenho fixo, e o N esperado sob a alternativa deu 84,72 por cento do N fixo, ou seja, uma redução de 15,28 por cento. Sob a nula, o custo é de 0,51 por cento a mais que o desenho fixo. O número da agência se reproduz sem ajuste, e agora você sabe de que cenário exato ele veio, o que importa porque com três olhares e 80 por cento de poder a economia esperada cai para 14,9 por cento e o custo sob a nula sobe para 1,6 por cento.
Como validação do próprio integrador, calibramos por ele as fronteiras clássicas conhecidas: para três olhares igualmente espaçados e alfa bicaudal de 5 por cento, ele devolveu 3,4711, 2,4544 e 2,0040 para a forma clássica de O Brien-Fleming (literatura: 3,471, 2,454 e 2,004) e 2,2895 para a constante de Pocock (literatura: 2,289).
Quatro coisas que a fronteira não conserta
1. A estimativa de um teste interrompido cedo é otimista. A FDA registra que estimativas convencionais, como a média amostral, tendem a ficar enviesadas na direção de efeitos maiores que o verdadeiro quando o desenho é sequencial, e que os intervalos de confiança perdem a cobertura nominal. Existe método para corrigir, e o plano precisa nomear qual será usado. É o mesmo fenômeno que descrevemos em a maldição do vencedor, agravado de propósito por um desenho que só para cedo quando o resultado veio forte.
2. Mudar o cronograma olhando o resultado quebra tudo. A flexibilidade do gasto de alfa é sobre número e momento das leituras, não sobre reagir ao que elas mostraram. O texto da FDA dá o exemplo do que não fazer: antecipar a próxima análise interina porque a atual chegou perto da fronteira. A recomendação da agência é ter um número alvo de análises, um calendário aproximado e um critério escrito de mudança que dependa de informação independente do efeito estimado, como o ritmo de coleta.
3. Parada por futilidade é outra conversa. Fronteira de eficácia responde “já dá para dizer que funciona”. Fronteira de futilidade responde “já dá para dizer que não vale continuar”. A FDA observa que acrescentar regras de futilidade não vinculantes a um desenho de amostra fixa ou a um desenho com fronteiras de eficácia adequadas não aumenta a probabilidade de erro tipo I, e costuma ser apropriado. Regras vinculantes permitem afrouxar o limiar de eficácia, mas só controlam o erro se forem obedecidas de verdade. Tratamos do lado prático disso em parada por futilidade.
4. Nada disso substitui as verificações de sanidade. Um teste com fronteira impecável e divisão de tráfego quebrada continua sendo um teste errado, só que com aparência mais formal.
Grupo sequencial ou inferência sempre válida?
As duas famílias resolvem o mesmo problema e cobram em moedas diferentes.
| Critério | Grupo sequencial (gasto de alfa) | Inferência sempre válida |
|---|---|---|
| Número de leituras | finito e marcado antes | qualquer número, inclusive contínuo |
| Precisa marcar datas antes? | sim, ou ao menos o número alvo e o critério de mudança | não |
| Custo em amostra máxima | baixo com O Brien-Fleming (2,21% no nosso plano) | mais alto, porque reserva risco para infinitos olhares futuros |
| Quem lê o painel todo dia | não está autorizado a decidir fora dos olhares | pode decidir a qualquer momento |
| Melhor caso de uso | ritual fixo de decisão, poucas leituras, tráfego escasso | painel aberto para o time inteiro, decisão oportunista |
Se a sua operação tem uma reunião semanal de resultados e ninguém decide fora dela, o grupo sequencial é mais barato. Se qualquer pessoa pode abrir o painel e agir, a inferência sempre válida é o desenho honesto, porque ela descreve o que realmente acontece na sua empresa.
Faça isso automático na Donnu
O erro que este artigo descreve raramente é de estatística, é de operação: ninguém escreveu quando o teste seria lido e com que corte, então cada leitura vira uma decisão nova a 5 por cento. Na Donnu o plano de leitura faz parte da criação do experimento: você escolhe o número de olhares, o painel mostra o corte que cada um exige e trava a decisão de vencedor quando a leitura não cruzou a fronteira daquele momento, em vez de mostrar um valor-p solto que qualquer pessoa interpreta como sinal verde. As leituras planejadas ficam registradas com data, para que ninguém possa antecipar uma delas depois de ver o resultado sem que isso apareça no histórico.
Perguntas frequentes
As respostas curtas estão na seção de perguntas frequentes desta página, montadas a partir dos mesmos cálculos apresentados aqui.
Referências
- U.S. Food and Drug Administration. Adaptive Designs for Clinical Trials of Drugs and Biologics: Guidance for Industry, novembro de 2019. Seção V.A. Fonte da definição de desenho de grupo sequencial como análises interinas prospectivamente planejadas com critérios de parada pré-especificados, da redução de aproximadamente 15 por cento no tamanho de amostra esperado com uma interina na metade e fronteira tipo O Brien-Fleming a 90 por cento de poder, do contraste entre O Brien-Fleming e Pocock quanto ao grau de persuasão exigido cedo, da descrição do gasto de alfa de Lan e DeMets, da advertência de que antecipar uma interina por causa do resultado atual infla o erro tipo I, da distinção entre futilidade vinculante e não vinculante, e do viés das estimativas e da perda de cobertura dos intervalos em desenhos sequenciais.
- Ramesh Johari, Leo Pekelis e David Walsh. Always Valid Inference: Continuous Monitoring of A/B Tests, arXiv 1512.04922v3, 2019. Fonte do diagnóstico de que valores-p e intervalos tradicionais ficam pouco confiáveis quando o tamanho da amostra é escolhido de forma endógena por monitoramento contínuo, do exemplo do teste A/A cuja chance de vencer cruza o limiar de 95 por cento por ser observado continuamente, e do enquadramento da inferência sempre válida como alternativa que permite decidir a qualquer momento.
- Ron Kohavi, Roger Longbotham, Dan Sommerfield e Randal M. Henne. Controlled experiments on the web: survey and practical guide, Data Mining and Knowledge Discovery, 2009. Fonte do contexto operacional de experimentação online usado aqui, incluindo a recomendação de determinar o tamanho mínimo de amostra antes de começar e a advertência sobre métricas cujo poder se degrada quanto mais longo o experimento.
Leia também
Perguntas frequentes
- O que é análise interina em teste A/B?
- É uma leitura do resultado feita antes do fim do teste, em um momento marcado no plano antes de o teste começar, com um critério de parada próprio para aquele momento. A diferença entre análise interina e espiar o painel é a palavra "planejada": o número de leituras e o valor-p que cada uma exige são fixados antes de a primeira pessoa entrar no experimento, e o alfa total de 5 por cento é repartido entre elas.
- Quantos olhares posso fazer sem inflar o falso positivo?
- Nenhum, se cada olhar usar o corte de 5 por cento. Na nossa integração numérica, dois olhares a 5 por cento dão 8,31 por cento de falso positivo, três dão 10,73 por cento, cinco dão 14,17 por cento e vinte dão 24,79 por cento. Com fronteiras de gasto de alfa, o número de olhares deixa de ser o problema: dois, três ou cinco olhares planejados ficam todos em 5 por cento no total, porque cada um recebe um corte mais duro que compensa a repetição.
- Qual a diferença entre O Brien-Fleming e Pocock?
- É o formato da fronteira, ou seja, como o alfa é distribuído no tempo. A função de gasto tipo O Brien-Fleming quase não gasta alfa no começo e deixa quase tudo para o fim: com três olhares, ela pede valor-p abaixo de 0,00069 na primeira leitura e permite 0,04388 na última. A de Pocock reparte de forma quase uniforme: 0,02264, 0,02174 e 0,02168. A primeira quase não encarece a amostra máxima (2,21 por cento no nosso plano) e raramente para cedo; a segunda para cedo com frequência, mas cobra 17,03 por cento de amostra máxima a mais.
- Análise interina é o mesmo que teste sequencial?
- Não. Grupo sequencial é um número FINITO de leituras marcadas de antemão, cada uma com o seu corte. Inferência sempre válida, do tipo que Johari, Pekelis e Walsh descrevem, permite olhar a qualquer momento, quantas vezes quiser, inclusive continuamente. O grupo sequencial cobra menos amostra quando você só precisa de duas ou três leituras; a inferência sempre válida cobra mais, e em troca tira do seu caminho a exigência de marcar as datas antes.
- Posso mudar as datas dos olhares depois que o teste começou?
- Só por motivos que não olhem o resultado. A orientação da FDA é explícita nesse ponto: antecipar a próxima leitura porque a atual chegou perto da fronteira não é apropriado e infla o erro tipo I. Mudar a data porque o tráfego veio mais devagar que o previsto é aceitável, desde que o critério de mudança tenha sido escrito antes e dependa de informação estatisticamente independente do efeito estimado, como o ritmo de coleta.
- O efeito medido quando o teste para cedo é confiável?
- A direção costuma ser, o tamanho não. A FDA registra que estimativas convencionais de efeito, como a média amostral, tendem a ficar enviesadas para efeitos maiores que o verdadeiro quando o desenho é de grupo sequencial, e que os intervalos de confiança perdem a cobertura nominal. Por isso o plano precisa dizer, desde o começo, qual método de estimativa corrigida vai ser usado para reportar o resultado de um teste interrompido cedo.