Plano de Análise Pré-Registrado em Teste A/B

Um plano de análise pré-registrado é a lista de decisões que você fixa antes de o experimento começar, justamente porque depois elas poderiam ser escolhidas em função do resultado. Ele não existe para conter gente mal-intencionada: existe porque analistas honestos, olhando um dado real, tomam decisões razoáveis que teriam sido outras se o dado tivesse saído diferente, e essa contingência sozinha já quebra a interpretação do valor-p. Este guia cobre o mecanismo do problema, um exemplo trabalhado em que um teste sem efeito produz um segmento aparentemente vencedor, a aritmética de quanto cada bifurcação custa em falso positivo e em amostra, e um plano de análise copiável com os campos que precisam estar fechados antes do primeiro visitante entrar. Faz parte do nosso guia completo de teste A/B e é o irmão de desenho de o problema do peeking.

O jardim de caminhos que se bifurcam

A imagem é de Gelman e Loken, num artigo de 2013 cujo subtítulo já entrega a tese: por que comparações múltiplas podem ser um problema mesmo quando não houve pescaria nem p-hacking e a hipótese de pesquisa foi formulada antes.

Os autores explicam que passaram a considerar o termo “pescaria” infeliz, porque ele evoca a imagem de alguém tentando comparação após comparação até fisgar algo. Eles não têm razão para achar que isso acontece com frequência. A história real, dizem, é que o analista faz uma análise razoável dadas as suas premissas e o seu dado, mas se o dado tivesse saído diferente ele poderia ter feito outras análises igualmente razoáveis naquelas circunstâncias.

A consequência técnica é o coração do assunto: mesmo que a análise escolhida seja uma função determinística do dado observado, isso não elimina o problema de comparações múltiplas, porque valores-p são baseados no que teria acontecido sob outros conjuntos de dados possíveis. O valor-p responde a uma pergunta sobre repetições hipotéticas. Se em repetições diferentes você teria feito análises diferentes, o valor-p que você calculou não responde à pergunta que você acha que ele responde.

Gelman e Loken dão um exemplo concreto de bifurcação que aparece o tempo todo em teste A/B. Frequentemente a análise é feita sobre dois grupos ou duas condições. Quando o resultado é estatisticamente significante no geral, isso pode ser reportado. Quando é significante em apenas um dos grupos e não no outro, isso também pode ser reportado como evidência. E se a diferença entre os grupos, a interação, for significante, isso também funciona. Todos os três parecem consistentes com a hipótese de pesquisa, mas são análises diferentes, caminhos diferentes que podiam ser tomados.

Exemplo trabalhado: o segmento que venceu sozinho

Um teste de checkout roda por duas semanas com 40.000 visitantes por braço. Antes de qualquer corte, o resultado geral:

Controle (A)

VisitantesConversões

Variação (B)

VisitantesConversões

Confiança90%95%99%

Controle (A) · Taxa-

Variação (B) · Taxa-

Melhora relativa-

valor-p-

IC 95% da diferença-

Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.

Resultado geral	Visitantes	Conversões	Taxa
Controle	40.000	2.000	5,000 por cento
Tratamento	40.000	2.060	5,150 por cento

Na tela, a calculadora mostra taxas de 5,00 e 5,15 por cento, lift de mais 3,0 por cento, valor-p de 0,3338, intervalo de menos 0,2 a mais 0,5 ponto percentual e o veredito de que ainda não há significância. Em precisão cheia, e incluindo o escore z, que a interface não exibe: mais 0,150 ponto percentual, mais 3,000 por cento relativo, z = 0,966, valor-p de 0,3338, intervalo de 95 por cento de menos 0,154 a mais 0,454 ponto percentual. Nada. O intervalo cobre o zero com folga.

Aí alguém abre por dispositivo. São quatro segmentos, e as contagens somam exatamente o total acima:

Segmento	Controle	Tratamento	Lift relativo	z	Valor-p
Mobile	12.000 / 540 (4,500 por cento)	12.000 / 624 (5,200 por cento)	mais 15,556 por cento	2,524	0,0116
Desktop	20.000 / 1.100 (5,500 por cento)	20.000 / 1.070 (5,350 por cento)	menos 2,727 por cento	menos 0,662	0,5078
Tablet	4.000 / 200 (5,000 por cento)	4.000 / 206 (5,150 por cento)	mais 3,000 por cento	0,306	0,7599
App	4.000 / 160 (4,000 por cento)	4.000 / 160 (4,000 por cento)	0,000 por cento	0,000	1,0000

O segmento mobile aparece com mais 15,556 por cento e valor-p de 0,0116. É exatamente o tipo de número que vira decisão de roadmap na reunião de segunda-feira.

Agora a aritmética que precisa acompanhar esse número. Se os quatro segmentos estivessem declarados antes do teste, o limiar corrigido para quatro comparações seria 0,05 dividido por 4, ou seja 0,0125. O mobile passaria raspando: 0,0116 é menor que 0,0125.

Mas quatro nunca foi o número de caminhos disponíveis. Se, além de dispositivo, o painel permitia abrir por métrica secundária, e havia cinco métricas na tela, o espaço de comparações que poderiam ter chamado atenção é de 20. O limiar corrigido cai para 0,0025, e o mobile deixa de passar por uma margem larga. O valor-p de 0,0116 não mudou; o que mudou foi contar honestamente quantas portas estavam abertas.

A conta é direta: com testes independentes ao nível de 5 por cento, a probabilidade de pelo menos um falso positivo vale 1 menos 0,95 elevado ao número de testes.

Comparações disponíveis	Chance de ao menos um falso positivo	Limiar corrigido	z crítico correspondente
1	5,0 por cento	0,05000	1,960
2	9,8 por cento	0,02500	2,241
4	18,5 por cento	0,01250	2,498
5	22,6 por cento	0,01000	2,576
10	40,1 por cento	0,00500	2,807
20	64,2 por cento	0,00250	3,023

Kohavi, Deng, Longbotham e Xu descrevem o mesmo fenômeno na escala de uma plataforma grande: como se rodam milhares de experimentos por ano, uma taxa de falso positivo de 0,05 implica centenas de resultados falsos positivos para uma dada métrica, e isso é agravado quando várias métricas não correlacionadas são usadas.

O prior importa tanto quanto o valor-p

Existe uma segunda camada, e ela é a que explica por que um achado pós-hoc merece muito mais desconfiança que um achado pré-declarado, mesmo com o mesmo valor-p.

Os mesmos autores formalizam isso com a regra de Bayes. Sendo o nível de significância, o erro Tipo II e a probabilidade a priori de a hipótese alternativa ser verdadeira, a probabilidade de um resultado estatisticamente significante ser de fato verdadeiro vale o produto do poder pelo prior, dividido pela soma desse produto com o produto do nível de significância pelo complemento do prior.

Com nível de 5 por cento e poder de 80 por cento, a tabela fica assim:

Probabilidade a priori de a ideia funcionar	Probabilidade de o resultado significante ser verdadeiro
33,33 por cento	88,9 por cento
20,00 por cento	80,0 por cento
10,00 por cento	64,0 por cento
5,00 por cento	45,7 por cento
2,00 por cento	24,6 por cento
0,20 por cento	3,1 por cento

As duas pontas dessa tabela são dos próprios autores: eles usam um prior de sucesso de 1 em 3, que é a média relatada por eles em vários experimentos da Microsoft, e chegam a 89 por cento; e observam que, se resultados de ruptura são um em 500, a probabilidade posterior cai para 3,1 por cento.

A implicação prática é dura e simples. Uma hipótese declarada antes, derivada de dado anterior e de raciocínio sobre o produto, tem um prior decente. Uma hipótese que nasceu de olhar a tabela de segmentos e reparar que o mobile subiu tem um prior baixo por construção, porque ela foi selecionada justamente por ser o maior número da tela. Mesmo valor-p, credibilidade muito diferente.

O plano de análise: o que precisa estar fechado antes

O plano de análise é curto. Se ele estiver ocupando mais de uma página, provavelmente virou documento de processo em vez de trava de decisão. Estes são os campos que importam, e o motivo de cada um estar na lista é que ele é escolhível depois do fato:

Campo do plano	O que fixar	O que acontece se ficar em aberto
Hipótese	Uma frase com mecanismo, não com desejo	Vira qualquer coisa que o dado sustentar
Métrica primária	Exatamente uma, com a unidade do denominador	A métrica que subiu vira a métrica primária
Unidade de sorteio	Usuário, sessão, conta, região	Ver unidade de sorteio em teste A/B
Efeito mínimo detectável	Em pontos ou em relativo, com a origem do número	O resultado se acomoda a qualquer tamanho de efeito
Tamanho de amostra e duração	Calculados a partir do efeito mínimo, com data-alvo	Vira parada por conveniência, ver peeking
Regra de parada	Data ou amostra, uma só	Cada olhada vira uma chance a mais de parar no pico
Nível de significância	Já corrigido pelo número de comparações planejadas	A correção nunca acontece
Segmentos	Lista fechada, com correção aplicada	O garimpo vira descoberta
Métricas secundárias e de guardrail	Lista fechada, ver métricas de guardrail	Métrica ruim some do relatório
Critério de decisão	O que faz subir, o que faz descartar, o que faz repetir	A decisão se justifica depois

Um teste de sanidade útil para o plano: peça a alguém que não escreveu o documento para simular dois desfechos opostos e dizer, lendo só o plano, qual decisão sai em cada caso. Se a resposta em algum dos dois for “depende”, o plano ainda tem uma bifurcação aberta.

Pré-registrar custa amostra, e o custo é real

Não vale fingir que o rigor sai de graça. Se o plano declara honestamente quatro comparações, o nível de significância de cada uma tem que cair, e o tamanho de amostra sobe junto. Com base de conversão de 5 por cento, efeito mínimo detectável de 10 por cento relativo e poder de 80 por cento:

Nível de significância	Contexto	Amostra por variação
0,0500	uma única comparação declarada	31.234
0,0125	quatro comparações declaradas	44.375
0,0025	vinte comparações declaradas	59.444

Vinte comparações custam quase o dobro da amostra de uma. É desconfortável, e é exatamente o ponto: esse custo já existia antes do plano, ele só estava sendo pago em decisões erradas em vez de em visitantes. Se o número da direita for inviável para o seu tráfego, a saída certa é cortar comparações no plano, não deixá-las implícitas.

O que fazer com o que você achou depois

Nada disso exige jogar fora o segmento mobile do exemplo. Exige mudar o rótulo dele.

Gelman e Loken são explícitos ao dizer que não querem que exigências de pureza estatística engessem a ciência, e que as análises mais valiosas frequentemente só surgem de um processo iterativo envolvendo os dados. A saída que eles propõem é a estrutura em duas partes: um primeiro experimento exploratório, ainda embasado em teoria, e um segundo puramente confirmatório, com protocolo próprio pré-registrado.

Eles ilustram com um caso instrutivo de Nosek, Spies e Motyl, relatado no artigo: os pesquisadores encontraram uma relação grande e estatisticamente significante, mas em vez de parar ali e publicar, reuniram uma amostra nova e grande e fizeram uma replicação com protocolo e análise predeterminados. Pelas estimativas deles baseadas no resultado inicial significante, a replicação tinha mais de 99 por cento de poder. Mesmo assim a replicação falhou, com valor-p de 0,59.

No vocabulário de experimentação online, Kohavi, Deng, Longbotham e Xu dizem a mesma coisa em uma linha: resultados com significância estatística no limite devem ser vistos como provisórios e rodados de novo para replicar. É a mesma disciplina da rodada de confirmação da lei de Twyman, e o mesmo remédio contra a maldição do vencedor.

Na prática, três destinos possíveis para um achado pós-hoc:

1. Vira pauta de teste novo. O segmento mobile ganha um experimento próprio, pré-registrado, com amostra dimensionada só para ele.
2. Vira nota no relatório, sem decisão. Registrado como observação exploratória, sem valor-p apresentado como prova.
3. Some. Se ninguém acha que vale um teste dedicado, também não valia uma decisão.

Um cuidado extra: os mesmos autores lembram que é muito mais fácil melhorar métricas de um segmento pequeno, e que o efeito precisa ser diluído pelo tamanho do segmento. Uma melhora de 10 por cento num segmento que representa 1 por cento do total tem impacto geral de aproximadamente 0,1 por cento. Antes de comemorar o mobile, vale ver quanto do total ele é, como discutido em análise por gatilho e diluição.

Erros comuns

• Chamar de pré-registro um documento escrito depois de a primeira leitura sair. Se o plano foi salvo com o experimento já rodando, ele não trava nada.
• Declarar três métricas primárias. Três métricas primárias são zero métricas primárias, e a que subir vira a escolhida.
• Corrigir só as comparações que foram feitas. O que conta é o espaço de comparações que estava disponível, que é o argumento central de Gelman e Loken.
• Pré-registrar e depois mudar sem registrar a mudança. Mudança de plano acontece e às vezes é certa; o que não pode é acontecer em silêncio.
• Achar que o plano dispensa a checagem de saúde. Plano fechado não protege contra divisão desigual de tráfego, ver como detectar SRM no seu teste.
• Confundir plano com burocracia. Se o documento não muda nenhuma decisão possível, ele não é um plano, é um formulário.

Faça isso automático na Donnu

O ponto frágil não é escrever o plano, é o plano e o relatório viverem em lugares diferentes, de modo que ninguém percebe quando o segundo contradiz o primeiro.

Na Donnu, a métrica primária, o efeito mínimo detectável, a amostra-alvo, a regra de parada e a lista de segmentos fazem parte da criação do experimento, não de um documento paralelo. O relatório mostra o que foi declarado ao lado do que foi observado, e qualquer corte fora da lista declarada aparece marcado como exploratório, com o limiar corrigido explícito em vez de um valor-p solto. Para refazer as contas por fora, a calculadora de valor-p, a calculadora de tamanho de amostra e a calculadora de significância para várias variações aceitam os números brutos.

Referências

• Gelman, A. e Loken, E. The garden of forking paths: Why multiple comparisons can be a problem, even when there is no “fishing expedition” or “p-hacking” and the research hypothesis was posited ahead of time. Columbia University, 14 de novembro de 2013. Fonte da tese de que graus de liberdade do pesquisador criam um problema de comparações múltiplas mesmo quando só uma análise é feita, da ressalva de que o termo pescaria é infeliz porque os autores não têm razão para achar que analistas testam comparação após comparação, da formulação de que uma análise razoável dado o dado observado teria sido outra se o dado tivesse saído diferente, da afirmação de que mesmo uma análise determinística no dado observado não elimina o problema porque valores-p se baseiam no que teria acontecido sob outros conjuntos de dados possíveis, do exemplo das três bifurcações (significante no total, significante em um grupo, interação significante) todas consistentes com a mesma hipótese, da recomendação da estrutura em duas partes com um estudo exploratório seguido de um confirmatório pré-registrado, da ressalva de que os autores não querem engessar a ciência e reconhecem o valor do processo iterativo com os dados, e do relato do caso de Nosek, Spies e Motyl em que uma replicação com mais de 99 por cento de poder estimado falhou com valor-p de 0,59. stat.columbia.edu.
• Kohavi, R., Deng, A., Longbotham, R. e Xu, Y. Seven Rules of Thumb for Web Site Experimenters. KDD 2014. Fonte da observação de que rodar milhares de experimentos por ano com taxa de falso positivo de 0,05 implica centenas de falsos positivos para uma dada métrica, agravada por métricas não correlacionadas, da recomendação de tratar resultados com significância no limite como provisórios e rodá-los de novo para replicar, da formalização por regra de Bayes da probabilidade de um resultado significante ser verdadeiro em função do poder, do nível de significância e do prior, dos dois valores citados (89 por cento com prior de 1 em 3, que os autores relatam como média em vários experimentos da Microsoft, e 3,1 por cento com prior de 1 em 500), e da regra de diluir a melhora pelo tamanho do segmento, com o exemplo de 10 por cento num segmento de 1 por cento valendo cerca de 0,1 por cento no total. exp-platform.com.
• Deng, A., Knoblich, U. e Lu, J. Applying the Delta Method in Metric Analytics: A Practical Guide with Novel Ideas. KDD 2018. Referência sobre unidade de aleatorização e unidade de análise, usada aqui para justificar por que a unidade precisa estar no plano antes de o experimento começar. arxiv.org/abs/1803.06336.
• Kohavi, R., Tang, D. e Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Referência geral sobre desenho de experimento, escolha de OEC e disciplina de decisão. Material complementar em experimentguide.com.

Leia também: O problema do peeking · Lei de Twyman e a rodada de confirmação · Maldição do vencedor · Escolhendo a métrica primária · Teste A/B/n com várias variações · Calculadora de valor-p · Read in English