Teste de Equivalência: como provar que não piorou

Um teste A/B sem significância estatística não prova que as duas versões empataram, prova apenas que o teste não conseguiu distinguir as duas. Para afirmar que a variação não piorou é preciso um teste de equivalência: no exemplo trabalhado deste artigo, dois testes com o mesmo veredito de não significância (valor-p de 0,5946 e de 0,8395) chegam a conclusões opostas, porque um deles prova equivalência dentro de meio ponto percentual e o outro deixa aberta a possibilidade de uma perda de mais de meio ponto. Este guia mostra como escolher a margem, como ler o intervalo certo e quanto tráfego custa provar um empate. Faz parte do nosso guia completo de teste A/B e é o complemento direto das métricas de guardrail, que só fazem sentido quando existe uma forma rigorosa de dizer “não piorou”.

O ônus da prova está no lugar errado

O teste A/B tradicional foi desenhado para responder uma pergunta: existe diferença? A hipótese nula é a de que não existe, e o experimento só a derruba quando a evidência a favor da diferença é forte o bastante. Walker e Nowacki descrevem essa estrutura sem rodeio: o ônus da prova recai sobre a hipótese de pesquisa, e ela só se estabelece quando existe evidência suficiente em seu favor. Quando essa evidência não aparece, a conclusão correta é apenas que a igualdade não pôde ser descartada.

O problema começa quando a pergunta do negócio é a inversa. Ninguém pergunta “o novo checkout converte diferente?” quando o objetivo é trocar um checkout caro por um barato. A pergunta real é “o novo checkout converte pior?”, e a resposta desejada é um não. Nessa hora o teste tradicional responde a pergunta errada, e o valor-p alto é lido como prova de empate, o que ele nunca foi.

tipo de estudo	hipótese nula	hipótese de pesquisa
comparativo tradicional	não existe diferença entre as opções	existe diferença entre as opções
equivalência	as opções não são equivalentes	a nova opção é equivalente à atual
não inferioridade	a nova opção é inferior à atual	a nova opção não é inferior à atual

A tabela é a tradução direta do quadro de hipóteses de Walker e Nowacki. Repare que a equivalência não é o comparativo tradicional com outro nome: é ele de cabeça para baixo. A nula passa a ser a não equivalência, e é ela que precisa ser derrubada pelos dados.

Duas leituras do mesmo “não deu diferença”

O caso trabalhado deste artigo compara duas versões de uma página com conversão de referência de 4 por cento. O primeiro teste rodou grande, o segundo rodou pequeno, e os dois terminaram sem significância estatística.

Teste grande. 60.000 visitantes por variação, 2.400 conversões no controle (4,0000 por cento) e 2.364 na variação (3,9400 por cento). O teste z de duas proporções devolve z igual a menos 0,5322 e valor-p de 0,5946. O intervalo de 95 por cento da diferença vai de menos 0,2809 a mais 0,1609 ponto percentual.

Teste pequeno. 8.000 visitantes por variação, 320 conversões no controle (4,0000 por cento) e 315 na variação (3,9375 por cento). O z é menos 0,2025 e o valor-p é 0,8395. O intervalo de 95 por cento vai de menos 0,6675 a mais 0,5425 ponto percentual.

Pela leitura tradicional, os dois casos são idênticos: nenhuma diferença detectada. Repare, porém, que o teste pequeno tem o valor-p maior, aquele que o hábito lê como “mais parecido”. É exatamente o contrário. O intervalo do teste pequeno é mais que o triplo mais largo, e ele deixa em aberto a possibilidade de a variação estar perdendo dois terços de ponto percentual, o que numa base de 4 por cento é uma queda relativa de quase 17 por cento.

Controle (A)

VisitantesConversões

Variação (B)

VisitantesConversões

Confiança90%95%99%

Controle (A) · Taxa-

Variação (B) · Taxa-

Melhora relativa-

valor-p-

IC 95% da diferença-

Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.

Cole os dois pares acima na calculadora para reproduzir os valores-p e os intervalos de 95 por cento. Ela é a mesma implementação usada nos números deste artigo, então a conferência é direta.

O teste de equivalência pelo procedimento TOST

O caminho mais usado para testar equivalência é o procedimento dos dois testes unilaterais, o TOST, proposto por Schuirmann. A regra operacional é simples e cabe numa frase, na formulação de Walker e Nowacki: a equivalência fica estabelecida no nível alfa quando o intervalo de confiança de 1 menos 2 alfa para a diferença está inteiramente contido no intervalo de menos delta a mais delta.

O detalhe que quase todo mundo erra é o nível do intervalo. Com alfa de 0,05, o intervalo correto é o de 90 por cento, não o de 95. A razão é que o procedimento equivale a rodar dois testes unilaterais de 5 por cento, um contra cada borda da margem, e dois testes unilaterais de 5 por cento descrevem justamente um intervalo de 90 por cento. Hoenig e Heisey descrevem o mesmo resultado a partir de Schuirmann, e acrescentam que a abordagem é sempre um pouco conservadora.

Como toda calculadora de significância reporta o intervalo de 95 por cento, converter é trivial: divida a metade da largura do intervalo de 95 por cento por 1,96 para obter o erro-padrão, e multiplique por 1,645 para obter a metade da largura do intervalo de 90 por cento.

No teste pequeno, a metade da largura do intervalo de 95 por cento é 0,6050 ponto percentual. Dividida por 1,96 dá um erro-padrão de 0,3087 ponto. Multiplicado por 1,645 dá 0,5077, então o intervalo de 90 por cento vai de menos 0,5702 a mais 0,4452 ponto percentual. Ele não cabe dentro de menos 0,5 a mais 0,5: a equivalência não foi provada.

No teste grande, o mesmo caminho leva a um erro-padrão de 0,1127 ponto e a um intervalo de 90 por cento de menos 0,2454 a mais 0,1254 ponto percentual, inteiramente dentro da margem. A equivalência está provada no nível de 5 por cento.

Quem prefere um valor-p ao intervalo tem uma saída, também descrita por Walker e Nowacki: como o teste equivale a dois unilaterais, o valor-p da equivalência é o maior dos dois valores-p unilaterais. No teste grande, os dois z contra as bordas são 3,9031 e 4,9676, e o valor-p do TOST é 0,000047. No teste pequeno, os z são 1,4173 e 1,8223, e o valor-p do TOST é 0,0782, acima de 0,05: nada provado. A recomendação dos autores é reportar as duas coisas, intervalo e valor-p.

A margem é a decisão que importa

Walker e Nowacki chamam a determinação da margem de o passo mais crítico do procedimento, e o motivo é aritmético antes de ser conceitual: a margem entra ao quadrado no denominador da amostra. Margem menor significa zona de equivalência mais estreita, mais difícil de provar e muito mais cara.

Duas regras dos autores valem literalmente para experimentação de produto. A primeira: a margem tem que ser fixada antes de os dados serem coletados, ou o controle do erro tipo I vai embora. A segunda: a margem é a maior perda que se aceita em troca dos benefícios não relacionados à eficácia. Em ensaios clínicos esses benefícios são menos efeitos colaterais ou custo menor. Em produto são a mesma coisa com outro nome: uma página mais rápida, uma stack mais barata de manter, uma dependência a menos.

Os autores também registram um dado desconfortável sobre a prática: numa revisão de 162 relatos de estudos de equivalência e não inferioridade publicados em 2003 e 2004, cerca de 80 por cento não justificaram a escolha da margem e 28 por cento não a levaram em conta no cálculo de amostra. A tradução para o nosso contexto é direta: escrever “queremos garantir que não piora” no documento de planejamento não é definir margem. Definir margem é escrever o número e o motivo dele.

Quanto custa provar que empatou

A conta de amostra para o TOST com diferença verdadeira igual a zero segue a fórmula padrão, com a margem no lugar do efeito mínimo detectável e com o percentil de 1 menos beta sobre 2 no lugar do de 1 menos beta:

// N por variação para provar equivalência (diferença verdadeira zero)
// zA = percentil de 1 - alfa; zB = percentil de 1 - beta/2
function nEquiv(p, delta, alpha = 0.05, power = 0.8) {
  const zA = normInv(1 - alpha);          // 1,6449 para alfa 0,05
  const zB = normInv(1 - (1 - power) / 2); // 1,2816 para poder 0,8
  return Math.ceil((2 * p * (1 - p) * (zA + zB) ** 2) / delta ** 2);
}

Com base de 4 por cento, alfa de 0,05 e poder de 80 por cento, a tabela fica assim:

margem de equivalência	N por variação	tráfego total	dias a 60.000 visitantes por semana
0,10 pp	657.704	1.315.408	154
0,20 pp	164.426	328.852	39
0,30 pp	73.079	146.158	18
0,50 pp	26.309	52.618	7
0,75 pp	11.693	23.386	3
1,00 pp	6.578	13.156	2

A não linearidade é o ponto a levar: como a margem entra ao quadrado, apertar a margem pela metade multiplica a amostra por quatro. Sair de 1 ponto para 0,1 ponto multiplica por cem. É por isso que a conversa sobre margem precisa ser honesta desde o começo: uma margem estreita demais não deixa o teste mais rigoroso, deixa o teste impossível.

O teste pequeno do exemplo tinha 8.000 visitantes por variação. Para provar equivalência dentro de meio ponto percentual seriam necessários 26.309, mais que o triplo. Ele não fracassou por azar: nasceu pequeno demais para a pergunta que queriam fazer com ele.

Uma conferência contra a literatura

Vale mostrar que essa aritmética não é caseira. Walker e Nowacki publicam uma tabela de amostras calculadas no software PASS para um cenário com eficácias verdadeiras de 28 e 33 por cento, poder de 0,80 e alfa de 0,05. Rodando a mesma fórmula fechada, com a diferença verdadeira de 5 pontos entrando na conta, os números batem:

margem	PASS (Walker e Nowacki)	fórmula fechada deste artigo
0,06	26.185	26.134
0,07	6.547	6.534
0,08	2.910	2.904
0,09	1.637	1.634
0,10	1.048	1.046
0,11	728	726
0,12	535	534

A diferença fica abaixo de 0,3 por cento em todas as linhas, o que é o esperado para convenções ligeiramente distintas de variância. O que a tabela mostra de mais importante não é a coincidência numérica, é o formato da curva: entre uma margem de 6 pontos e uma de 12 pontos, a amostra necessária cai por um fator de quase 50.

Não inferioridade: quando só um lado importa

Boa parte dos casos de produto não precisa de equivalência dos dois lados. Se a variação subir a conversão, ninguém reclama. O que não pode acontecer é ela cair. Essa é a estrutura da não inferioridade, e a regra também é de uma linha: a não inferioridade fica estabelecida no nível alfa quando o limite inferior do intervalo de 1 menos 2 alfa fica acima de menos delta.

No teste pequeno, o limite inferior do intervalo de 90 por cento é menos 0,5702 ponto, abaixo de menos 0,5: nem a não inferioridade se sustenta. No teste grande, o limite inferior é menos 0,2454, confortavelmente acima da margem, então a variação é não inferior ao controle dentro de meio ponto percentual.

pergunta do negócio	teste correto	critério com margem delta
a variação muda a conversão?	comparativo tradicional	o intervalo de 95 por cento exclui o zero
a variação é praticamente igual?	equivalência (TOST)	o intervalo de 90 por cento cabe entre -delta e +delta
a variação pelo menos não piora?	não inferioridade	o limite inferior do intervalo de 90 por cento fica acima de -delta

Essa é a leitura que falta na maioria dos programas de experimentação: toda métrica de guardrail é, na prática, um teste de não inferioridade disfarçado. Quando a equipe declara que “o guardrail não acusou nada” apenas porque o valor-p ficou alto, ela está usando o teste com o ônus da prova invertido, exatamente o erro que Walker e Nowacki descrevem.

Como isso se encaixa no desenho do teste

Três decisões precisam estar no plano de análise pré-registrado, antes de qualquer dado:

1. Qual métrica é de superioridade e qual é de não inferioridade. A métrica primária costuma ser de superioridade; os guardrails, de não inferioridade. Misturar as duas leituras depois do resultado é escolher a régua que favorece a conclusão desejada.
2. A margem de cada métrica de guardrail, com justificativa. “Aceitamos até 0,3 ponto percentual de queda na conversão do checkout em troca de 400 milissegundos a menos de carregamento” é uma margem. “Não pode piorar” não é.
3. O tamanho de amostra calculado com a margem. Se a amostra planejada não sustenta a margem escolhida, uma das duas precisa mudar antes do teste começar, não depois.

O efeito mínimo detectável e a margem de equivalência são primos: os dois traduzem uma decisão de negócio num número que entra ao quadrado no denominador da amostra. A diferença é a direção da pergunta. O MDE é o menor ganho que vale a pena detectar; a margem é a maior perda que se aceita ignorar.

Erros comuns

• Ler valor-p alto como prova de empate. É o erro central, e ele fica pior quanto menor o teste, porque testes pequenos produzem valores-p altos com facilidade.
• Usar o intervalo de 95 por cento no TOST. Com alfa de 0,05, o intervalo correto é o de 90 por cento. Usar o de 95 torna o teste mais conservador do que o declarado e derruba equivalências verdadeiras.
• Escolher a margem depois de ver o resultado. A margem definida depois dos dados sempre cabe no intervalo observado. Isso não é análise, é decoração.
• Aplicar a mesma margem a métricas de peso diferente. Meio ponto percentual de queda na conversão de checkout e meio ponto na taxa de clique de um banner secundário não custam a mesma coisa.
• Confundir equivalência com não inferioridade nos guardrails. Exigir equivalência dos dois lados num guardrail cobra tráfego a mais para provar algo que ninguém precisava provar: que a variação também não melhorou demais.
• Esquecer que a margem é uma promessa. Declarar equivalência dentro de meio ponto percentual é afirmar que perder meio ponto está combinado. Se a diretoria não assinaria essa frase, a margem está errada.

Faça isso automático na Donnu

A pergunta “piorou?” aparece em todo teste que troca infraestrutura, corta um campo de formulário ou simplifica uma página, e ela é sistematicamente respondida com a ferramenta errada: o valor-p do teste de superioridade.

Na Donnu, cada experimento carrega a métrica primária e as métricas de guardrail declaradas separadamente, com a margem de cada guardrail definida no momento do desenho e não na leitura do resultado, e o relatório mostra o intervalo da diferença ao lado da margem em vez de reduzir tudo a um carimbo de significância. Para conferir qualquer conta na mão, a calculadora de significância devolve o intervalo de 95 por cento de qualquer par de grupos (basta a conversão descrita acima para chegar ao de 90 por cento), a calculadora de intervalo de confiança trabalha a precisão de uma taxa isolada e a calculadora de tamanho de amostra dimensiona o teste antes de ele começar.

Referências

• Walker, E. e Nowacki, A. S. Understanding Equivalence and Noninferiority Testing. Journal of General Internal Medicine, volume 26, número 2, páginas 192 a 196, 2011. Fonte do quadro de hipóteses dos três tipos de estudo, da definição da margem de equivalência como a máxima diferença clinicamente aceitável em troca dos benefícios secundários, da regra do TOST (equivalência estabelecida no nível alfa quando o intervalo de 1 menos 2 alfa está contido em menos delta a mais delta), da regra de não inferioridade pelo limite inferior do mesmo intervalo, do valor-p do TOST como o maior dos dois valores-p unilaterais, da exigência de fixar a margem antes da coleta, da tabela de amostras calculada no PASS para eficácias de 0,28 e 0,33 e do levantamento de Le Henanff com 162 relatos em que cerca de 80 por cento não justificaram a margem e 28 por cento não a consideraram no cálculo de amostra. pmc.ncbi.nlm.nih.gov.
• Hoenig, J. M. e Heisey, D. M. The Abuse of Power: The Pervasive Fallacy of Power Calculations for Data Analysis. The American Statistician, volume 55, número 1, páginas 19 a 24, fevereiro de 2001. Fonte da seção 4 sobre teste de equivalência: a inversão do ônus da prova (não basta falhar em mostrar diferença, é preciso ficar razoavelmente certo de que uma diferença grande não existe), a formulação da nula como o efeito absoluto ser maior ou igual a delta, o resultado de Schuirmann de que um intervalo de 1 menos 2 alfa inteiramente contido entre menos delta e mais delta rejeita a não equivalência no nível alfa, e a observação de que a abordagem é sempre um pouco conservadora. stat-help.com.
• Lakens, D. Equivalence Tests: A Practical Primer for t Tests, Correlations, and Meta-Analyses. Social Psychological and Personality Science, volume 8, número 4, páginas 355 a 362, 2017. Fonte da tese de que é estatisticamente impossível sustentar que um efeito verdadeiro é exatamente zero, e do que é possível em vez disso: rejeitar efeitos grandes o bastante para serem considerados relevantes, definindo as bordas a partir do menor efeito de interesse. pmc.ncbi.nlm.nih.gov.
• Schuirmann, D. J. A comparison of the two one-sided tests procedure and the power approach for assessing the equivalence of average bioavailability. Journal of Pharmacokinetics and Biopharmaceutics, volume 15, páginas 657 a 680, 1987. Artigo original do procedimento TOST, citado aqui pelo relato de Walker e Nowacki e de Hoenig e Heisey, que descrevem seu conteúdo e seus resultados. link.springer.com.

Leia também: Métricas de guardrail · Efeito mínimo detectável · Plano de análise pré-registrado · Significância estatística em teste A/B · Calculadora de significância · Read in English