Região de Equivalência Prática (ROPE) em Teste A/B
A região de equivalência prática (ROPE) é a regra bayesiana para chamar um ganho de pequeno demais para importar, mesmo quando ele é real.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
A região de equivalência prática (ROPE) é uma regra de decisão bayesiana, proposta pelo psicólogo John Kruschke, que declara um resultado “praticamente equivalente” a nenhum efeito sempre que o intervalo de credibilidade inteiro dele cabe dentro de uma faixa de valores pequenos demais para importar, em vez de perguntar apenas se esse intervalo exclui o zero. Ela responde a uma pergunta que uma checagem simples de significância não responde: não “esta diferença provavelmente é real”, mas “esta diferença é grande o bastante para valer a ação”. Este guia explica o que é uma ROPE, como definir a largura dela para um teste A/B e percorre um exemplo numérico completo, calculado com o próprio motor bayesiano deste blog, de um resultado que é estatisticamente real e simultaneamente inútil na prática.
Esta peça é a terceira perna de um pequeno cluster sobre ler um teste A/B bayesiano com honestidade. O guia completo de teste A/B bayesiano cobre a mecânica de priors e posteriores; o guia de intervalo de credibilidade x intervalo de confiança cobre o que aquele intervalo de fato significa; o guia de perda esperada transforma a posterior num único número de risco. A ROPE fica ao lado das três: pega o mesmo intervalo de credibilidade e faz mais uma pergunta que nenhuma das outras faz sozinha, a faixa plausível inteira está perto o bastante de zero para ser ignorada?
A pergunta que uma checagem de significância não responde
Todo método de leitura de teste A/B, frequentista ou bayesiano, foi construído para responder alguma versão de “esta diferença é real ou pode ser ruído”. Um valor-p abaixo de 0,05 responde isso. Um intervalo de credibilidade de 95% que exclui o zero responde isso. Uma probabilidade alta de B vencer A responde isso. As três são, no fundo, uma checagem de direção: o efeito é provavelmente positivo, provavelmente negativo ou pode plausivelmente ser zero.
Nenhuma delas, sozinha, responde a uma segunda pergunta completamente diferente: qual é o tamanho do efeito, e esse tamanho vale alguma coisa. Um deslocamento de um visitante em cada milhão pode ser “real” no sentido de direção e simultaneamente invisível em tudo que importa para o negócio. É exatamente essa lacuna que o mercado passou a chamar de significância prática contra significância estatística, e a VWO leva a distinção para dentro da própria escolha de objetivo do teste: a documentação de estimativa de duração de campanha da empresa descreve um modo de “Improvement”, em que se testa melhoria estrita na métrica principal, e um modo de “Improvement or Equivalence”, em que se testa que a variação não é pior que a base, com a ROPE entrando como a faixa de diferenças tratadas como basicamente iguais.
Kruschke fez o mesmo ponto formalmente num artigo de 2018 na Advances in Methods and Practices in Psychological Science, argumentando que a estimação bayesiana deveria deixar de perguntar se um parâmetro é exatamente igual a um valor nulo e passar a perguntar se ele cai dentro de uma faixa de valores que são, para efeitos práticos, equivalentes ao nulo. A motivação por trás dessa troca está registrada na documentação do pacote bayestestR, que implementa o método: num parâmetro contínuo, a probabilidade de qualquer valor pontual exato é zero, então testar o ponto nulo em si nunca foi a pergunta útil.
Como funciona a regra de decisão da ROPE
Uma ROPE é apenas um intervalo escolhido de antemão, normalmente centrado no zero (ou em “nenhum ganho”), dimensionado conforme a margem com a qual o seu negócio genuinamente não se importa. A regra de decisão de Kruschke e Liddell então compara essa faixa com o intervalo de maior densidade (HDI) da posterior, o intervalo mais curto que contém uma dada massa de credibilidade, tipicamente 95%:
- Se o HDI inteiro cai fora da ROPE, rejeite o nulo: o efeito é real e grande o bastante para importar.
- Se o HDI inteiro cai dentro da ROPE, aceite o nulo: seja qual for o efeito verdadeiro, ele é praticamente equivalente a nenhum efeito.
- Se o HDI cruza a borda da ROPE de qualquer lado, fique indefinido: continue coletando dados, a evidência atual não resolve a pergunta de tamanho ainda.
Para as posteriores aproximadamente simétricas que aparecem na maioria das comparações de taxa de conversão em teste A/B, o HDI e o intervalo de credibilidade de caudas iguais que a calculadora deste blog reporta caem perto o suficiente um do outro para que a mesma regra valha para qualquer um dos dois na prática.
Escolhendo a largura da ROPE para um teste A/B
O ponto de partida genérico do próprio Kruschke, pensado para efeitos padronizados em muitas áreas de pesquisa, é de cerca de mais ou menos 0,1 desvio padrão, valor que ele amarra ao limiar convencional de Cohen para efeito “desprezível”, com um mais ou menos 0,18 sugerido para razões de chance em log em modelos do tipo logístico, segundo a documentação do pacote bayestestR em R, que implementa o método dele. Esse padrão nunca foi construído pensando em teste A/B de taxa de conversão, e não se traduz diretamente para uma escala de “ganho percentual”.
O mercado de teste A/B convergiu para uma convenção mais direta: definir a ROPE como uma faixa de ganho relativo. A documentação da VWO afirma claramente que a plataforma usa um valor de ROPE conservador de mais ou menos um por cento como bom ponto de partida, e mostra um exemplo trabalhado: com taxa base de 40%, a decisão de negócio de que qualquer coisa entre 38% e 42% é “igual à base” vira uma ROPE de mais ou menos 5% relativo. O número não é fixo; é uma entrada genuína de negócio, igual a escolher um efeito mínimo detectável antes de calcular tamanho de amostra.
Algumas âncoras práticas para definir esse número nos seus testes:
| Situação | ROPE inicial razoável (ganho relativo) | Por quê |
|---|---|---|
| Checkout ou página de preço de alto tráfego, crítica para receita | Cerca de mais ou menos 1% | É o padrão documentado pela VWO; pequeno o bastante para que uma “vitória” abaixo disso não movesse receita de forma perceptível |
| Mudança cara de implementar (novo fluxo de backend, redesenho) | Mais larga, cerca de mais ou menos 2 a 3% | O custo de engenharia só se paga acima de um ganho mínimo maior |
| Ajuste de interface barato e reversível (texto, cor, espaçamento) | Mais estreita, cerca de mais ou menos 0,5% | Custa pouco para subir, então uma melhoria genuína menor ainda vale a pena |
| Efeito padronizado genérico, fora do contexto de teste A/B | Cerca de mais ou menos 0,1 desvio padrão | É o padrão do próprio Kruschke, amarrado à convenção de Cohen, não calibrado para percentual de ganho |
O fio condutor: a ROPE deve refletir o menor ganho que de fato mudaria o que o seu time faz em seguida. Se um ganho relativo de mais 0,3% não justificaria subir a mudança, ele pertence à ROPE, diga o intervalo de credibilidade o que disser sobre o zero.
Exemplo trabalhado: real e ainda assim não vale subir
Aqui vai um caso construído com o motor Beta-Binomial deste blog (o mesmo por trás da calculadora abaixo), em que uma checagem ingênua de “exclui o zero” e uma checagem por ROPE discordam.
Imagine uma página de checkout de um varejista de tráfego muito alto, rodando um teste longo o bastante, e para gente o bastante, para coletar 2.000.000 de visitantes por variação. O controle A converte a exatos 20,00% (400.000 conversões). A variação B converte a 20,10% (402.000 conversões), um ganho relativo de 0,50%.
Colocando os dois braços numa posterior Beta(1,1) (um prior uniforme, o mesmo que a calculadora deste blog usa), a média posterior da taxa de conversão fica em cerca de 20,00% para A e 20,10% para B, com desvio padrão posterior de aproximadamente 0,028 ponto percentual em cada braço, apertado o bastante para que, a dois milhões de visitantes por braço, o prior não tenha mais influência nenhuma. Combinando a variância posterior dos dois braços, o erro padrão da diferença fica em torno de 0,040 ponto percentual. Isso é pequeno o bastante, em relação à diferença de 0,10 ponto percentual entre as duas taxas, para que o intervalo de credibilidade de 95% sobre o próprio ganho (usando a aproximação normal padrão para a diferença de duas posteriores Beta, precisa aqui porque as duas posteriores têm centenas de milhares de pseudo-observações por trás) fique em aproximadamente 0,11% a 0,89% de ganho relativo. Ele exclui o zero com folga confortável, o que corresponde a cerca de 99,4% de probabilidade posterior de que B realmente vence A.
Digite esses mesmos números na calculadora, 2.000.000 de visitantes e 400.000 conversões para A, 2.000.000 de visitantes e 402.000 conversões para B, e acompanhe ao vivo:
Modelo Beta-Binomial com prior uniforme Beta(1,1) e intervalo de credibilidade de 95%. Cálculo determinístico, recalcula ao vivo.
Você deve ver algo perto de 99% de probabilidade de B vencer A, um ganho relativo perto de 0,5% e uma perda esperada de escolher B que arredonda para essencialmente zero, tudo consistente com os números acima. Uma regra ingênua que só checasse “o intervalo exclui o zero, e a probabilidade de B vencer é alta” chamaria isso de vitória óbvia e confiante, suba agora.
Agora aplique uma ROPE de mais ou menos 1%, o mesmo padrão conservador que a VWO documenta. O intervalo de credibilidade inteiro, de aproximadamente 0,11% a 0,89%, cabe dentro dessa faixa. Todo valor plausível para o ganho verdadeiro, da ponta de baixo à ponta de cima do que os dados sustentam, é uma mudança que ninguém no negócio notaria. O veredito honesto não é “suba”, é “isso provavelmente é real e é pequeno demais para agir em cima”. É uma decisão diferente da que a regra ingênua alcançou, com exatamente os mesmos dados.
Isso não é peculiaridade de um cenário inventado. É a consequência mecânica de rodar um teste com tráfego suficiente para resolver um efeito muito menor do que qualquer um se importa, o que acontece principalmente na escala de grandes varejistas e plataformas, exatamente o público para quem a VWO escreve a documentação de ROPE. Sites menores raramente chegam a um tamanho de amostra em que essa lacuna aparece; quando eles conseguem um ganho relativo “significativo” de 0,5%, em geral é porque o intervalo ainda é largo o bastante para que a ponta de cima prometa algo real, não porque a faixa inteira está presa tão perto do zero.
Onde a ROPE se encaixa ao lado de perda esperada e intervalo de credibilidade
As três ideias deste cluster não competem, elas leem a mesma posterior para propósitos diferentes:
| Ferramenta | Pergunta que responde | Formato da resposta |
|---|---|---|
| Intervalo de credibilidade | Que faixa de ganho verdadeiro é plausível, dados os dados | Uma faixa, com probabilidade declarada de conter a verdade |
| Perda esperada | Se eu subir a variação errada, quanto isso custaria em média | Um número único, na métrica que importa |
| ROPE (este artigo) | A faixa plausível é pequena o bastante para tratar como nenhum efeito | Um veredito categórico: real, equivalente ou indefinido |
Um time que só checa a probabilidade de B vencer A pode ser enganado por um resultado de amostra grande e efeito pequeno exatamente como o de cima. Um time que também checa perda esperada ganha um número de risco genuíno, mas nem uma perda esperada perto de zero diz, sozinha, se o lado vencedor da aposta valia o custo de subir. Colocar uma ROPE por cima das duas fecha essa lacuna: é a única das três construída especificamente para dizer “sim, isso provavelmente é real, e não, ainda assim não importa”.
Vale a nota prática de processo: a ROPE tem que ser escrita antes do teste, junto com o efeito mínimo detectável, e não escolhida depois de ver o resultado. Uma ROPE definida a posteriori vira o mesmo problema do peeking, só que na dimensão do tamanho do efeito em vez da do tempo: quem escolhe a largura depois de ver o intervalo consegue justificar qualquer veredito que já queria.
Faça isso automático na Donnu
A parte difícil de um resultado bayesiano não é calcular a posterior, é decidir, com clareza, quando uma leitura de “sim, provavelmente é vitória” é pequena demais para valer a subida. O relatório bayesiano da Donnu já mostra lado a lado a probabilidade de a variação vencer e a perda esperada de escolher ela, os mesmos dois números de que este artigo partiu, então você nunca fica com uma probabilidade solta na mão sem noção do tamanho real do efeito.
Comece um teste grátis de 14 dias e leia o resultado do seu próximo teste com direção e tamanho do efeito à vista. Para a mecânica completa por trás dessas posteriores, veja o guia completo de teste A/B bayesiano; para o que o intervalo tem direito de significar, veja intervalo de credibilidade x intervalo de confiança; para transformar a mesma posterior num único número de risco, veja perda esperada em teste A/B bayesiano. Em inglês, a versão original desta peça está em region of practical equivalence.
Referências
- Kruschke, J. K. Rejecting or Accepting Parameter Values in Bayesian Estimation. Advances in Methods and Practices in Psychological Science, 1(2), 270-280, 2018. doi.org/10.1177/2515245918771304.
- VWO. What is the Region of Practical Equivalence (ROPE)? Padrão conservador de mais ou menos 1% e o exemplo de base 40% com faixa de 38% a 42%. help.wingify.com.
- VWO. Estimate Your Campaign Duration. Modos “Improvement” e “Improvement or Equivalence” e o papel da ROPE como faixa de diferenças tratadas como basicamente iguais. help.wingify.com.
- Makowski, D., Ben-Shachar, M.S. & Lüdecke, D. Region of Practical Equivalence (ROPE), documentação do
bayestestR(implementa a regra de decisão de Kruschke). easystats.github.io/bayestestR.
Perguntas frequentes
- O que é a região de equivalência prática (ROPE) na estatística bayesiana?
- A ROPE é uma faixa de valores do parâmetro, definida antes de olhar os dados, que você decidiu estarem perto o bastante do valor nulo (normalmente zero, ou seja, nenhum ganho) para serem tratados como praticamente a mesma coisa na decisão em questão. Proposta por John Kruschke, ela troca a pergunta "o efeito é exatamente zero" pela pergunta mais honesta "o efeito é pequeno o bastante para não importar", comparando essa faixa com o intervalo de credibilidade da sua posterior.
- Qual a diferença entre ROPE e simplesmente checar se o intervalo de credibilidade exclui o zero?
- Excluir o zero só diz que a direção do efeito é provavelmente real, não diz nada sobre o tamanho dele. Um teste com milhões de visitantes pode produzir um intervalo de credibilidade que exclui o zero com folga e mesmo assim caber inteiro dentro de uma faixa de mais ou menos um por cento em que ninguém subiria a mudança. A ROPE acrescenta a pergunta do tamanho em cima da pergunta da direção, e as duas podem discordar.
- Que largura de ROPE eu devo usar num teste A/B?
- Não existe número universal, é uma decisão de negócio tomada antes de o teste começar. A VWO documenta um padrão de mais ou menos um por cento de ganho relativo como, nas palavras da própria empresa, um valor conservador e um bom ponto de partida, enquanto o padrão estatístico genérico de Kruschke para um efeito padronizado é de cerca de mais ou menos 0,1 desvio padrão. A largura certa é aquela diferença pequena o bastante para que implementar a mudança não valesse o custo de engenharia.
- Um resultado pode ser estatisticamente significativo e ainda assim cair dentro da ROPE?
- Pode, e é exatamente esse o caso que a ROPE existe para pegar. Uma amostra muito grande consegue tornar um ganho minúsculo e praticamente irrelevante distinguível de zero. O intervalo de credibilidade exclui o zero (então uma checagem ingênua de "é significativo" diz sim), e mesmo assim o intervalo inteiro cabe dentro da faixa de equivalência (então a checagem por ROPE diz que o efeito é desprezível). Significância e tamanho são duas perguntas diferentes.
- Como a ROPE se relaciona com perda esperada e intervalo de credibilidade?
- As três leem a mesma distribuição posterior e respondem perguntas diferentes. O intervalo de credibilidade informa uma faixa plausível para o ganho verdadeiro. A perda esperada transforma essa faixa num número único, o custo médio de estar errado se você subir a variação mesmo assim. A ROPE compara a faixa inteira com uma banda de equivalência definida pelo negócio e devolve um veredito categórico: efeito real, praticamente equivalente ou indefinido. Lidas juntas, cobrem direção, custo e materialidade.
- ROPE serve para site pequeno ou só para quem tem muito tráfego?
- A regra serve para qualquer tamanho, mas o conflito entre "significativo" e "irrelevante" aparece com muito mais frequência em volume alto. Um site com pouco tráfego raramente chega a uma amostra capaz de resolver um efeito de meio por cento; quando ele vê um ganho relativo pequeno e significativo, em geral o intervalo ainda é largo e a ponta de cima promete algo material. Ainda assim vale definir a ROPE antes do teste, porque ela também serve para reconhecer empate de verdade em vez de ficar rodando o teste para sempre atrás de um vencedor.