Métrica Primária e OEC: como escolher a que decide
Como escolher a métrica primária de um teste A/B, o que um OEC precisa ter e por que a métrica-proxy mais sensível costuma ser a escolha errada.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
A métrica primária, ou OEC, é a única medida com permissão para declarar seu experimento vencedor. Escolhê-la é a decisão de maior alavanca do teste inteiro, e ela precisa acontecer antes do lançamento, porque métrica escolhida depois que os resultados chegam não é evidência, é seleção. Este guia cobre o que um OEC precisa ter para ser usável, as duas qualidades que separam uma boa métrica primária de uma métrica plausível, a armadilha de tamanho de amostra que empurra os times para proxies rasos, e um exemplo trabalhado em que o proxy vence e a métrica de negócio não diz nada. Faz parte do nosso guia completo de teste A/B e forma par com métricas de guardrail, que cuida da outra metade da decisão de subir.
O que é um OEC, e por que só pode haver um
Kohavi e colegas, descrevendo a experimentação no Bing em 2013, listam um critério geral de avaliação formalizado como o primeiro princípio que uma organização precisa adotar antes de experimentos controlados valerem a pena. Eles assumem que o OEC já foi definido e pode ser medido em durações relativamente curtas, por exemplo duas semanas, e nomeiam a parte difícil com precisão: encontrar métricas mensuráveis no curto prazo que sejam preditivas de objetivos de longo prazo.
Esse enquadramento mata duas candidatas populares na hora. O artigo diz sem rodeios que lucro não é um bom OEC, porque teatro de curto prazo como aumentar preços pode elevá-lo enquanto o prejudica no longo prazo. Dá o mesmo veredito sobre participação de mercado como critério de curto prazo, observando que piorar um buscador na verdade força as pessoas a fazer mais buscas para achar uma resposta. As duas métricas são reais, as duas importam para o negócio, e as duas são manipuláveis numa janela de duas semanas em direções erradas. A preferência deles no Bing era sessões por usuário, ou visitas repetidas, como fator do OEC.
A regra de métrica única não é preciosismo estatístico, é o que faz um teste ser uma decisão. Cada métrica adicional lida em busca de significância traz consigo a própria chance de cruzar a linha por sorte.
| Métricas lidas em busca de significância | Chance de ao menos uma dar significativa só por acaso |
|---|---|
| 1 | 5,0% |
| 2 | 9,8% |
| 3 | 14,3% |
| 5 | 22,6% |
| 8 | 33,7% |
| 12 | 46,0% |
| 20 | 64,2% |
Na prática o dano raramente chega como erro formal de comparações múltiplas. Ele chega como uma reunião em que um teste que perdeu em compras acaba tendo vencido em profundidade de rolagem, e o relatório vira discretamente um relatório sobre profundidade de rolagem. Nomear a métrica primária antes de lançar é o que separa um procedimento de decisão de um garimpo.
As duas qualidades que uma métrica primária precisa ter
Deng e Shi, descrevendo o desenvolvimento de métricas no Bing em 2016, reduzem a escolha a duas qualidades obrigatórias, e as duas precisam valer ao mesmo tempo.
Direcionalidade. Uma boa métrica primária sobe quando a experiência do usuário melhora de verdade e cai quando piora, de forma consistente, no curto e no longo prazo. O contraexemplo deles é buscas distintas por usuário em um buscador. Intuitivamente, usuários mais satisfeitos fazem mais buscas, e contagens de busca maiores de fato correlacionam com buscadores ganhando participação. Mas a análise de comportamento mostra que logo depois de a relevância melhorar, os usuários fazem menos buscas dentro de uma tarefa enquanto o número de tarefas fica praticamente igual, então a métrica cai exatamente quando o produto ficou melhor. Uma métrica de direção ambígua é pior do que nenhuma métrica, porque pode ser movida na direção “boa” piorando o produto.
Sensibilidade. Uma boa métrica primária responde à maioria das melhorias reais dentro de uma janela normal de experimento. O exemplo aqui é instrutivo porque é a mesma organização escolhendo entre duas métricas defensáveis: sessões por usuário é bem ligada a participação de mercado e satisfação, mas demora muito para se mexer, enquanto a taxa de sucesso da busca responde rápido e de forma significativa quando a relevância muda. O Bing por isso preferiu métricas construídas sobre sessões bem-sucedidas a sessões por usuário sozinha.
A tensão entre as duas é onde moram as discussões reais. Métricas perto do dinheiro têm ótima direcionalidade e péssima sensibilidade. Métricas perto da interface têm ótima sensibilidade e direcionalidade escorregadia.
A armadilha de amostra que empurra os times para o proxy
O puxão em direção às métricas rasas não é preguiça, é aritmética. O tamanho de amostra escala com mais ou menos um sobre o quadrado do efeito e inversamente com a taxa base, então uma métrica mais acima no funil é dramaticamente mais barata de testar. Aqui está o mesmo efeito relativo de 10% precificado em quatro candidatas a métrica primária do mesmo produto:
| Candidata a métrica primária | Taxa base | Visitantes por variação | Total de visitantes | Dias a 30.000 por semana |
|---|---|---|---|---|
| Clicou no CTA | 30,0% | 3.763 | 7.526 | 2 |
| Iniciou um teste grátis | 9,0% | 16.583 | 33.166 | 8 |
| Assinatura paga | 2,5% | 64.199 | 128.398 | 30 |
| Pagou e segue ativo em 30 dias | 1,8% | 89.839 | 179.678 | 42 |
A métrica mais perto do negócio custa cerca de dezessete vezes o tráfego da métrica mais perto da interface, e cerca de vinte e quatro vezes se você insistir na versão retida. Dois dias contra seis semanas é uma diferença operacional real, e é por isso que o proxy segue ganhando as discussões. Precifique as suas candidatas:
Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.
A armadilha não é que proxies sejam inúteis. É que um proxy é uma hipótese sobre o seu funil, não uma medição do seu negócio, e a hipótese é falsa com frequência. A próxima seção mostra como isso aparece quando dá errado.
Exemplo trabalhado: o proxy vence, a métrica de negócio não diz nada
Um teste na página de preços é dimensionado pela métrica primária declarada, assinatura paga a uma taxa base de 2,5% com MDE relativo de 12%, o que exige 44.996 visitantes por variação, cerca de 21 dias a 30.000 visitantes elegíveis por semana. Início de teste grátis, a uma base de 9%, é declarado como diagnóstico. Rode as duas leituras:
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
O diagnóstico. Inícios de teste grátis fecham em 4.050 no controle (9,001%) e 4.394 na variação (9,765%). Isso é +8,49% relativo, z = 3,93, valor-p 0,000084, intervalo de confiança de +0,38 a +1,15 pontos percentuais. Um movimento decisivo e sem ambiguidade.
A métrica primária. Assinaturas pagas fecham em 1.125 no controle (2,500%) e 1.151 na variação (2,558%). Isso é +2,31% relativo, z = 0,55, valor-p 0,5809, intervalo de confiança de -0,15 a +0,26 pontos percentuais. Nada.
Se início de teste grátis fosse a métrica primária, esse teste sobe como vitória clara, e o slide diz que a nova página de preços elevou as assinaturas em 8,5%. O que de fato aconteceu é que mais gente começou um teste grátis e mais ou menos a mesma gente pagou. A leitura mais provável é que a página trouxe testes grátis adicionais de usuários que nunca iriam converter, o que custa esforço de onboarding e carga de suporte sem produzir receita.
Duas ressalvas honestas pertencem ao relatório, e as duas são calculáveis.
A métrica primária não tinha poder para um efeito do tamanho do proxy. Se assinaturas pagas tivessem se movido os mesmos +8,5% dos testes grátis, o resultado seria 1.221 contra 1.125, dando valor-p 0,0446 e um intervalo de confiança de +0,004 a +0,42 pontos percentuais, mal cruzando a linha. Nessa amostra o teste tinha apenas cerca de 51,6% de poder para detectar um efeito relativo de 8,5% em assinaturas pagas; chegar a 80% de poder para esse efeito exigiria cerca de 88.240 visitantes por variação. Então a frase correta não é “a página de preços não elevou as assinaturas pagas”, é “a página de preços elevou os testes grátis de forma decisiva e deixou as assinaturas pagas sem resposta, com o intervalo descartando qualquer coisa acima de cerca de +10% relativo”.
A distância entre as duas métricas é ela própria o achado. Uma mudança que move testes grátis em 8,5% e assinaturas pagas em 2,3% te contou algo específico sobre o seu funil: o gargalo não é intenção de testar, é o que acontece depois que o teste grátis começa. Isso é um resultado melhor do que uma vitória de proxy teria sido, e ele só existe porque a métrica primária foi declarada antes do lançamento e lida depois independentemente do que dissesse.
Uma checklist para escolher a métrica primária
| Pergunta | Se a resposta for não |
|---|---|
| Ela sobe só quando o usuário realmente teve um desfecho melhor? | Direcionalidade falha; dá para melhorá-la piorando o produto |
| Ela consegue se mover de forma mensurável na sua janela normal de teste? | Sensibilidade falha; todo teste vai terminar inconclusivo a um custo razoável |
| Ela é difícil de manipular com uma mudança que você lamentaria ter subido? | Você escolheu um incentivo, não uma medição |
| Seu tráfego banca um tamanho de efeito relevante nela? | Decida abertamente: mudança maior, redução de variância, teste mais longo ou proxy declarado |
| Existe exatamente uma, nomeada antes do lançamento? | O teste é um garimpo, não uma decisão |
| Alguém é dono dela e a lê depois de todo teste? | Ela deixa de ser a primária em silêncio dentro de um trimestre |
Duas saídas estruturais valem conhecer quando a resposta honesta à quarta linha é não. Redução de variância baixa a amostra necessária para o mesmo efeito na mesma métrica, coberta no nosso guia de CUPED. E se a restrição real é que o seu tráfego nunca vai resolver a métrica que importa, isso é uma conversa de desenho, não de troca de métrica: a aritmética está em efeito mínimo detectável.
Erros comuns com a métrica primária
| Erro | O que ele produz |
|---|---|
| Nenhuma métrica primária declarada antes do lançamento | O que parecer melhor vira a manchete, e o programa não distingue vitória de coincidência |
| Várias métricas primárias | Com cinco métricas, cerca de 22,6% dos testes neutros mostram algo significativo |
| Receita ou lucro como OEC de curto prazo | Premia aumento de preço e outros teatros de curto prazo que prejudicam o negócio depois |
| Um proxy escolhido por custo e depois reportado como o desfecho | Sobe mudanças que movem o funil sem mover o negócio |
| Uma métrica de direção ambígua | Dá para melhorá-la piorando o produto, que é o que acaba acontecendo |
| Promover um guardrail ou diagnóstico depois da leitura | Transforma o experimento em busca por algo positivo para dizer |
| Nunca revisitar o OEC conforme o produto amadurece | Deng e Shi notam que a escolha do OEC deve evoluir conforme o serviço cresce |
Faça isso automático na Donnu
Uma métrica primária só cumpre o papel dela se for fixada antes do primeiro visitante ser sorteado e reportada depois diga o que disser. A Donnu A/B pede a métrica primária no momento de montar o experimento, mantém ela travada e visível no topo do resultado em vez de como uma linha entre vinte, e reporta todas as outras métricas abaixo dela como contexto, não como veredito candidato. Quando a primária dá inconclusiva e uma secundária dá significativa, a leitura diz exatamente isso, que costuma ser a frase mais útil do teste inteiro.
Comece um teste grátis de 14 dias e declare a métrica primária do seu próximo teste antes de lançá-lo.
Referências
- Kohavi, R., Deng, A., Frasca, B., Walker, T., Xu, Y. e Pohlmann, N. Online Controlled Experiments at Large Scale. KDD 2013. Fonte do OEC formalizado como princípio pré-condição, da exigência de ser mensurável em cerca de duas semanas enquanto prediz objetivos de longo prazo, dos vereditos sobre lucro e participação de mercado como critérios de curto prazo, e de sessões por usuário como fator preferido no Bing. exp-platform.com.
- Deng, A. e Shi, X. Data-Driven Metric Development for Online Controlled Experiments: Seven Lessons Learned. KDD 2016. Fonte de direcionalidade e sensibilidade como as duas qualidades obrigatórias, do contraexemplo de buscas distintas por usuário, da preferência por sessões bem-sucedidas sobre sessões por usuário, e da observação de que o OEC deve evoluir conforme o serviço cresce. exp-platform.com.
- Dmitriev, P., Gupta, S., Kim, D. W. e Vaz, G. A Dirty Dozen: Twelve Common Metric Interpretation Pitfalls in Online Controlled Experiments. KDD 2017. Fonte da taxonomia de métricas que separa OEC, guardrail, diagnóstico e qualidade de dados, e do ponto de que o ideal é ter uma métrica única, possivelmente composta, como OEC de um produto. exp-platform.com.
- Kohavi, R., Tang, D. e Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Capítulos sobre métricas-objetivo, métricas-direcionadoras e guardrails, e sobre construir um OEC. Material complementar em experimentguide.com.
Leia também: Métricas de guardrail · Efeito mínimo detectável · Como escrever uma hipótese de teste A/B · Paradoxo de Simpson em teste A/B · Calculadora de tamanho de amostra grátis · Read in English
Perguntas frequentes
- O que é OEC em teste A/B?
- OEC (overall evaluation criterion, ou critério geral de avaliação) é a métrica única, ou a métrica composta única, que carrega a decisão do experimento. Kohavi e colegas (KDD 2013) tratam ter um OEC formalizado como pré-condição para valer a pena rodar experimentos, e descrevem a parte difícil como encontrar uma métrica mensurável numa janela curta, cerca de duas semanas, que seja preditiva dos objetivos de longo prazo. Todo o resto do painel é guardrail, diagnóstico ou qualidade de dados, e nenhum deles decide nada sozinho.
- O que faz uma boa métrica primária?
- Deng e Shi (KDD 2016) nomeiam duas qualidades obrigatórias: direcionalidade e sensibilidade. Direcionalidade é a métrica subir quando a experiência do usuário melhora de verdade e cair quando piora, no curto e no longo prazo. Sensibilidade é ela responder à maioria das melhorias reais dentro de uma janela normal de experimento, senão decidir fica impossível a um custo razoável. Uma métrica com só uma das duas é armadilha: uma métrica direcionalmente perfeita mas insensível nunca resolve, e uma métrica sensível mas ambígua é fácil de mover fazendo algo ruim.
- Por que não usar receita ou lucro como OEC?
- Porque receita de curto prazo é fácil de inflar de maneiras que destroem valor no longo prazo. Kohavi e colegas (KDD 2013) afirmam diretamente que lucro não é um bom OEC, já que teatro de curto prazo como aumentar preços pode elevá-lo enquanto o prejudica lá na frente. Eles dão o mesmo veredito sobre participação de mercado como critério de curto prazo, notando que piorar um buscador força as pessoas a fazer mais buscas. Receita entra na decisão, em geral como guardrail, não como a métrica que declara o vencedor.
- Posso ter mais de uma métrica primária?
- Você pode ter uma métrica composta, mas não pode ter várias independentes e ainda chamar o teste de decisão. Ler cinco métricas ao limiar de 5% dá cerca de 22,6% de chance de pelo menos uma cruzar a linha por puro acaso, e a doze métricas isso chega a cerca de 46%. Na prática a falha raramente é formal: é que a métrica que por acaso ficou melhor vira a manchete depois do fato. Nomear uma métrica antes de lançar é o que faz o resultado ser decisão em vez de garimpo.
- Por que a métrica-proxy mais sensível é uma armadilha?
- Porque sensibilidade e proximidade do valor de negócio costumam puxar em direções opostas. Dimensionar um teste para um proxy raso é muito mais barato: a 10% de efeito relativo, uma taxa de clique no CTA de 30% precisa de cerca de 3.763 visitantes por variação, enquanto uma taxa de assinatura paga de 2,5% precisa de cerca de 64.199, dezessete vezes mais. Essa diferença de custo é exatamente o que empurra os times para o proxy, e é também por isso que uma vitória no proxy nunca deve ser reportada como vitória de negócio antes de o elo entre os dois ser demonstrado nos seus próprios dados.
- E se o teste não tiver tráfego para a métrica real?
- Então diga isso explicitamente em vez de trocar a métrica no silêncio. As opções honestas são testar uma mudança maior para que um efeito maior fique detectável, usar redução de variância para a mesma métrica precisar de menos tráfego, aceitar um teste mais longo, ou registrar o proxy como métrica de decisão declarando abertamente que o resultado de negócio segue não provado e agendando uma leitura de acompanhamento. O que quebra um programa não é escolher um proxy, é escolher um em silêncio e depois reportá-lo como se fosse o desfecho.
- Qual a diferença entre métrica primária e guardrail?
- A métrica primária responde se a mudança é boa, e é a única com permissão para declarar um vencedor. O guardrail responde se a mudança é segura, e tem poder de veto: pode barrar uma subida que a primária venceu, mas nunca resgatar uma que a primária perdeu. As duas precisam ser declaradas antes do lançamento. Quando um teste perdido é salvo por uma métrica que não era a primária, o experimento deixou de ser procedimento de decisão e virou busca por algo positivo para reportar.