Maldição do Vencedor: por que a vitória encolhe ao subir
Selecionar vencedor por significância infla o efeito medido. A aritmética disso, quanta inflação esperar e como reportar um número honesto.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
O ganho que você mediu num teste A/B vencedor é, em média, maior que o ganho que você vai receber depois de subir, e o tamanho dessa distância é definido quase inteiramente pelo poder estatístico do desenho. Essa é a maldição do vencedor: você não escolheu a variação ao acaso, escolheu porque ela cruzou um limiar, e cruzar um limiar com amostra pequena exige ajuda do ruído. Este guia cobre por que o viés é estrutural em vez de problema de dado, quanta inflação esperar em cada nível de poder, um exemplo trabalhado em que um aparente mais 23 por cento replica em mais 8 por cento, e as três formas de reportar um número que sobrevive ao contato com a realidade. Faz parte do nosso guia completo de teste A/B e conversa com efeito mínimo detectável.
A maldição do vencedor é seleção, não medição
A sua estimativa do ganho é não enviesada. Isso é uma propriedade real do teste de duas proporções e não está em disputa. Rode o mesmo experimento mil vezes contra um ganho verdadeiro de mais 5 por cento relativo e a média dessas mil estimativas cai em mais 5 por cento.
Só que você não reporta a média de mil rodadas. Você reporta as rodadas que cruzaram p abaixo de 0,05, e descarta o resto como inconclusivo. Num desenho com pouco poder, a maioria das rodadas contra um efeito real de mais 5 por cento não cruza. As que cruzam são aquelas em que a variação aleatória empurrou a diferença observada para cima. Condicionar na significância seleciona ruído para cima, então a média das estimativas sobreviventes é maior que a verdade.
Gelman e Carlin deram nome e método a essa quantidade na Perspectives on Psychological Science em 2014. Eles chamam o fator de superestimação de razão de exagero, ou erro tipo M (magnitude) esperado: a esperança do valor absoluto da estimativa dividido pelo tamanho verdadeiro do efeito, condicional à significância estatística. Ao lado disso definem a taxa de erro tipo S (sinal): a probabilidade de uma estimativa significativa apontar para o lado errado. O resumo que eles fazem da situação é direto: resultados estatisticamente significativos num contexto ruidoso têm alta probabilidade de estar na direção errada e invariavelmente superestimam o valor absoluto de qualquer efeito real, muitas vezes por um fator substancial.
Quanta inflação, em cada nível de poder
O método é um cálculo direto, não uma regra de bolso. Pegue o efeito verdadeiro, pegue o erro padrão do seu desenho, descubra que fração de rodadas repetidas cruzaria o limiar de significância, e tire a média da estimativa absoluta só sobre essas rodadas. Rodamos esse cálculo em forma fechada ao longo da faixa de poder, com alfa 0,05 e bilateral:
| Poder do desenho contra o efeito verdadeiro | Erro tipo S: vencedor significativo aponta para o lado errado | Razão de exagero: efeito medido dividido pelo verdadeiro |
|---|---|---|
| 10 por cento | 4,50 por cento | 3,71 vezes |
| 20 por cento | 0,53 por cento | 2,26 vezes |
| 30 por cento | 0,11 por cento | 1,81 vez |
| 50 por cento | 0,01 por cento | 1,41 vez |
| 80 por cento | abaixo de 0,01 por cento | 1,12 vez |
| 90 por cento | abaixo de 0,01 por cento | 1,06 vez |
Duas conferências de que esta tabela está certa, ambas contra números publicados por Gelman e Carlin. Com um efeito verdadeiro a 2,8 erros padrão de zero, que é a definição de 80 por cento de poder, eles reportam poder 0,80, erro tipo S de 1,2 vezes dez elevado a menos seis, e fator de exagero de 1,12; o nosso cálculo devolve 0,7996, 1,21 vezes dez elevado a menos seis e 1,125. Para o exemplo trabalhado deles, com efeito verdadeiro de 2 por cento e erro padrão de 8,1 por cento, eles reportam poder 0,06, tipo S 24 por cento e exagero 9,7 a partir de uma simulação de 10.000 rodadas; nossa forma fechada devolve 0,057, 24 por cento e 9,5, com a pequena diferença vindo do ruído de simulação do lado deles.
O formato da tabela é a mensagem inteira. Acima de 80 por cento de poder praticamente não há o que corrigir. Abaixo de 30 por cento de poder a correção é maior que a melhoria anual inteira da maioria dos times. E a maioria dos testes A/B em sites pequenos e médios fica bem abaixo de 30 por cento de poder contra efeitos realistas, que é o ponto de CRO para sites de baixo tráfego.
O mecanismo vai além de experimentação. Ioannidis, no ensaio de 2005 na PLoS Medicine sobre por que a maioria dos achados de pesquisa publicados é falsa, monta a mesma estrutura em termos de valor preditivo positivo e lista as condições que tornam um achado menos provável de ser verdadeiro: estudos menores, tamanhos de efeito menores, mais relações testadas com menos pré-seleção, e mais times atrás de significância estatística. Um programa de experimentação com backlog grande, tráfego pequeno e taxa de sucesso baixa marca todos os itens.
Exemplo trabalhado: mais 23 por cento que era mais 8
Um time com base de 3 por cento roda uma mudança de checkout por duas semanas e junta 12.000 visitantes por variação. Cole os números abaixo na calculadora:
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
| Rodada 1 | Visitantes | Conversões | Taxa |
|---|---|---|---|
| A, controle | 12.000 | 360 | 3,000 por cento |
| B, variação | 12.000 | 444 | 3,700 por cento |
A calculadora devolve mais 0,700 ponto percentual, mais 23,33 por cento relativo, z = 3,01, valor-p 0,0026, com intervalo de 95 por cento de mais 0,245 a mais 1,155 ponto percentual. Significativo, e não por pouco.
Agora olhe o que o desenho conseguia enxergar. Com 12.000 por variação sobre base de 3 por cento, 95 por cento de confiança e 80 por cento de poder, o efeito mínimo detectável é 0,617 ponto percentual, ou mais 20,57 por cento relativo. O efeito observado mal supera o menor efeito que o teste foi montado para detectar, que é a assinatura clássica de um desenho capaz de produzir apenas vitórias de aparência grande. Se o efeito verdadeiro fosse os bem mais plausíveis mais 5 por cento relativos, esse desenho teria 9,9 por cento de poder para detectá-lo, o que a tabela acima mapeia para um exagero esperado de cerca de 3,7 vezes e 4,5 por cento de chance de o sinal estar simplesmente errado.
O time roda uma confirmação, dimensionada para o menor ganho que de fato subiria, mais 10 por cento relativo, que exige 53.211 por variação. Arredondam para 54.000:
| Rodada 2, confirmação | Visitantes | Conversões | Taxa |
|---|---|---|---|
| A, controle | 54.000 | 1.620 | 3,000 por cento |
| B, variação | 54.000 | 1.750 | 3,241 por cento |
A calculadora devolve mais 0,241 ponto percentual, mais 8,02 por cento relativo, z = 2,28, valor-p 0,0229, intervalo de mais 0,033 a mais 0,448 ponto percentual. O efeito mínimo detectável neste tamanho é mais 9,69 por cento relativo, então o desenho agora resolve a faixa que importa.
A mudança é real e vale subir. O número é um terço do que a primeira rodada disse. A razão entre as duas estimativas pontuais é 23,33 dividido por 8,02, cerca de 2,9 vezes, caindo direitinho dentro da faixa que a tabela de exagero prevê para um desenho naquele nível de poder. Nada deu errado na rodada um. Ela mediu exatamente o que um desenho sem poder mede quando produz uma vitória.
Por que o total do roadmap nunca chega
Pegue um programa que subiu dez vencedores neste trimestre, cada um medido em mais 5 por cento no próprio passo do funil. O slide diz mais 50 por cento. Duas multiplicações separam esse slide da realidade.
Inflação. Se esses testes rodaram perto de 20 por cento de poder contra os efeitos verdadeiros, cada mais 5 por cento medido corresponde a um efeito verdadeiro mais perto de mais 2,2 por cento, pela razão da tabela acima. Dez desses não é mais 50 por cento, é algo perto de mais 22 por cento antes de qualquer outra coisa ser aplicada.
Diluição. Um efeito medido no subconjunto de usuários que chegou àquele passo do funil precisa ser escalado pela fatia de tráfego daquele subconjunto antes de poder ser somado a uma métrica de empresa. Kohavi e colegas enunciam a regra diretamente nas regras de bolso do KDD 2014: métricas devem ser diluídas pelo tamanho do segmento, e uma melhora de 10 por cento num segmento de 1 por cento tem impacto total de aproximadamente 0,1 por cento. O mesmo artigo reporta que num site como o Bing os experimentos que dão certo movem métricas-chave em 0,1 a 1,0 por cento depois de diluídos ao impacto total.
Essas duas coisas juntas normalmente bastam para fechar a distância entre o roadmap e o painel, sem precisar de nenhuma outra explicação. A correção prática é parar de somar estimativas pontuais: atribua receita a partir do número confirmado e diluído, como cobrimos em atribuindo receita ao vencedor do teste, e trate o agregado do programa pela taxa de vitória medida, não por uma soma de melhores casos.
Três formas de reportar um número honesto
| Abordagem | O que você reporta | Custo | Quando usar |
|---|---|---|---|
| Limite inferior do intervalo | A ponta conservadora do intervalo de 95 por cento em vez da estimativa pontual | Grátis | Sempre, como número de planejamento em qualquer projeção |
| Rodada de confirmação | A estimativa replicada de uma segunda rodada dimensionada pelo seu limiar real | Semanas de tráfego | Antes de qualquer decisão que comprometa orçamento ou time com o resultado |
| Estimador de encolhimento | A estimativa pontual puxada na direção da distribuição de efeitos que o seu programa produz | Exige uma priori do seu próprio histórico | Programas com testes concluídos suficientes para conhecer a própria distribuição de efeitos |
| Dimensionar o teste direito desde o começo | Uma estimativa que quase não precisa de correção, a 80 por cento de poder ou mais | Amostra, decidida antes de subir | Sempre que o tráfego existir; é a única opção que remove o problema em vez de remendar |
A primeira linha é a que ninguém faz e todo mundo poderia. No exemplo trabalhado acima, o limite inferior da rodada um era mais 0,245 ponto percentual, o que em termos relativos é cerca de mais 8,2 por cento, e é quase exatamente o que a confirmação achou. O número honesto já estava no primeiro relatório. Só não era o número que alguém citava.
Erros comuns
| Erro | O que produz |
|---|---|
| Projetar receita pela estimativa pontual de uma vitória sem poder | Uma projeção inflada que outras áreas vão usar para planejar |
| Dimensionar a confirmação pela estimativa da primeira rodada | Uma nova rodada pequena demais para resolver o efeito honesto |
| Ler uma replicação menor como “o teste falhou” | Descartar uma melhora real porque ela deixou de ser espetacular |
| Parar o teste quando a linha cruza | A maldição do vencedor aplicada repetidamente em vez de uma vez; veja o problema do peeking |
| Somar ganhos que subiram ao longo do roadmap | Compor inflação e diluição no mesmo número |
| Comparar o seu ganho com estudos de caso públicos | Aqueles também são vencedores selecionados, então carregam o mesmo viés e normalmente pior |
| Tratar o viés como defeito de ferramenta | É propriedade da regra de seleção; toda ferramenta que reporta significância tem isso |
| Concluir que site de pouco tráfego não deve testar | A conclusão certa é testar mudanças maiores, não parar; veja efeito mínimo detectável |
Faça isso automático na Donnu
A maldição do vencedor não se resolve com um valor-p melhor, se resolve tornando poder e incerteza impossíveis de ignorar no momento da decisão. A Donnu A/B calcula o efeito mínimo detectável para a amostra que você realmente tem e mostra isso ao lado do resultado, então um ganho que mal supera esse número fica visivelmente como um ganho que o desenho só conseguiria reportar grande. Ela reporta o intervalo de confiança como manchete ao lado da estimativa pontual, e não embaixo dela, para que o número conservador de planejamento esteja sempre à vista. E clonar um experimento com semente de aleatorização nova é um clique, que é o que transforma uma rodada de confirmação em passo normal em vez de projeto.
Comece um teste grátis de 14 dias e veja o intervalo ao lado de todo resultado que você está prestes a subir.
Referências
- Gelman, A. e Carlin, J. Beyond Power Calculations: Assessing Type S (Sign) and Type M (Magnitude) Errors. Perspectives on Psychological Science, 9(6), 2014. Fonte das definições de razão de exagero e erro tipo S e do método de análise de desenho usado na nossa tabela, dos valores publicados poder 0,80, tipo S 1,2 vezes dez elevado a menos seis e exagero 1,12 com efeito verdadeiro a 2,8 erros padrão de zero, do exemplo trabalhado que devolve poder 0,06, tipo S 24 por cento e exagero 9,7, e do achado de que resultados significativos em contextos ruidosos invariavelmente superestimam a magnitude do efeito. stat.columbia.edu.
- Kohavi, R., Deng, A., Longbotham, R. e Xu, Y. Seven Rules of Thumb for Web Site Experimenters. KDD 2014. Fonte da regra de diluição de que métricas devem ser escaladas pelo tamanho do segmento, com uma melhora de 10 por cento num segmento de 1 por cento dando aproximadamente 0,1 por cento no total, e da observação de que experimentos bem-sucedidos num site como o Bing movem métricas-chave em 0,1 a 1,0 por cento depois de diluídos. exp-platform.com.
- Ioannidis, J. P. A. Why Most Published Research Findings Are False. PLoS Medicine, 2(8), 2005. Fonte do enquadramento por valor preditivo positivo e das condições que tornam um achado menos provável de ser verdadeiro, incluindo estudos menores, efeitos menores e mais times atrás de significância estatística. journals.plos.org.
- Kohavi, R., Deng, A., Frasca, B., Longbotham, R., Walker, T. e Xu, Y. Trustworthy Online Controlled Experiments: Five Puzzling Outcomes Explained. KDD 2012. Fonte do caso em que um resultado surpreendente foi rodado de novo numa amostra maior e muitos dos efeitos desapareceram, a forma empírica que a maldição do vencedor assume na prática. exp-platform.com.
- Kohavi, R., Tang, D. e Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Capítulos sobre poder estatístico, estimação de tamanho de efeito e replicação. Material complementar em experimentguide.com.
Leia também: Efeito mínimo detectável · Quantos visitantes um teste A/B precisa · O problema do peeking · Taxa de vitória em teste A/B · Calculadora de poder estatístico grátis · Read in English
Perguntas frequentes
- O que é a maldição do vencedor em teste A/B?
- É a distância sistemática entre o efeito que você mediu num teste vencedor e o efeito que você recebe depois de subir. Acontece porque você não escolheu a variação ao acaso, escolheu porque ela cruzou um limiar de significância, e entre todas as rodadas de uma mudança genuinamente positiva as que cruzam esse limiar são justamente aquelas em que o ruído empurrou a estimativa para cima. O viés é propriedade da regra de seleção, não dos seus dados nem da sua ferramenta, e é maior exatamente onde os times se sentem mais sortudos: em testes pequenos que cruzaram por pouco.
- Quanto menor vai ser o efeito real?
- Depende quase inteiramente do poder do desenho contra o efeito verdadeiro. Usando o método de análise de desenho de Gelman e Carlin (2014), a 80 por cento de poder uma estimativa significativa fica em média cerca de 1,12 vez o efeito verdadeiro, ou seja quase não há o que corrigir. A 30 por cento de poder, cerca de 1,81 vez. A 20 por cento, cerca de 2,26 vezes, e a 10 por cento, cerca de 3,71 vezes. A maioria dos testes A/B em sites pequenos e médios roda bem abaixo de 50 por cento de poder contra efeitos realistas, o que coloca a inflação típica entre 1,4 e 3 vezes.
- Um vencedor significativo pode na verdade ser perdedor?
- Pode, e esse risco também é função do poder. Gelman e Carlin chamam isso de erro tipo S, a probabilidade de uma estimativa estatisticamente significativa ter o sinal errado. A 80 por cento de poder é praticamente zero. A 20 por cento de poder é cerca de 0,5 por cento, e a 10 por cento de poder cerca de 4,5 por cento. Ou seja, num teste muito mal dimensionado, algo como um vencedor significativo em cada vinte está apontando para o lado errado, antes de contar qualquer outro problema do experimento.
- A maldição do vencedor quer dizer que meu teste estava errado?
- Não. A direção pode estar perfeitamente certa e a decisão pode estar perfeitamente certa. O que está errado é o número que você escreve no relatório. Subir uma melhora real e depois projetar o impacto de negócio a partir da estimativa pontual inflada é onde o estrago acontece, porque a projeção é o que as outras pessoas usam para planejar.
- Como eu corrijo isso?
- Três opções práticas, em ordem crescente de custo. Reporte o limite inferior do intervalo de confiança como número de planejamento em vez da estimativa pontual, o que é de graça e conservador. Rode uma confirmação dimensionada para o efeito que você aceitaria e reporte a estimativa replicada, que é a resposta honesta e custa tráfego. Ou aplique um estimador de encolhimento, a abordagem bayesiana, que puxa estimativas extremas na direção da distribuição de efeitos que o seu programa de fato produz.
- Por que a soma das nossas vitórias nunca aparece na métrica da empresa?
- Em parte por causa desse viés e em parte por causa de diluição. Toda estimativa que subiu carrega a inflação descrita acima, então somá-las compõe o erro. Além disso, um efeito medido num subconjunto disparado precisa ser diluído pela fatia de tráfego daquele subconjunto antes de poder ser somado a um número total. Um roadmap que soma estimativas pontuais de testes sem poder, medidos em segmentos estreitos, vai prometer demais por um múltiplo grande.
- Rodar o teste por mais tempo resolve a maldição do vencedor?
- Rodar mais tempo com regra de parada pré-comprometida resolve, sim, porque mais amostra significa mais poder e menos inflação. Rodar mais tempo enquanto olha, e parar quando a linha cruza, piora muito: isso é peeking, e é a maldição do vencedor com a seleção aplicada repetidamente em vez de uma vez só.