Regressão à Média em Teste A/B: o pico não se repete

Toda unidade escolhida por estar num extremo tende a voltar sozinha para perto da média na medição seguinte, sem que ninguém faça nada. Numa simulação com 200 páginas de conversão verdadeira idêntica de 3 por cento, as 20 piores do primeiro período subiram de 2,085 por cento para 2,885 por cento no segundo, uma melhora aparente de 38,37 por cento com valor-p de 0,00000028 e nenhuma mudança implementada. Isso é regressão à média, e é a razão pela qual leituras do tipo antes contra depois em páginas selecionadas pelo mau desempenho quase sempre parecem funcionar. Este guia mostra a conta, a simulação reproduzível e o desenho que imuniza o experimento. Faz parte do nosso guia completo de teste A/B e é o par, no eixo da seleção antes do teste, do que a maldição do vencedor trata no eixo da seleção depois do teste.

O fenômeno tem nome desde 1886

Galton analisou 930 filhos adultos e as 205 famílias correspondentes, convertendo as estaturas femininas para o equivalente masculino, e fixou o que ele chamou de nível de mediocridade da população em 68 polegadas e um quarto. A lei que ele enunciou é sobre desvios, não sobre valores absolutos: o desvio de estatura do descendente é, em média, dois terços do desvio de estatura da mid-parentage. Pais muito altos têm filhos altos, porém menos altos que eles; pais muito baixos têm filhos baixos, porém menos baixos. Galton registra que a razão apareceu com coerência e precisão inesperadas, e que o mesmo padrão já tinha surgido nos experimentos anteriores dele com sementes, onde a produção convergia para um tamanho médio.

A tradução moderna e mais próxima de quem mede coisas está em Barnett, van der Pols e Dobson, que definem o efeito como um fenômeno estatístico capaz de fazer variação natural em dados repetidos parecer mudança real, acontecendo quando medidas incomumente grandes ou pequenas tendem a ser seguidas por medidas mais próximas da média. Os autores registram que o efeito fica mais pronunciado com o aumento do erro de medição e quando as medidas de acompanhamento são examinadas apenas em subamostras selecionadas pelos valores da linha de base, e concluem que ele pode ser atenuado por melhor desenho de estudo e métodos estatísticos adequados.

Aquela segunda condição descreve, palavra por palavra, o que uma equipe de otimização faz toda semana: escolher a página com a pior conversão e ir mexer nela.

A conta em uma linha

Se uma medida observada está a d unidades da média da população e a correlação entre a primeira e a segunda medição é r, o valor esperado da segunda medição fica a r vezes d da média. A parcela que volta sozinha é, portanto, (1 menos r) vezes d.

desvio observado no período 1	correlação r entre os períodos	desvio esperado no período 2	recuperação sem intervenção
1,00 pp abaixo da média	0,0	0,00 pp	1,00 pp
1,00 pp abaixo da média	0,2	0,20 pp abaixo	0,80 pp
1,00 pp abaixo da média	0,4	0,40 pp abaixo	0,60 pp
1,00 pp abaixo da média	0,6	0,60 pp abaixo	0,40 pp
1,00 pp abaixo da média	0,8	0,80 pp abaixo	0,20 pp
1,00 pp abaixo da média	1,0	1,00 pp abaixo	0,00 pp

Os dois extremos da tabela são os que orientam a intuição. Correlação 1 significa que a diferença entre as unidades é inteiramente real e estável: aí não existe regressão, o que era pior continua pior. Correlação 0 significa que a diferença observada era inteiramente ruído: aí a regressão é total, e a unidade “pior” volta exatamente para a média sem que nada aconteça.

O caso real quase nunca está nos extremos. Páginas realmente diferem entre si, e a medição de cada uma tem ruído amostral. A correlação entre dois períodos mistura as duas coisas, e é ela que decide quanto do “ganho” observado já estava contratado antes de qualquer mudança.

Simulação reproduzível: 200 páginas idênticas

O exemplo abaixo é uma simulação com semente fixa, então qualquer pessoa reproduz os mesmos números. O ponto de partida é deliberadamente extremo para isolar o efeito: todas as 200 páginas têm exatamente a mesma taxa de conversão verdadeira, 3,00 por cento. Não existe página melhor nem pior. Toda diferença observada é ruído amostral puro.

Cada página recebe 1.000 visitantes no período 1 e outros 1.000 no período 2, com sorteio independente e nenhuma mudança entre os dois momentos.

// gerador com semente fixa, para o resultado ser reproduzível
function mulberry32(a){return function(){a|=0;a=a+0x6D2B79F5|0;let t=Math.imul(a^a>>>15,1|a);t=t+Math.imul(t^t>>>7,61|t)^t;return ((t^t>>>14)>>>0)/4294967296;}}
const rnd = mulberry32(20260828);
const TAXA_VERDADEIRA = 0.03, PAGINAS = 200, VISITANTES = 1000;
const sorteia = () => { let c = 0; for (let i = 0; i < VISITANTES; i++) if (rnd() < TAXA_VERDADEIRA) c++; return c; };
const p1 = Array.from({ length: PAGINAS }, sorteia);
const p2 = Array.from({ length: PAGINAS }, sorteia);
// ordena pelo período 1 e separa os 20 piores e os 20 melhores
const ordem = p1.map((_, i) => i).sort((x, y) => p1[x] - p1[y]);
const piores = ordem.slice(0, 20), melhores = ordem.slice(-20);

O resultado:

grupo	taxa no período 1	taxa no período 2	variação relativa
Todas as 200 páginas	2,990%	2,966%	menos 0,80%
As 20 piores do período 1	2,085% (417 de 20.000)	2,885% (577 de 20.000)	mais 38,37%
As 20 melhores do período 1	3,910% (782 de 20.000)	2,840% (568 de 20.000)	menos 27,37%
A pior página isolada	1,60% (16 de 1.000)	3,30% (33 de 1.000)	mais 106%

A linha do conjunto completo é o controle honesto: 2,990 por cento contra 2,966 por cento, praticamente nada, exatamente como deveria ser. As duas linhas do meio são o problema inteiro em duas frases.

O teste estatístico não protege contra isso

Aqui está o detalhe que faz esse viés sobreviver a equipes tecnicamente competentes. Se você pegar o grupo das 20 piores páginas e rodar um teste de duas proporções comparando período 1 contra período 2, usando a mesma calculadora de significância que o site inteiro usa, os números são:

• 20.000 visitantes e 417 conversões contra 20.000 visitantes e 577 conversões
• lift relativo de 38,37 por cento, z igual a 5,1391
• valor-p de 0,00000028
• intervalo de confiança de 0,495 a 1,105 ponto percentual para a diferença absoluta

E do outro lado, para as 20 melhores: lift relativo de menos 27,37 por cento, z igual a menos 5,9252, valor-p de 0,0000000031, intervalo de menos 1,424 a menos 0,716 ponto percentual.

Os dois resultados são altamente significantes. Nenhuma mudança foi feita. As páginas são estatisticamente idênticas por construção, e o gerador de números aleatórios não sabe qual delas foi escolhida.

Controle (A)

VisitantesConversões

Variação (B)

VisitantesConversões

Confiança90%95%99%

Controle (A) · Taxa-

Variação (B) · Taxa-

Melhora relativa-

valor-p-

IC 95% da diferença-

Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.

O teste de significância não está errado. Ele está respondendo com precisão a uma pergunta que não é a que interessa. A pergunta que a calculadora responde é: dado este par de amostras, quão improvável é essa diferença sob a hipótese nula? A pergunta que importa é: essa diferença foi causada pela mudança? A ponte entre as duas perguntas é a aleatorização, e ela não existe numa comparação antes contra depois de uma unidade que foi selecionada justamente pelo valor observado no primeiro período.

Onde a regressão à média aparece na operação real

1. Priorização pela página de pior conversão. É o caso canônico. A página entrou na lista por estar num extremo, e parte da recuperação já estava contratada.
2. Otimizar a campanha que teve a pior semana. Mesma estrutura, período mais curto, ruído maior, regressão maior.
3. Reagir a uma queda súbita de métrica. Se a queda foi parcialmente ruído, a recuperação parcial acontece de qualquer jeito, e quem estiver mexendo naquele momento leva o crédito.
4. Testar de novo o segmento que foi mal no teste anterior. O segmento foi escolhido por um extremo dentro do dado do próprio teste, o que combina regressão com efeito heterogêneo mal lido.
5. Auditar fornecedores pela pior conta do trimestre. A conta pior do trimestre melhora sozinha, e a auditoria vira um sucesso.
6. Reciclar como caso de sucesso o teste que salvou uma página quebrada. Aqui o efeito se soma à maldição do vencedor e ao efeito de novidade.

O paralelo mais conhecido dessa dinâmica está fora do marketing. Tversky e Kahneman relatam, em 1974, a observação de instrutores experientes de voo: elogio depois de uma aterrissagem excepcionalmente suave costumava ser seguido por uma aterrissagem pior na tentativa seguinte, enquanto crítica dura depois de uma aterrissagem ruim costumava ser seguida por melhora. Os instrutores concluíram que a recompensa verbal era prejudicial ao aprendizado e a punição verbal era benéfica. Os autores registram que essa conclusão é injustificada por causa da presença de regressão à média: como em outros casos de exame repetido, uma melhora costuma seguir um desempenho ruim e uma piora costuma seguir um desempenho excepcional, mesmo que o instrutor não responda de forma alguma ao que o aluno fez na primeira tentativa.

Troque instrutor por analista, aterrissagem por semana e aluno por página, e a estrutura é idêntica.

O desenho que imuniza

Em ordem prática:

1. Controle concorrente sempre. As duas metades da página escolhida carregam a mesma regressão, e a diferença entre elas isola o efeito. É a razão de existir do desenho, descrita em como fazer um teste A/B.
2. Separar o período de seleção do período de medição. Se você escolheu a página com o dado de agosto, não use agosto como linha de base. Use setembro como linha de base e outubro como medição, ou aleatorize dentro de setembro.
3. Descontar a recuperação esperada antes de escrever a hipótese. Estime a correlação entre dois períodos históricos comparáveis e use a tabela acima. Se a recuperação esperada já é 0,4 ponto percentual, a hipótese precisa mirar acima disso para valer o experimento.
4. Dimensionar o teste pelo efeito incremental, não pela distância até a média. O erro clássico é calcular tamanho de amostra com um MDE inflado pela distância que já ia voltar sozinha. O critério correto está em efeito mínimo detectável.
5. Ler segmento com a régua de exploração. Segmento escolhido depois de ver o resultado é uma seleção por extremo dentro do próprio teste, e a régua está em muitas métricas e FDR.
6. Desconfiar de resultado bom demais numa unidade que estava quebrada. É exatamente o gatilho de confirmação descrito na lei de Twyman.

Erros comuns

• Ler antes contra depois numa página escolhida por ser a pior. É a forma pura do viés.
• Achar que valor-p pequeno resolve. A simulação acima produz valor-p de 0,00000028 sem nenhuma mudança.
• Usar o mesmo período para selecionar e para medir a linha de base. Isso embute a regressão dentro do ponto de partida.
• Prometer no plano o ganho medido pela distância até a média do site. Boa parte dessa distância volta sozinha e não é mérito de ninguém.
• Interpretar a queda do topo como fadiga ou piora de qualidade. O extremo bom também regride, e pelo mesmo motivo.
• Confundir com efeito de novidade. Novidade é uma mudança real de comportamento que decai; regressão é ruído de medição que se corrige. Os dois produzem curvas parecidas e pedem remédios diferentes.
• Aplicar o argumento a um teste aleatorizado. Num teste com controle concorrente a regressão atinge os dois braços e se cancela. Usar regressão à média para desacreditar um teste bem desenhado é tão errado quanto ignorá-la numa leitura antes contra depois.

Faça isso automático na Donnu

Regressão à média não é um problema de cálculo, é um problema de desenho, e o desenho é decidido no momento em que alguém escolhe onde mexer. Quando a ferramenta só entra em cena depois dessa escolha, ela herda o viés pronto.

Na Donnu, todo experimento nasce com controle concorrente sorteado sobre o mesmo tráfego e no mesmo período, que é a única estrutura que faz a regressão se cancelar entre os braços, e a leitura padrão do resultado é sempre variação contra controle, nunca período atual contra período anterior. Se você quiser conferir qualquer conta na mão, a calculadora de significância aceita as contagens de qualquer par de grupos, e o gerador de hipótese pede o efeito esperado antes do teste começar, que é o momento certo de descontar o que já ia voltar sozinho.

Referências

• Galton, F. Regression towards Mediocrity in Hereditary Stature. Journal of the Anthropological Institute, volume 15, páginas 246 a 263, 1886. Fonte do enunciado original da lei em termos de desvios: o desvio de estatura do descendente é, em média, dois terços do desvio de estatura da mid-parentage; dos dados usados (930 filhos adultos e 205 famílias, com as estaturas femininas transmutadas para o equivalente masculino e multiplicadas por 1,08); do nível de mediocridade fixado em 68 polegadas e um quarto sem sapatos; da observação de que a regressão filial média em direção à mediocridade era diretamente proporcional ao desvio parental; e do relato de que o mesmo padrão apareceu antes nos experimentos com sementes, onde a produção convergia para um tamanho médio. stat.ucla.edu.
• Barnett, A. G., van der Pols, J. C. e Dobson, A. J. Regression to the mean: what it is and how to deal with it. International Journal of Epidemiology, volume 34, número 1, páginas 215 a 220, 2005. Fonte da definição do fenômeno como algo que pode fazer variação natural em dados repetidos parecer mudança real, acontecendo quando medidas incomumente grandes ou pequenas tendem a ser seguidas por medidas mais próximas da média; do registro de que os efeitos ficam mais pronunciados com o aumento do erro de medição e quando as medidas de acompanhamento são examinadas apenas em subamostras selecionadas pelos valores da linha de base; e da conclusão de que o efeito pode ser atenuado por melhor desenho de estudo e uso de métodos estatísticos adequados. academic.oup.com.
• Tversky, A. e Kahneman, D. Judgment under Uncertainty: Heuristics and Biases. Science, volume 185, número 4157, páginas 1124 a 1131, 27 de setembro de 1974. Fonte do relato dos instrutores de voo na página 1127: elogio depois de uma aterrissagem excepcionalmente suave era tipicamente seguido por uma aterrissagem pior na tentativa seguinte, enquanto crítica dura depois de uma aterrissagem ruim era usualmente seguida por melhora, levando os instrutores à conclusão injustificada de que recompensas verbais são prejudiciais e punições verbais são benéficas; e da explicação dos autores de que essa conclusão não se sustenta por causa da regressão à média, já que uma melhora costuma seguir um desempenho ruim e uma deterioração costuma seguir um desempenho excepcional mesmo quando o instrutor não responde de forma alguma ao resultado da primeira tentativa. cs.tufts.edu.
• Crook, T., Frasca, B., Kohavi, R. e Longbotham, R. Seven Pitfalls to Avoid when Running Controlled Experiments on the Web. KDD 2009. Fonte do contexto de por que a comparação com dado histórico é frágil em ambiente online e de por que testes controlados com atribuição aleatória e concorrente são o padrão de referência para separar efeito de variação natural. exp-platform.com.

Leia também: A maldição do vencedor · Efeito mínimo detectável · Efeito heterogêneo por segmento · A lei de Twyman · Como fazer um teste A/B passo a passo · Calculadora de significância · Read in English