Aprendizado de Máquina Duplo em Teste A/B

Um modelo melhor não conserta uma conta errada. Quando você joga previsões de aprendizado de máquina dentro de uma estimativa de efeito causal, o viés que sobra não vem do modelo ser fraco, vem da FORMA da conta, e ele não desaparece com mais dados. Na simulação trabalhada deste guia, um ajuste com aprendiz flexível deixa 85 por cento do viés original de pé e derruba a cobertura do intervalo de 95 por cento para 4,7 por cento, ou seja, o intervalo acerta 1 vez em 21 em vez de 19 em 20. Trocando a forma da conta por um score ortogonal com cross-fitting, o viés vai para menos 0,0062 e a cobertura volta para 94,7 por cento, com o MESMO aprendiz. Este guia mostra os dois ingredientes do método, o exemplo em escala de conversão em que um ganho bruto de mais 110,77 por cento vira mais 0,52 ponto percentual com intervalo honesto, a evidência de que o viés sem cross-fitting não encolhe com a amostra, e quantas dobras usar. Faz parte do nosso guia completo de teste A/B e é o arcabouço geral atrás do estimador duplamente robusto.

O problema: 40 covariáveis e nenhum sorteio

A situação é comum e não é sobre um teste A/B bem feito. É sobre a pergunta que chega depois: qual foi o efeito de um recurso que não foi sorteado? Quem adotou o app, quem ativou notificações, quem entrou no plano anual. Em todos esses casos existe um monte de covariáveis do pré-período e nenhuma aleatorização, então é preciso ajustar.

O instinto moderno é usar um modelo bom. Treine uma árvore impulsionada para prever o desfecho a partir das 40 covariáveis, subtraia a previsão, compare o que sobra. Chernozhukov, Chetverikov, Demirer, Duflo, Hansen, Newey e Robins mostram por que isso falha, e a frase deles é direta: “tanto o viés de regularização quanto o sobreajuste na estimação de eta zero causam um viés pesado em estimadores de teta zero obtidos ao enfiar ingenuamente estimadores de aprendizado de máquina nas equações de estimação para teta zero. Esse viés faz o estimador ingênuo falhar em ser consistente à taxa de N elevado a menos um meio.”

São dois problemas distintos, e o método tem um remédio para cada:

Como a conta muda com aprendizado de máquina duplo

A versão intuitiva e errada é: preveja o desfecho com o modelo, subtraia, compare. A versão ortogonal usa DOIS modelos auxiliares e combina os resíduos dos dois.

1. Ajuste um modelo do desfecho dado as covariáveis, separado por braço.
2. Ajuste um modelo do tratamento dado as covariáveis, que é a propensão (veja escore de propensão).
3. Combine os dois num score em que o erro de um dos modelos é corrigido pelo outro, o que é a definição operacional de ortogonalidade.
4. Faça tudo isso com previsões vindas de fora da amostra, por cross-fitting.

O passo 3 é o que dá o nome “duplo”. A propriedade central, nas palavras dos autores, é que o impacto do viés de regularização e do sobreajuste “pode ser removido usando dois ingredientes simples, ainda que críticos: (1) usar momentos ou scores ortogonais de Neyman, que têm sensibilidade reduzida em relação aos parâmetros auxiliares, e (2) fazer uso de cross-fitting, que fornece uma forma eficiente de divisão de dados”.

E a exigência sobre os modelos auxiliares é surpreendentemente branda: em problemas suaves, o artigo registra a “exigência grosseira de que os parâmetros auxiliares sejam estimados à taxa de o(N elevado a menos um quarto)”. Essa taxa é bem mais lenta que a do parâmetro de interesse, e é justamente o que autoriza usar floresta aleatória, lasso, redes profundas e árvores impulsionadas nas funções auxiliares.

A simulação: quatro estimadores, o mesmo aprendiz

Para separar o efeito da FORMA da conta do efeito do modelo, rodamos uma simulação com 300 repetições, 800 observações por repetição, 6 covariáveis, efeito verdadeiro de 3,00 e adesão ao tratamento dependendo das mesmas covariáveis que determinam o desfecho. O aprendiz auxiliar é o mesmo nos três estimadores ajustados; só a conta muda. Cobertura é a fração de repetições em que o intervalo de 95 por cento contém o efeito verdadeiro (o ideal é 95 por cento):

estimador	média	viés	desvio	erro quadrático	cobertura 95%
diferença de médias (ignora covariáveis)	3,4925	+0,4925	0,2795	0,5660	56,7%
ajuste flexível, score não ortogonal	3,4200	+0,4200	0,2343	0,4807	4,7%
score ortogonal, sem cross-fitting	3,0556	+0,0556	0,1948	0,2023	92,3%
score ortogonal com cross-fitting	2,9938	−0,0062	0,2439	0,2436	94,7%

A segunda linha é a mais importante deste guia. O ajuste flexível com score não ortogonal reduziu o viés de 0,4925 para 0,4200, ou seja, tirou 15 por cento dele, e ao mesmo tempo estreitou o intervalo. O resultado dessa combinação é que a cobertura desaba de 56,7 por cento para 4,7 por cento.

Vale soletrar o que isso significa em uso real: o intervalo de confiança de 95 por cento dessa análise contém o valor verdadeiro em menos de 1 de cada 20 vezes. O modelo mais sofisticado produziu uma conclusão pior que a comparação crua, porque a comparação crua ao menos admitia estar imprecisa.

O viés sem cross-fitting não encolhe com a amostra

Essa é a evidência que justifica a obrigatoriedade do cross-fitting. Rodamos o estimador ortogonal com número variável de dobras em dois tamanhos de amostra. “Sem cross-fitting” significa modelos auxiliares ajustados na amostra inteira:

desenho	N = 800 (200 repetições)	N = 1.600 (80 repetições)
sem cross-fitting	viés 0,0674 · cobertura 91,0%	viés 0,0605 · cobertura 91,3%
2 dobras	viés 0,0409 · cobertura 91,5%	viés 0,0120 · cobertura 96,3%
5 dobras	viés 0,0428 · cobertura 94,5%	viés 0,0206 · cobertura 93,8%
10 dobras	viés 0,0346 · cobertura 94,5%	viés 0,0129 · cobertura 93,8%

Leia a primeira linha da tabela contra as outras. Dobrar a amostra praticamente não mexeu no viés sem cross-fitting (0,0674 para 0,0605, uma queda de 10 por cento) e a cobertura ficou presa em 91 por cento nos dois tamanhos. Com 5 dobras, dobrar a amostra cortou o viés de 0,0428 para 0,0206, uma queda de 52 por cento, que é o comportamento esperado de um estimador consistente.

É exatamente o ponto teórico do artigo: o viés de sobreajuste faz o estimador ingênuo “falhar em ser consistente à taxa de N elevado a menos um meio”. Não é um problema de amostra pequena que se resolve esperando. Com 10 vezes mais dados, ele continua lá.

Sobre o número de dobras, a leitura prática é simples: 2 dobras sacrificam precisão (desvio 0,2772 contra 0,2346 de 5 dobras em N igual a 800), porque cada modelo auxiliar treina com metade dos dados; 10 dobras rendem pouco sobre 5 e custam o dobro de computação. Cinco é o padrão razoável, e é o mesmo padrão do CUPAC e do MLRATE.

Exemplo trabalhado: o recurso que “dobra a conversão”

Vale ver isso no caso que motiva o método. Simulamos uma base observacional de 60.000 usuários em que a adesão a um recurso depende do engajamento prévio, e o engajamento prévio também determina a taxa de conversão. O efeito verdadeiro do recurso é mais 0,60 ponto percentual, e nós o conhecemos porque nós o colocamos lá.

A leitura crua dessa base, do jeito que ela sairia de um painel, colada na calculadora:

Controle (A)

VisitantesConversões

Variação (B)

VisitantesConversões

Confiança90%95%99%

Controle (A) · Taxa-

Variação (B) · Taxa-

Melhora relativa-

valor-p-

IC 95% da diferença-

Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.

Com 43.442 não adotantes e 2.446 conversões contra 16.558 adotantes e 1.965 conversões, ela devolve 5,6305 por cento contra 11,8674 por cento, um ganho relativo de 110,77 por cento, diferença de mais 6,2369 pontos percentuais, valor-p abaixo de 0,0001 e intervalo de mais 5,6987 a mais 6,7751 ponto percentual.

Esse é o slide que circula: “usuários do recurso convertem mais do que o dobro”. O efeito verdadeiro é mais 0,60 ponto percentual, ou seja, a leitura crua exagera o efeito em mais de 10 vezes, e o intervalo de confiança dela nem chega perto de conter a verdade.

Rodando três estimadores ajustados na MESMA base, com o mesmo aprendiz (regressão logística com base rica de 14 termos):

estimador	efeito estimado	erro padrão	intervalo de 95%	contém a verdade?
leitura crua	+6,2369 pp	0,2746 pp	+5,6987 a +6,7751 pp	não
g-computation, score não ortogonal	+0,6741 pp	0,0041 pp	+0,6660 a +0,6822 pp	não
aprendizado de máquina duplo	+0,5155 pp	0,2796 pp	−0,0325 a +1,0634 pp	sim

A linha do meio merece atenção, e ela é honesta sobre o método: a estimativa pontual do score não ortogonal (+0,6741) ficou MAIS PERTO da verdade que a do aprendizado de máquina duplo (+0,5155). O problema não é a estimativa, é o erro padrão de 0,0041, que declara uma precisão 68 vezes maior do que a real e produz um intervalo de 0,016 ponto de largura que não contém o valor verdadeiro. Aquele intervalo diz “o efeito está entre 0,666 e 0,682, com 95 por cento de certeza”, e está errado.

O aprendizado de máquina duplo devolve um intervalo de menos 0,03 a mais 1,06 ponto percentual. É um intervalo largo, e é a resposta certa: esta base observacional não consegue distinguir efeito zero de efeito de um ponto percentual. O que ela consegue afirmar com segurança é que o ganho de 110,77 por cento do slide não existe.

E se você puder simplesmente sortear

Vale colocar a alternativa na mesa, porque ela é quase sempre melhor. Se o recurso puder ser sorteado, a pergunta deixa de exigir qualquer um desses modelos. A calculadora de amostra diz o preço:

Taxa de conversão atual%Efeito mínimo detectávelrelativo (%)absoluto (pp)Confiança909599%Poder8090%Visitantes por semana (total)Testebilateralunilateral

-Visitantes por variação

-Total (2 variações)

-Duração estimada

Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.

Com base de 5,6305 por cento (a taxa exata dos não adotantes do exemplo) e efeito alvo de mais 0,60 ponto percentual, o requisito é 24.326 visitantes por variação, ou 12 dias a 30.000 visitantes por semana. Doze dias de sorteio devolvem uma leitura com intervalo estreito E centrado na verdade. Nenhuma quantidade de aprendizado de máquina compra isso a partir de dados observacionais, porque o que falta lá não é modelo, é aleatorização.

O arcabouço serve para quando o sorteio é impossível: recurso já lançado para todos, adesão voluntária, mudança de política. Nesses casos, compare também com desenho de encorajamento, que sorteia o convite em vez do uso, e com série temporal interrompida.

Como rodar aprendizado de máquina duplo na prática

1. Liste as covariáveis do pré-período antes de olhar o desfecho. Covariável escolhida depois de ver o resultado é a porta de entrada do viés que nenhum score ortogonal remove.
2. Nunca inclua variável medida durante o período de exposição. É o mesmo erro fatal do CUPAC, e ele enviesa mesmo com a conta certa.
3. Ajuste os dois modelos auxiliares, desfecho e tratamento. Um só não fecha a ortogonalidade.
4. Use 5 dobras e fixe a semente da divisão, para o número ser reproduzível.
5. Confira a sobreposição de propensão. Se existem usuários com propensão estimada perto de 0 ou de 1, o inverso da propensão explode e o erro padrão fica instável. Aparar em 0,02 e 0,98 é prática comum, e a decisão precisa estar no relatório.
6. Reporte o intervalo, sempre. A estimativa pontual do score não ortogonal deste guia parecia ótima; foi o erro padrão que denunciou o problema.
7. Rode uma checagem de confundidor não medido. O método corrige a forma da conta, não a ausência de dados; o caminho está em confundidor não medido.

Erros comuns

• Achar que o método substitui aleatorização. Ele não cria informação que não foi coletada. O exemplo trabalhado acima devolveu um intervalo de 1,1 ponto de largura justamente porque a base era observacional.
• Trocar de aprendiz para consertar cobertura ruim. Na simulação, o aprendiz era o mesmo nos três estimadores ajustados e a cobertura variou de 4,7 a 94,7 por cento. O problema nunca foi o aprendiz.
• Usar a amostra inteira para treinar as funções auxiliares. É o viés que não encolhe com N, medido acima em 0,0674 e 0,0605.
• Aparar a propensão sem dizer. O corte muda a população estimada e precisa aparecer no método.
• Confundir com modelagem de uplift. Lá o objetivo é o efeito por usuário e uma política de tratamento; aqui é um número único bem estimado.
• Aplicar em amostra pequena e esperar milagre. Com N igual a 800 o viés com cross-fitting ainda era 0,0428. O método corrige a taxa, não abole a necessidade de dados.
• Reportar só a estimativa pontual “porque o modelo é bom”. Foi exatamente o que a segunda linha da tabela fez, e ela acertou em 4,7 por cento das vezes.

Faça isso automático na Donnu

Todo esse aparato existe por um motivo: alguém não sorteou. E quando o sorteio não aconteceu, a parte mais difícil não é o estimador, é reconstruir qual era o estado de cada usuário ANTES da exposição, meses depois, sem nenhum registro de quando a exposição começou.

A Donnu registra a configuração do experimento no momento em que ele é criado, com a métrica primária declarada, e mantém o histórico por experimento. Isso mantém a fronteira temporal entre pré-exposição e exposição explícita, que é a condição mínima para qualquer covariável de ajuste ser legítima, e serve para reduzir variância mesmo em teste sorteado, como o MLRATE faz.

E fica a recomendação mais prática deste guia: antes de encomendar uma análise observacional com aprendizado de máquina, calcule quantos dias custaria sortear a mesma pergunta. No exemplo acima foram 12 dias para uma resposta centrada na verdade, contra um intervalo de 1,1 ponto de largura na melhor análise observacional possível. A calculadora de tamanho de amostra faz essa comparação em um minuto.

Referências

• Chernozhukov, V., Chetverikov, D., Demirer, M., Duflo, E., Hansen, C., Newey, W. e Robins, J. Double/Debiased Machine Learning for Treatment and Causal Parameters. 2016, versão do arXiv lida para este guia. Fonte do diagnóstico de que “tanto o viés de regularização quanto o sobreajuste na estimação de eta zero causam um viés pesado em estimadores de teta zero obtidos ao enfiar ingenuamente estimadores de aprendizado de máquina nas equações de estimação”, com a consequência de “o estimador ingênuo falhar em ser consistente à taxa de N elevado a menos um meio”; da formulação dos dois ingredientes do método, “(1) usar momentos ou scores ortogonais de Neyman, que têm sensibilidade reduzida em relação aos parâmetros auxiliares, e (2) fazer uso de cross-fitting, que fornece uma forma eficiente de divisão de dados”; da condição de taxa de que, em problemas suaves, vale a “exigência grosseira de que os parâmetros auxiliares sejam estimados à taxa de o(N elevado a menos um quarto)”; e da lista de aprendizes admissíveis nas funções auxiliares, incluindo floresta aleatória, lasso, ridge, redes profundas e árvores impulsionadas. arxiv.org.
• Chernozhukov, V., Chetverikov, D., Demirer, M., Duflo, E., Hansen, C. e Newey, W. Double/Debiased/Neyman Machine Learning of Treatment Effects. 2017. Nota curta dos mesmos autores, usada aqui como a aplicação do arcabouço ao caso específico deste guia: a estimação de efeito médio de tratamento e de efeito médio sobre os tratados a partir de dados observacionais, usando scores ortogonais de Neyman e cross-fitting, com as funções auxiliares estimadas por métodos de aprendizado de máquina. arxiv.org.
• Guo, Y., Coey, D., Konutgan, M., Li, W., Schoener, C. e Goldman, M. Machine Learning for Variance Reduction in Online Experiments. NeurIPS 2021. Fonte do uso do mesmo mecanismo dentro de experimento aleatorizado, onde o objetivo é precisão e não correção de viés: o estimador MLRATE usa previsões de aprendizado de máquina do desfecho para reduzir a variância e “emprega cross-fitting para evitar vieses de sobreajuste”, com a garantia de que, se as previsões não têm correlação com os desfechos, ele se comporta assintoticamente não pior que a diferença simples de médias. arxiv.org.

Leia também: Estimador duplamente robusto · Escore de propensão · CUPAC · Ajuste por regressão · Confundidor não medido · Calculadora de significância · Read in English