Holdout de Longo Prazo: o efeito que sobrevive
O efeito de duas semanas não é o efeito final. Como o holdout de longo prazo mede o que sobra depois que o usuário aprende, e quanto tráfego ele custa.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
Um holdout de longo prazo é uma fatia de usuários deliberadamente mantida fora de uma mudança já lançada, para que meses depois ainda exista com quem comparar. Ele existe porque o número que sai de um teste de duas semanas mede o efeito sobre um usuário que ainda não se adaptou à mudança, e essa adaptação pode consumir metade do ganho sem que nada no relatório original avise. Este guia cobre por que deixar o teste rodando mais tempo não resolve o problema, um exemplo trabalhado em que um ganho de mais 5,007 por cento vira mais 2,222 por cento seis meses depois, o desenho de pós-período que o Google publicou para medir aprendizado, o modelo exponencial que diz quanto tempo o estudo precisa durar, e a conta de quanto tráfego a mais um holdout de 5 por cento custa. Faz parte do nosso guia completo de teste A/B e é o complemento natural de efeito novidade em teste A/B.
O efeito de duas semanas mede outra coisa
Hohnhold, O’Brien e Tang, num artigo de KDD 2015 sobre foco no longo prazo, separam as duas grandezas com precisão. O efeito de curto prazo é o impacto observado durante o experimento. O efeito de longo prazo é o impacto final, uma vez que o produto foi lançado por completo e os usuários mudaram o comportamento em resposta a ele.
A afirmação central deles é direta: em experimentação online é simples medir o efeito de curto prazo, mas o efeito de curto prazo nem sempre é preditivo do de longo prazo. O desafio, dizem, é determinar o impacto de longo prazo sobre o usuário ainda conseguindo tomar decisões em tempo hábil.
O caso concreto que eles estudam é a cegueira e a videncia a anúncios, o fenômeno de usuários mudarem a própria propensão inerente a clicar ou interagir com anúncios. É um exemplo de mecanismo, não uma regra sobre o seu produto: o que importa aqui é que existe uma classe inteira de efeitos que só aparecem depois que a pessoa conviveu com a mudança por semanas.
A saída óbvia não funciona. Poderia parecer que basta deixar o teste rodando por três meses e ler a diferença no fim. Os autores descrevem exatamente esse desenho ingênuo e explicam por que ele não entrega medições confiáveis de aprendizado: o efeito medido de longo prazo ao fim do período pode mudar por muitas razões não relacionadas ao aprendizado do usuário, como efeitos do sistema, sazonalidade e interações com lançamentos posteriores. Separar esses efeitos para medir aprendizado dentro de um mesmo grupo ao longo do tempo é, na experiência deles, muito difícil se não impossível.
Exemplo trabalhado: o efeito que encolheu
Uma assinatura roda um teste de duas semanas na tela de planos, com 150.000 usuários por braço.
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
| Teste original, 2 semanas | Usuários | Conversões | Taxa |
|---|---|---|---|
| Controle | 150.000 | 6.750 | 4,500 por cento |
| Tratamento | 150.000 | 7.088 | 4,725 por cento |
Na tela, a calculadora mostra taxas de 4,50 e 4,73 por cento, lift de mais 5,0 por cento, valor-p de 0,0033, intervalo de mais 0,1 a mais 0,4 ponto percentual e B como vencedora. Em precisão cheia, e incluindo o escore z, que a interface não exibe: mais 0,225 ponto percentual, mais 5,007 por cento relativo, z = 2,942, valor-p de 0,0033, intervalo de 95 por cento de mais 0,075 a mais 0,375 ponto percentual. Passou, subiu para 100 por cento, virou linha no relatório trimestral.
Só que a equipe reservou 5 por cento dos usuários fora do lançamento. Seis meses depois, a comparação entre o holdout e o resto da base:
| Holdout, 6 meses depois | Usuários | Conversões | Taxa |
|---|---|---|---|
| Holdout, sem a mudança | 200.000 | 9.000 | 4,500 por cento |
| Base exposta | 3.800.000 | 174.800 | 4,600 por cento |
A calculadora mostra taxas de 4,50 e 4,60 por cento, lift de mais 2,2 por cento, valor-p de 0,0374 e intervalo de mais 0,0 a mais 0,2 ponto percentual. Em precisão cheia: mais 0,100 ponto percentual, mais 2,222 por cento relativo, z = 2,082, valor-p de 0,0374, intervalo de mais 0,007 a mais 0,193 ponto percentual.
O efeito continua existindo e continua positivo. Mas ele vale agora 44,4 por cento do que valia na leitura de duas semanas. Se o plano financeiro foi construído em cima dos 5,007 por cento, ele está superestimando o ganho em mais de duas vezes.
Repare também no intervalo de confiança da segunda leitura: ele quase toca o zero, apesar dos 4 milhões de usuários envolvidos. É a assinatura da alocação desbalanceada, e a próxima seção coloca preço nisso.
O desenho: pós-período, holdout e experimento reverso
Existem três desenhos comumente chamados de “medir o longo prazo”, e eles não são intercambiáveis.
Pós-período. A percepção central dos autores é que, para medir aprendizado, é preciso comparar os dois grupos enquanto eles recebem o mesmo tratamento. Para isso eles colocam o período de tratamento entre dois períodos de teste A/A: um pré-período, em que se garante que não existem diferenças estatisticamente significantes entre os grupos no começo do estudo, e um pós-período, em que qualquer diferença de comportamento causada por aprendizado é medida. Eles observam que, para quantificar aprendizado, o comportamento do grupo de tratamento enquanto recebe o tratamento não interessa: só a medição no pós-período importa. Segundo o artigo, pós-períodos provaram dar medições confiáveis e reproduzíveis de aprendizado do usuário no Google.
Holdout. A fatia reservada continua fora da mudança indefinidamente, e a comparação é feita quando você quiser. Kohavi relata que no Bing 90 por cento dos usuários elegíveis estão em experimentos e 10 por cento formam um holdout global, trocado uma vez por ano.
Experimento reverso. Kohavi descreve também a prática de atribuir crédito rodando um experimento reverso, ou seja, subindo a mudança e testando em reverso. É o mesmo desenho estatístico do holdout, com a diferença de que a fatia é retirada depois do lançamento, não antes.
Há duas armadilhas do pós-período que os próprios autores registram, e vale carregá-las junto:
- Desaprendizado. Como os dois grupos recebem o mesmo tratamento no pós-período, o comportamento deles vai ficando mais parecido com o tempo. Idealmente a medição seria feita num intervalo curto logo no começo do pós-período; medir por mais tempo aumenta o poder estatístico ao preço de viés por desaprendizado.
- Ambiente de medição. O tratamento vigente durante o pós-período pode afetar a magnitude ou a natureza do aprendizado observado. Os autores dão o exemplo de um recurso novo de interface com o qual os usuários aprendem a interagir mais ao longo do tempo: isso não é observável num pós-período em que o recurso está ausente. Eles recomendam ainda confirmar que métricas que não deveriam ser afetadas por mudança de comportamento estejam consistentes entre os grupos, como checagem de validade.
Quanto tempo o estudo precisa durar
Essa é a parte em que o artigo do Google vira ferramenta prática. Eles modelam o aprendizado como um processo exponencial e estimam a taxa de aprendizado em aproximadamente 0,012 por dia. Com isso, a fração do aprendizado capturada por um estudo de duração t vale 1 menos a exponencial de menos 0,012 vezes t.
Aplicando o modelo deles:
| Duração do estudo | Fração do aprendizado de longuíssimo prazo capturada |
|---|---|
| 7 dias | 8,1 por cento |
| 14 dias | 15,5 por cento |
| 30 dias | 30,2 por cento |
| 60 dias | 51,3 por cento |
| 90 dias | cerca de 65 por cento (valor relatado no artigo) |
| 180 dias | 88,5 por cento |
Os autores relatam que, com base nessa taxa, passaram a tipicamente rodar experimentos longos de desktop por 90 dias, o que dá um equilíbrio razoável entre tempo de estudo e aprendizado capturado. E vão além na honestidade da medição: aplicando o mesmo modelo ao viés de desaprendizado, se a medição é tomada nas duas primeiras semanas do pós-período, o desaprendizado reduz o efeito observado para 92 por cento. Combinando os dois fatores, o número medido num estudo padrão é aproximadamente 60 por cento do efeito que seria observado num estudo muito longo.
Os autores levam essa conta até a consequência de negócio. Eles definem um fator de correção que converte a medição do estudo no efeito de fato realizado num lançamento, e observam que, como os métodos apresentados subestimam o aprendizado, esse fator é maior ou igual a 1. Do modelo exponencial sai que um estudo de 90 dias mede cerca de 65 por cento do efeito de longo prazo apenas pela duração limitada, o que já implica um fator de pelo menos 1,54 para desktop. Na prática, dizem eles, usam valores entre 2 e 3 para desktop e laptop, para compensar também a inconsistência de tratamento, e registram que essa faixa é apenas uma estimativa aproximada.
O preço em tráfego de um holdout pequeno
Um holdout de 5 por cento parece barato porque só 5 por cento dos usuários deixam de receber a melhoria. Estatisticamente, é o desenho mais caro que existe.
A razão é que a alocação desbalanceada desperdiça poder. Para uma razão de alocação k entre o braço grande e o pequeno, o fator de inflação de tráfego total, comparado a um teste 50 por 50 de mesmo poder, vale o quadrado de 1 mais k, dividido por 4 vezes k.
Partindo do caso de referência de 31.234 usuários por variação, que é o que o motor devolve para base de 5 por cento e efeito mínimo detectável de 10 por cento relativo:
| Alocação | Fator de inflação | Braço menor | Tráfego total necessário |
|---|---|---|---|
| 50 / 50 | 1,00 | 31.234 | 62.468 |
| 80 / 20 | 1,56 | 19.522 | 97.607 |
| 90 / 10 | 2,78 | 17.353 | 173.523 |
| 95 / 5 | 5,26 | 16.439 | 328.779 |
| 99 / 1 | 25,25 | 15.775 | 1.577.475 |
Duas leituras saem daí, e a segunda é a menos óbvia:
- O total explode. Um holdout de 5 por cento precisa de 5,26 vezes mais tráfego total que o teste balanceado equivalente. Com 200.000 usuários por semana, o balanceado leva 3 dias e o 95 por 5 leva 12.
- O braço reservado é pequeno, e isso é o problema. Repare que o braço menor do desenho 95 por 5 tem 16.439 usuários, quase metade dos 31.234 do balanceado. Ele não é a parte cara. A parte cara é que todo o resto precisa crescer para compensar a escassez desse braço, porque a precisão de uma diferença é limitada pelo lado com menos gente.
Como o holdout costuma rodar por meses, o tempo geralmente resolve o problema de volume sozinho. O que ele não resolve é a expectativa: um holdout de 1 por cento em um produto de tráfego médio simplesmente nunca vai atingir poder para detectar um efeito realista, por mais tempo que fique no ar. Vale calcular antes, com a calculadora de poder estatístico e a calculadora de duração.
Duas escolas legítimas
Não existe uma resposta única sobre quanto investir em medição de longo prazo, e vale registrar isso sem torcer para nenhum lado.
Kohavi coloca a tensão de forma explícita ao listar os desafios em aberto da área: existem impactos de longo prazo que não estão sendo vistos em experimentos de 1 a 2 semanas, e Google e Bing agem de forma diferente nesse ponto, com o Google rodando experimentos longos, por exemplo de 90 dias, e o Bing focando em agilidade com experimentos de 1 a 2 semanas e iterações.
As duas escolhas são defensáveis e resolvem problemas diferentes:
| Postura | Ganha | Perde |
|---|---|---|
| Experimentos longos | Mede o efeito que sobrevive; evita superestimar o ganho no plano financeiro | Ritmo. Cada decisão demora meses |
| Ciclos curtos com iteração | Volume de aprendizado por trimestre; erros são corrigidos rápido | Fica exposto a efeitos que só aparecem depois |
| Ciclos curtos com holdout global | Ritmo no dia a dia, mais uma medição periódica do acumulado | Custa uma fatia permanente da base e disciplina para não mexer nela |
A terceira linha é o meio-termo que o holdout global viabiliza, e é o desenho que o relato do Bing descreve: decidir rápido no dia a dia e ter, uma vez por ano, uma leitura do que o conjunto de lançamentos realmente entregou.
Checklist do holdout
- A fatia foi reservada antes do lançamento? Reservar depois é experimento reverso, e não mede o mesmo período.
- O tamanho da fatia foi calculado, não escolhido por hábito? Cinco por cento é convenção, não resultado de conta.
- Existe pré-período limpo? Sem diferença estatisticamente significante entre os grupos antes de começar, o que é um teste A/A por outro nome.
- A métrica primária é a mesma do teste original? Trocar de métrica no meio transforma comparação em narrativa, ver escolhendo a métrica primária.
- Alguém está encarregado de não mexer na fatia? Holdout que recebe “só um lançamento pequeno” deixa de ser holdout.
- A unidade de sorteio do holdout é a mesma do teste? Ver unidade de sorteio em teste A/B.
- A leitura de longo prazo vai substituir o número do plano, ou só conviver com ele? Se ninguém corrige a projeção, medir não muda nada.
Erros comuns
- Ler o holdout como se fosse um teste novo. Ele não tem aleatorização fresca no momento da leitura; ele carrega meses de história.
- Deixar o teste rodando e chamar isso de medição de longo prazo. É o desenho ingênuo que os autores descartam por confundir aprendizado com sazonalidade, sistema e lançamentos posteriores.
- Comparar o holdout contra a média histórica. Sem grupo simultâneo, qualquer coisa que aconteceu no mercado vira o seu resultado.
- Contaminar a fatia com lançamentos. Cada exceção reduz o holdout a um grupo parcialmente exposto, e o efeito medido encolhe sem explicação.
- Esperar que o efeito de longo prazo seja sempre menor. Nem sempre é. O artigo do Google descreve curvas que sobem depois do lançamento por aprendizado positivo do usuário; encolher é comum, não obrigatório.
- Usar holdout de 1 por cento e reclamar do intervalo largo. O fator de inflação nessa alocação é 25,25. O intervalo largo é a conta, não um defeito da ferramenta.
Faça isso automático na Donnu
O que faz o holdout falhar quase nunca é a estatística. É esquecer que ele existe: seis meses depois, ninguém lembra que aquela fatia está reservada, alguém sobe um lançamento nela, e a medição some sem que ninguém perceba.
Na Donnu, a fatia reservada é uma propriedade do experimento e não uma configuração paralela: ela continua declarada depois do lançamento, e qualquer tentativa de expor essa fatia a uma mudança nova aparece como conflito em vez de acontecer em silêncio. A leitura de longo prazo usa a mesma matemática e a mesma unidade da leitura original, lado a lado, para que a queda do efeito seja visível em vez de precisar ser reconstruída na mão. Para refazer as contas por fora, a calculadora de valor-p e a calculadora de tamanho de amostra aceitam as contagens brutas dos dois braços, mesmo desbalanceados.
Referências
- Hohnhold, H., O’Brien, D. e Tang, D. Focusing on the Long-term: It’s Good for Users and Business. KDD 2015, Google. Fonte da distinção entre efeito de curto prazo como o impacto observado durante o experimento e efeito de longo prazo como o impacto final depois de o produto ser lançado e os usuários mudarem o comportamento, da afirmação de que o curto prazo nem sempre é preditivo do longo prazo, do desafio de decidir em tempo hábil, da definição de cegueira e videncia a anúncios como mudança da propensão inerente do usuário a clicar ou interagir com anúncios, da explicação de por que o desenho ingênuo falha por causa de efeitos de sistema, sazonalidade e interações com lançamentos posteriores, do método de pós-período com o tratamento entre dois períodos A/A e da percepção de que é preciso comparar os grupos enquanto recebem o mesmo tratamento, do registro de que pós-períodos deram medições confiáveis e reproduzíveis no Google, das ressalvas de desaprendizado e de ambiente de medição incluindo o exemplo do recurso de interface ausente no pós-período e a checagem de métricas não afetadas por comportamento, da taxa de aprendizado de aproximadamente 0,012 por dia, da prática de rodar estudos de desktop por 90 dias capturando cerca de 65 por cento do aprendizado, do fator de 92 por cento por desaprendizado numa medição de 14 dias e do produto de aproximadamente 60 por cento, e do fator de correção maior ou igual a 1 com valor mínimo de 1,54 e uso prático entre 2 e 3 em desktop e laptop. research.google.
- Kohavi, R. Online Controlled Experiments: Lessons from Running A/B/n Tests for 12 Years. Keynote de KDD 2015. Fonte do relato de que 90 por cento dos usuários elegíveis do Bing estão em experimentos enquanto 10 por cento formam um holdout global trocado uma vez por ano, da prática de atribuir crédito rodando um experimento reverso, do alerta sobre efeitos de arrasto de experimentos anteriores, e do registro de que Google e Bing agem de forma diferente quanto a impactos de longo prazo, com o Google rodando experimentos longos de por exemplo 90 dias e o Bing focando em agilidade com experimentos de 1 a 2 semanas e iterações. exp-platform.com.
- Kohavi, R., Deng, A., Longbotham, R. e Xu, Y. Seven Rules of Thumb for Web Site Experimenters. KDD 2014. Referência sobre métricas organizacionais em vez de métricas de recurso e sobre tratar resultados no limite da significância como provisórios, aplicável à leitura de um holdout com intervalo próximo de zero. exp-platform.com.
- Kohavi, R., Tang, D. e Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Referência geral sobre efeitos de longo prazo, holdouts e alocação desbalanceada. Material complementar em experimentguide.com.
Leia também: Efeito novidade em teste A/B · Unidade de sorteio em teste A/B · Teste A/A: validar a montagem · Maldição do vencedor · Métricas de guardrail · Calculadora de poder estatístico · Read in English
Perguntas frequentes
- O que é um holdout de longo prazo?
- É um grupo de usuários mantido fora da mudança depois que ela já foi lançada para todo mundo, justamente para permitir a comparação meses depois. Kohavi relata que na plataforma do Bing 90 por cento dos usuários elegíveis estão em experimentos e 10 por cento formam um holdout global, trocado uma vez por ano. O holdout responde a uma pergunta que o teste original não responde: quanto do ganho medido na primeira semana ainda existe depois que o comportamento do usuário se ajustou.
- Por que o efeito de curto prazo não prevê o de longo prazo?
- Porque o usuário aprende. Hohnhold, O Brien e Tang descrevem o efeito de curto prazo como o impacto observado durante o experimento e o de longo prazo como o impacto final, uma vez que o produto já foi lançado por completo e os usuários mudaram o comportamento em resposta. Eles são diretos ao dizer que o efeito de curto prazo nem sempre é preditivo do de longo prazo, e o desafio é determinar o impacto de longo prazo ainda conseguindo decidir em tempo hábil.
- Não basta deixar o teste rodando por três meses?
- Não, e os autores explicam por quê. Nesse desenho ingênuo, o efeito medido no fim do período pode mudar por muitos motivos que não têm nada a ver com aprendizado do usuário: efeitos do sistema, sazonalidade, interações com lançamentos posteriores. Separar essas causas para medir aprendizado dentro de um mesmo grupo ao longo do tempo é, na experiência deles, muito difícil se não impossível. Por isso eles desenvolveram o método de pós-período.
- O que é o método de pós-período?
- É colocar o período de tratamento entre dois períodos de teste A/A. Primeiro um pré-período, para garantir que não existem diferenças estatisticamente significantes entre os grupos no início do estudo. Depois o tratamento. Depois um pós-período, em que os dois grupos voltam a receber a mesma experiência. A ideia central, segundo os autores, é que para medir aprendizado é preciso comparar os dois grupos enquanto eles recebem o mesmo tratamento, porque aí qualquer diferença remanescente só pode vir de mudança de comportamento.
- Quanto tráfego custa um holdout de 5 por cento?
- Muito mais do que a intuição sugere, porque a alocação desbalanceada é ineficiente. Para o mesmo poder de um teste 50 por 50 que exigiria 62.468 usuários no total, um desenho 95 por 5 precisa de 328.779, ou seja, 5,26 vezes mais. O braço pequeno em si continua pequeno, com 16.439 usuários, e é justamente por isso que o resto tem que crescer tanto. O fator de inflação é o quadrado de 1 mais a razão de alocação, dividido por 4 vezes essa razão.
- Qual a diferença entre holdout e reverse experiment?
- O holdout separa uma fatia antes do lançamento e a mantém fora dele. O experimento reverso, ou holdback, funciona ao contrário: a mudança já está no ar para todo mundo e você a desliga para uma fatia, testando ao contrário. Kohavi descreve esse desenho de atribuir crédito rodando um experimento reverso, ou seja, subindo a mudança e testando em reverso. O resultado estatístico é comparável; o que muda é o momento em que a decisão de reservar a fatia foi tomada.