Efeito Novidade em Teste A/B: como detectar
O que é o efeito novidade, como separar um efeito real que decai de um artefato estatístico e as três checagens que revelam ganho durável.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
O efeito novidade é um ganho passageiro que vem de a mudança ser nova, e não de ela ser melhor, e o motivo de isso importar é que a maioria dos testes é lida exatamente na janela em que ele é mais forte. Um redesenho em que visitantes recorrentes clicam porque perceberam que algo mudou de lugar produz uma primeira semana muito convincente. Este guia cobre como separar um efeito que decai de um durável, por que a maior parte das suspeitas de novidade é na verdade artefato estatístico, a quebra entre visitante novo e recorrente que resolve a discussão, e como desenhar um teste que responde à pergunta em vez de convidar o debate. Ele faz parte do nosso guia completo de teste A/B e anda junto de quantos visitantes um teste A/B precisa.
O que o efeito novidade e a primazia são de fato
Duas distorções opostas aparecem quando uma mudança é exposta pela primeira vez a quem já conhece a versão antiga.
Novidade infla a variação no começo. Os usuários percebem que algo está diferente, investigam, clicam, e a métrica se move por razões que não têm ligação com a mudança ser melhor. Kohavi e colegas descrevem isso como um viés que morre rápido se o recurso não for realmente útil.
Primazia derruba a variação no começo. Usuários experientes ficam temporariamente menos eficientes com uma navegação ou layout que ainda não aprenderam, o que dá vantagem intrínseca ao controle até eles se adaptarem.
Os dois são propriedades do visitante recorrente. Quem chega pela primeira vez não tem versão anterior para estranhar nem nada para reaprender, e esse é o fato mais útil do tema inteiro e a base do diagnóstico mais abaixo.
A parte surpreendente: a maioria das suspeitas de novidade não é real
É aqui que a versão honesta do tema se afasta da versão popular. Kohavi, Deng, Longbotham e Xu relatam que na prática efeitos de novidade e primazia são incomuns, e que os casos que eles observaram se concentram em sistemas de recomendação, em que um algoritmo novo introduz diversidade momentânea ou puxa de um estoque finito de itens, então a vantagem inicial some naturalmente. A análise anterior deles sobre resultados intrigantes é mais direta: a maioria dos casos de suspeita de primazia e novidade não é real, é artefato estatístico.
O artefato vem de como os times olham o resultado. Um gráfico de efeito acumulado nos primeiros dias é dominado por ruído, porque a amostra é pequena e o intervalo de confiança é enorme. Uma curva que vagueia para cima por quatro dias parece tendência, e quem quer que o recurso dê certo extrapola aquilo. A maioria dos experimentos tem, na verdade, efeito estável com variância inicial alta, e a tendência aparente desaparece conforme a amostra cresce.
O mesmo trabalho relata algo que deveria encerrar uma discussão comum: eles não conseguiram achar um único experimento em que um resultado estatisticamente significativo numa direção virou estatisticamente significativo na direção oposta por causa desses efeitos. Um teste claramente negativo depois de duas semanas não vai virar positivo quando os usuários se acostumarem. Falhar rápido é a jogada melhor.
Ou seja, novidade é uma hipótese que vale testar, não uma explicação padrão. As três checagens abaixo são como você testa.
Exemplo trabalhado: a barra fixa que desbotou
Um time de e-commerce sobe uma barra fixa de adicionar ao carrinho. O tráfego é de 25.000 visitantes por semana, dividido igualmente, então cada braço recebe 12.500 por semana. A métrica primária é taxa de compra, base de 4,00%.
Semana a semana, o controle se mantém em 4,000% enquanto a variação faz isto:
| Semana | Taxa da variação | Ganho relativo | Valor-p | Intervalo de 95% sobre a diferença |
|---|---|---|---|---|
| 1 | 4,720% | +18,00% | 0,0053 | +0,214 a +1,226 pp |
| 2 | 4,360% | +9,00% | 0,1550 | -0,136 a +0,856 pp |
| 3 | 4,160% | +4,00% | 0,5226 | -0,330 a +0,650 pp |
| 4 | 4,120% | +3,00% | 0,6307 | -0,369 a +0,609 pp |
Cada linha tem 12.500 visitantes por braço, com o controle em 500 compras por semana.
Agora a visão acumulada, que é o que o painel mostra e o que a maior parte das reuniões discute:
| Até a semana | Visitantes por braço | Ganho acumulado | Valor-p | Veredito a 5% |
|---|---|---|---|---|
| 1 | 12.500 | +18,00% | 0,0053 | significativo |
| 2 | 25.000 | +13,50% | 0,0028 | significativo |
| 3 | 37.500 | +10,33% | 0,0048 | significativo |
| 4 | 50.000 | +8,50% | 0,0072 | significativo |
O teste acumulado é significativo em todos os pontos de checagem, e é significativo no fim. Um time lendo só esta tabela sobe a barra e coloca uma melhora de +8,5% no plano. Esse número não vai aparecer no trimestre seguinte.
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
Eis por quê. Junte as semanas três e quatro sozinhas, que é o mais próximo do estado estacionário: 25.000 visitantes por braço, controle com 1.000 compras (4,000%), variação com 1.035 (4,140%). Resultado: +3,50% relativo, z = 0,792, valor-p = 0,4283, intervalo de -0,206 a +0,486 ponto percentual. Inconclusivo, e o intervalo inclui o zero com folga.
O número acumulado não está errado, ele está respondendo outra pergunta. Ele reporta o efeito médio ao longo do teste inteiro, incluindo a semana em que a barra era novidade. O que você precisa para decidir é o efeito que ainda vai estar lá no mês que vem, e só a visão semanal estima isso.
A quebra entre novo e recorrente que resolve
O decaimento semanal é sugestivo. A quebra por segmento é quase decisiva, porque a novidade tem um mecanismo e o mecanismo tem uma assinatura.
Na semana um do mesmo experimento, quebrando por tipo de visitante em 60% novos e 40% recorrentes:
- Visitantes novos: 7.500 por braço, controle com 285 compras (3,800%), variação com 300 (4,000%). Ganho +5,26%, valor-p 0,5270, intervalo de -0,420 a +0,820 ponto percentual. Inconclusivo.
- Visitantes recorrentes: 5.000 por braço, controle com 215 compras (4,300%), variação com 290 (5,800%). Ganho +34,88%, valor-p 0,0006, intervalo de +0,642 a +2,358 ponto percentual. Fortemente significativo.
Essa é a impressão digital. O efeito inteiro da semana um vive no segmento que tinha o que perceber. Quem nunca viu o seu site não pode se surpreender que a barra de adicionar ao carrinho mudou de lugar, então, se a mudança fosse genuinamente melhor, os visitantes novos também deveriam se beneficiar. Não se beneficiaram.
Uma ressalva para manter isso honesto: essa quebra precisa ser planejada, não descoberta. Fatiar um resultado por segmento depois do fato gera muitas comparações silenciosas e ao menos uma vai parecer significativa, que é o problema de múltiplas comparações em outra fantasia. Novo contra recorrente ganha uma exceção só porque você consegue nomear isso antes do lançamento, como checagem permanente de todo teste que mexe numa interface familiar.
Desenhar para a pergunta nem aparecer
O jeito mais barato de vencer a discussão sobre novidade é torná-la desnecessária antes de o teste começar.
Rode semanas inteiras, no mínimo duas. Kohavi e colegas recomendam duas semanas justamente para expor efeitos que somem. Semanas inteiras também mantêm a mistura de dia útil e fim de semana equilibrada, o que remove um segundo fator de confusão que costuma ser diagnosticado errado como novidade.
Dimensione para o efeito que você espera que sobreviva, não para o que você espera ver. É a parte que dói. Se a sua expectativa de estado estacionário é uma melhora de 5% relativos sobre uma base de 4%, isso exige 154.304 visitantes por braço e 87 dias a 25.000 por semana. Uma expectativa de 8,75% exige 51.266 por braço e 29 dias. O efeito de 18% que você viu na semana um exige só 12.626 por braço e 8 dias, o que é exatamente o motivo de um teste curto achar esse efeito e nenhum outro.
Aproximação normal de duas proporções, divisão igual entre as variações. A data usa o seu fuso e recalcula ao vivo.
Declare a janela de análise primária de antemão. Escrever “a decisão usa da semana dois em diante” no documento do experimento antes do lançamento transforma uma discussão em regra. Decidir descartar a semana um depois de ver que isso ajuda é peeking vestido de rigor.
Nomeie os segmentos antes. Novo contra recorrente, em qualquer mudança numa superfície familiar. Dois segmentos declarados de antemão custam quase nada; doze descobertos depois custam o resultado.
| Decisão de desenho | Versão fraca | Versão que sobrevive à revisão |
|---|---|---|
| Duração | Parar quando der significativo | Semanas inteiras, mínimo de duas, fixadas de antemão |
| Dimensionamento | Poder calculado para o efeito da semana um | Poder calculado para o efeito estacionário esperado |
| Janela primária | Teste inteiro, acumulado | Janela estacionária declarada, decidida antes do lançamento |
| Segmentos | Fatiados depois até algo aparecer | Novo contra recorrente, nomeado no plano |
| Regra de decisão | Subir se o valor-p acumulado ficar abaixo de 0,05 | Subir se a estimativa estacionária ainda justificar a mudança |
Quando o efeito que decai ainda vale ser subido
Um efeito que decai não é automaticamente um efeito sem valor, e a análise não deveria fingir o contrário.
Kohavi e colegas descrevem um experimento na MSN em que um link passou a abrir em nova aba: a mudança teve componente real de novidade, com 20% das mensagens de feedback no primeiro dia sendo sobre o recurso, caindo para 4% na segunda semana e 2% na terceira e quarta, e as melhorias nas métricas-chave se sustentaram ao longo do tempo. Novidade e valor durável não são excludentes.
A regra prática é decidir pela estimativa de estado estacionário e registrar o pico inicial à parte, como o que ele é: um efeito único que não vai se repetir. No nosso exemplo, se as semanas três e quatro tivessem voltado com +3,5% claro e significativo em vez de inconclusivo, subir seria o certo e o plano deveria carregar 3,5%, não 8,5%. O erro não é subir uma mudança com efeito que decai. O erro é projetar o pico.
Existe uma situação em que o padrão é esperado em vez de suspeito: mudanças de recomendação e personalização, em que um algoritmo novo introduz diversidade momentânea ou esgota um estoque finito de itens para recomendar. Kohavi e colegas citam o exemplo de um algoritmo de “pessoas que você talvez conheça” que foi alterado: a nova ordenação avalia melhor no começo e o efeito morre depois que as principais recomendações foram consumidas. Se você está testando nesse terreno, planeje uma janela mais longa desde o início.
Faça isso automático na Donnu
A discussão sobre novidade é cara porque a evidência normalmente precisa ser reconstruída na mão depois que a reunião já formou opinião. A Donnu A/B mantém o efeito semanal visível ao lado do acumulado em vez de mostrar só o total corrente, guarda a quebra entre novo e recorrente como segmento permanente e não como fatia improvisada, e registra a janela de análise primária junto do experimento, para a regra de decisão estar fixada antes de o primeiro número chegar.
Comece um teste grátis de 14 dias e veja o formato semanal do seu próximo teste, não só a média dele.
Referências
- Kohavi, R., Deng, A., Longbotham, R. e Xu, Y. Seven Rules of Thumb for Web Site Experimenters. KDD 2014. Fonte da afirmação de que efeitos de novidade e primazia são incomuns na prática, da ressalva sobre sistemas de recomendação e do experimento da nova aba na MSN, com os percentuais de feedback e a melhora sustentada nas métricas. exp-platform.com.
- Kohavi, R., Deng, A., Frasca, B., Longbotham, R., Walker, T. e Xu, Y. Trustworthy Online Controlled Experiments: Five Puzzling Outcomes Explained. KDD 2012. Fonte do achado de que a maioria das suspeitas de primazia e novidade é artefato estatístico, e da observação de que nenhum experimento foi encontrado em que um resultado significativo invertesse de direção por causa desses efeitos. exp-platform.com.
- Kohavi, R., Deng, A., Frasca, B., Walker, T., Xu, Y. e Pohlmann, N. Online Controlled Experiments at Large Scale. KDD 2013. Sobre duração de experimento, poder estatístico e recrutamento contínuo de usuários. exp-platform.com.
- Kohavi, R., Tang, D. e Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Material complementar em experimentguide.com.
Leia também: O que é teste A/B · Quantos visitantes um teste A/B precisa · O problema do peeking · Teste sequencial explicado · Calculadora de duração de teste grátis · Read in English
Perguntas frequentes
- O que é o efeito novidade em teste A/B?
- O efeito novidade é uma resposta de curta duração a uma mudança só porque ela é nova. Visitantes recorrentes percebem que algo mudou, exploram, clicam, e a métrica sobe por motivos que não têm nada a ver com a mudança ser melhor. Isso some conforme a mudança deixa de ser novidade. A imagem espelhada é o efeito primazia, em que usuários experientes ficam temporariamente menos eficientes com um layout novo e a mudança parece pior no começo do que vai ser. Os dois distorcem a leitura de um teste curto, e os dois atingem visitante recorrente muito mais que visitante novo.
- Como sei se o meu resultado é novidade e não ganho real?
- Três checagens, nesta ordem. Primeiro, quebre o efeito por semana em vez de ler só o número acumulado, porque a curva acumulada esconde o decaimento por construção. Segundo, compare visitantes novos contra recorrentes: o efeito novidade se concentra nos recorrentes e fica perto de zero nos novos, já que quem chega pela primeira vez não tem versão antiga para estranhar. Terceiro, veja se as semanas de estado estacionário, sozinhas, ainda sustentam a decisão. Se as semanas três e quatro isoladas dão inconclusivo, você não tem ganho confirmado, tem uma primeira semana.
- O efeito novidade é comum?
- Menos comum do que o folclore sugere. Kohavi, Deng, Longbotham e Xu escrevem que, na prática, efeitos de novidade e primazia são incomuns, e que os casos observados por eles se concentram em sistemas de recomendação, em que ou a diversidade momentânea das novas recomendações ou um estoque finito de itens produz um impulso passageiro. O trabalho anterior deles vai além: a maioria das suspeitas de novidade e primazia acaba sendo artefato estatístico de ler uma curva acumulada cedo demais, e não decaimento real. Trate novidade como hipótese que você testa, não como explicação padrão para um resultado que você não gostou.
- Quanto tempo devo rodar para descartar novidade?
- Duas semanas é o mínimo de trabalho recomendado exatamente por esse motivo, e devem ser semanas inteiras, para equilibrar tráfego de dia útil e de fim de semana. Duas semanas permitem comparar a primeira com a segunda, que é a checagem de decaimento mais barata que existe. Se a sua mudança mira visitante recorrente especificamente, ou se o seu ciclo de compra é maior que uma semana, planeje uma janela mais longa e dimensione o teste para o efeito que você espera que sobre depois que a novidade passar, não para o efeito que você viu no primeiro dia.
- Qual a diferença entre efeito novidade e efeito primazia?
- Eles apontam em direções opostas. A novidade infla a variação no começo: os usuários experimentam a coisa nova porque ela é nova, e o impulso decai. A primazia derruba a variação no começo: usuários experientes ficam mais lentos com um layout desconhecido até aprenderem, então a mudança parece pior do que é. Kohavi e colegas relatam que não conseguiram achar um único experimento em que um resultado estatisticamente significativo numa direção virou estatisticamente significativo na outra por causa desses efeitos, o que é um argumento forte contra estender um teste claramente negativo esperando que os usuários se adaptem.
- Posso simplesmente excluir a primeira semana da análise?
- Pode, e é uma checagem de robustez razoável, mas só se você decidir isso antes de olhar o resultado. Escolher descartar a primeira semana depois de ver que isso ajuda a conclusão que você prefere é uma forma de peeking vestida de rigor. A versão limpa é declarar no documento do experimento que a análise primária cobre o período de estado estacionário, definir esse período de antemão e dimensionar o teste para que a janela estacionária sozinha tenha amostra suficiente para responder à pergunta.
- O efeito novidade atinge visitante novo?
- Quase nada, e é isso que torna a quebra entre novo e recorrente um diagnóstico tão afiado. Quem visita pela primeira vez não tem memória da versão anterior, então não há o que estranhar nem o que reaprender. Se um efeito grande na semana um vive quase inteiro nos visitantes recorrentes enquanto os novos mostram diferença pequena e inconclusiva, novidade é a explicação principal. Se os dois segmentos se movem juntos, o efeito tem mais chance de ser real.