Métricas de Contagem em Teste A/B: Poisson e dispersão

Sessões por usuário, itens por pedido e páginas por sessão são métricas de contagem, e a variância delas quase sempre é maior que a média. Isso se chama superdispersão, e ela tem um preço direto em tamanho de amostra: com índice de dispersão 4, que é um valor comum em dados de produto, o teste que o modelo de Poisson dimensionaria com 2.011 usuários por variação precisa na verdade de 8.194. Se você ignorar isso e calcular o erro-padrão como o Poisson manda, ele sai pela metade do correto, e o mesmo dado que dá z de 3,42 na conta certa dá 6,85 na conta ingênua. Este guia mostra como medir a dispersão, como dimensionar direito e quando trocar a contagem por um proxy binário. Faz parte do nosso guia completo de teste A/B e é o par direto de tamanho de amostra para métricas contínuas, que cobre médias e receita.

Métricas de contagem não são proporção nem média comum

A maioria das ferramentas de teste A/B só sabe fazer uma conta: comparar duas proporções. Isso cobre taxa de conversão, taxa de clique, taxa de rejeição, qualquer coisa em que cada usuário contribua com um zero ou um um.

Contagem é outra coisa. Cada usuário contribui com um inteiro não negativo, e a distribuição desses inteiros tem uma cauda:

métrica de contagem	unidade	onde ela aparece
sessões por usuário	usuário sorteado	engajamento, retenção semanal
páginas por sessão	sessão	profundidade de navegação, busca interna
itens por pedido	pedido	e-commerce, cesta média
pesquisas por visita	visita	busca no site, catálogo
mensagens enviadas por conta	conta	produtos de comunicação
tickets abertos por cliente	cliente	métrica de guardrail de suporte

Todas elas compartilham o mesmo comportamento: um monte de usuários com zero, um ou dois eventos, e uma minoria com dezenas. É a mesma cauda longa que já discutimos em outliers e capping, só que aqui ela nasce da natureza da contagem, não de um valor monetário extremo.

Poisson assume que a variância é igual à média

O modelo padrão para contagem é o de Poisson. Ele tem um único parâmetro, que é ao mesmo tempo a média e a variância da distribuição. Essa é a suposição inteira, e ela quase nunca vale em dados de produto.

O motivo é simples e não é estatístico: os usuários não são iguais entre si. Um Poisson com média 3,2 descreveria uma população em que todo mundo tem a mesma propensão a gerar sessões e a variação é só sorte. A sua base real tem um grupo que entra uma vez por mês e outro que entra três vezes por dia. Essa heterogeneidade entre usuários entra na variância total e não entra na média.

O modelo que acomoda isso é a binomial negativa, que tem dois parâmetros: a média e um parâmetro de dispersão, normalmente escrito como kappa. A relação entre eles é direta:

variância = média + kappa vezes o quadrado da média

Com kappa igual a zero, a binomial negativa vira exatamente o Poisson. Quanto maior o kappa, mais espalhada a distribuição em torno da mesma média.

Meça a dispersão antes de dimensionar qualquer coisa

Você não precisa de nenhuma ferramenta especial para saber se tem superdispersão. Pegue os dados de uma semana histórica, calcule a média e a variância da contagem por usuário, e divida uma pela outra. Esse é o índice de dispersão:

índice de dispersão = variância dividida pela média

Sob Poisson ele é 1. Em dados de produto ele costuma ficar entre 2 e 8. E ele se relaciona com o kappa de forma exata: o índice de dispersão é igual a 1 mais kappa vezes a média, o que permite ir de um para o outro sem simulação.

Com média de 3,2 sessões por usuário na semana e um alvo de detectar mais 5 por cento na taxa, a conta muda assim:

variância observada	índice de dispersão	kappa	usuários por variação	dias a 40.000 usuários por semana
3,2	1,0 (Poisson)	0,0000	2.011	1
6,4	2,0	0,3125	4.072	2
9,6	3,0	0,6250	6.133	3
12,8	4,0	0,9375	8.194	3
19,2	6,0	1,5625	12.315	5

Repare que a relação é praticamente linear no índice de dispersão. Ignorar a superdispersão não é um arredondamento, é um erro de fator inteiro. Quem dimensionou por Poisson um teste com índice de dispersão 4 está rodando com um quarto da amostra necessária, e vai ler o resultado como “não deu nada” quando o teste na verdade nunca teve poder.

A fórmula, e a prova de que ela está certa

A referência para dimensionar a razão entre duas taxas de contagem é Zhu e Lakkis, publicada em Statistics in Medicine em 2014. É a fórmula implementada em software de dimensionamento e a que a documentação do PASS descreve como método 3, a versão que estima a variância nula por máxima verossimilhança. Zhu e Lakkis registram que as simulações deles indicam que os métodos 2 e 3 são mais acurados que o método 1.

Aqui está ela, em JavaScript, exatamente como usamos para gerar as tabelas deste artigo:

// Zhu e Lakkis (2014), metodo 3 (maxima verossimilhanca sob a nula).
// lambda1 = taxa do controle | RR = razao de taxas alvo
// kappa   = parametro de dispersao | mut = tempo medio de exposicao
function nbSampleSize({ lambda1, RR, kappa, mut = 1, R = 1, alpha = 0.05, power = 0.8 }) {
  const lambda2 = lambda1 * RR;
  const VA = (1 / mut) * (1 / lambda1 + 1 / (R * lambda2)) + ((1 + R) * kappa) / R;
  const V0 = Math.pow(1 + R, 2) / (mut * R * (lambda1 + R * lambda2)) + ((1 + R) * kappa) / R;
  const za = zCritical(alpha, 2);   // 1,9600 no bicaudal a 5%
  const zb = normInv(power);        // 0,8416 para 80% de poder
  return Math.ceil(
    Math.pow(za * Math.sqrt(V0) + zb * Math.sqrt(VA), 2) / Math.pow(Math.log(RR), 2)
  );
}

Uma fórmula publicada sem verificação é só uma afirmação. Rodamos a nossa implementação contra o cenário de referência que Zhu e Lakkis publicam na Tabela I do artigo (taxa de controle 0,8 evento por unidade de tempo, razão de taxas de 0,85, tempo médio de exposição 0,75, alfa 0,05, poder 80 por cento, alocação balanceada) e comparamos linha a linha:

parâmetro de dispersão	nossa implementação	valor publicado	diferença
0,4	1.311	1.311	0,000%
0,7	1.490	1.490	0,000%
1,0	1.668	1.668	0,000%
1,5	1.965	1.965	0,000%

Reprodução exata nas quatro linhas. É esse mesmo bloco de código que gerou a tabela do índice de dispersão da seção anterior e a comparação da próxima.

O quanto o Poisson mente, por tamanho de efeito

Com o parâmetro de dispersão fixado em 0,9375 (o que corresponde a variância 12,8 sobre média 3,2, ou índice de dispersão 4), a diferença entre dimensionar por Poisson e dimensionar direito é constante e grande:

efeito alvo na taxa	binomial negativa	dias	Poisson (kappa zero)	dias	razão
mais 2 por cento	49.915	18	12.387	5	4,0 vezes
mais 3 por cento	22.376	8	5.532	2	4,0 vezes
mais 5 por cento	8.194	3	2.011	1	4,1 vezes
mais 8 por cento	3.282	2	797	1	4,1 vezes
mais 10 por cento	2.135	1	515	1	4,1 vezes

Dias calculados a 40.000 usuários por semana, com dois braços. A razão entre as duas colunas fica presa em torno de 4, que é exatamente o índice de dispersão: o fator de correção é o índice de dispersão, e ele não depende do tamanho do efeito que você quer detectar. Essa é a regra de bolso que vale levar: meça o índice de dispersão uma vez, multiplique a conta de Poisson por ele, e você terá uma aproximação boa antes mesmo de abrir a fórmula.

O erro mais caro é anterior à fórmula

Existe um erro pior do que dimensionar por Poisson, e ele acontece na leitura, não no desenho: contar o evento como se fosse a unidade de observação.

O cenário: 30.000 usuários sorteados, 96.000 sessões geradas. A tentação é analisar as 96.000 sessões como observações independentes, ou calcular o erro-padrão da média assumindo variância igual à média, como o Poisson manda. Os dois erros levam ao mesmo lugar.

conta	erro-padrão da média por braço	z da diferença entre os dois braços, para um efeito de mais 0,10 sessão por usuário
correta (variância 12,8 sobre 30.000 usuários)	0,020656	3,4233
ingênua (variância assumida igual à média, 3,2)	0,010328	6,8465

Para refazer a conta: o erro-padrão da diferença entre dois braços do mesmo tamanho é a raiz de 2 vezes o erro-padrão de um braço, então o z correto é 0,10 dividido por 0,020656 vezes a raiz de 2, o que dá 3,4233.

O erro-padrão sai exatamente pela metade, o intervalo de confiança sai 50 por cento mais estreito do que deveria e o z dobra. Nesse caso específico as duas contas concordam sobre o veredito (as duas passam de 1,96), mas a que produz z de 6,85 vai ser descrita como “resultado esmagador” numa reunião, e ela não é. Num efeito menor, a mesma distorção vira falso positivo direto.

A raiz do problema é a mesma que descrevemos em unidade de sorteio: a unidade de análise tem que ser a unidade de sorteio. Se você sorteou usuários, a observação é o usuário e a métrica dele é a contagem total, com toda a variância que ela carrega. Sessões do mesmo usuário são correlacionadas entre si, e tratá-las como independentes é inventar informação que não existe.

Vale trocar a contagem por um proxy binário?

Uma saída pragmática é converter a contagem num indicador: em vez de “sessões por usuário”, medir “usuário com pelo menos 4 sessões na semana”. Isso devolve o problema para a calculadora binária, que toda ferramenta tem, e para a conta de duas proporções.

Taxa de conversão atual%Efeito mínimo detectávelrelativo (%)absoluto (pp)Confiança909599%Poder8090%Visitantes por semana (total)Testebilateralunilateral

-Visitantes por variação

-Total (2 variações)

-Duração estimada

Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.

Com a base do proxy em 35 por cento dos usuários, a calculadora acima devolve:

efeito relativo no proxy	usuários por variação	dias a 40.000 por semana
mais 2 por cento	73.214	26
mais 3 por cento	32.612	12
mais 5 por cento	11.791	5
mais 8 por cento	4.635	2

Compare com a coluna da binomial negativa: detectar mais 5 por cento na taxa de sessões pedia 8.194 usuários por variação, e detectar mais 5 por cento relativos no proxy pede 11.791. Ou seja, neste cenário o proxy saiu mais caro, não mais barato.

Isso não é uma regra geral, e é aí que está o cuidado. As duas linhas não medem a mesma coisa: uma pergunta se a contagem média subiu 5 por cento, a outra pergunta se a proporção de usuários acima de um limiar subiu 5 por cento. Não existe conversão automática entre as duas, e supor que um efeito de mais 5 por cento na média produz mais 5 por cento no proxy é uma hipótese sua, não um fato. Os critérios honestos para escolher o proxy são:

• Escolha o proxy se o limiar é o que interessa ao negócio. “Usuário ativo é quem entra 4 vezes na semana” é uma definição de produto legítima, e nesse caso o proxy não é aproximação, é a métrica.
• Escolha o proxy se você não consegue calcular a variância da contagem. Sem o número da variância você não tem como dimensionar a binomial negativa, e um proxy bem dimensionado é melhor que uma contagem mal dimensionada.
• Não escolha o proxy só para poder usar a calculadora que você já tem. O custo é jogar fora a informação de quanto a contagem mudou, e a tabela acima mostra que nem sempre isso vem com desconto de amostra.
• Nunca compare os dois números como se fossem alternativas do mesmo efeito. Eles respondem perguntas diferentes.

E a normalidade da média

Falta uma última checagem, que é independente do dimensionamento pelo efeito: a média da contagem precisa ser aproximadamente normal para o teste z valer. A régua é a regra de bolso de Kohavi, Deng, Longbotham e Xu, que pede pelo menos 355 vezes o quadrado do coeficiente de assimetria e é recomendada quando o módulo da assimetria passa de 1.

variância (média 3,2)	assimetria	mínimo pela regra do TCL	mínimo pelo efeito de mais 5 por cento	qual manda
3,2	0,56	111	2.011	o efeito
6,4	1,19	500	4.072	o efeito
12,8	1,96	1.359	8.194	o efeito
19,2	2,51	2.238	12.315	o efeito

Em contagens típicas, o dimensionamento pelo efeito manda com folga, e a regra do teorema central do limite nunca chega a ser o gargalo. É por isso que contagem é um caso mais confortável que receita: nas métricas do Bing que Kohavi e coautores publicam, sessões por usuário tem assimetria 3,6 e pede 4,70 mil observações, enquanto receita por usuário tem 17,9 e pede 114 mil. A cauda da contagem é longa, mas a cauda do dinheiro é muito pior.

Duas ressalvas honestas sobre a tabela acima. A primeira: as assimetrias vêm da fórmula fechada da binomial negativa com aquelas média e variância, não de dados seus. A segunda: se a sua contagem tiver um punhado de usuários com centenas de eventos, o que é comum quando bots entram na conta, a assimetria real vai passar muito da tabela. Antes de dimensionar, limpe o tráfego de bot e considere aplicar um teto.

Checklist

1. Meça a variância antes de qualquer coisa. Uma semana de dados históricos, contagem por usuário, média e variância. Divida uma pela outra.
2. Se o índice de dispersão passar de 1,5, esqueça o Poisson. Use a binomial negativa e o kappa correspondente.
3. Como aproximação rápida, multiplique a conta de Poisson pelo índice de dispersão. O fator ficou preso em 4,0 a 4,1 em toda a faixa de efeito testada.
4. A unidade de análise é a unidade de sorteio. Nunca calcule erro-padrão sobre a contagem de eventos.
5. Limpe bot e considere teto antes de estimar a variância, senão você dimensiona para a cauda errada.
6. Se for usar proxy binário, declare a hipótese de tradução. E não presuma que ele é mais barato: neste cenário não foi.
7. Confira a regra dos 355 vezes a assimetria ao quadrado. Em contagem ela raramente manda, mas confirmar leva um minuto.

Faça isso automático na Donnu

Quase toda ferramenta de teste A/B de mercado só sabe comparar proporções. Quando o time quer testar “sessões por usuário” ou “itens por pedido”, a saída padrão é inventar um proxy binário e torcer, ou exportar tudo para uma planilha e fazer a conta na mão, sem dimensionamento prévio.

A Donnu guarda a contagem por usuário sorteado, então o índice de dispersão é algo que você lê antes de começar o teste, e não descobre depois. Isso muda a pergunta na hora de planejar: em vez de “quantos visitantes eu preciso”, que é a pergunta binária, você consegue responder “quanto essa métrica varia entre os meus usuários e o que isso custa em dias de teste”. Se o seu caso ainda é binário, comece pela calculadora de tamanho de amostra; se já é de contagem, meça a variância primeiro e use a fórmula publicada acima.

Referências

• Zhu, H. e Lakkis, H. Sample size calculation for comparing two negative binomial rates. Statistics in Medicine, volume 33, número 3, páginas 376 a 387, 2014. Fonte da fórmula de tamanho de amostra para a razão de duas taxas sob o modelo binomial negativo, dos três métodos de estimar a variância sob a hipótese nula, do resultado de simulação de que os métodos 2 e 3 são mais acurados que o método 1, e da tabela de referência (taxa de controle 0,8, razão de taxas 0,85, exposição média 0,75, alfa 0,05, poder 80 por cento) que reproduzimos exatamente nas quatro linhas de dispersão testadas. pubmed.ncbi.nlm.nih.gov.
• NCSS. PASS Sample Size Software, capítulo 438: Tests for the Ratio of Two Negative Binomial Rates. Fonte da transcrição operacional das fórmulas de Zhu e Lakkis (variância assintótica sob a alternativa e sob a nula pelos três métodos, fórmula de tamanho de amostra e de poder), do enquadramento de que o modelo de Poisson assume média igual a variância e passa a ajustar mal os dados quando ocorre superdispersão, da nota de que os testes assintóticos são apropriados acima de 50 sujeitos por grupo, e da tabela numérica de validação com 1.311, 1.490, 1.668 e 1.965 sujeitos por grupo para dispersão de 0,4, 0,7, 1,0 e 1,5. ncss.com.
• Kohavi, R., Deng, A., Longbotham, R. e Xu, Y. Seven Rules of Thumb for Web Site Experimenters. KDD 2014. Fonte da regra de bolso de 355 vezes o quadrado do coeficiente de assimetria como mínimo de observações independentes para a média ter distribuição aproximadamente normal, da recomendação de aplicá-la quando o módulo da assimetria passa de 1, e da tabela de métricas reais do Bing em que sessões por usuário aparece com assimetria 3,6 e 4,70 mil observações contra receita por usuário com 17,9 e 114 mil. exp-platform.com.
• Liu, M., Sun, X., Varshney, M. e Xu, Y. Large-Scale Online Experimentation with Quantile Metrics. arXiv 1903.08762, 2019. Fonte do registro de que plataformas de experimentação em escala reportam predominantemente métricas de média, como receita por membro ou cliques por impressão, porque a média se encaixa diretamente no procedimento de teste t de duas amostras, e de que métricas que não são bem resumidas pela média exigem tratamento próprio. arxiv.org.

Leia também: Tamanho de amostra para métricas contínuas · Outliers e capping · Unidade de sorteio · Métricas de razão · Tráfego de bot · Calculadora de tamanho de amostra · Read in English