Tamanho de Amostra para Métricas Contínuas

O tamanho de amostra para uma métrica contínua, como receita por usuário, não sai da taxa de conversão: sai do coeficiente de variação da própria métrica, que é o desvio-padrão dividido pela média. Colocar a taxa de conversão numa calculadora de duas proporções e usar o resultado para dimensionar um teste de receita é o erro mais silencioso do dimensionamento, porque o número que sai parece razoável e está errado por um fator que você não vê. Este guia mostra a fórmula contínua, o exemplo trabalhado em que a mesma loja precisa de 487.847 usuários por variação para ler conversão e 761.217 para ler receita por usuário, a decomposição exata que explica a diferença, e o que capping e CUPED fazem com esse número. Faz parte do nosso guia completo de teste A/B e continua o raciocínio de quantos visitantes um teste A/B precisa.

Duas famílias de métrica, duas contas diferentes

Toda métrica de experimento cai em uma de duas famílias, e a família decide qual fórmula de amostra vale.

Uma métrica binária dá a cada usuário um de dois valores: converteu ou não converteu, clicou ou não clicou, voltou ou não voltou. A média dessa métrica é uma proporção, e a variância dela é determinada pela própria proporção: para uma taxa p, a variância por usuário vale p vezes 1 menos p. Não existe grau de liberdade aqui. Se você sabe a taxa, sabe a variância.

Uma métrica contínua dá a cada usuário um número que pode assumir muitos valores: receita, número de sessões, minutos de uso, itens no carrinho, tempo até a primeira ação. A média dessa métrica é uma média comum, e a variância dela é um parâmetro independente: duas lojas com a mesma receita média por usuário podem ter dispersões completamente diferentes, e por isso precisam de amostras completamente diferentes.

Essa é a raiz do problema. A calculadora de tamanho de amostra que todo mundo usa, inclusive a nossa, resolve o caso binário: você informa a taxa base e o efeito mínimo que quer detectar, e ela devolve o N por variação. Ela não tem como resolver o caso contínuo, porque falta a informação essencial, que é a dispersão. E como ela devolve um número sem reclamar, o número acaba sendo usado para justificar a duração de um teste cuja métrica primária é receita.

A fórmula contínua, em três formas

A conta de amostra para comparar duas médias em uma métrica contínua, sob aproximação normal e alocação igual entre os braços, é a mesma de sempre, só com a variância no lugar certo:

Forma 1, com o desvio-padrão e o efeito absoluto. O número de observações por variação vale 2 vezes o quadrado da soma dos dois valores críticos, multiplicado pela variância e dividido pelo quadrado do efeito absoluto que você quer detectar. Para 95 por cento de confiança bilateral e 80 por cento de poder, os valores críticos são 1,959964 e 0,841621, cuja soma ao quadrado dá 7,848880. Multiplicando por 2, a constante da fórmula é 15,697759.

Forma 2, com o coeficiente de variação e o efeito relativo. Dividindo em cima e embaixo pela média, a fórmula fica muito mais útil no dia a dia, porque quase todo mundo pensa em efeito relativo (“quero detectar 3 por cento a mais de receita”), não em efeito absoluto:

O N por variação é 15,697759 vezes o quadrado do coeficiente de variação, dividido pelo quadrado do efeito relativo. O coeficiente de variação é o desvio-padrão dividido pela média. Essa é a única forma da distribuição que entra na conta.

Forma 3, o caso binário como caso particular. Para uma métrica binária de taxa p, o desvio-padrão por usuário é a raiz de p vezes 1 menos p, e a média é p, então o coeficiente de variação vale a raiz de 1 menos p, dividida por p. Colocando isso na forma 2 você recupera exatamente a conta de proporções. Não são duas fórmulas, é uma só. O que muda é de onde vem o coeficiente de variação.

Exemplo trabalhado: a mesma loja, duas métricas

Uma loja tem taxa de conversão de 3,5 por cento e ticket médio de R$ 1.200, com desvio-padrão do valor do pedido de R$ 900. A receita média por usuário é 0,035 vezes 1.200, ou seja, R$ 42,00. O time quer detectar um ganho de 3 por cento relativo e roda com 120.000 visitantes por semana no fluxo testado.

Passo 1: a métrica de conversão, na calculadora

Comece pela conta que a calculadora resolve. Taxa base 3,5 por cento, efeito mínimo detectável 3 por cento relativo, 95 por cento de confiança, 80 por cento de poder, bilateral.

Taxa de conversão atual%Efeito mínimo detectávelrelativo (%)absoluto (pp)Confiança909599%Poder8090%Visitantes por semana (total)Testebilateralunilateral

-Visitantes por variação

-Total (2 variações)

-Duração estimada

Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.

O resultado é 487.847 usuários por variação. Esse é o número certo para a pergunta “esse teste muda a taxa de conversão”.

Passo 2: o coeficiente de variação da receita por usuário

Agora a métrica de receita. A receita de um usuário é o produto de duas coisas: se ele comprou (uma variável binária com taxa p) e quanto gastou quando comprou (uma variável com média e desvio-padrão próprios). Dessa decomposição sai uma identidade exata para o coeficiente de variação da receita por usuário:

O quadrado do coeficiente de variação da receita por usuário é igual a 1 mais o quadrado do coeficiente de variação do valor do pedido, tudo dividido pela taxa de conversão, menos 1.

Nos números da loja: o coeficiente de variação do valor do pedido é 900 dividido por 1.200, ou seja, 0,75. Então o quadrado do coeficiente de variação da receita vale 1 mais 0,5625, dividido por 0,035, menos 1, que dá 43,6429. A raiz é 6,6063.

Vale conferir por outro caminho, porque a identidade é fácil de errar. Somando a variância pelo cálculo direto: a receita média por usuário é R$ 42,00 e a variância é 76.986,0, o que dá desvio-padrão de R$ 277,4635 e coeficiente de variação de 277,4635 dividido por 42, ou seja, 6,6063. Fecha.

Passo 3: a amostra da métrica de receita

Aplicando a forma 2 com coeficiente de variação 6,6063 e efeito relativo 0,03:

15,697759 vezes 43,6429, dividido por 0,0009, dá 761.217 observações por variação.

métrica	coeficiente de variação	N por variação	dias a 120 mil por semana
taxa de conversão (calculadora)	5,2509	487.847	57
receita por usuário	6,6063	761.217	89
razão entre as duas	1,2581	1,56 vez	+32 dias

Taxa de conversão atual%Efeito mínimo detectávelrelativo (%)absoluto (pp)Nº de variações (com o controle)23456Visitantes por semana (total)Confiança909599%Poder8090%Testebilateralunilateral

-Duração estimada

Visitantes no total-

Término previsto-

Aproximação normal de duas proporções, divisão igual entre as variações. A data usa o seu fuso e recalcula ao vivo.

Cole 761.217 no campo de amostra por variação, 2 variações e 120.000 de tráfego semanal para conferir os 89 dias. Depois troque para 487.847 e veja os 57. A diferença entre planejar o teste pela métrica errada e pela certa, nesta loja, é um mês inteiro de calendário.

Passo 4: por que exatamente 1,56 vez

A razão não é arbitrária, e ela sai da mesma identidade. Para a métrica de conversão, o quadrado do coeficiente de variação é 1 menos p, dividido por p, que aqui dá 27,5714 (coeficiente de variação 5,2509). Para a receita, dá 43,6429. A razão entre as amostras é a razão entre esses dois quadrados: 43,6429 dividido por 27,5714, ou seja, 1,5829.

Repare no caso limite, que é a melhor forma de checar se a intuição está certa: se todo mundo que compra gastasse exatamente o mesmo valor (coeficiente de variação do pedido igual a zero), o quadrado do coeficiente de variação da receita cairia para 1 dividido por 0,035, menos 1, ou seja, 27,5714, exatamente o valor da conversão. Faz sentido: sem dispersão no valor do pedido, a receita por usuário é a conversão multiplicada por uma constante, e multiplicar por constante não muda coeficiente de variação nenhum. Todo o excedente de amostra vem da dispersão do valor do pedido, e de mais nada.

desvio-padrão do valor do pedido	CV do pedido	CV da receita/usuário	N por variação	dias
R$ 0 (todos gastam igual)	0,000	5,2509	480.900	57
R$ 300	0,250	5,4182	512.046	60
R$ 600	0,500	5,8919	605.486	71
R$ 900 (o caso da loja)	0,750	6,6063	761.217	89
R$ 1.500	1,250	8,4979	1.259.559	147
R$ 2.400	2,000	11,9104	2.474.266	289

Uma nota sobre a diferença de 1,4 por cento

A linha de R$ 0 da tabela acima dá 480.900, e a calculadora deu 487.847 para o mesmo cenário. A diferença de 1,44 por cento não é erro: a fórmula contínua usa a variância sob a hipótese alternativa nos dois braços, enquanto a calculadora usa a forma agrupada, que estima o erro-padrão sob a hipótese nula com a média das duas taxas. A forma agrupada é ligeiramente mais conservadora e é a que a literatura de duas proporções adota. A diferença cresce com o efeito: é de 0,96 por cento com efeito de 2 por cento e de 4,81 por cento com efeito de 10 por cento. Em planejamento isso não muda decisão nenhuma, mas é bom saber de onde vem antes de acusar uma das duas de estar errada.

Quantos usuários a média precisa só para se comportar

Existe um segundo limite inferior, independente do cálculo de poder, e ele é ignorado com frequência: a fórmula acima assume que a média da métrica é aproximadamente normal. Para uma métrica muito assimétrica, isso exige bem mais usuários do que o “n maior que 30” dos livros introdutórios.

Kohavi, Deng, Longbotham e Xu propõem, na sétima regra de bolso do artigo de KDD 2014, o mínimo de 355 vezes o quadrado do coeficiente de assimetria por variação, recomendado quando o módulo da assimetria passa de 1. Eles publicam a tabela de métricas reais do Bing, e ela reproduz a regra ponto a ponto:

métrica do Bing	módulo da assimetria	amostra mínima relatada	355 vezes o quadrado	sensibilidade a 80% de poder
Receita por usuário	17,9	114 mil	113.746	4,4%
Receita por usuário (limitada)	5,2	9,7 mil	9.599	10,5%
Sessões por usuário	3,6	4,70 mil	4.601	5,4%
Tempo até o sucesso	2,1	1,55 mil	1.566	12,3%

Os autores relatam ainda que, num site de comércio, a assimetria de compras por cliente passava de 10 e a de receita por cliente passava de 30. E fazem uma ressalva honesta que quase nunca é citada junto com a regra: se o controle e o tratamento têm a mesma distribuição e a divisão é igual, a distribuição da diferença fica aproximadamente simétrica (perfeitamente simétrica sob a hipótese nula), e aí a regra não dá um limite inferior útil, porque ela foi construída para o módulo da assimetria acima de 1. Nesse caso, quem manda é o cálculo de poder das seções anteriores. A regra de 355 é o alarme para o caso em que você lê cada braço separadamente, ou em que os braços não estão igualmente dimensionados.

Três formas de baixar o número (e o que cada uma custa)

Se o número que saiu é grande demais para o seu tráfego, existem três alavancas legítimas. Todas mexem no coeficiente de variação, porque é ele que manda.

1. Limitar a cauda (capping)

Cortar valores acima de um teto derruba o desvio-padrão muito mais do que derruba a média, e é o quociente entre os dois que entra na conta. Kohavi, Deng, Longbotham e Xu relatam que limitar receita por usuário a 10 dólares por usuário por semana no Bing derrubou a assimetria de 18 para 5,3, e que para a mesma amostra a receita limitada detecta uma mudança 30 por cento menor que a receita bruta.

O custo é conceitual, não estatístico: a métrica limitada responde a outra pergunta. Você deixa de medir receita e passa a medir receita até o teto. Se o efeito que você está testando age justamente na cauda (upsell de item caro, por exemplo), o capping apaga exatamente o que você queria ver. O tratamento completo dessa decisão está em outliers e capping em teste A/B.

2. Reduzir variância com dado pré-experimento (CUPED)

Deng, Xu, Kohavi e Walker mostram que usar uma covariável medida antes do experimento reduz a variância por um fator igual a 1 menos o quadrado da correlação entre a métrica e a covariável. Eles relatam redução de cerca de 50 por cento na variância no Bing, o que eles descrevem como equivalente a dobrar o tráfego ou cortar a duração pela metade. Relatam também que a melhor covariável isolada é a própria métrica medida no período pré-experimento (mais de 45 por cento de redução no caso deles, contra 9 a 10 por cento usando só o dia de entrada, e ganho extra de apenas 2 a 3 por cento ao combinar as duas).

A ressalva mais importante deste artigo vem do mesmo estudo, e ela cai justamente sobre a métrica de que estamos tratando. Os autores relatam que CUPED funcionou bem em cliques por usuário e visitas por usuário, e que a exceção notável foi receita por usuário, onde a redução de variância ficou abaixo de 5 por cento, porque a correlação da receita por usuário entre o período pré-experimento e o período do experimento é baixa. Faz sentido: quem gastou muito no mês passado não é, em geral, quem vai gastar muito neste mês. A tabela abaixo mostra o que aconteceria com a amostra da loja em cada nível de correlação, e serve para dimensionar o ganho potencial. Ela não é uma previsão: para receita por usuário, a correlação observada no estudo do Bing ficaria na primeira linha da tabela ou abaixo dela. Meça a correlação na sua própria base antes de contar com qualquer uma destas linhas.

Aplicado ao exemplo da loja, com a amostra de 761.217:

correlação com a covariável	fator de variância	N por variação	dias
0,5	0,750	570.913	67
0,6	0,640	487.179	57
0,7	0,510	388.221	46
0,8	0,360	274.039	32

O custo é de engenharia: exige guardar dado do período anterior por usuário e aplicar o ajuste na análise. E exige que o usuário exista antes do experimento, o que não vale para visitante novo. Detalhes em o que é CUPED.

3. Trocar a métrica primária

A alavanca mais barata e a menos usada. Se receita por usuário exige 89 dias e taxa de conversão exige 57, e se a hipótese do teste é sobre fricção no checkout (que age na conversão, não no ticket), a métrica primária honesta é a conversão, com receita como métrica secundária monitorada. Isso não é escolher a métrica que dá o resultado que você quer: é escolher a métrica em que o mecanismo que você está testando de fato age. A discussão de como fazer essa escolha sem se enganar está em métrica primária e OEC.

Métricas de razão são um terceiro caso

Existe uma família que parece contínua e não é nem uma coisa nem outra: métricas em que o denominador não é o usuário sorteado. Cliques por página, itens por sessão, receita por pedido. Nessas, cada usuário contribui com várias observações correlacionadas, e o erro-padrão calculado como se fossem independentes sai menor que o verdadeiro. A conta de amostra deste artigo continua valendo, mas o coeficiente de variação tem que ser o da métrica agregada por unidade sorteada, não o da observação individual. O tratamento correto é o método delta, coberto em métricas de razão em teste A/B, e a escolha de unidade que gera o problema está em unidade de sorteio em teste A/B.

Como estimar o coeficiente de variação antes do teste

Toda essa conta depende de um número que você precisa ter antes de começar: o coeficiente de variação da métrica no seu próprio dado. Ele não é um benchmark de mercado, é uma propriedade da sua base. Três formas de obtê-lo, em ordem de preferência:

1. Calcular direto no histórico. Pegue as últimas 4 a 8 semanas, agregue a métrica por usuário na mesma janela que o teste vai usar, e calcule desvio-padrão dividido pela média. É o caminho certo e leva minutos em qualquer ferramenta de dados.
2. Reconstruir pela decomposição. Se você só tem taxa de conversão e estatísticas do valor do pedido, use a identidade do passo 2: 1 mais o quadrado do coeficiente de variação do pedido, dividido pela taxa, menos 1. Precisa do desvio-padrão do ticket, não só da média.
3. Rodar um teste A/A primeiro. Um teste A/A de duas semanas devolve a dispersão observada de graça, junto com a validação de que o sorteio está correto.

O que não funciona é adotar um coeficiente de variação “típico”. A dispersão de receita por usuário de uma loja de itens de R$ 30 e a de uma loja de móveis não têm relação nenhuma, e o número entra na conta ao quadrado.

Checklist antes de definir o tamanho de amostra

1. Qual é a métrica primária, binária ou contínua? Se for contínua, a calculadora de proporções não responde.
2. Você tem o desvio-padrão dela no seu próprio dado? Sem isso, o número que sair é chute com aparência de conta.
3. A janela de agregação da estimativa é a mesma do teste? Coeficiente de variação de receita em 7 dias e em 28 dias são números diferentes.
4. A assimetria passa de 1? Se passar, confira a regra de 355 vezes o quadrado dela, lembrando da ressalva de divisão igual.
5. O denominador da métrica é a unidade sorteada? Se não for, é métrica de razão e precisa de método delta.
6. Você calculou os dois números, conversão e receita? O teste dura o maior dos dois, e é bom saber disso antes e não depois.
7. As alavancas de redução foram consideradas na ordem certa? Trocar a métrica primária é mais barato que capping, que é mais barato que implementar CUPED.

Erros comuns

• Usar a taxa de conversão para dimensionar um teste de receita. É o erro central deste artigo. O número sai plausível e não tem relação com a pergunta.
• Estimar o coeficiente de variação sobre os compradores em vez de sobre todos os usuários. A receita por usuário inclui os zeros. Ignorá-los derruba artificialmente a dispersão e subdimensiona o teste.
• Comparar coeficiente de variação de janelas diferentes. Agregar por 28 dias em vez de 7 muda média e desvio-padrão, e não na mesma proporção.
• Aplicar capping depois de ver o resultado. Escolher o teto olhando qual valor deixa o valor-p bonito é pesca de resultado, não redução de variância. O teto entra no plano de análise, antes.
• Tratar a regra de 355 como se substituísse o cálculo de poder. São dois limites diferentes e o teste precisa passar nos dois.
• Assumir que CUPED sempre entrega 50 por cento. O fator depende da correlação medida na sua base, e correlação de 0,5 entrega 25 por cento, não 50. No estudo original a receita por usuário foi a exceção notável, com menos de 5 por cento de redução.

Faça isso automático na Donnu

O erro caro aqui não é errar a fórmula, é nunca perceber que existiam duas. Uma métrica de receita entra no relatório ao lado de uma métrica de conversão, com a mesma cara, o mesmo intervalo e a mesma cor, e nada na tela diz que uma delas estava dimensionada e a outra não.

Na Donnu, cada métrica declarada em um experimento carrega a família dela, e o cálculo de poder é feito por métrica: uma métrica contínua exige a dispersão estimada da sua própria base, e o relatório mostra o poder efetivo que ela alcançou, não o poder que a métrica de conversão alcançou. Se você quiser refazer qualquer conta na mão, a calculadora de tamanho de amostra resolve o caso binário e a calculadora de duração traduz qualquer N em dias de calendário.

Referências

• Kohavi, R., Deng, A., Longbotham, R. e Xu, Y. Seven Rules of Thumb for Web Site Experimenters. KDD 2014. Fonte da sétima regra (“Have Enough Users”), do mínimo de 355 vezes o quadrado do coeficiente de assimetria por variação, da recomendação de aplicá-la quando o módulo da assimetria passa de 1, da tabela de métricas do Bing (receita por usuário com assimetria 17,9 e 114 mil de amostra a 4,4 por cento de sensibilidade; receita limitada 5,2 e 9,7 mil a 10,5 por cento; sessões por usuário 3,6 e 4,70 mil a 5,4 por cento; tempo até o sucesso 2,1 e 1,55 mil a 12,3 por cento), do relato de assimetria acima de 10 para compras por cliente e acima de 30 para receita por cliente num site de comércio, do efeito do limite de 10 dólares por usuário por semana derrubando a assimetria de 18 para 5,3 e permitindo detectar mudança 30 por cento menor com a mesma amostra, e da ressalva de que com divisão igual a distribuição da diferença fica aproximadamente simétrica e a regra deixa de dar limite inferior útil. exp-platform.com.
• Deng, A., Xu, Y., Kohavi, R. e Walker, T. Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data. WSDM 2013. Fonte do fator de redução de variância igual a 1 menos o quadrado da correlação, do resultado de cerca de 50 por cento de redução de variância no Bing descrito como equivalente a dobrar o tráfego ou cortar a duração pela metade, e do resultado empírico de que a própria métrica no período pré-experimento é a melhor covariável isolada (mais de 45 por cento de redução, contra 9 a 10 por cento com o dia de entrada, com ganho extra de apenas 2 a 3 por cento ao combinar as duas), e da exceção notável relatada por eles: em receita por usuário a redução de variância ficou abaixo de 5 por cento, por causa da baixa correlação da métrica entre o período pré-experimento e o período do experimento. exp-platform.com.
• Kohavi, R., Deng, A., Frasca, B., Walker, T., Xu, Y. e Pohlmann, N. Online Controlled Experiments at Large Scale. KDD 2013. Fonte da relação quadrática entre sensibilidade e tráfego (aumentar a sensibilidade por um fator de 10, de 5 por cento para 0,5 por cento, exige 100 vezes mais usuários) e da orientação geral de pelo menos milhares de usuários ativos. exp-platform.com.
• Deng, A., Knoblich, U. e Lu, J. Applying the Delta Method in Metric Analytics: A Practical Guide with Novel Ideas. KDD 2018. Referência sobre métricas cujo denominador não é a unidade de aleatorização e sobre o tratamento correto da variância nesse caso. arxiv.org/abs/1803.06336.

Leia também: Quantos visitantes um teste A/B precisa · Outliers e capping em teste A/B · O que é CUPED · Métricas de razão em teste A/B · Efeito mínimo detectável · Calculadora de tamanho de amostra · Read in English