Perda Esperada em Teste A/B Bayesiano: Quando Parar
Perda esperada em teste A/B bayesiano: o critério que mede o tamanho do risco de errar, não só a chance de acertar, com exemplo calculado.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
Perda esperada (expected loss) é o critério de parada de um teste A/B bayesiano que responde a uma pergunta mais honesta do que “qual a probabilidade de B ser melhor”: quanto, em média, você perderia na métrica que importa se escolhesse errado? Em vez de decidir só pela chance de acertar, você decide pelo tamanho do risco que ainda resta. Quando esse risco cai abaixo do que o negócio tolera, você para, mesmo sem esperar um valor-p cruzar 0,05. Este guia é um aprofundamento do nosso guia de priors bayesianos e do tratamento bayesiano já apresentado no guia completo de teste A/B: aqui o foco é só a regra de parada, com números calculados de verdade pelo mesmo motor bayesiano que roda a calculadora deste blog, não descritos de ouvido.
O que a probabilidade sozinha não te conta
A calculadora bayesiana deste blog já mostra dois números lado a lado: a probabilidade de B vencer A e o “risco ao escolher B”, que é exatamente a perda esperada. A maioria dos guias sobre teste A/B bayesiano para por aí, tratando a probabilidade como se fosse suficiente para decidir. Não é.
Probabilidade responde “qual a chance de eu estar errado”. Perda esperada responde “se eu estiver errado, quanto isso custa”. São perguntas diferentes, e a segunda é a que realmente importa para o negócio: dois testes podem chegar à mesma probabilidade de vitória e ainda assim carregar riscos completamente diferentes, dependendo do tamanho do efeito em jogo e de quanta amostra sustenta a estimativa.
Rodamos duas simulações reais no mesmo motor bayesiano deste blog para mostrar isso com números, não só com a ideia:
O motivo é simples: o Teste 2 tem uma amostra pequena (110 por variação) sustentando um efeito grande (20% contra 30%). A incerteza sobre o tamanho real do efeito ainda é larga, então, nos cenários em que a aposta em B dá errado, ela pode dar muito errado. O Teste 1 tem amostra grande sustentando um efeito pequeno: mesmo nos cenários em que B não é de fato melhor, a diferença provável é minúscula. A probabilidade de acerto quase não diferencia os dois; o tamanho do risco, sim.
A matemática por trás da perda esperada
O ponto de partida é o mesmo do guia de priors bayesianos: cada variação tem uma posterior Beta, atualizada a partir de um prior e dos dados observados (conversões e não conversões). A partir dessas duas posteriores, dá para calcular não só quem provavelmente venceu, mas o tamanho do erro esperado em cada direção:
Em português: pegue a diferença entre a taxa real de A e a taxa real de B em cada cenário possível (ponderado pela posterior de cada uma), mas só conte essa diferença quando ela for positiva, isto é, quando A realmente supera B. O sinal “+” no expoente quer dizer exatamente isso: zere a diferença sempre que B for a vencedora, e some só os cenários em que a escolha de B teria sido um erro. O resultado é a média desse erro possível, integrada sobre toda a incerteza que ainda existe. Existe uma perda esperada simétrica para o outro lado, escolher A quando B era a vencedora real, e a calculadora bayesiana deste blog reporta as duas.
Repare no que essa definição já resolve: se B está muito à frente e a amostra já é grande, os cenários em que A vence ficam raros e, quando acontecem, a diferença tende a ser pequena, então a perda esperada cai para perto de zero. Se a corrida ainda está apertada, ou a amostra é pequena, os cenários em que a escolha erra continuam prováveis e, dependendo do efeito em jogo, caros, então a perda esperada permanece alta. É exatamente esse comportamento que a simulação acima capturou com números reais.
Um exemplo trabalhado, ponta a ponta
Vamos rodar o mesmo cenário usado no cálculo de tamanho de amostra deste blog: taxa base de 5%, efeito mínimo detectável de 10% relativo (alvo de 5,5%), 95% de confiança e 80% de poder. O motor de amostra deste blog devolve 31.234 visitantes por variação, o que, com um tráfego semanal de 10.000 visitantes (5.000 por variação), leva 44 dias até bater a amostra planejada, o ponto em que um teste frequentista clássico finalmente declararia um vencedor.
Só que a taxa real de conversão de cada variação não pula direto para o valor final: ela vai se revelando aos poucos, visitante a visitante. Rodando a mesma posterior Beta-Binomial dia após dia, com a taxa real de A em 5,00% e a de B em 5,50% (o efeito que o teste foi desenhado para detectar), a perda esperada ao escolher B encolhe assim:
| Dia | Visitantes por variação | P(B vence A) | Perda esperada ao escolher B | Perda esperada em receita/semana* |
|---|---|---|---|---|
| 3 | 2.143 | 77,39% | 0,0894 pp | R$ 1.340,44 |
| 7 | 5.000 | 86,86% | 0,0295 pp | R$ 441,93 |
| 10 | 7.143 | 91,14% | 0,0153 pp | R$ 229,33 |
| 14 | 10.000 | 94,35% | 0,0076 pp | R$ 114,10 |
| 16 | 11.429 | 95,72% | 0,0051 pp | R$ 77,20 |
| 21 | 15.000 | 97,39% | 0,0026 pp | R$ 38,37 |
| 30 | 21.429 | 99,03% | 0,0007 pp | R$ 10,56 |
| 44 | 31.429 | 99,76% | 0,0001 pp | R$ 1,86 |
*Conversão hipotética para receita: ticket médio de R$150, aplicado ao tráfego semanal de 10.000 visitantes, só para dar uma unidade de negócio à perda esperada. Ajuste ao seu próprio ticket médio e tráfego.
Escolhendo o limiar de tolerância
O número que decide quando parar não sai de uma fórmula estatística sozinha: ele é uma escolha de risco de negócio, e precisa ser definida antes de o teste começar, do mesmo jeito que se define o tamanho de amostra antes de rodar um teste frequentista. Chris Stucchio, no whitepaper que descreve o motor bayesiano usado pela VWO, propõe exatamente essa lógica: escolher um limiar de perda esperada tolerável, expresso na própria unidade de negócio que importa, e parar quando a perda esperada cair abaixo dele.
No exemplo acima, usamos um limiar prático: 0,1% da receita semanal esperada. Com tráfego de 10.000 visitantes por semana e ticket médio de R$150, a receita semanal de referência gira em torno de R$78.750, então 0,1% dela é aproximadamente R$78,75 por semana. Convertendo esse valor de volta para a mesma unidade que a calculadora bayesiana usa (pontos percentuais de taxa de conversão), o limiar equivale a cerca de 0,0053 ponto percentual. É exatamente esse número que a perda esperada cruza no dia 16, contra os 44 dias que o plano de amostra fixo levaria para chegar à mesma confiança.
Essa é a vantagem prática de decidir por perda esperada em vez de esperar um valor-p ou uma amostra fixa: você para assim que o risco residual for pequeno o bastante para o seu negócio tolerar, nem antes, nem depois. Vale reforçar um ponto que já tratamos no guia de priors bayesianos: esse cálculo inteiro depende da posterior estar bem calibrada, e um prior mal escolhido distorce a perda esperada exatamente como distorce a probabilidade de vitória.
Vale registrar, de passagem, o que acontece com o mesmo par de números usados no exemplo de significância do guia completo de teste A/B: A com 210 conversões em 4.200 visitantes, B com 273 em 4.200. Ali, o valor-p ficou em aproximadamente 0,003. Rodando a mesma dupla de números pelo motor bayesiano, a probabilidade de B vencer A é 99,84% e a perda esperada ao escolher B é de apenas 0,0002 ponto percentual, essencialmente desprezível. As duas leituras concordam sobre quem venceu; a bayesiana só acrescenta uma régua direta de quanto restava de risco.
Segundo exemplo: SaaS, trial para pago
O mesmo raciocínio vale fora do e-commerce. Pegue um SaaS que testa uma mudança no onboarding, com meta de subir a conversão de trial para pago de 20% para 21,6% (um efeito de 8% relativo), com um tráfego mais modesto de 700 trials por semana. O motor de amostra deste blog pede 10.101 trials por variação, o que, nesse volume, levaria 203 dias até o plano de amostra fixo se completar, tempo demais para a maioria dos roadmaps de produto.
Aplicando o mesmo limiar de 0,1%, agora sobre a receita recorrente mensal de referência de uma semana de trials (ARPU hipotético de R$97/mês, gerando uma referência de cerca de R$14.123 por mês), o limiar equivalente em pontos percentuais fica em torno de 0,0208. A perda esperada ao escolher B cruza esse limiar no dia 70, com 3.500 trials por variação e 95,04% de probabilidade de B vencer A, contra os 203 dias do plano fixo.
| Cenário | Base | Efeito relativo | Amostra do plano fixo | Duração do plano fixo | Perda esperada cruza no dia | Redução de tempo |
|---|---|---|---|---|---|---|
| E-commerce (conversão) | 5,00% | +10% | 31.234/variação | 44 dias | dia 16 (11.429/variação) | 28 dias, ~64% mais rápido |
| SaaS (trial → pago) | 20,00% | +8% | 10.101/variação | 203 dias | dia 70 (3.500/variação) | 133 dias, ~66% mais rápido |
Nos dois cenários, decidir por perda esperada em vez de esperar o plano de amostra fixo completo cortou aproximadamente dois terços do tempo de teste, sem abandonar rigor: em ambos os casos de corte, a probabilidade de B vencer A já estava acima de 95%, e o risco residual, medido na própria unidade de negócio, já era pequeno o suficiente para a tolerância definida antes do teste começar.
Perda esperada não é bala de prata
Vale a honestidade que a maioria do material sobre bayesiano evita: perda esperada resolve um problema real, mas não é imune a todos os riscos de um teste mal desenhado.
Ela ainda pode ser enganada por peeking. Olhar o resultado repetidas vezes e parar assim que a perda esperada cruza o limiar pela primeira vez ainda captura, ocasionalmente, um momento de sorte, principalmente com pouca amostra acumulada. O artigo de David Robinson sobre se o teste A/B bayesiano é imune a parada antecipada mostra exatamente isso: a interpretação da posterior continua válida a qualquer N, mas parar no primeiro cruzamento, sem nenhuma disciplina adicional, ainda infla a chance de uma decisão precipitada. A prática mais segura, no mesmo espírito do problema do peeking em teste A/B, é exigir uma amostra mínima antes de sequer olhar o critério, e confirmar que a perda esperada se mantém abaixo do limiar por mais de uma leitura, não só na primeira vez.
Ela herda a sensibilidade ao prior. Como qualquer resultado que sai de uma posterior, a perda esperada calculada com um prior mal calibrado (por exemplo, um prior forte herdado de um contexto diferente, tratado em detalhe no guia de priors bayesianos) fica sistematicamente distorcida na mesma direção do viés do prior. Na dúvida, o prior uniforme, que é o padrão da calculadora deste blog, é a escolha mais segura.
O limiar é uma escolha de negócio, não uma verdade estatística. Não existe um valor universal de “perda esperada tolerável”. Ele depende do quanto o seu negócio está disposto a arriscar por decidir mais rápido, e precisa ser definido, e documentado, antes do teste começar, exatamente como se define a amostra num teste frequentista.
Para deixar lado a lado os três critérios que decidem um teste A/B, e onde cada um pode enganar:
| Critério | O que responde | Ponto forte | Ponto fraco |
|---|---|---|---|
| Valor-p (frequentista) | Qual a chance de ver essa diferença, ou maior, se A e B fossem de fato iguais | Padrão da indústria, comparável entre estudos | Não diz o tamanho do risco de errar, só a chance de o efeito ser ruído |
| Probabilidade P(B vence A) | Qual a chance de B ser de fato melhor que A | Intuitivo para quem decide, fala de crença, não de repetição hipotética infinita | Um mesmo valor de probabilidade pode esconder um erro caro ou barato; ela não diferencia os dois |
| Perda esperada | Se eu escolher errado, quanto perco, em média, na métrica que importa | Combina a chance de errar com o tamanho do erro numa unidade de negócio direta | O limiar de tolerância precisa ser escolhido com cuidado; sozinha, a fórmula não decide isso por você |
Veja o risco da sua própria decisão
A calculadora abaixo já mostra a perda esperada ao lado da probabilidade, exatamente o par de números que este guia comparou: cole os visitantes e conversões de A e B do seu próprio teste e leia o campo “risco ao escolher B”, a mesma perda esperada calculada aqui, ponta a ponta:
Modelo Beta-Binomial com prior uniforme Beta(1,1) e intervalo de credibilidade de 95%. Cálculo determinístico, recalcula ao vivo.
Se quiser aplicar o limiar de receita ao seu próprio caso, converta a tolerância que você definiu (por exemplo, 0,1% da receita esperada no período) para a mesma unidade que a calculadora reporta, dividindo o valor tolerável em reais pelo tráfego do período multiplicado pelo seu ticket médio ou ARPU, como fizemos nos dois exemplos acima.
Faça isso automático na Donnu
Calcular a perda esperada à mão exige rodar uma integração numérica sobre duas posteriores Beta a cada novo visitante, e a maioria das equipes simplesmente não faz isso, decidindo de ouvido ou esperando um valor-p que talvez nunca chegue a tempo do roadmap. A Donnu já roda sobre um motor bayesiano nativo que calcula probabilidade de vitória e perda esperada em tempo real a cada conversão nova, sem planilha, sem integração manual e sem esperar o fim de um plano de amostra fixo para saber se já é seguro decidir.
Comece um teste grátis de 14 dias e veja o risco da sua própria decisão encolher visitante a visitante. Para entender a base que sustenta esse cálculo, leia o guia de priors bayesianos e, se a sua métrica primária tem muito ruído (receita por usuário, sessões), veja também como o CUPED reduz a variância de um teste A/B antes mesmo de qualquer regra de parada entrar em cena. Prefere revisar primeiro a base frequentista? Veja o guia de significância estatística em teste A/B.
Referências
- Stucchio, C. Bayesian A/B Testing at VWO (whitepaper técnico que define a perda esperada e o limiar de parada usados neste guia). vwo.com/downloads/VWO_SmartStats_technical_whitepaper.pdf.
- GrowthBook. Statistical Details, Bayesian Engine (definição de “risk”/perda esperada em produção: quanto se espera perder se a variação escolhida for, na verdade, pior). docs.growthbook.io/statistics/details.
- Robinson, D. Is Bayesian A/B Testing Immune to Peeking? Not Exactly (por que a perda esperada e a probabilidade bayesiana ainda pedem disciplina contra parada antecipada). varianceexplained.org.
Perguntas frequentes
- O que é perda esperada (expected loss) em teste A/B bayesiano?
- É o valor médio que você perderia, na métrica que importa (taxa de conversão, receita), se escolhesse uma variação e ela na verdade não fosse a melhor. Formalmente, ao considerar escolher B, é a esperança da parte positiva da diferença entre as posteriores, ou seja, a média, ponderada pela posterior, de quanto A supera B nos cenários em que A é realmente a vencedora. Quando esse número é pequeno, o custo de errar é baixo, mesmo que ainda reste alguma chance de erro.
- Por que perda esperada é diferente de só olhar a probabilidade de B vencer?
- Porque probabilidade e magnitude são coisas diferentes. Dois testes podem ter exatamente a mesma probabilidade de 95% de B vencer A, mas errar num deles custa uma fração mínima de ponto percentual de taxa de conversão e no outro custa dez ou vinte vezes mais. A probabilidade sozinha trata os dois casos como igualmente seguros para decidir; a perda esperada, não, porque ela multiplica a chance de errar pelo tamanho do erro.
- Que limiar de perda esperada devo usar para parar um teste?
- Não existe um número universal: é uma escolha de risco de negócio, definida antes do teste começar, do mesmo jeito que se define o tamanho de amostra num teste frequentista. Uma prática descrita no whitepaper de Chris Stucchio para a VWO é expressar o limiar como uma fração pequena da métrica que importa, por exemplo 0,1% da receita esperada no período, convertida para a mesma unidade que a perda esperada da calculadora usa.
- Perda esperada elimina o problema do peeking (espiar e parar cedo)?
- Não elimina, só muda a natureza do risco. Olhar o resultado repetidas vezes e parar assim que a perda esperada cruza o limiar pela primeira vez ainda pode capturar um momento de sorte, principalmente com pouca amostra. A prática mais segura é definir o limiar antes de começar, exigir uma amostra mínima e confirmar que o critério se mantém estável por mais de uma leitura, não só na primeira vez que cruzou.
- Perda esperada funciona só para taxa de conversão binária?
- O princípio generaliza para qualquer métrica com uma posterior bem definida, incluindo receita por usuário ou tempo de sessão, desde que se use o modelo bayesiano adequado a cada tipo de dado. A calculadora deste blog usa o modelo Beta-Binomial, adequado a métricas de conversão binária (converteu ou não converteu), o caso mais comum em teste A/B.