Parada por Futilidade: quando desligar um teste A/B
Parada por futilidade usa o poder condicional para desligar um teste A/B que não vai concluir. Como calcular, onde colocar o limiar e o custo do erro.
Guias completos e honestos sobre CRO, teste A/B e experimentação. As matérias mais completas da internet, sem enrolação. (página 2 de 17)
Parada por futilidade usa o poder condicional para desligar um teste A/B que não vai concluir. Como calcular, onde colocar o limiar e o custo do erro.
Poder observado depois do teste é só o valor-p reescrito. Por que a conta não informa nada sobre um teste A/B sem significância e o que olhar no lugar.
Teste de equivalência prova que a variação não piorou. Como escolher a margem, ler o intervalo de 90 por cento e dimensionar o teste A/B para empatar.
Consentimento, bloqueadores e políticas de navegador apagam parte do dado. Perda de rastreamento só enviesa o teste A/B quando é diferencial.
Regressão à média faz a página escolhida por ser a pior melhorar sozinha. Como separar recuperação estatística de efeito real no teste A/B.
Tráfego de bot em teste A/B só invalida o resultado quando cai desigual entre as variações. Como separar ruído de viés, detectar e filtrar.
Efeito heterogêneo por segmento: significante no mobile e nulo no desktop não prova que o efeito difere. O teste de interação e a conta correta.
Ler 20 métricas num teste A/B gera 64% de chance de pelo menos um falso positivo. Como Bonferroni e Benjamini-Hochberg corrigem múltiplas métricas.
Tamanho de amostra para métricas contínuas como receita por usuário sai do coeficiente de variação, não da taxa de conversão. A fórmula e o erro comum.