Análise Interina em Teste A/B: fronteiras de parada
Análise interina em teste A/B: como planejar 2 ou 3 olhares com gasto de alfa, o custo em amostra e por que 3 olhares a 5% dão 10,73% de falso positivo.
Guias completos e honestos sobre CRO, teste A/B e experimentação. As matérias mais completas da internet, sem enrolação.
Análise interina em teste A/B: como planejar 2 ou 3 olhares com gasto de alfa, o custo em amostra e por que 3 olhares a 5% dão 10,73% de falso positivo.
Ciclo semanal em teste A/B: por que parar na sexta mede outra coisa, quanto a janela parcial distorce o lift e por que estratificar por dia não ajuda.
Divisão de tráfego em teste A/B: por que 50/50 é o ótimo, quanto 90/10 custa em dias (2,78 vezes mais) e quando a rampa resolve o medo do risco.
O efeito de arrasto entre testes A/B contamina o próximo experimento nos mesmos baldes. Medimos 93% de falso positivo num A/A e a correção que zera isso.
A estratificação num teste A/B só remove a variância que está ENTRE os estratos. Medimos o teto: 2,68% num caso real, contra 97,8% do CUPED contínuo.
Como recalcular o tamanho de amostra no meio do teste A/B quando a taxa base do plano estava errada, sem inflar o falso positivo. Poder de 42% para 78%.
Métricas de contagem em teste A/B quase nunca seguem Poisson. Como medir a superdispersão, dimensionar a amostra certa e não subestimar o erro pela metade.
Métricas de quantil como p90 de tempo de carregamento quebram a fórmula padrão. Por que a leitura ingênua deu 31% de falso positivo e como ler direito.
O teste de permutação embaralha os rótulos e monta a distribuição nula com os seus próprios dados. Quando ele salva um teste A/B e quando não muda nada.