Teste de Permutação em Teste A/B: p-valor sem fórmula
O teste de permutação embaralha os rótulos e monta a distribuição nula com os seus próprios dados. Quando ele salva um teste A/B e quando não muda nada.
Guias completos e honestos sobre CRO, teste A/B e experimentação. As matérias mais completas da internet, sem enrolação. (página 8 de 24)
O teste de permutação embaralha os rótulos e monta a distribuição nula com os seus próprios dados. Quando ele salva um teste A/B e quando não muda nada.
Parada por futilidade usa o poder condicional para desligar um teste A/B que não vai concluir. Como calcular, onde colocar o limiar e o custo do erro.
Poder observado depois do teste é só o valor-p reescrito. Por que a conta não informa nada sobre um teste A/B sem significância e o que olhar no lugar.
Teste de equivalência prova que a variação não piorou. Como escolher a margem, ler o intervalo de 90 por cento e dimensionar o teste A/B para empatar.
Consentimento, bloqueadores e políticas de navegador apagam parte do dado. Perda de rastreamento só enviesa o teste A/B quando é diferencial.
Regressão à média faz a página escolhida por ser a pior melhorar sozinha. Como separar recuperação estatística de efeito real no teste A/B.
Tráfego de bot em teste A/B só invalida o resultado quando cai desigual entre as variações. Como separar ruído de viés, detectar e filtrar.
Efeito heterogêneo por segmento: significante no mobile e nulo no desktop não prova que o efeito difere. O teste de interação e a conta correta.
Ler 20 métricas num teste A/B gera 64% de chance de pelo menos um falso positivo. Como Bonferroni e Benjamini-Hochberg corrigem múltiplas métricas.