Holdout de Longo Prazo: o efeito que sobrevive
O efeito de duas semanas não é o efeito final. Como o holdout de longo prazo mede o que sobra depois que o usuário aprende, e quanto tráfego ele custa.
Guias completos e honestos sobre CRO, teste A/B e experimentação. As matérias mais completas da internet, sem enrolação. (página 3 de 17)
O efeito de duas semanas não é o efeito final. Como o holdout de longo prazo mede o que sobra depois que o usuário aprende, e quanto tráfego ele custa.
Decidir depois de ver o dado infla o falso positivo mesmo sem má fé. O plano de análise pré-registrado, com a aritmética de quanto cada bifurcação custa.
A unidade de sorteio decide o que o teste mede e quanta amostra você realmente tem. Como escolher entre usuário, sessão e pageview sem inflar o valor-p.
Como a análise por gatilho separa quem realmente viu a mudança, por que o efeito dilui no total e a aritmética que liga os dois números.
Quando não dá para dividir por cookie, sorteia-se a região. Como o experimento geográfico mede incremental, e por que o valor-p ingênuo mente.
Interferência entre variações: quando o tratamento afeta o controle, o teste A/B mede a diferença errada. Os canais de vazamento e como reduzir o viés.
Outliers de receita: um cliente sozinho pode inventar uma vitória de 50 por cento por usuário. Como usar capping sem trocar um viés por outro.
Quando os braços compartilham o mesmo estoque, o teste A/B de usuário mede errado. O teste switchback alterna no tempo e devolve o efeito real.
Quando a variação muda a forma como o dado é coletado, o teste A/B mede o instrumento. Como reconhecer, isolar e corrigir esse viés.