Tamanho de Amostra para Métricas Contínuas
Tamanho de amostra para métricas contínuas como receita por usuário sai do coeficiente de variação, não da taxa de conversão. A fórmula e o erro comum.
Guias completos e honestos sobre CRO, teste A/B e experimentação. As matérias mais completas da internet, sem enrolação. (página 9 de 24)
Tamanho de amostra para métricas contínuas como receita por usuário sai do coeficiente de variação, não da taxa de conversão. A fórmula e o erro comum.
O efeito de duas semanas não é o efeito final. Como o holdout de longo prazo mede o que sobra depois que o usuário aprende, e quanto tráfego ele custa.
Decidir depois de ver o dado infla o falso positivo mesmo sem má fé. O plano de análise pré-registrado, com a aritmética de quanto cada bifurcação custa.
A unidade de sorteio decide o que o teste mede e quanta amostra você realmente tem. Como escolher entre usuário, sessão e pageview sem inflar o valor-p.
Como a análise por gatilho separa quem realmente viu a mudança, por que o efeito dilui no total e a aritmética que liga os dois números.
Quando não dá para dividir por cookie, sorteia-se a região. Como o experimento geográfico mede incremental, e por que o valor-p ingênuo mente.
Interferência entre variações: quando o tratamento afeta o controle, o teste A/B mede a diferença errada. Os canais de vazamento e como reduzir o viés.
Outliers de receita: um cliente sozinho pode inventar uma vitória de 50 por cento por usuário. Como usar capping sem trocar um viés por outro.
Quando os braços compartilham o mesmo estoque, o teste A/B de usuário mede errado. O teste switchback alterna no tempo e devolve o efeito real.