Lei de Twyman: o resultado bom demais para ser verdade
Lei de Twyman: por que uma vitória espetacular em teste A/B costuma ser bug e como desenhar a rodada de confirmação que resolve a dúvida.
Guias completos e honestos sobre CRO, teste A/B e experimentação. As matérias mais completas da internet, sem enrolação. (página 4 de 17)
Lei de Twyman: por que uma vitória espetacular em teste A/B costuma ser bug e como desenhar a rodada de confirmação que resolve a dúvida.
Selecionar vencedor por significância infla o efeito medido. A aritmética disso, quanta inflação esperar e como reportar um número honesto.
Por que rodar testes A/B simultâneos costuma ser seguro, como é um efeito de interação de verdade e o bug de atribuição que é bem mais provável que ele.
Como escolher a métrica primária de um teste A/B, o que um OEC precisa ter e por que a métrica-proxy mais sensível costuma ser a escolha errada.
Por que métricas de razão como cliques por página vista quebram o teste de significância, como o método delta corrige a variância e quando o veredito vira.
O que é um teste A/A, o que um A/A aprovado realmente prova, como dimensionar um e por que a checagem de divisão pega mais bug real que o valor-p.
O que é efeito mínimo detectável, como escolher um MDE defensável, absoluto contra relativo e o que o seu tráfego consegue de fato resolver.
O que são métricas de guardrail, como definir o limiar de piora antes do teste e por que guardrail sem significância não é guardrail liberado.
Por que todo segmento pode perder enquanto o total vence, o que causa o paradoxo de Simpson em teste A/B e como corrigir o experimento.