Holdout de Largo Plazo: el efecto que sobrevive
El efecto de dos semanas no es el efecto final. Cómo el holdout de largo plazo mide lo que queda después de que el usuario aprende y cuánto tráfico cuesta.
Guías completas y honestas sobre CRO, test A/B y experimentación. Los artículos más completos de internet, sin relleno. (página 2 de 16)
El efecto de dos semanas no es el efecto final. Cómo el holdout de largo plazo mide lo que queda después de que el usuario aprende y cuánto tráfico cuesta.
Decidir después de ver el dato infla el falso positivo incluso sin mala fe. El plan de análisis preregistrado y la aritmética de cada bifurcación.
Cuando los brazos comparten el mismo stock, el test A/B por usuario mide mal. El test switchback alterna en el tiempo y devuelve el efecto real.
Cuando no se puede dividir por cookie, se sortea la región. Cómo el experimento geográfico mide lo incremental y por qué el valor-p ingenuo miente.
Outliers de ingresos: un solo cliente puede inventar una victoria del 50 por ciento por usuario. Cómo usar capping sin cambiar un sesgo por otro.
Cuando la variante cambia la forma en que se recoge el dato, el test A/B mide el instrumento. Cómo reconocer, aislar y corregir ese sesgo.
Cómo el análisis por disparo separa a quien realmente vio el cambio, por qué el efecto se diluye en el total y la aritmética que une los dos números.
Interferencia entre variantes: cuando el tratamiento afecta al control, el test A/B mide la diferencia equivocada. Canales de fuga y cómo reducirla.
La maldición del ganador infla el efecto del test que ganó por significancia. La aritmética, cuánta inflación esperar y cómo reportar un número honesto.