Efecto Heterogéneo por Segmento en Test A/B
Efecto heterogéneo por segmento: significativo en móvil y nulo en escritorio no prueba que el efecto difiera. El test de interacción y el cálculo correcto.
Guías completas y honestas sobre CRO, test A/B y experimentación: estadística, tamaño de muestra, diseño del test y qué hacer con el resultado. (página 8 de 23)
Efecto heterogéneo por segmento: significativo en móvil y nulo en escritorio no prueba que el efecto difiera. El test de interacción y el cálculo correcto.
Leer 20 métricas en un test A/B da 64% de probabilidad de al menos un falso positivo. Cómo Bonferroni y Benjamini-Hochberg corrigen múltiples métricas.
La unidad de aleatorización decide qué mide el test y cuánta muestra tienes de verdad. Cómo elegir entre usuario, sesión y pageview sin inflar el valor p.
El efecto de dos semanas no es el efecto final. Cómo el holdout de largo plazo mide lo que queda después de que el usuario aprende y cuánto tráfico cuesta.
Decidir después de ver el dato infla el falso positivo incluso sin mala fe. El plan de análisis preregistrado y la aritmética de cada bifurcación.
Cuando los brazos comparten el mismo stock, el test A/B por usuario mide mal. El test switchback alterna en el tiempo y devuelve el efecto real.
Cuando no se puede dividir por cookie, se sortea la región. Cómo el experimento geográfico mide lo incremental y por qué el valor-p ingenuo miente.
Outliers de ingresos: un solo cliente puede inventar una victoria del 50 por ciento por usuario. Cómo usar capping sin cambiar un sesgo por otro.
Cuando la variante cambia la forma en que se recoge el dato, el test A/B mide el instrumento. Cómo reconocer, aislar y corregir ese sesgo.