Análisis por Disparo: la dilución cambia el veredicto
Cómo el análisis por disparo separa a quien realmente vio el cambio, por qué el efecto se diluye en el total y la aritmética que une los dos números.
Guías completas y honestas sobre CRO, test A/B y experimentación: estadística, tamaño de muestra, diseño del test y qué hacer con el resultado. (página 9 de 23)
Cómo el análisis por disparo separa a quien realmente vio el cambio, por qué el efecto se diluye en el total y la aritmética que une los dos números.
Interferencia entre variantes: cuando el tratamiento afecta al control, el test A/B mide la diferencia equivocada. Canales de fuga y cómo reducirla.
La maldición del ganador infla el efecto del test que ganó por significancia. La aritmética, cuánta inflación esperar y cómo reportar un número honesto.
Ley de Twyman: por qué una victoria espectacular en test A/B suele ser bug y cómo diseñar la ronda de confirmación que resuelve la duda.
Qué es un test A/A, qué prueba realmente un A/A aprobado, cómo dimensionarlo y por qué la comprobación de reparto detecta más bugs reales que el valor-p.
Por qué correr tests A/B simultáneos suele ser seguro, cómo es un efecto de interacción real y el bug de asignación bastante más probable que él.
Cómo elegir la métrica primaria de un test A/B, qué necesita tener un OEC y por qué la métrica proxy más sensible suele ser la elección equivocada.
Qué son las métricas de guardrail, cómo definir el umbral de empeoramiento antes del test y por qué un guardrail sin significancia no está liberado.
Por qué las métricas de ratio rompen el test de significancia, cómo el método delta corrige la varianza y cuándo eso cambia el veredicto del test A/B.