Ley de Twyman: el resultado demasiado bueno para ser verdad
Ley de Twyman: por qué una victoria espectacular en test A/B suele ser bug y cómo diseñar la ronda de confirmación que resuelve la duda.
Guías completas y honestas sobre CRO, test A/B y experimentación. Los artículos más completos de internet, sin relleno. (página 3 de 16)
Ley de Twyman: por qué una victoria espectacular en test A/B suele ser bug y cómo diseñar la ronda de confirmación que resuelve la duda.
Qué es un test A/A, qué prueba realmente un A/A aprobado, cómo dimensionarlo y por qué la comprobación de reparto detecta más bugs reales que el valor-p.
Por qué correr tests A/B simultáneos suele ser seguro, cómo es un efecto de interacción real y el bug de asignación bastante más probable que él.
Cómo elegir la métrica primaria de un test A/B, qué necesita tener un OEC y por qué la métrica proxy más sensible suele ser la elección equivocada.
Qué son las métricas de guardrail, cómo definir el umbral de empeoramiento antes del test y por qué un guardrail sin significancia no está liberado.
Por qué las métricas de ratio rompen el test de significancia, cómo el método delta corrige la varianza y cuándo eso cambia el veredicto del test A/B.
Por qué todo segmento puede perder mientras el total gana, qué causa la paradoja de Simpson en un test A/B y cómo corregir el experimento.
Qué es el SRM, cómo funciona la prueba chi cuadrado, qué desvío tan pequeño ya invalida el test A/B y cómo encontrar la causa raíz.
Cómo testear varias variantes infla el falso positivo, cuánto cuestan Bonferroni y Sidak en tráfico y cuándo un test de cuatro ramas vale la pena.