Aleatorización por Cluster en Test A/B: el efecto de diseño
Aleatorización por cluster en test A/B: sortear cuenta y analizar usuario infla el falso positivo de 5 a 14,5 por ciento. El efecto de diseño lo corrige.
Guías completas y honestas sobre CRO, test A/B y experimentación: estadística, tamaño de muestra, diseño del test y qué hacer con el resultado. (página 6 de 23)
Aleatorización por cluster en test A/B: sortear cuenta y analizar usuario infla el falso positivo de 5 a 14,5 por ciento. El efecto de diseño lo corrige.
La estratificación en un test A/B solo elimina la varianza ENTRE estratos. Medimos el techo: 2,68% en un caso real, contra 97,8% del CUPED continuo.
Potencia estadística por simulación: cuándo la fórmula cerrada miente, cómo validar el simulador y cuántas réplicas correr. Con cuatro casos medidos.
Análisis interino en test A/B: cómo planificar 2 o 3 miradas con gasto de alfa, el coste en muestra y por qué 3 miradas al 5% dan 10,73% de falso positivo.
Ciclo semanal en test A/B: por qué parar el viernes mide otra cosa, cuánto distorsiona el lift la ventana parcial y por qué estratificar por día no ayuda.
Reparto de tráfico en test A/B: por qué 50/50 es el óptimo, cuánto cuesta 90/10 en días (2,78 veces más) y cuándo la rampa resuelve el miedo al riesgo.
El efecto de arrastre entre tests A/B contamina el siguiente experimento en los mismos buckets. Medimos 93% de falso positivo en un A/A y la corrección.
Las métricas de cuantil como el p90 de tiempo de carga rompen la fórmula estándar. Por qué la lectura ingenua dio 31% de falso positivo y cómo leerla bien.
Cómo recalcular el tamaño de muestra en medio del test A/B cuando la tasa base del plan estaba mal, sin inflar el falso positivo. Poder de 42% a 78%.