Control Sintético: el grupo de control que no existió
Cuando solo un mercado recibió el cambio, el control sintético arma un control ponderando varios mercados. Cómo calcularlo, validarlo y dónde falla.
Guías completas y honestas sobre CRO, test A/B y experimentación: estadística, tamaño de muestra, diseño del test y qué hacer con el resultado. (página 5 de 23)
Cuando solo un mercado recibió el cambio, el control sintético arma un control ponderando varios mercados. Cómo calcularlo, validarlo y dónde falla.
Sin sortear usuarios, diferencias en diferencias compara la variación del tratado con la del control. Cómo hacer la cuenta y por qué el error engaña.
Cuando la métrica es un tiempo y no una tasa, la censura distorsiona la media. Cómo leer tiempo hasta el evento con Kaplan-Meier, RMST y log-rank.
Quien entró ayer no tuvo 7 días para quedarse. Cómo la madurez de cohorte distorsiona la retención D7 y D30, y cómo cerrar la cohorte sin frenar el test.
La métrica sustituta cambia el resultado largo por señales de corto plazo. Cómo validar un proxy, por qué la correlación no basta y qué prueba lo expone.
El retraso de conversión hace que leer pronto premie a quien convierte rápido, no a quien convierte más. Cómo medir la curva de llegada y cuándo leer.
La atrición diferencial hace mentir a la media condicional. Los límites de Lee acotan el efecto cuando el tratamiento cambia quién queda en el análisis.
La intención de tratar mide a quien fue asignado, no a quien usó. Por qué el análisis por protocolo exageró 2,4 veces y cómo recuperar el efecto real.
Meta-análisis de tests A/B: juntar 12 experimentos en una sola estimación, medir heterogeneidad con I cuadrado y corregir la exageración de 1,34 veces.