Ajuste por Regresión en Test A/B: menos ruido en el efecto
El ajuste por regresión usa covariables previas al test para encoger el error estándar sin más tráfico. La cuenta, la crítica de Freedman y Lin.
Guías completas y honestas sobre CRO, test A/B y experimentación: estadística, tamaño de muestra, diseño del test y qué hacer con el resultado. (página 4 de 23)
El ajuste por regresión usa covariables previas al test para encoger el error estándar sin más tráfico. La cuenta, la crítica de Freedman y Lin.
La fila que no llegó cambia el resultado. Cómo clasificar datos faltantes, por qué los casos completos exageran el efecto y qué arregla la imputación.
El estimador doblemente robusto acierta si el modelo de propensión O el de resultado es correcto. La cuenta, el ejemplo en cuatro escenarios y el límite.
El análisis de mediación separa el efecto directo del indirecto. La cuenta, la trampa de segmentar tras el sorteo y la premisa que nadie pone a prueba.
Toda lectura observacional depende de lo que no mediste. El análisis de sensibilidad responde qué tan fuerte tendría que ser un confundidor no medido.
Cuando la funcionalidad no puede apagarse, se sortea la invitación. Qué mide el diseño de estímulo, cuánto cuesta en muestra y dónde se rompe.
El puntaje de propensión colapsa decenas de covariables en un solo número para emparejar tratado y control. Qué arregla, qué no y dónde empeora.
La regresión discontinua compara a quien quedó justo arriba de un corte con quien quedó justo abajo. Cuándo vale, cuándo miente y el test que lo decide.
Serie temporal interrumpida: la regresión segmentada separa escalón, tendencia y estacionalidad de lo que ya crecía antes del lanzamiento.