Parada por Futilidad: cuándo apagar un test A/B
La parada por futilidad usa el poder condicional para apagar un test A/B que no va a concluir. Cómo calcularlo, dónde poner el umbral y el coste del error.
Guías completas y honestas sobre CRO, test A/B y experimentación. Los artículos más completos de internet, sin relleno.
La parada por futilidad usa el poder condicional para apagar un test A/B que no va a concluir. Cómo calcularlo, dónde poner el umbral y el coste del error.
Consentimiento, bloqueadores y políticas de navegador borran parte del dato. La pérdida de seguimiento solo sesga el test A/B cuando es diferencial.
La regresión a la media hace que la página elegida por ser la peor mejore sola. Cómo separar recuperación estadística de efecto real en el test A/B.
El tamaño de muestra para métricas continuas sale del coeficiente de variación, no de la tasa de conversión. La fórmula y el error más común.
El test de equivalencia prueba que la variante no empeoró. Cómo elegir el margen, leer el intervalo del 90 por ciento y dimensionar el test para empatar.
El tráfico de bots en un test A/B solo invalida el resultado cuando cae desigual entre las variantes. Cómo separar ruido de sesgo, detectar y filtrar.
Efecto heterogéneo por segmento: significativo en móvil y nulo en escritorio no prueba que el efecto difiera. El test de interacción y el cálculo correcto.
Leer 20 métricas en un test A/B da 64% de probabilidad de al menos un falso positivo. Cómo Bonferroni y Benjamini-Hochberg corrigen múltiples métricas.
La unidad de aleatorización decide qué mide el test y cuánta muestra tienes de verdad. Cómo elegir entre usuario, sesión y pageview sin inflar el valor p.