Métricas de Conteo en Test A/B: Poisson y dispersión
Las métricas de conteo en test A/B casi nunca siguen Poisson. Cómo medir la sobredispersión, dimensionar bien y no subestimar el error a la mitad.
Guías completas y honestas sobre CRO, test A/B y experimentación: estadística, tamaño de muestra, diseño del test y qué hacer con el resultado. (página 7 de 23)
Las métricas de conteo en test A/B casi nunca siguen Poisson. Cómo medir la sobredispersión, dimensionar bien y no subestimar el error a la mitad.
El poder observado después del test es solo el valor p reescrito. Por qué no informa nada sobre un test A/B sin significancia y qué mirar en su lugar.
El test de permutación baraja las etiquetas y arma la distribución nula con sus propios datos. Cuándo salva un test A/B y cuándo no cambia nada.
La parada por futilidad usa el poder condicional para apagar un test A/B que no va a concluir. Cómo calcularlo, dónde poner el umbral y el coste del error.
Consentimiento, bloqueadores y políticas de navegador borran parte del dato. La pérdida de seguimiento solo sesga el test A/B cuando es diferencial.
La regresión a la media hace que la página elegida por ser la peor mejore sola. Cómo separar recuperación estadística de efecto real en el test A/B.
El tamaño de muestra para métricas continuas sale del coeficiente de variación, no de la tasa de conversión. La fórmula y el error más común.
El test de equivalencia prueba que la variante no empeoró. Cómo elegir el margen, leer el intervalo del 90 por ciento y dimensionar el test para empatar.
El tráfico de bots en un test A/B solo invalida el resultado cuando cae desigual entre las variantes. Cómo separar ruido de sesgo, detectar y filtrar.