Calculadora de MDE (efecto mínimo detectable)

Esta calculadora responde la pregunta opuesta a la de tamaño de muestra. En vez de partir del efecto que quieres detectar, parte del tráfico que ya tienes y devuelve la menor mejora que puedes probar. Es el filtro de realidad antes de encender el test: si tu MDE es +12% y el cambio que hiciste suele rendir +3%, el test terminará sin conclusión por falta de sensibilidad, y es mejor saberlo ahora. Cuando el efecto es la meta y el tráfico es el resultado, usa la calculadora de tamaño de muestra.

Cómo usarla

1. Ingresa tu tasa de conversión actual (la del control, en %).
2. Pon los visitantes por semana (el total del test) y la duración en semanas que piensas correr.
3. Elige el número de variaciones: cuantas más variaciones, menos muestra queda por brazo y mayor el MDE.
4. Deja confianza 95% y poder 80% (los valores por defecto) o ajústalos si sabes lo que haces.
5. Lee el resultado: MDE relativo, MDE absoluto (en puntos) y la tasa objetivo que la variación debe alcanzar.

Cómo funciona: la fórmula

La calculadora invierte la cuenta de tamaño de muestra. Partiendo del N por variación disponible, aísla el menor efecto detectable con la aproximación normal de dos proporciones, usando la varianza agrupada (p2 cerca de p1):

Donde δ es el efecto mínimo en puntos, p es la tasa base, n es la muestra por variación, z_α es el valor crítico de la confianza (1,96 para 95% bilateral) y z_β es el del poder (0,84 para 80%). El MDE relativo es δ dividido por p.

Ejemplo trabajado (reproduce el resultado por defecto)

Con los valores ya cargados: tasa base 5%, 10.000 visitantes por semana, 4 semanas, 2 variaciones, confianza 95% y poder 80%, bilateral. El tráfico total es 10.000 × 4 = 40.000, dividido por 2 variaciones da 20.000 visitantes por variación. Sustituyendo en la fórmula:

δ = (1,96 + 0,84) · √(2 · 0,05 · 0,95 / 20.000) = 2,80 · √(0,00000475) = 2,80 · 0,0021794 = 0,006106.

Eso es 0,61 puntos porcentuales (el MDE absoluto). En relativo, 0,006106 ÷ 0,05 = +12,2%. La tasa objetivo a superar es 5% + 0,61 pp = 5,61%. Es exactamente lo que muestra la herramienta arriba al abrir la página.

Cómo interpretarla y dónde puede engañar

El MDE es la menor mejora que vale la pena perseguir con tu tráfico. Existen efectos menores, pero el test no tiene poder para separarlos del azar dentro del plazo, así que terminas sin veredicto. Por eso el MDE es una decisión de negocio, no solo estadística: si tu MDE es +12% y la mayoría de tus optimizaciones rinden menos, o juntas más tráfico o testeas cambios más audaces.

Límites a tener en cuenta: la cuenta asume tráfico estable y una métrica binaria (convirtió o no). No cubre ingreso por visitante (mayor varianza, mayor MDE), estacionalidad fuerte, ni efecto de novedad. La aproximación agrupada es la convención de mercado para el MDE y sobreestima un poco en efectos muy grandes, pero en el rango útil de decisión coincide con la calculadora de tamaño de muestra. Después de correr, revisa el resultado con la calculadora de significancia y lee la guía de cuántos visitantes necesita un test A/B.

Buenas prácticas al dimensionar por el MDE

El MDE es la verificación de sanidad que corres antes de invertir semanas de tráfico. Trátalo como el primer paso de la planificación.

• Compara el MDE con la mejora que suele rendir tu cambio. Si el MDE es mayor, el test nace condenado al empate.
• Menos variaciones concentran la muestra y bajan el MDE. Solo abre un test A/B/n si el tráfico banca todos los brazos.
• Corre ciclos semanales completos para no mezclar el MDE con ruido de día de la semana.
• Si el MDE solo baja a algo aceptable en muchos meses, sube el efecto buscado o junta más tráfico antes de empezar.

Preguntas frecuentes

¿Qué es el efecto mínimo detectable (MDE)?

Es la menor mejora de conversión que tu test puede probar de verdad con el tráfico que tienes. Si el MDE da +12% relativo, una mejora menor que eso probablemente pasará desapercibida: el test no tiene la sensibilidad para separarla del azar. El MDE es el piso de tu regla, y baja a medida que acumulas más visitantes.

¿En qué se diferencia de la calculadora de tamaño de muestra?

Son las dos puntas de la misma cuenta. La de tamaño de muestra parte del efecto que quieres detectar y devuelve cuántos visitantes necesitas. Esta parte del tráfico que ya tienes (visitantes por semana y duración) y devuelve el menor efecto que puede detectar. Usa esta cuando el tráfico es fijo y quieres saber si vale la pena testear; usa la otra cuando el efecto es la meta.

¿MDE relativo o absoluto: cuál miro?

Los dos dicen lo mismo en unidades distintas. El relativo (+12,2%) es la variación porcentual sobre tu tasa actual, más fácil de comparar entre páginas. El absoluto (0,61 puntos) es la diferencia en puntos porcentuales, útil cuando la tasa base es muy baja. La tasa objetivo a superar une los dos: es la conversión que tu variación debe alcanzar para que el test cante victoria.

Mi MDE quedó demasiado alto. ¿Qué hago?

Un MDE alto significa que tu tráfico solo puede probar mejoras grandes. Tres salidas: acumula más tráfico (aumenta la duración o junta más visitantes), reduce el número de variaciones para concentrar la muestra, o acepta que solo vale testear cambios de gran impacto. Perseguir un +2% con tráfico que solo detecta +12% es quemar semanas para no concluir nada.

¿Por qué confianza 95% y poder 80%?

Son las convenciones de mercado. Confianza 95% acepta un 5% de probabilidad de falso positivo; poder 80% da un 80% de probabilidad de detectar el efecto si existe. Subir cualquiera de los dos vuelve el test más exigente y, con el mismo tráfico, sube el MDE (ahora solo detectas efectos mayores).

Continúa

¿Sabes el menor efecto que puedes detectar? Si cabe en tu meta, dimensiona el test con la calculadora de tamaño de muestra y planifica el calendario con la calculadora de duración de test A/B. Al terminar, lee el veredicto con la calculadora de significancia estadística. El contexto completo está en la guía qué es un test A/B.