Calculadora de muestra para test A/B de email

Esta calculadora es para el test A/B de asunto de email, donde tienes una lista fija, no tráfico que llega por día. Envías dos asuntos a dos cohortes de prueba, mides la apertura, y el ganador va al resto de la lista. Para dimensionar un test de página web (visitantes por día y duración), usa la calculadora de tamaño de muestra para test A/B.

Cómo usarla

1. Ingresa el tamaño de tu lista (suscriptores disponibles para la prueba).
2. Pon tu tasa de apertura actual, en %. Sirve también para la tasa de clic: cambia por la tuya.
3. Elige el efecto mínimo detectable: el menor aumento que aún cambiaría tu decisión, relativo (%) o absoluto (puntos).
4. Deja confianza 95% y poder 80% o ajusta si sabes lo que haces.
5. Lee el resultado: suscriptores por asunto, cohorte total de la prueba y cuánto queda para el ganador, con el veredicto de viabilidad.

Cómo funciona: la fórmula

La muestra por asunto usa la aproximación normal de dos proporciones, la misma cuenta de la calculadora de muestra de sitio, aplicada a la tasa de apertura. El número por variación es:

Donde p₁ es la apertura actual, p₂ es la apertura objetivo (base más el MDE), p̄ es el promedio de las dos, z_α es el valor crítico de la confianza (1,96 para 95% bilateral) y z_β es el del poder (0,84 para 80%). La cohorte total del test es 2·n (dos asuntos, 50/50), y lo que queda de la lista recibe el asunto ganador.

Ejemplo trabajado (reproduce el resultado por defecto)

Con los valores ya cargados: una lista de 50.000 suscriptores, apertura actual 25%, MDE +10% relativo (objetivo 27,5%), confianza 95% y poder 80%, bilateral. La diferencia absoluta es 2,5 puntos (0,275 − 0,25). Al sustituir en la fórmula, el numerador da cerca de 3,0382 y el denominador 0,000625, así que:

n ≈ 3,0382 / 0,000625 = 4.862 suscriptores por asunto, o 9.724 en toda la cohorte de prueba. Eso es el 19,4% de la lista de 50.000, y quedan 40.276 suscriptores para el asunto ganador. Es exactamente lo que muestra la herramienta arriba al abrir la página.

Cómo interpretarla y dónde puede engañar

El número por asunto es el objetivo que fijas antes de disparar la prueba. La regla de oro es la misma que la muestra de sitio: cuanto menor el efecto que quieres detectar, mucho mayor la cohorte. En email esto aprieta rápido, porque la apertura tiene base alta y varianza grande. Si la cohorte de prueba supera tu lista, el veredicto lo acusa: sube el efecto que buscas o suma más suscriptores antes de probar.

Límites a tener en cuenta: la cuenta asume una métrica binaria (abrió o no, hizo clic o no) y una lista homogénea. No cubre ingresos por email, horario de envío, ni el efecto del propio asunto en el engagement futuro. Tras medir al ganador, confirma que la diferencia es real con la calculadora de significancia estadística y lee el contexto en la guía qué es un test A/B.

Buenas prácticas en el test A/B de asunto

Antes de disparar, fija tres cosas: la cohorte por asunto, el efecto mínimo que aceptas y la métrica principal. Después, sigue estas reglas.

• Una métrica por test: apertura O clic, no las dos a la vez. Perseguir varias multiplica el falso positivo.
• Cohortes del mismo tamaño y sorteadas al azar. Un recorte sesgado (solo los más comprometidos en una cohorte) contamina el resultado.
• Si la prueba consume casi toda la lista, la ganancia de enviar el ganador al resto se vuelve pequeña. Revisa el efecto que buscas.
• Respeta la base: detectar un +2% relativo en la apertura cuesta una cohorte que la mayoría de las listas no tiene.

Preguntas frecuentes

¿Cuántos suscriptores necesita un test A/B de asunto?

Depende de tu tasa de apertura actual y del aumento que quieras detectar. Cuanto menor el efecto, mayor la cohorte. Para una apertura del 25% detectando un +10% relativo (llegar a 27,5%), con 95% de confianza y 80% de poder, necesitas cerca de 4.862 suscriptores por asunto, o 9.724 en todo el test. Efectos mayores cuestan cohortes bastante menores.

¿Por qué el test de email suele pedir una cohorte tan grande?

Porque la tasa de apertura es una métrica binaria de base alta y varianza grande, así que separar 25% de 27,5% con confianza exige mucho volumen. Por eso probar asuntos en una lista pequeña es distinto de probar en un e-commerce con lista gorda. Si la cohorte supera tu lista, sube el efecto mínimo o suma más suscriptores antes.

¿Pruebo con una fracción de la lista y envío el ganador al resto?

Sí, es el estándar del test A/B de asunto. Envías el asunto A a una cohorte, el asunto B a otra del mismo tamaño, mides la apertura, y el mejor asunto va al resto de la lista. La calculadora muestra cuánto de la lista consume el test y cuánto queda para el envío ganador.

¿Puedo usar la calculadora para la tasa de clic en vez de la apertura?

Puedes. La cuenta es la misma para cualquier métrica binaria de email: cambia la tasa base por tu tasa de clic actual y el efecto que quieres detectar. Como el clic suele tener una base mucho menor que la apertura, la cohorte tiende a ser aún mayor. Elige una métrica principal por test.

¿En qué se diferencia de la calculadora de muestra de sitio?

La de sitio piensa en visitantes por día y duración del test, porque el tráfico llega con el tiempo. En email tienes una lista fija y el envío es único, así que la pregunta cambia: cuánto de la lista consume el test y cuánto queda para el ganador. La matemática de la muestra es la misma, el enfoque es de email.

Continúa

¿Dimensionaste la cohorte? Corre el test, mide la apertura y confirma el ganador con la calculadora de significancia estadística. Para dimensionar un test de página web en vez de email, usa la calculadora de tamaño de muestra para test A/B. El contexto completo está en la guía qué es un test A/B.