Test A/B de Email Marketing: la Guía Estadística Completa
Guía completa de test A/B de email marketing: qué testear, por qué la apertura engaña y cómo decidir con significancia real.
El test A/B de email marketing consiste en comparar dos versiones de una campaña (asunto, remitente, horario, cuerpo o CTA) enviando cada una a una fracción aleatoria de tu lista y midiendo cuál genera más resultado. La parte que la mayoría de las guías se equivoca: desde que Apple lanzó el Mail Privacy Protection en 2021, la tasa de apertura quedó frágil como métrica de decisión, porque una parte grande de las “aperturas” registradas ocurre por una precarga automática del servidor de Apple, no porque alguien haya leído el email. Esta guía cubre qué testear, la estadística específica de email (muestra menor que la de un sitio web, duración ligada al hábito de lectura), cómo aislar el asunto del contenido, y por qué decidir con clic o conversión es más seguro que decidir con apertura. Incluye calculadoras en vivo y un ejemplo resuelto con números reales que muestra el mismo test dando un veredicto distinto según la métrica elegida.
Qué se puede testear en email marketing
Un email tiene mucha menos “superficie” que una landing page, pero cada parte de él mueve el resultado de una forma distinta, y vale la pena separar lo que decide la apertura de lo que decide la acción después de abrir:
- Remitente (nombre y dominio): ¿“Tienda Ejemplo” convence más que “no-reply@dominio.com”? El nombre de una persona suele generar más apertura que el nombre de una marca, pero esto varía según el segmento.
- Asunto (subject line): la variable más testeada del canal, porque decide por sí sola buena parte de la apertura.
- Preview text (preheader): el resumen que aparece al lado o debajo del asunto en la bandeja de entrada; está subaprovechado y cambia la decisión de abrir tanto como el asunto.
- Horario y día de envío: el mismo email a las 8h de un martes y a las 20h de un sábado llega a hábitos de lectura diferentes.
- Cuerpo y CTA: texto, imagen, prueba social, y el botón o enlace que genera el clic.
- Personalización: nombre, comportamiento reciente, etiqueta de segmento. Ayuda a la relevancia, pero también es una variable, no un adorno gratis.
Un error de origen que ya nace en la lista de arriba: testear remitente, asunto y cuerpo todos a la vez. Si el ganador sale así, no vas a saber cuál de los tres movió la aguja. Aísla una variable por test, o corre etapas secuenciales (primero el asunto, después el cuerpo del ganador).
Escribe una hipótesis de email que se pueda testear
La misma disciplina de cualquier test A/B vale aquí: una hipótesis liga un dato a un cambio, a un efecto esperado y a una métrica que va a medir eso. Para email, el formato queda así: “porque observé [dato de tu historial de envíos], creo que [cambio en un elemento del email] va a generar [efecto esperado], medido por [métrica primaria]”. Un ejemplo concreto: “porque el CTOR (clics por apertura) cae en picada en los envíos hechos después de las 20h, creo que cambiar el horario de disparo de la campaña semanal a las 9h va a aumentar la tasa de clic, medida por el CTR sobre el total de destinatarios”. Nota que la hipótesis ya define la métrica primaria (CTR sobre destinatarios, no CTOR, que hereda la distorsión de la apertura) incluso antes de que el test corra. Esto evita la tentación, común en email, de elegir la métrica después de ver cuál de ellas “dio la victoria”.
Por qué la tasa de apertura es una métrica frágil
Aquí está el punto que separa esta guía de la mayoría del contenido sobre test A/B de email: la tasa de apertura, la métrica más citada del canal, es también la más fácil de distorsionar sin que nadie lo note.
Hasta 2021, un “email abierto” se medía con un píxel de rastreo invisible, que solo se cargaba cuando el destinatario abría el mensaje y el cliente de email buscaba esa imagen de 1x1 píxel en el servidor del remitente. En septiembre de 2021, Apple lanzó el Mail Privacy Protection (MPP) en iOS 15, iPadOS 15 y macOS Monterey. Según la propia documentación de Apple, cuando la función está activa, “tu dirección IP se oculta a los remitentes y el contenido remoto se descarga de forma privada en segundo plano cuando recibes un mensaje, en lugar de cuando lo visualizas” (Apple, Protect email privacy in Mail). En la práctica, esto significa que el servidor de Apple descarga el email entero, incluyendo el píxel de apertura, apenas el mensaje llega a la bandeja de entrada, y no cuando la persona realmente lee el email. Un análisis técnico de AWS sobre el impacto del recurso para los remitentes describe el mecanismo con aún más precisión: los emails “se descargan al dispositivo del usuario, pero primero pasan por caché en un servidor proxy que no expone la IP individual del destinatario”, y esa descarga en caché ocurre “independientemente de que el destinatario realmente abra el mensaje” (AWS Messaging and Targeting Blog).
El resultado práctico: una parte relevante de las “aperturas” en tu reporte no representa a nadie leyendo el email. Es el proxy de Apple precargando contenido por privacidad, un objetivo legítimo del lado del usuario, que tiene como efecto colateral inflar un número que el marketing históricamente trató como señal de interés. Y ese efecto solo creció: el Apple Mail, que ya representaba cerca del 46% de las aperturas de email medidas globalmente en 2020, llegaba a casi el 50% justo después del lanzamiento del MPP en agosto de 2021, según datos publicados por Litmus (Litmus, Apple’s Mail Privacy Protection for marketers). El reporte más reciente de la propia Litmus, con datos de más de 1.000 millones de aperturas analizadas en mayo de 2026, muestra al Apple Mail con un 64,66% de participación en las aperturas de email, contra un 24,11% de Gmail (Litmus, Email Client Market Share). Cuanto mayor esa participación, mayor la porción de tu reporte de apertura que refleja el comportamiento de un proxy, no el de una persona.
La consecuencia para tu test A/B: si decides el ganador por la tasa de apertura, estás decidiendo, en buena parte, por el comportamiento de un proxy de privacidad. La tabla de abajo separa lo que es frágil de lo que sigue siendo confiable:
| Métrica | Confiabilidad | Por qué |
|---|---|---|
| Tasa de apertura | Frágil | Inflada por la precarga automática del Apple Mail Privacy Protection, que dispara el píxel de rastreo al recibir el mensaje, no al leerlo |
| CTOR (clics por apertura) | Moderada | Ayuda a comparar engagement relativo, pero hereda parte de la distorsión porque el denominador (aperturas) ya está inflado |
| Tasa de clic (CTR) | Confiable | Solo cuenta cuando alguien interactúa de verdad con un enlace; no se ve afectada por la precarga de imagen |
| Tasa de conversión | Confiable, y la que decide | Conecta el test con el resultado de negocio (compra, registro, upgrade); inmune a la precarga |
| Baja de suscripción y reclamo de spam | Guardrail | No decide el test, pero no puede empeorar mientras la métrica primaria mejora |
Esto no quiere decir que la tasa de apertura se haya vuelto inútil. Todavía sirve para comparar remitente y horario de envío (que el MPP no distorsiona de la misma forma direccional, ya que el efecto es más o menos constante entre tus variaciones, siempre que la división A/B sea aleatoria). El problema es usarla como métrica primaria para decidir un ganador, especialmente al testear el asunto, porque ahí el sesgo puede variar según la composición de dispositivos de cada grupo e inflar una diferencia que no existe en el comportamiento real de lectura.
El embudo de email y dónde medir de verdad
Un envío de email tiene su propio embudo, más corto que el de un sitio web, pero con el mismo principio: cuanto más profundo, menor el volumen y mayor la confianza que puedes depositar en el número.
Fíjate que la mayor caída relativa del embudo ocurre entre “abiertos” y “clicados”: es normal, y no significa que el email haya fallado. El punto es otro: decide por la etapa en la que confías, y no por la etapa más alta del embudo solo porque su número es mayor y más fácil de celebrar.
Cuántos suscriptores necesitas
Las listas de email suelen ser bastante más pequeñas que el tráfico mensual de un sitio web. Una newsletter o una base de clientes de porte pequeño o mediano, frecuentemente tiene una fracción del volumen que una landing page de tráfico pago recibe en un mes, y eso cambia la cuenta de muestra en la práctica: no eliges libremente qué métrica testear, la métrica te elige a ti, porque solo algunas tienen base suficiente para dar un veredicto confiable.
El tamaño de muestra depende de los mismos tres factores de cualquier test A/B (tasa base, efecto mínimo detectable y rigor estadístico), pero la tasa base cambia de orden de magnitud a medida que bajas en el embudo: una apertura del 30% pide mucha menos gente que una conversión de compra de menos del 1%.
| Métrica | Tasa base (ejemplo) | Efecto mínimo buscado | Muestra por variación |
|---|---|---|---|
| Apertura | 32% | +10% relativo | ≈ 3.419 |
| Clic (CTR) | 2,5% | +20% relativo | ≈ 16.792 |
| Conversión (compra) | 0,8% | +25% relativo | ≈ 35.001 |
Los números de arriba salen de la misma fórmula de muestra usada en cualquier test A/B (dos proporciones, 95% de confianza, 80% de poder), calculada para las tasas y efectos de este ejemplo. Cuanto más raro el evento, mayor la muestra para el mismo rigor, y es exactamente por eso que muchas listas de email solo tienen gente suficiente para ver diferencia en la apertura (la métrica más frágil) y no en la conversión (la que importa).
Calcula para tu caso: indica tu tasa base, el efecto que quieres detectar y el tamaño de tu lista, y mira cuántos suscriptores y cuántos envíos necesita tu test.
Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.
Si tu lista no puede sostener muestra suficiente para la métrica de fondo de embudo, hay dos salidas honestas: acumula el test a lo largo de varios envíos recurrentes (la misma campaña de asunto corriendo en ediciones sucesivas de una newsletter, por ejemplo), o acepta testear en un nivel más arriba del embudo (clic en lugar de conversión), documentando que la decisión carga más incertidumbre sobre el resultado final de ingresos.
Vale la pena recordar un detalle que reduce la muestra “efectiva” sin que te des cuenta: no todo destinatario cuenta. Direcciones que rebotan (hard bounce), spam traps y contactos que ya pidieron darse de baja no deberían ni entrar en la base del test, y una parte de lo que queda todavía va a bloquear imágenes o caer en promociones/spam, lo que reduce aún más la fracción que de hecho tiene chance de abrir o hacer clic. Si tu herramienta lo permite, calcula la muestra sobre entregados, no sobre la lista bruta, para no sobreestimar cuánto dato realmente vas a recolectar.
Duración: cuánto tiempo dejar el test corriendo
El email tiene una particularidad que la mayoría de las guías de test A/B para web ignoran: el comportamiento de lectura cambia por zona horaria y por hábito, no solo por día de la semana. Quien abre el email en los primeros 15 minutos después del envío (por lo general quien está pendiente de la bandeja de entrada en ese momento) no es la misma persona que lo abre de noche, al día siguiente, o solo cuando va a organizar la bandeja de entrada el fin de semana.
Esto crea una trampa específica: declarar un ganador demasiado pronto captura solo el comportamiento de quien lee rápido, típicamente un perfil más engaged, e ignora a quien todavía va a abrir el email al día siguiente. Como referencia de mercado, buena parte del resultado de un envío (la mayoría de las aperturas y clics) suele consolidarse dentro de las primeras 24 a 48 horas, con audiencias B2B tardando más que B2C en reaccionar, según recomendaciones publicadas por herramientas de marketing como HubSpot (HubSpot, How to determine your A/B test sample size and time frame). Aun así, espera al menos un ciclo completo de lectura antes de decidir, y nunca compares la métrica de quien abrió rápido contra quien abrió después como si fueran grupos equivalentes.
La misma lógica del peeking (espiar el panel y parar apenas “dé significancia”) vale aquí con un agravante: como el volumen de email suele ser más bajo, cada revisión anticipada pesa proporcionalmente más en el riesgo de falso positivo que en un test de sitio web con tráfico continuo. Define el plazo antes de correr el test, y decide solo al final.
Declara el ganador con la métrica correcta
Pega los visitantes (destinatarios) y las conversiones (aperturas, clics o el evento que elijas) de cada versión. La calculadora devuelve las tasas, el lift, el valor p, el intervalo de confianza de la diferencia y un veredicto honesto:
Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.
Un ejemplo resuelto: el mismo test, tres métricas, tres respuestas diferentes
Este es el ejemplo que resume todo el argumento de esta guía. Una tienda envía dos versiones de asunto a 10.000 suscriptores cada una (control A y variación B, con CTA y cuerpo idénticos, solo cambia el asunto). Los resultados brutos:
- Aperturas: A tuvo 3.200 (32,0%); B tuvo 3.800 (38,0%).
- Clics: A tuvo 250 (2,5%); B tuvo 240 (2,4%).
- Conversiones (compra): A tuvo 80 (0,80%); B tuvo 78 (0,78%).
Corriendo el mismo test de dos proporciones (el mismo z-test usado en cualquier test A/B) para cada métrica:
- Aperturas: lift relativo de +18,8% (6,0 puntos porcentuales), puntaje z ≈ 8,89, valor p menor que 0,001. Estadísticamente aplastante: B gana por lejos, si miras solo esta métrica.
- Clics: lift relativo de −4,0% (−0,1 punto porcentual), puntaje z ≈ −0,46, valor p ≈ 0,647. Sin ninguna significancia: el intervalo de confianza de la diferencia va de −0,53 a +0,33 punto porcentual, cruzando el cero.
- Conversiones: lift relativo de −2,5% (−0,02 punto porcentual), puntaje z ≈ −0,16, valor p ≈ 0,873. De nuevo sin significancia, intervalo de −0,27 a +0,23 punto porcentual.
En otras palabras: quien decidiera por la apertura declararía a B el gran ganador y pasaría a usar ese asunto en todos los envíos siguientes. Quien mirara clic o conversión vería un empate estadístico, con el número crudo incluso levemente a favor de A. El asunto B probablemente es más llamativo (tal vez más urgente, tal vez con una palabra que Apple Mail precarga con más frecuencia), pero eso no se tradujo en más gente haciendo clic o comprando. Declarar a B ganador basándose solo en la apertura habría sido un error costoso, disfrazado de victoria.
La enseñanza no es “ignora la apertura”. Es: elige la métrica primaria antes de correr el test, basada en lo que realmente quieres optimizar (normalmente conversión, a veces clic cuando la conversión está fuera del email y es demasiado lenta para medir), y no cambies de métrica a mitad de camino solo porque una de ellas “dio la victoria” más rápido.
Los errores que más aparecen en un test A/B de email
| Error | Señal de alerta | Corrección |
|---|---|---|
| Decidir por la apertura | “B tuvo mucha más apertura, fue ese” | Trata la apertura como referencia, decide por clic o conversión |
| Testear asunto y cuerpo juntos | Cambió la línea de asunto y el botón del CTA en el mismo envío | Aísla una variable por test, o corre en etapas secuenciales |
| Cerrar demasiado pronto | Decidió 2 horas después del envío | Espera un ciclo completo de lectura (24 a 72 horas) antes de decidir |
| Comparar envíos en fechas distintas | “La semana pasada con A, esta semana con B” | Corre las dos versiones en el mismo envío, al mismo tiempo, para la misma lista |
| Ignorar la baja de suscripción y el spam como guardrail | La conversión subió, pero nadie revisó los reclamos | Monitorea bajas de suscripción y marcado de spam junto con la métrica primaria |
| Muestra pequeña para la métrica elegida | Testeó conversión de compra en una lista de 500 personas | Calcula la muestra antes; si no alcanza, testea un nivel más arriba del embudo |
E-commerce: carrito abandonado y promociones
El e-commerce tiene dos patrones de email que más vale la pena testear, y ambos tienen una métrica primaria obvia: la conclusión de la compra, no el clic y mucho menos la apertura.
| Qué testear | Ideas de variación | Métrica primaria |
|---|---|---|
| Carrito abandonado, 1er disparo | Horario del disparo (1h, 4h o 24h después del abandono), asunto con urgencia vs. asunto neutro | Tasa de conclusión de la compra |
| Carrito abandonado, secuencia | Incluir o no un cupón de descuento en el 2do o 3er email, mostrar los ítems del carrito o no | Tasa de conclusión de la compra, con ingreso por destinatario como guardrail |
| Promoción estacional | Asunto con plazo (“solo hoy”) vs. asunto con beneficio (“envío gratis”), CTA único vs. múltiples CTAs | Tasa de conclusión de la compra |
Un punto que vale la pena reforzar aquí: las tasas de recuperación de carrito varían mucho según la operación y la categoría, y el propio concepto de “recuperado” cambia de herramienta a herramienta (compra en la misma sesión del clic, o cualquier compra dentro de un plazo mayor). Usa tu propio historial como referencia, no un número genérico de mercado, y desconfía de cualquier benchmark de recuperación presentado sin decir cómo fue medido.
SaaS: onboarding y upgrade
En SaaS, el email entra después del registro, y la métrica primaria cambia de “compró” a “usó de verdad” o “se volvió pagante”:
| Qué testear | Ideas de variación | Métrica primaria |
|---|---|---|
| Onboarding (bienvenida) | Secuencia de 1 email vs. secuencia de 3, foco en un único próximo paso vs. lista de funciones | Activación (el usuario llegó al evento que define valor real en el producto) |
| Trial a pago (upgrade) | Prueba social y testimonio vs. comparación de planes, urgencia de vencimiento del trial vs. sin urgencia | Conversión de trial a plan pago |
| Reactivación de inactivo | Pregunta directa (“¿por qué dejaste de usarlo?”) vs. oferta de ayuda vs. novedad de producto | Retorno al producto dentro de un plazo definido, no apertura del email |
La trampa más común en SaaS es medir “engagement con el email” (abrió, hizo clic) cuando la pregunta de negocio es “el producto retuvo a esta persona”. Un email de onboarding puede tener un clic excelente y una activación mala, porque el enlace llevó a la persona de vuelta al producto, pero el producto no entregó el “aha moment” a tiempo. Si tu objetivo es crecimiento de producto, vale la pena leer la guía de growth experimentation para SaaS, que cubre cómo instrumentar y priorizar experimentos más allá de la bandeja de entrada.
Frecuentista, el mismo rigor de cualquier canal
Nada de la estadística cambia de canal a canal: el valor p, el intervalo de confianza y el cuidado con el peeking son los mismos conceptos usados en un test de landing page. Lo que cambia es la tasa base (generalmente más baja cuanto más profundo en el embudo de email), el tamaño de la lista (generalmente menor que el tráfico de un sitio web) y la variable tiempo (zona horaria y hábito de lectura, en lugar de estacionalidad de tráfico). Si quieres entender la fórmula detrás del puntaje z y del valor p con más profundidad, la guía de significancia estadística en test A/B cubre esto paso a paso, y los mismos principios de qué es un test A/B valen integralmente aquí: muestra suficiente, tiempo suficiente, una métrica primaria definida antes de mirar el resultado.
Quien prefiere la lectura bayesiana también puede aplicarla a email sin cambiar nada en la recolección: en lugar de un valor p, el resultado se vuelve “la variación B tiene X% de probabilidad de superar a A” y una pérdida esperada en caso de que la elección esté equivocada, lo que suele ser más fácil de explicar para quien solo quiere saber qué asunto usar en el próximo envío. La escuela no resuelve una muestra pequeña ni corrige una métrica mal elegida: si la base es la apertura distorsionada por el Mail Privacy Protection, un resultado bayesiano “con 97% de probabilidad de que B sea mejor” es tan engañoso como un valor p de 0,001 obtenido de la misma forma.
Hazlo automático en Donnu
Acabas de ver el trabajo que da un test A/B honesto de email: separar lo que es frágil (apertura, distorsionada por el Apple Mail Privacy Protection desde 2021) de lo que es confiable (clic y conversión), calcular la muestra correcta para la métrica correcta, esperar el ciclo de lectura completo y aislar una variable a la vez. Donnu fue construida con el mismo rigor estadístico que aplicarías en un test de sitio web: defines la hipótesis y la métrica primaria, Donnu dimensiona el test y devuelve un veredicto honesto, sin dejarte celebrar una victoria que solo existe porque un proxy de email precargó una imagen.
Empieza una prueba gratuita de 14 días y lleva el mismo estándar estadístico de tu sitio web al próximo envío. Para profundizar en la base estadística usada en esta guía, mira también qué es un test A/B, la guía completa y significancia estadística en test A/B.
Referencias
- Apple. Protect email privacy in Mail on Mac. Apple Support. support.apple.com/guide/mail/protect-email-privacy-mlhlp1205/mac.
- AWS Messaging and Targeting Blog. Apple Mail’s iOS 15 Privacy Protection: impact to senders. aws.amazon.com/blogs/messaging-and-targeting.
- Litmus. Apple’s Mail Privacy Protection Is Here: What It Actually Means for Email Marketers. litmus.com/blog/apple-mail-privacy-protection-for-marketers.
- Litmus. Email Client Market Share. Datos de mayo de 2026. litmus.com/email-client-market-share.
- HubSpot. How to Determine Your A/B Testing Sample Size and Time Frame. blog.hubspot.com/marketing/email-a-b-test-sample-size-testing-time.
Lee también
Preguntas frecuentes
- ¿Por qué la tasa de apertura no es una buena métrica para decidir un test A/B de email?
- Porque desde 2021 el Apple Mail Privacy Protection precarga el contenido remoto de buena parte de los mensajes (incluyendo el píxel de rastreo) apenas llegan, y no cuando la persona realmente abre el email. Esto registra una "apertura" incluso cuando nadie leyó nada, y como Apple Mail representa buena parte de los clientes de email del mercado, el efecto no es un detalle: es estructural. Usa la tasa de clic o, mejor aún, la tasa de conversión como métrica primaria, y trata la apertura como referencia secundaria.
- ¿Cuántos suscriptores necesito para un test A/B de email marketing?
- Depende de qué métrica decide el test. Para detectar un efecto relativo del 10% en una tasa de apertura del 32%, bastan cerca de 3,4 mil suscriptores por variación. Para el mismo rigor en una tasa de clic del 2,5%, el número sube a cerca de 16,8 mil. En una tasa de conversión del 0,8%, pasa de 35 mil. Por eso las listas pequeñas frecuentemente solo logran ver diferencia en la métrica más frágil, y no en la que paga las cuentas.
- ¿Puedo testear el asunto y el contenido del email al mismo tiempo?
- No, si quieres saber qué causó el resultado. Testear asunto y cuerpo juntos mezcla dos variables: una decide si la persona abre, la otra decide si actúa después de abrir. Si el test "gana", no vas a saber si fue el asunto, el contenido o ambos. Aísla una variable por test, o corre un test secuencial (primero asunto, después cuerpo) con el ganador de cada etapa.
- ¿Cuánto tiempo debo esperar antes de declarar un ganador en un test de email?
- Como mínimo hasta que el email complete un ciclo completo de lectura, lo que suele tomar de 24 a 72 horas dependiendo de la audiencia (B2C tiende a reaccionar más rápido que B2B). Decidir en las primeras horas captura solo a quien lee el email apenas llega, generalmente un perfil distinto de quien lo lee de noche o al día siguiente, y ese sesgo de zona horaria y hábito de lectura distorsiona el resultado.
- ¿El test A/B de email funciona igual para carrito abandonado y para onboarding de SaaS?
- El método estadístico es el mismo, pero la métrica que importa cambia. En un email de carrito abandonado de e-commerce, la métrica primaria es la conclusión de la compra. En un email de onboarding de SaaS, suele ser la activación (el usuario llegó al valor central del producto) o la conversión de trial a pago. Definir la métrica equivocada es el error más costoso en ambos contextos, más costoso incluso que la elección del asunto.