Test A/B de Notificaciones Push: una Guía Práctica
Test A/B de notificación push: qué testear, por qué el opt-in cambia quién entra en el test y cómo no declarar ganador sin métrica de opt-out.
📚 Este artículo es parte de la guía Test A/B de Email Marketing: la Guía Estadística Completa.
El test A/B de notificación push es comparar dos versiones de un envío (texto, CTA, horario, formato o segmento) para porciones aleatorias de tu base de usuarios con permiso concedido, midiendo cuál genera más clic sin drenar la base de quienes todavía aceptan recibir notificaciones. El punto que la mayoría de las guías de test A/B de email marketing no cubre: el push tiene una población elegible que ya nace filtrada por el opt-in, una ventana de atención medida en segundos, y una trampa estadística específica, una variación puede ganar en el clic y aun así aumentar la tasa de quienes apagan las notificaciones o desinstalan la app. Esta guía cubre qué diferencia al push como canal de test, qué vale la pena testear, por qué la muestra necesita ser grande por el CTR típicamente bajo, y cómo declarar un ganador sin engañarse, con una métrica de guarda.
Qué diferencia al push del correo como canal de test
Push y correo parecen el mismo tipo de test A/B (dos versiones, una audiencia, una métrica de clic), pero tres diferencias estructurales cambian cómo el test necesita ser diseñado.
La primera es el permiso de opt-in. En correo, cualquier dirección registrada puede recibir la campaña (aunque caiga en spam o sea ignorada). En push, el sistema operativo bloquea el envío hasta que el usuario concede el permiso explícitamente, y esa concesión varía enormemente por plataforma: según CleverTap, la tasa de opt-in queda cerca del 91% en Android contra 44% en iOS. Eso quiere decir que la población que siquiera puede entrar en tu test ya es una porción filtrada y desigual entre sistemas, bien diferente de una lista de correo donde (dentro de los límites de entregabilidad) todo el mundo es alcanzable.
La segunda es la ventana de atención. Un correo puede ser leído minutos o días después de llegar, sin perjuicio grave. Una notificación push compite por algunos segundos de atención en la pantalla de bloqueo antes de ser descartada, sustituida por otra notificación, o simplemente olvidada en el centro de notificaciones. Eso comprime el tiempo útil de decisión del usuario y hace que el texto, el horario y el formato determinen el resultado más que en cualquier canal asíncrono.
La tercera es el costo de fatiga. Un correo mal hecho cuesta, en el peor caso, una tasa de baja. Una notificación push mal hecha o demasiado frecuente cuesta el permiso entero: el usuario puede apagar las notificaciones de la app (opt-out) o desinstalar la aplicación, lo que cierra la puerta a cualquier comunicación futura por ese canal. Por eso todo test de push necesita una métrica de guarda desde el inicio, y no solo una métrica primaria de clic.
El embudo de push: el permiso ya decide quién entra en el test
Un envío de push tiene un embudo propio, más corto que el del correo, pero con una etapa que no existe en ningún otro canal: la concesión de permiso ocurre antes de que cualquier test empiece, y ella por sí sola ya es una variable de embudo que cambia la población disponible.
Esa etapa extra tiene una consecuencia práctica directa: cambiar el texto del pedido de permiso, o el momento en que aparece (apenas se abre la app, o solo después de una primera acción de valor), es por sí mismo un test A/B válido, y normalmente el de mayor apalancamiento, porque afecta el tamaño de toda la población de los tests siguientes. Testear el texto de una notificación sobre una base pequeña porque el opt-in es bajo es optimizar la etapa equivocada.
Como en correo, no toda métrica de push es igualmente confiable para decidir un ganador:
| Métrica | Confiabilidad | Por qué |
|---|---|---|
| Opt-in | Variable de embudo, no de test de contenido | Depende del pedido de permiso y de la plataforma (91% Android contra 44% iOS, CleverTap), no del texto de la notificación en sí |
| Entrega | Alta, pero poco informativa | Confirma que el envío llegó al dispositivo, no que alguien reparó en él |
| Clic / CTR | Confiable para decidir contenido | Métrica primaria más común, pero generalmente baja (cerca del 2,25% en promedio, CleverTap) |
| Conversión posclic | Confiable, y la que decide de verdad | Liga el test al resultado de negocio (compra, activación, retorno a la app) |
| Opt-out / desinstalación | Guardrail, nunca la métrica primaria | No decide el test, pero necesita ser monitoreada: no puede empeorar mientras el clic mejora |
Qué vale la pena testear en una notificación push
Cada elemento de una notificación push mueve una parte diferente de la decisión de hacer clic, y algunos solo existen en ese canal:
- Texto y CTA. El título y el cuerpo de la notificación (pocas decenas de caracteres) deciden por sí solos buena parte del clic, el equivalente al asunto de un correo, pero con mucho menos espacio para convencer.
- Horario de envío. El mismo texto a las 8 de la mañana de un día hábil y a las 22 de un sábado llega a hábitos de atención completamente diferentes, y el horario correcto depende del huso y de la rutina de tu público, no de un horario universal.
- Frecuencia y cadencia. Cuántas notificaciones por semana recibe el mismo usuario sin que la molestia supere al valor percibido. Es la variable más arriesgada de testear, porque el efecto colateral (fatiga, opt-out) puede tardar más en aparecer que el efecto principal (clic).
- Deep link de destino. Hacia dónde lleva el clic dentro de la app hace tanta diferencia como el texto: un deep link directo a la pantalla relevante convierte distinto de uno que solo abre la home de la aplicación.
- Rich media contra texto puro. Imagen, GIF o ícono incorporado a la notificación contra una notificación solo de texto. OneSignal cita notificaciones con medios enriquecidos generando cerca de un 25% más de engagement que las notificaciones estándar, una tendencia de mercado, no una garantía para cualquier app.
- Segmentación por comportamiento contra broadcast. Enviar el mismo texto a toda la base con opt-in, o segmentar por comportamiento reciente (lo que el usuario hizo o dejó de hacer en la app). CleverTap relata notificaciones contextuales (basadas en comportamiento) con tasa de apertura del 16,3%, contra 4,7% de campañas genéricas de broadcast, una diferencia demasiado grande para ignorar, pero que también consume más ingeniería de segmentación.
Una trampa de origen, igual a la del correo: cambiar el texto, el horario y la segmentación en el mismo envío. Si la variación “gana” así, no vas a saber cuál de los tres movió el resultado. Aísla una variable por test, o corre etapas secuenciales.
Cuántos usuarios necesitas: el CTR bajo exige una muestra grande
Esta es la trampa estadística más específica del push. El CTR del canal suele ser bajo, pocos por ciento según la mayoría de los relevamientos de mercado (CleverTap cita una media general cerca del 2,25%), y una tasa baja siempre exige una muestra mayor para el mismo rigor. Es la misma matemática de cualquier test de dos proporciones, pero aplicada a un canal donde el número absoluto de clics por envío tiende a ser pequeño incluso con una base grande de usuarios.
Mira cómo el tamaño de muestra por variación crece conforme exiges detectar un efecto menor, partiendo de una base de CTR del 2,25%:
| Efecto mínimo buscado (relativo) | Muestra por variación |
|---|---|
| +30% | ≈ 8.683 |
| +20% | ≈ 18.711 |
| +15% | ≈ 32.527 |
Compara eso con la orientación que la propia OneSignal da en contenido educativo sobre el tema: un “público objetivo razonablemente grande, de al menos 1.000 contactos” para correr un test relevante. Ese piso genérico sirve como punto de partida, pero está muy por debajo de lo que el rigor estadístico exige para ver un efecto del 15% al 20% en un CTR de pocos puntos porcentuales: con 1.000 contactos por variación, buena parte de los tests de texto de push nunca tendría poder suficiente para separar señal de ruido, aunque la diferencia real exista.
Calcula para tu caso: informa el CTR de base de tu app, el efecto que quieres detectar y cuántos usuarios con opt-in activo alcanzas por semana, y mira cuántos usuarios y cuántos días necesita el test.
Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.
Para reproducir el escenario de esta guía en la calculadora de arriba, ajusta la tasa base a 2,25, el efecto mínimo detectable a 20 (relativo) y los visitantes por semana a 20.000 (usuarios con opt-in alcanzables). El resultado: 18.711 usuarios por variación (37.422 en total), corriendo por cerca de 14 días con ese volumen semanal, lo suficiente para cubrir al menos un ciclo completo de días hábiles y fin de semana.
Si tu base de opt-in no banca esa muestra en la métrica de clic, dos salidas honestas: acumula el test a lo largo de varios envíos recurrentes de la misma campaña, o acepta testear un efecto mayor (cambios más audaces de texto o formato, no un ajuste de una palabra), documentando que los efectos pequeños van a seguir siendo inconclusos con tu volumen actual.
Duración: los picos de horario y el huso pueden distorsionar el test
El push tiene una variación de comportamiento por horario todavía más acentuada que el correo, porque la decisión de reparar en una notificación depende de que el aparato esté en la mano, desbloqueado o con la pantalla activa en ese segundo específico. Un envío a las 8 captura un perfil de usuario (quien ya está mirando el celular por la mañana); un envío a las 22 captura otro. Si las dos variaciones de tu test no corren por ciclos completos, cubriendo los mismos picos de horario y los mismos husos de tu base, una parte de la diferencia observada viene del momento del envío, no del contenido testeado.
La corrección es la misma de cualquier canal: corre las dos variaciones al mismo tiempo, nunca una variación en una semana y la otra en la semana siguiente, y deja que el test complete al menos un ciclo de siete días, aunque la muestra calculada ya se haya alcanzado antes. Cerrar apenas llegue la primera tanda de clics del día es la misma trampa del peeking (espiar el panel y parar en la primera significancia) descrita en la guía de significancia estadística en test A/B, con un agravante: como el volumen de clic de push ya es bajo por naturaleza, cada chequeo anticipado pesa proporcionalmente más en el riesgo de un falso positivo.
La trampa del guardrail: ganar en el clic y perder en el permiso
Aquí está el punto que separa un test de push honesto de un “ganador” caro disfrazado de éxito. Una variación más urgente, más llamativa o más frecuente tiende a atraer más clic en el corto plazo, pero eso no significa que sea buena para el negocio, si el precio es una parte relevante de la base apagando las notificaciones o desinstalando la app. Por eso, todo test de push necesita declarar una métrica de guarda (guardrail) de opt-out antes de correr, del mismo modo que se declara la métrica primaria.
Pega los usuarios (destinatarios) y los clics (o cualquier evento que elijas) de cada versión. La calculadora devuelve las tasas, el lift, el valor p, el intervalo de confianza de la diferencia y un veredicto honesto:
Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.
Un ejemplo trabajado: el mismo test, dos métricas, dos veredictos opuestos
Una app de e-commerce testea dos versiones del texto de una notificación de recuperación de carrito para 20.000 usuarios con opt-in activo en cada brazo. La variación A es neutral (“Dejaste artículos en el carrito”); la variación B usa urgencia (“Últimas horas: tu carrito va a expirar”). Los resultados brutos:
- Clic (CTR): A tuvo 620 clics (3,10%); B tuvo 760 clics (3,80%).
- Opt-out en 7 días (guardrail): A tuvo 140 usuarios apagando notificaciones (0,70%); B tuvo 210 (1,05%).
Corriendo el mismo test de dos proporciones usado en cualquier test A/B para cada métrica:
- Clic: lift relativo de +22,58% (0,70 punto porcentual), puntaje z ≈ 3,84, valor p ≈ 0,000125. Significativo: B gana en el clic, y por un margen real, el intervalo de confianza de la diferencia va de 0,34 a 1,06 punto porcentual, sin cruzar el cero.
- Opt-out: lift relativo de +50,00% (0,35 punto porcentual), puntaje z ≈ 3,76, valor p ≈ 0,000171. También significativo: B aumenta el opt-out a la mitad más, con intervalo de confianza de 0,17 a 0,53 punto porcentual, también sin cruzar el cero.
Fíjate que los dos resultados son estadísticamente sólidos al mismo tiempo, no es un caso de “el guardrail no tuvo significancia, entonces ignóralo”. La variación B de hecho recibe más clics, y de hecho apaga a más gente. Declarar a B ganadora solo porque el CTR subió, sin verificar el opt-out, habría sido una decisión estadísticamente correcta sobre la métrica equivocada, y cara: cada usuario que apaga las notificaciones cierra un canal de comunicación entero, no solo pierde un clic.
La enseñanza no es “nunca uses urgencia”. Es: declara la métrica de guarda antes de correr el test, mide las dos al mismo tiempo, y trata a un “ganador” que empeora el guardrail como un resultado que exige juicio de negocio, no una celebración automática.
Frecuencia y fatiga: por qué más envío no siempre es mejor
La cadencia de envío es, al mismo tiempo, una de las variables más valiosas de testear y una de las más arriesgadas de testear mal. Plataformas del sector, como Braze, advierten que demasiadas notificaciones o notificaciones irrelevantes tienden a alejar al usuario, pudiendo llevar al apagado de las notificaciones o a la desinstalación de la app. En la práctica, esa molestia tiende a acumularse antes de convertirse en una acción concreta del usuario, lo que significa que el efecto de fatiga puede no aparecer el mismo día en que aumentas la frecuencia.
Testear cadencia exige una ventana de medición más larga que testear texto: el efecto principal (clic de cada envío) aparece rápido, pero el efecto de guarda (opt-out acumulado) puede seguir subiendo por semanas después de que el patrón de frecuencia cambió. Mide el opt-out en una ventana fija que cubra al menos algunas semanas de envío en la nueva cadencia antes de declarar que es segura, no solo en el primer ciclo.
Segmentación por comportamiento contra broadcast
Enviar la misma notificación a toda la base con opt-in activo (broadcast) es más simple de operar, pero ignora que usuarios diferentes están en momentos diferentes del recorrido. Segmentar por el comportamiento reciente (lo que la persona hizo, o dejó de hacer, dentro de la app) suele rendir más, al costo de más ingeniería de datos: CleverTap relata 16,3% de apertura en campañas contextuales (basadas en comportamiento) contra 4,7% en campañas genéricas, una diferencia lo bastante grande como para justificar la inversión en la mayoría de los casos, pero que solo un test diseñado específicamente para aislar “mismo texto, públicos diferentes” contra “broadcast total” confirma en tu producto.
El horario de envío entra en la misma lógica: Braze cita el recurso de temporización inteligente (que ajusta el horario por usuario, en vez de un horario fijo para todos) como cerca de 2,6 veces más eficaz en generar aperturas que un envío en el mismo horario para todo el mundo, según investigación propia de la empresa. Testear “horario fijo” contra “horario personalizado por usuario” es, en la práctica, un test de segmentación disfrazado de test de horario.
Los errores que más aparecen en el test A/B de push
| Error | Señal de alerta | Corrección |
|---|---|---|
| Ignorar el opt-in como variable | Testeó solo el texto y nunca revisó el pedido de permiso | Trata la etapa de opt-in como un test propio, decide el tamaño de toda la población siguiente |
| Declarar ganador solo por el clic | “B tuvo más clic, fue ese” | Declara una métrica de guarda (opt-out) antes de correr, y lee las dos juntas |
| Muestra pequeña para el CTR del canal | Testeó con algunos cientos de usuarios por variación | Calcula la muestra antes; un CTR bajo exige muestra grande, no pequeña |
| Testear texto, horario y frecuencia juntos | Cambió todo en el mismo envío | Aísla una variable por test, o corre etapas secuenciales |
| Cerrar en el primer pico de clic | Dejó de mirar después de algunas horas | Corre ciclos completos de al menos una semana, cubriendo los picos de horario reales de la base |
| Medir la fatiga solo en el primer envío | Aumentó la frecuencia y no vio el opt-out subir el mismo día | Mide el opt-out en una ventana de varias semanas, el efecto de fatiga suele ser acumulativo |
Hazlo automático con Donnu
Acabas de ver el trabajo que da un test A/B honesto de push: entender que el opt-in ya filtra quién entra en el test, calcular una muestra lo bastante grande para un CTR típicamente bajo, esperar ciclos completos de horario y, sobre todo, nunca declarar un ganador sin verificar la métrica de guarda del opt-out. Es exactamente aquí donde la mayoría de los equipos se equivoca: celebra un clic mayor mientras una porción de la base apaga las notificaciones para siempre, y solo percibe el daño semanas después. Donnu aplica el mismo rigor estadístico de esta guía a tu métrica primaria y a tu métrica de guarda al mismo tiempo: tú defines la hipótesis y lo que no puede empeorar, Donnu dimensiona la muestra correcta para tu CTR real y devuelve un veredicto honesto, sin dejar que un clic de corto plazo enmascare una base que se encoge.
Empieza una prueba gratis de 14 días y lleva el mismo estándar estadístico de tu correo y de tu sitio al próximo envío de push. Para profundizar en la base estadística usada en esta guía, mira también qué es un test A/B, la guía completa y test A/B de email marketing: la guía estadística completa.
Referencias
- CleverTap. 10 Push Notification Metrics You Need to Track: CTR, Open Rate & More. clevertap.com/blog/push-notification-metrics-ctr-open-rate.
- OneSignal. How to Make Push Notifications More Effective With A/B Testing. onesignal.com/blog/how-to-a-b-test-push-notifications.
- OneSignal Documentation. A/B Testing. documentation.onesignal.com/docs/en/ab-testing.
- Braze. A Guide to Push Notification Best Practices. braze.com/resources/articles/push-notifications-best-practices.
Lee también
Preguntas frecuentes
- ¿Por qué la tasa de opt-in de push ya es una variable del test, y no solo un prerrequisito?
- Porque a diferencia del correo, donde cualquier persona con la dirección puede ser alcanzada, el push solo llega a quien concedió permiso en el aparato. Ese permiso varía mucho por plataforma (cerca del 91% en Android contra 44% en iOS, según CleverTap) y por cómo la app pide el permiso, así que cambiar el pedido de opt-in cambia quién entra en tu siguiente test A/B. Si la tasa de opt-in cae, la población elegible se encoge y queda más sesgada hacia quien usa la app con más frecuencia, lo que puede inflar métricas de engagement sin ninguna relación con la calidad del texto o del horario testeado.
- ¿Cuántos usuarios necesito para testear el texto de una notificación push?
- Depende de la tasa de clic (CTR) de base, que suele ser baja: la media general queda cerca del 2,25% según CleverTap. Para detectar una mejora relativa del 20% sobre una base del 2,25%, se necesitan cerca de 18.711 usuarios por variación, cerca de 37,4 mil en total. Es una muestra bastante mayor que el mínimo de "al menos 1.000 contactos" que la propia OneSignal recomienda como piso genérico, porque ese piso no toma en cuenta el tamaño real del efecto que quieres ver.
- ¿Una variación puede ganar en el clic y aun así ser peor de verdad?
- Puede, y es la trampa más cara del test A/B de push. Una notificación más urgente o más llamativa tiende a atraer más clic en el corto plazo, pero también puede irritar a quien la recibe y aumentar el apagado de las notificaciones (opt-out) o incluso la desinstalación de la app. Si no declaraste una métrica de guarda (guardrail) desde el inicio, corres el riesgo de celebrar un "ganador" que está drenando tu base de usuarios alcanzables a largo plazo.
- ¿El rich media (imagen o GIF) siempre le gana al texto puro en una notificación push?
- No como regla fija, pero el patrón relatado por el mercado suele favorecer al rich media: OneSignal cita notificaciones con medios enriquecidos generando cerca de un 25% más de engagement en relación con notificaciones estándar sin imagen. Aun así, eso es una tendencia de mercado, no una garantía para tu app específica, y los medios enriquecidos también pueden cargar más lentamente o quedar cortados en ciertos aparatos, lo que solo un test en tu propio público confirma.
- ¿Cuánto tiempo debo correr un test A/B de push antes de decidir el ganador?
- Al menos un ciclo completo de comportamiento, cubriendo días hábiles y fin de semana, e idealmente más de una ventana de horario pico, porque el comportamiento de quien abre el celular a las 8 de la mañana no es igual al de quien solo mira las notificaciones de noche. Cerrar temprano, justo después del primer pico de apertura, captura solo un perfil de usuario y es la misma trampa del peeking (espiar y parar temprano) que existe en cualquier test A/B, solo que más peligrosa en push por el volumen de clic generalmente bajo.