Pop-up de Salida en Test A/B: ganancia real o ilusión

Un pop-up de salida es una ventana que aparece cuando la herramienta cree que el visitante se va, y casi siempre gana en la métrica que el propio pop-up crea: correos captados, cupones usados, conversión de quien vio la oferta. La pregunta de negocio es otra: cuántas ventas o leads de más existen porque apareció, y cuánto queda de ingresos y margen después del descuento. En el ejemplo trabajado de esta guía, la conversión entre quienes dispararon el pop-up sube un 20,0 por ciento con valor p por debajo de 0,0001, y el margen por visitante sorteado queda en menos 0,2 por ciento, con valor p de 0,94. Las dos lecturas vienen del mismo test. Esta guía muestra cómo funciona el disparo en el ordenador y en el móvil, por qué las lecturas comunes engañan, cómo diseñar el test con un control que registre quién habría visto el pop-up, cómo convertir el efecto de quienes dispararon a la base entera, cuánto encarece eso la muestra y qué dice y qué no dice Google sobre intersticiales. Forma parte de nuestra guía completa de optimización de conversión (CRO) y profundiza en la advertencia que dejamos en test A/B de carrito abandonado.

Qué es un pop-up de salida y cómo funciona el disparo

El pop-up de salida (en inglés, exit-intent popup) se define por el disparo, no por el contenido. La misma ventana con cupón puede aparecer después de 10 segundos, a mitad del desplazamiento o cuando la persona amenaza con salir; solo el último caso es pop-up de salida. Y el disparo funciona de forma muy distinta según el aparato.

En el ordenador, la señal es el puntero. Quien va a cerrar la pestaña o volver atrás tiende a llevar el ratón hacia arriba, en dirección a los controles del navegador. Wisepops describe el disparo por el cursor yendo hacia esa zona; Popup Maker, por el puntero saliendo por el borde superior de la ventana, con sensibilidad y retardo configurables para evitar falsos positivos.

En el móvil no existe puntero, y las herramientas usan señales indirectas:

• Desplazamiento rápido hacia arriba, porque la barra de direcciones vuelve cuando la persona sube. Popup Maker dispara cuando el visitante sube más de un 10 por ciento de la página después de haber bajado.
• Botón atrás. OptiMonk solo dispara a partir de la página de entrada, después de interacción; Wisepops registra que Chrome en Android exige interacción para interceptar el atrás.
• Cambio de pestaña o pérdida de foco, listado por OptiMonk y Popup Maker.
• Tiempo, un retardo en milisegundos que ya no es intención de salida, es cronómetro.

herramienta	señal en el ordenador	señales en el móvil	salvedad documentada
Wisepops	cursor yendo hacia los controles del navegador	botón atrás y desplazamiento hacia arriba (desactivable)	Chrome en Android exige interacción antes del atrás; no funciona en navegadores internos de apps como el de Facebook
OptiMonk	no detallado en el artículo de móvil	cambio de pestaña, desplazamiento rápido hasta arriba, botón atrás del navegador y del aparato	el atrás solo dispara a partir de la página de entrada, después de interacción
Popup Maker	puntero saliendo por el borde superior, pérdida de foco, botón atrás, pasar el ratón sobre un enlace	botón atrás, pérdida de foco, retardo en milisegundos, desplazamiento hacia arriba por encima del 10%	recomienda usar el disparo con cookie para no molestar al visitante

Documentación consultada el 15/09/2026. Para quien testea, “disparó el pop-up de salida” significa cosas distintas en el ordenador y en el móvil, y la lectura por aparato es obligatoria, como se explica en efecto heterogéneo por segmento.

Por qué el pop-up de salida casi siempre parece ganar

Tres lecturas aparecen con frecuencia en informes de pop-up de salida, y ninguna de ellas responde si el negocio ganó.

1. Cuenta sin control. “1.000 pedidos usaron el cupón del pop-up.” Es una cuenta verdadera de un evento que solo existe en el brazo con pop-up, y no dice cuántos de esos compradores ya iban a comprar y solo recogieron el descuento por el camino.

2. Quien vio contra quien no vio. Quien dispara el gatillo de salida es, por construcción, quien se estaba yendo. En el ejemplo de esta guía, esos visitantes convierten un 2,0 por ciento sin ningún pop-up, frente a un 3,6 por ciento de quienes nunca disparan. La comparación mide quiénes son, no lo que hizo el pop-up.

3. Conversión solo entre quienes dispararon, sin convertirla a la base. Tiene control y tiene valor p, y por eso seduce. El efecto es real para ese grupo, pero es grande porque el denominador es pequeño, y no incluye el coste del descuento.

Los números de mercado heredan el problema. Según Wisepops, en cerca de mil millones de impresiones de pop-ups de captación de correo de la propia plataforma, los pop-ups de salida convierten un 3,94 por ciento, con la conversión definida como correos recogidos divididos por impresiones. Sirve para calibrar expectativas de formulario, pero es métrica local, venida de la base de quien vende la herramienta y sin grupo de control: no dice cuántos correos son incrementales ni qué pasó con las ventas.

Kohavi y coautores, en las reglas prácticas publicadas en KDD 2014, dan el nombre general de esa trampa: es fácil aumentar una métrica de funcionalidad destacando la funcionalidad, y muchas veces solo está moviendo clics de sitio y canibalizando otras áreas de la página. Un cupón que aparece para quien ya tenía la tarjeta en la mano es canibalización de margen con otro nombre.

Cómo diseñar un test A/B de pop-up de salida sin engañarte a ti mismo

El diseño correcto tiene tres piezas, y la tercera es la que casi todo el mundo olvida.

1. Sorteo por visitante, en la llegada. El visitante se sortea en cuanto entra en el sitio, antes de cualquier disparo, y se queda en el mismo brazo en las visitas siguientes, porque el pop-up afecta a lo que ocurre después (vuelve con cupón, correo, recompra). Ver unidad de aleatorización.

2. La misma regla de disparo en los dos brazos. Señal, página, retardo y límite de frecuencia se ejecutan igual. En el tratamiento, la regla muestra el pop-up; en el control, no muestra nada.

3. Registro contrafactual en el control. Cuando la regla habría mostrado el pop-up, el control graba un evento “habría visto”. El equipo de experimentación de Microsoft describe el concepto: con un registro contrafactual adecuado, se puede saber si un usuario del control habría visto el cambio de haber estado en el tratamiento, y la condición de disparo necesita reflejar esa marca contrafactual. Kohavi resume la regla de entrada: el usuario entra en el análisis si existe, potencialmente, diferencia entre lo que vive en su brazo y lo que viviría en el otro.

El error de sortear en cada disparo

Sortear en cada disparo (la mitad de las ocasiones ve, la mitad no), sin fijar al visitante en un brazo, produce grupos comparables en cada ocasión, pero mezcla los brazos entre visitas: quien vio el cupón en una visita puede caer en el control en la siguiente, y lo que el pop-up cambia después (vuelve con cupón, correo, recompra) se reparte por los dos grupos. Sortear al visitante en la llegada y mantenerlo en el mismo brazo preserva la base entera en el test y deja el análisis por disparo como recorte, no como diseño.

Cuando el control no consigue registrar nada

Si la herramienta de pop-up solo graba eventos cuando muestra algo, el disparo queda observado solo en el tratamiento. Deng, Yuan, Kanai y Salama-Manteau (WSDM 2023) llaman a eso disparo unilateral: la diferencia de medias en la base entera sigue sin sesgo para el efecto total, pero el análisis por disparo con dilución se vuelve imposible sin saber quién, en el control, habría disparado. La salida práctica es implementar tú mismo el escucha de salida, en los dos brazos, y dejar que la herramienta solo dibuje la ventana.

diseño	qué compara	¿resultado honesto?
informe de la herramienta, sin control	nada, solo cuenta correos, cupones y ventas atribuidas	no
quien vio el pop-up contra quien no vio	quien se estaba yendo contra quien no	no, sesgo de selección
sorteo en cada disparo, sin fijar al visitante	disparos contra disparos, ocasión a ocasión	parcial, mezcla efectos entre visitas
sorteo en la llegada, sin registro en el control	base entera contra base entera	sí, con mucho ruido
sorteo en la llegada, con registro contrafactual	base entera y recorte por disparo, con dilución	sí, con más potencia

Dilución: del efecto entre quienes dispararon al efecto en el negocio

El análisis solo entre quienes dispararon es más sensible porque saca del cálculo a quien tiene efecto cero por construcción. El precio es que su número necesita convertirse a la base entera. Deng y Hu, en WSDM 2015, registran una fórmula muy usada: el efecto total es el efecto en el grupo disparado multiplicado por la fracción de usuarios que dispararon. La condición es que el tratamiento no afecte a quien no disparó, algo que recomiendan verificar con un análisis del complemento, los no disparados, que no debe mostrar efecto.

En conversión, la cuenta es en puntos porcentuales. En el ejemplo de esta guía, la ganancia entre los disparados es de 0,40 puntos (de 2,00 a 2,40 por ciento), y el 30 por ciento de los visitantes dispara. La ganancia en la base entera es 0,40 por 0,30, o 0,12 puntos: de 3,12 a 3,24 por ciento, un aumento relativo del 3,8 por ciento. El mismo efecto, que parecía del 20 por ciento, se convierte en un 3,8 por ciento cuando se mira contra la facturación entera de la tienda.

La regla 2 de Kohavi y coautores trae la misma aritmética con otro ejemplo: una mejora del 10 por ciento en un segmento del 1 por ciento tiene un impacto total de aproximadamente el 0,1 por ciento. El blog detalla la derivación, las trampas y las métricas de ratio en análisis por disparo y dilución.

La tasa de disparo lo cambia todo. La tabla de abajo mantiene el mismo efecto entre los disparados (más 0,40 puntos sobre 2,00 por ciento, con 3,60 por ciento de conversión fuera del disparo) y varía solo la fracción que dispara.

tasa de disparo	conversión de la base	efecto relativo en la base	por variación, base entera	días a 100.000/semana	sorteados por brazo, análisis por disparo
10%	3,44%	+1,16%	3.277.185	459	211.090
20%	3,28%	+2,44%	787.285	111	105.545
30%	3,12%	+3,85%	335.634	47	70.364
50%	2,80%	+7,14%	110.508	16	42.218

Confianza del 95 por ciento, potencia del 80 por ciento, test bilateral, calculado con sampleSizePerVariant usando el efecto relativo exacto. La última columna es la muestra del análisis por disparo (21.109 disparados por variación) dividida por la tasa de disparo. Deng y coautores dan una regla práctica aproximada para esa diferencia: el análisis por disparo con dilución reduce la varianza aproximadamente por el inverso de la tasa de disparo, por ejemplo cerca de 20 veces con un disparo del 5 por ciento. En el ejemplo, la razón queda cerca de 4,8 y no de 3,3, porque los no disparados convierten más y tienen mayor varianza; la regla da el orden de magnitud, no la cuenta exacta.

Métrica primaria y guardrails

Un pop-up de salida toca dinero, lista y experiencia: la métrica primaria coge el dinero, y las de guardia cogen el resto, en la lógica de métrica primaria (OEC) y métricas de guardrail.

tipo de negocio	métrica primaria	por qué no la métrica local	guardrails
comercio electrónico con cupón	ingresos netos de descuento por visitante sorteado, con margen por visitante al lado	el cupón usado cuenta también a quien compraría sin descuento	uso del código por no disparados (fuga), devolución, recompra a 30, 60 y 90 días, tasa de salida en el móvil
comercio electrónico sin descuento (envío, cambio, plazo)	ingresos por visitante sorteado	un clic en la ventana no es una venta	reclamación en atención al cliente, tiempo hasta la compra
SaaS con trial	inicio de trial o cuenta activada por visitante sorteado	el correo captado puede sustituir al trial	bajas y quejas de spam de la lista nueva, tasa de lead a oportunidad
B2B con material descargable	oportunidad cualificada por visitante sorteado	un lead de material puede tener menor cualificación que un lead de demostración	solicitudes de demostración, bajas, velocidad de página

Tres guardrails merecen atención especial.

Fuga del cupón. Un código genérico puede acabar en sitios de cupones y ser usado por el control, lo que contamina la comparación. Usa código único y monitorea el uso por quien nunca disparó; el mecanismo está en interferencia entre variantes.

Aprendizaje del cliente. Quien recibe cupón al amenazar con salir puede aprender a amenazar con salir, y eso no aparece en cuatro semanas. Un holdout de largo plazo mide recompra y ticket; el camino inverso, la oferta perdiendo fuerza después de la primera visita, es el efecto novedad.

Calidad de la lista. Un correo captado bajo presión de salida puede tener un perfil distinto del registro espontáneo. Mide bajas y quejas de spam en la serie de bienvenida, con la disciplina de la guía de test A/B en email marketing.

Ejemplo trabajado 1: tienda con cupón del 10 por ciento

Escenario. Una tienda de moda con 100.000 visitantes por semana, ticket medio de R$ 250 y margen bruto del 40 por ciento (R$ 100 por pedido sin descuento) quiere probar un pop-up de salida con cupón del 10 por ciento (R$ 25 por pedido). Todos los números de abajo son hipotéticos y fueron calculados con el motor estadístico del blog.

Diseño. Sorteo por visitante en la llegada, 50/50, durante cuatro semanas: 200.000 visitantes por brazo. La regla de disparo se ejecuta en los dos brazos con el mismo límite de una impresión por visitante; el control solo registra “habría visto”. Cupón de código único. Métrica primaria: ingresos netos de descuento por visitante sorteado. Margen por visitante como métrica de decisión al lado.

Resultado.

grupo	visitantes por brazo	pedidos control	pedidos tratamiento	conversión control	conversión tratamiento
disparó (30%)	60.000	1.200	1.440	2,00%	2,40%
no disparó (70%)	140.000	5.040	5.040	3,60%	3,60%
base entera	200.000	6.240	6.480	3,12%	3,24%

En el tratamiento, 1.000 de los 1.440 pedidos de disparados usaron el cupón. La cuenta de disparos coincide (60.000 contra 60.000) y los no disparados tienen exactamente el mismo resultado, que es el comportamiento esperado de un complemento sin efecto.

Lectura 1, la ilusoria. Pon en la calculadora el recorte de quienes dispararon: control con 60.000 visitantes y 1.200 conversiones, variación con 60.000 visitantes y 1.440 conversiones, confianza del 95 por ciento.

Control (A)

VisitantesConversiones

Variación (B)

VisitantesConversiones

Confianza90%95%99%

Control (A) · Tasa-

Variación (B) · Tasa-

Mejora relativa-

valor-p-

IC 95% de la diferencia-

Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.

La pantalla muestra una tasa del 2,00% en el control y del 2,40% en la variación, mejora relativa del +20,0%, valor p < 0,0001, intervalo de +0,2% … +0,6% (pp) y el veredicto Ganadora con significancia · B gana. Fuera de la pantalla, con más decimales del motor estadístico del blog (significance), la z vale 4,7232, el valor p es 0,0000023 y el intervalo va de 0,2340 a 0,5660 puntos porcentuales. El efecto es real para ese grupo. Es el número que suele ir a la presentación.

Lectura 2, la conversión diluida. Cambia a la base entera: control con 200.000 visitantes y 6.240 conversiones, variación con 200.000 y 6.480. La pantalla muestra 3,12% frente a 3,24%, mejora del +3,8%, valor p 0,0306, intervalo +0,0% … +0,2% (pp) y todavía Ganadora con significancia · B gana. Fuera de la pantalla, con el mismo motor, la z vale 2,1626 y el intervalo va de 0,0112 a 0,2288 puntos porcentuales; el límite de abajo casi toca el cero. El pop-up genera pedidos de más de verdad: 240 en el periodo. Detalle importante: con 200.000 por brazo, ese test tenía cerca de un 58 por ciento de potencia para ese efecto (powerForSample), así que la significancia vino con margen estrecho, y el efecto medido tiende a venir inflado, como explica la maldición del ganador.

Lectura 3, ingresos y margen. Aquí la calculadora de significancia no sirve, porque compara proporciones y los ingresos por visitante son una métrica continua. El cálculo de abajo se hizo para esta guía, fuera de la calculadora, con un test z de diferencia de medias y tres hipótesis declaradas: como máximo un pedido por visitante, desviación estándar del ticket de R$ 200 y pedidos con cupón con valor neto medio de R$ 225 y desviación de R$ 180. La desviación estándar de los ingresos por visitante queda en R$ 56,01 en el control.

métrica por visitante sorteado	control	tratamiento	diferencia	intervalo del 95%	valor p
conversión entre disparados	2,00%	2,40%	+20,0%	+0,23 a +0,57 pp	por debajo de 0,0001
conversión en la base entera	3,12%	3,24%	+3,8%	+0,01 a +0,23 pp	0,0306
ingresos netos de descuento	R$ 7,80	R$ 7,98	+2,2%	menos R$ 0,17 a más R$ 0,52	0,32
margen bruto menos descuento	R$ 3,12	R$ 3,12	menos 0,2%	menos R$ 0,14 a más R$ 0,13	0,94

En dinero del periodo: los ingresos del control fueron de R$ 1.560.000; los del tratamiento, R$ 1.620.000 brutos y R$ 1.595.000 netos de R$ 25.000 en descuento, más R$ 35.000. El margen fue de R$ 624.000 contra R$ 623.000, menos R$ 1.000. El margen por visitante del tratamiento, con más decimales, es R$ 3,115.

Qué decidir. El test no prueba que el pop-up destruya margen: el intervalo del margen va de cerca de menos 4,6 a más 4,3 por ciento. Muestra que el cupón del 10 por ciento, dado a todo el que amenaza con salir, paga con descuento casi exactamente lo que gana en volumen, y que los 1.000 “pedidos recuperados” del panel eran 240. Los próximos tests obvios son un descuento menor, una oferta sin descuento (plazo de entrega, cambio gratis, garantía, como sugerimos en test A/B de descuento y promoción) y el pop-up restringido a quien nunca compró.

El control de sanidad. Si el registro contrafactual estuviera roto, la primera pista sería la cuenta de disparos. Con 60.000 disparos en un brazo y 58.900 en el otro, el verificador de SRM acusa un valor p de 0,0014 (srmCheck). El equipo de experimentación de Microsoft recomienda exactamente esos dos tests: ningún reparto desigual en el recorte disparado y un recorte del complemento que parezca A/A.

Ejemplo trabajado 2: SaaS B2B cambiando correo por material

Escenario. Un SaaS B2B con 20.000 visitantes por semana prueba, durante seis semanas, un pop-up de salida que ofrece un informe de benchmark a cambio del correo. El objetivo es el inicio de trial. Son 60.000 visitantes por brazo, y el 25 por ciento dispara (15.000).

Resultado. El pop-up captó 600 correos, un 4,0 por ciento de las impresiones, en el orden de magnitud del número de Wisepops. El formulario normal generó 900 leads en cada brazo.

métrica	control	tratamiento	efecto	valor p	lo que muestra la pantalla de la calculadora
leads (formulario más pop-up), base entera	900 de 60.000 (1,50%)	1.500 de 60.000 (2,50%)	+66,7%	por debajo de 0,0001	Ganadora con significancia · B gana
trials, base entera	1.200 de 60.000 (2,00%)	1.164 de 60.000 (1,94%)	menos 3,0%	0,4546	Todavía sin significancia
trials entre disparados	240 de 15.000 (1,60%)	204 de 15.000 (1,36%)	menos 15,0%	0,0852	Todavía sin significancia

Pega cada fila en la misma calculadora de significancia de arriba. En la de trials en la base entera, la pantalla muestra 2,00% frente a 1,94%, mejora del -3,0%, valor p 0,4546, intervalo -0,2% … +0,1% (pp) y Todavía sin significancia. La dilución cuadra: menos 0,24 puntos entre disparados por un 25 por ciento da menos 0,06 puntos en la base, los mismos 36 trials de menos.

La lectura ilusoria es la primera fila: leads más 66,7 por ciento. La lectura honesta es que el test no consigue decir si el pop-up quita trials: con 60.000 por brazo y un 2 por ciento de base, el menor efecto detectable es de cerca del 11,3 por ciento relativo (mdeForSample), y la potencia para ver una caída del 3 por ciento era del 11 por ciento. “Sin significancia” aquí es falta de muestra, no ausencia de daño, y la señal del análisis por disparo (menos 15,0 por ciento, valor p de 0,0852) sugiere que el informe puede estar sustituyendo al trial. El mismo intercambio entre volumen y calidad aparece en formulario de demostración y flujo de registro.

Plan de muestra: cuánto encarece la dilución el test

La pregunta de planificación es “cuánto tráfico necesito para ver el efecto que importa”. Usa la calculadora dos veces, una para cada lectura del ejemplo de la tienda.

Tasa de conversión actual%Efecto mínimo detectablerelativo (%)absoluto (pp)Confianza909599%Poder8090%Visitantes por semana (total)Testbilateralunilateral

-Visitantes por variación

-Total (2 variaciones)

-Duración estimada

Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.

Análisis por disparo. Escribe una tasa de conversión actual de 2, efecto mínimo de 20 relativo, confianza del 95, potencia del 80, visitantes por semana de 30000 (el 30 por ciento de 100.000 que dispara) y test bilateral. La pantalla muestra 21.109 visitantes por variación, 42.218 en total y 10 días. En visitantes sorteados, son 21.109 divididos por 0,30, cerca de 70.364 por brazo.

Base entera. Cambia a una tasa actual de 3,12, efecto mínimo de 3,85 relativo y 100000 visitantes por semana. La pantalla muestra 334.970 por variación, 669.940 en total y 47 días. Con el efecto exacto del 3,846 por ciento, son 335.634 por variación. Es cerca de 4,8 veces la muestra del análisis por disparo, para el mismo efecto.

Ingresos netos por visitante. Esa cuenta la calculadora no la hace, porque la métrica es continua. Con la desviación de R$ 56,01 por visitante del ejemplo y el efecto observado de R$ 0,175, la fórmula de dos medias (dos veces la suma de las z del 95 y del 80 por ciento al cuadrado, por la varianza, dividido por el efecto al cuadrado) da cerca de 1.608.046 visitantes por variación, o 226 días a 100.000 por semana. El método está en tamaño de muestra para métricas continuas, y reducir esa varianza es el asunto de outliers y capping.

El plan sensato para el tráfico de la tienda del ejemplo: análisis por disparo para saber rápido si la oferta cambia el comportamiento de quien sale, conversión en la base como confirmación e ingresos y margen leídos como intervalo. Con poco tráfico, ver CRO para sitios de bajo tráfico.

Pop-up de salida, móvil y SEO: lo que Google dice y lo que no

Pop-up y SEO suelen discutirse con más convicción de la que la documentación permite. Separando texto de interpretación:

Lo que dice la documentación actual (“Avoid intrusive interstitials and dialogs”, Google Search Central, actualizada el 10/12/2025, consultada el 15/09/2026): los intersticiales y diálogos intrusivos son elementos que obstruyen la visión del contenido, generalmente con fines promocionales; los intersticiales cubren la página entera y los diálogos, parte de ella. Dificultan que los buscadores entiendan el contenido, lo que puede llevar a un peor rendimiento en la búsqueda. La recomendación es usar banners que ocupen una fracción pequeña de la pantalla; los errores a evitar, salvo obligación legal, son cubrir la página entera y redirigir a otra página para pedir consentimiento o datos.

Lo que no dice. No menciona el pop-up de salida, no separa móvil de ordenador y no trata el momento en que aparece el diálogo. La página sobre experiencia de página incluye “evitar intersticiales intrusivos” en una lista de autoevaluación y afirma que, más allá de las Core Web Vitals, los otros aspectos de experiencia de página no ayudan directamente a posicionar, aunque hacen el sitio más satisfactorio.

Lo que decía el anuncio de 2016, hoy marcado por el propio Google como posiblemente desactualizado: a partir de enero de 2017, las páginas con contenido poco accesible en la transición desde la búsqueda en el móvil podrían posicionar peor. Uno de los ejemplos era un pop-up que cubre el contenido principal justo después de la llegada desde la búsqueda o mientras la persona lee la página. Los avisos de cookies y de edad, los diálogos de inicio de sesión para contenido no indexable y los banners de tamaño razonable, fáciles de cerrar, se citaban como no afectados, si se usan con responsabilidad.

Nuestra lectura, que es interpretación. El pop-up de salida por puntero en el ordenador no aparece en la llegada. En el móvil, las señales indirectas disparan mientras la persona todavía está en la página, lo que se parece al ejemplo de 2016 de pop-up durante la lectura. Nada en la documentación exime al pop-up de salida, y nada lo condena específicamente. El camino de menor riesgo en el móvil es el que el propio Google recomienda: un banner pequeño y fácil de cerrar, testeado contra el de pantalla completa. El paralelo está en CRO vs SEO, y medir el efecto en tráfico orgánico exige otro diseño, el de test A/B para SEO.

Checklist del test

1. Hipótesis con métrica de dinero. “El cupón aumenta los ingresos netos por visitante”, y no “el pop-up capta correos”.
2. Sorteo por visitante en la llegada, estable entre visitas, antes de cualquier disparo.
3. Regla de disparo idéntica en los dos brazos, con la misma señal, el mismo retardo y el mismo límite de frecuencia.
4. Registro contrafactual en el control, con el mismo evento y la misma clave de visitante del tratamiento.
5. Cuenta de disparos comprobada por brazo con un verificador de SRM antes de mirar cualquier resultado.
6. Complemento como A/A. Los no disparados no pueden mostrar diferencia entre los brazos.
7. Lectura separada por aparato, porque ordenador y móvil disparan por mecanismos diferentes.
8. Cupón de código único, con el uso por no disparados monitoreado.
9. Métrica primaria en la base entera, ingresos netos o conversión que paga las cuentas; análisis por disparo como recorte con dilución declarada.
10. Muestra y duración fijadas antes, por la pregunta que decide, sin parar en el primer valor p bonito, por el motivo explicado en el problema del peeking.
11. Guardrails de lista y de recompra: bajas, quejas de spam, recompra a 30, 60 y 90 días.
12. Banner ligero en el móvil como variación, para medir el coste del pop-up de pantalla completa en vez de suponerlo.

Errores comunes

• Aceptar las “ventas recuperadas” del panel. En el ejemplo, 1.000 se convirtieron en 240.
• Reportar el efecto entre disparados como efecto del sitio. Más 20 por ciento se convirtió en más 3,8 por ciento en la base.
• Medir conversión e ignorar el descuento. Un pedido de más con cupón puede ser margen de menos.
• Tratar “sin significancia” como “sin daño”. El SaaS del ejemplo tenía un 11 por ciento de potencia para ver la caída de trials.
• Ejecutar el pop-up junto con la recuperación por correo sin alinear la atribución, contando la misma venta dos veces, como mostramos en test de email de carrito abandonado.

Hazlo automático en Donnu

El dolor específico del pop-up de salida es que la herramienta que muestra la ventana es la misma que cuenta el éxito, y solo ve el brazo en el que la ventana existe.

El snippet de Donnu sortea a cada visitante en una variación de forma estable, por un identificador de visitante, cuando carga una página del experimento, y lo mantiene en la misma variación en las visitas siguientes: con el experimento cubriendo las páginas de entrada, es el sorteo en la llegada que esta guía recomienda. La variación puede cargar JavaScript propio, lo que permite activar el pop-up solo en el tratamiento. Para el registro contrafactual, el snippet expone la función window.dab.event, que registra un evento personalizado y cuenta las metas personalizadas con ese nombre en los experimentos en los que el visitante fue sorteado: llama a window.dab.event('saida_elegivel') en el mismo escucha de salida, en los dos brazos, y registra ese evento como meta secundaria. La cuenta de quién llegó al disparo aparece por variación en el informe, lista para el verificador de SRM. La compra o el trial entran como meta primaria, por página de confirmación, por evento o confirmados por tu servidor con el identificador del visitante, disponible en window.dab.uid. Donnu no hace análisis por disparo ni mide ingresos y margen: esas cuentas salen de tu base de pedidos.

Lo que sigue siendo tu trabajo es la pregunta de dinero: descuento, margen y recompra viven en tu sistema de pedidos. Para las cuentas en proporción, la calculadora de significancia y la calculadora de tamaño de muestra hacen las de esta guía con tus números, y la calculadora de ingresos por visitante ayuda a traducir conversión en dinero.

Referencias

• Google Search Central. Avoid intrusive interstitials and dialogs. Actualizada el 10/12/2025, consultada el 15/09/2026. Definición de intersticiales y diálogos intrusivos, riesgo de peor rendimiento en la búsqueda, recomendación de banners pequeños y errores a evitar. developers.google.com.
• Google Search Central. Understanding page experience in Google Search results. Consultada el 15/09/2026. Autoevaluación sobre intersticiales y afirmación de que, más allá de las Core Web Vitals, otros aspectos no ayudan directamente a posicionar. developers.google.com.
• Phan, D. Helping users easily access content on mobile. Google Search Central Blog, 2016, actualizado en 2017 y marcado como posiblemente desactualizado. Señal de contenido poco accesible en el móvil y ejemplo de pop-up en la llegada o durante la lectura. developers.google.com.
• Wisepops. How to create an Exit-Intent Popup. Consultada el 15/09/2026. Detección por el cursor, botón atrás y desplazamiento hacia arriba, salvedades de Chrome en Android y de navegadores internos de apps. support.wisepops.com.
• OptiMonk. Exit-intent trigger on mobile devices. Consultada el 15/09/2026. Señales en el móvil y condición de página de entrada con interacción. support.optimonk.com.
• Popup Maker. Exit Intent Methods. Consultada el 15/09/2026. Métodos en el ordenador y en el móvil, incluido el desplazamiento hacia arriba por encima del 10 por ciento, y recomendación de cookie. wppopupmaker.com.
• Lawrowski, P. 20+ Popup Statistics 2026 (Based on 1B Displays). Blog de Wisepops, fechado el 30/09/2025, consultado el 15/09/2026. El 3,94 por ciento de los pop-ups de salida, la base de cerca de mil millones de impresiones de la plataforma y la definición de conversión como correos por impresión. wisepops.com.
• Machmouchi, W. y Gupta, S. Patterns of Trustworthy Experimentation: Post-Experiment Stage. Microsoft Research, 2021. Registro contrafactual, condición de disparo en los dos brazos y verificaciones de SRM y de complemento como A/A. microsoft.com.
• Deng, A. y Hu, V. Diluted Treatment Effect Estimation for Trigger Analysis in Online Controlled Experiments. WSDM 2015. Fórmula de dilución por la fracción de disparados y verificación por el complemento. PDF leído. alexdeng.github.io.
• Deng, A., Yuan, L., Kanai, N. y Salama-Manteau, A. Zero to Hero: Exploiting Null Effects to Achieve Variance Reduction in Experiments with One-sided Triggering. WSDM 2023. Reducción de varianza por el inverso de la tasa de disparo, disparo observado solo en el tratamiento y SRM en condiciones de disparo complejas. PDF leído. arxiv.org.
• Kohavi, R., Deng, A., Longbotham, R. y Xu, Y. Seven Rules of Thumb for Web Site Experimenters. KDD 2014. Dilución por el tamaño del segmento y métricas de funcionalidad que suben canibalizando otras áreas. PDF leído. exp-platform.com.
• Kohavi, R. Triggering in A/B Tests. LinkedIn, 2018. Definición de disparo y regla de inclusión por el contrafactual. linkedin.com.

Lee también: Análisis por disparo y dilución · Test A/B de carrito abandonado · Test A/B de descuento y promoción · Métricas de guardrail · Holdout de largo plazo · Calculadora de significancia · Leia em português · Read in English