Test A/B en Plataforma de Anuncios: qué rompe la subasta
Test A/B en plataforma de anuncios: división por cookie o por búsqueda, presupuesto compartido, entrega optimizada y cómo leer el resultado sin engañarte.
📚 Este artículo es parte de la guía Significancia Estadística en Tests A/B: La Guía.
El experimento nativo de la plataforma de anuncios es un sorteo de verdad, pero con tres propiedades que ningún test A/B de tu sitio tiene: la unidad sorteada puede ser la búsqueda y no la persona, los dos brazos suelen competir por el mismo presupuesto y la entrega dentro de cada brazo la decide un sistema que reacciona a lo que estás testeando. La documentación de Google Ads es explícita sobre la primera: en la división por búsqueda, “el mismo usuario podría ver tanto el experimento como tu campaña original”. Eso es contaminación declarada en el manual, y encoge el efecto medido. En esta guía: qué rompe cada mecanismo, un ejemplo trabajado en el que un efecto real de 0,30 puntos porcentuales aparece como 0,195 por causa de 35 por ciento de solapamiento, por qué el verificador de SRM tiene que ejecutarse sobre usuarios y no sobre clics, y qué diseño responde la pregunta que el experimento de campaña no responde. Esta guía forma parte de nuestra guía completa de test A/B.
Tres mecanismos, tres problemas distintos
Antes de mirar números, vale la pena separar qué está roto exactamente. Son tres cosas independientes, y confundirlas lleva a arreglos equivocados.
| mecanismo | qué hace | qué rompe | qué hacer |
|---|---|---|---|
| unidad de aleatorización | sortea por persona o por evento de búsqueda | la independencia entre observaciones; en el caso de la división por búsqueda, contamina los brazos a propósito | elegir división por cookie cuando la pregunta sea causal |
| presupuesto compartido | los dos brazos sacan del mismo bolsillo | la independencia entre brazos: el desempeño de B cambia lo que sobra para A | leer el resultado como comparación bajo restricción, no como efecto aislado |
| entrega optimizada | dentro de cada brazo, el sistema elige quién ve | la comparabilidad de las muestras: cada brazo recibe un público distinto | registrar y comparar la composición entregada en los dos brazos |
El primero es un problema de diseño y tiene solución dentro de la plataforma. El segundo y el tercero no tienen solución desde dentro, solo salvedad. Vamos uno por uno.
Unidad de aleatorización: cuando la plataforma sortea la búsqueda, no la persona
En la documentación de configuración de experimento personalizado de Google Ads, las dos opciones de división para campañas de búsqueda se describen así. La división basada en cookie, marcada como recomendada, “sortea usuarios aleatoriamente hacia tu experimento o hacia la campaña original y garantiza que un determinado usuario vea solo la original o el experimento”. La división basada en búsqueda “sortea usuarios hacia tu experimento o hacia la campaña original cada vez que ocurre una búsqueda”, y la documentación añade: “si un usuario hace varias búsquedas, el mismo usuario podría ver tanto el experimento como tu campaña original”. El manual registra que esa segunda opción “puede llegar a resultados estadísticamente significativos más rápido que la división por cookie”.
Esa última frase es verdadera y peligrosa al mismo tiempo. Es verdadera porque, contando búsquedas en vez de personas, el denominador crece y el error estándar se encoge. Es peligrosa porque la significancia que aparece más rápido está midiendo un efecto distinto del que quieres: si la misma persona ve las dos versiones, lo que mediste no es “el efecto de recibir la versión B”, es algo entre eso y cero.
La regla práctica es corta: si la pregunta es causal, usa división por cookie y acepta la espera. La división por búsqueda sirve cuando quieres una lectura operativa rápida de algo grueso y estás dispuesto a escribir en el informe que el efecto medido es una cota inferior del efecto real.
Ese es el mismo problema que tratamos en interferencia entre variantes bajo otro nombre: la suposición de que el resultado de una unidad no depende del tratamiento de las otras unidades, y aquí de cuáles otros tratamientos recibió la misma unidad.
Presupuesto compartido: los brazos compiten entre sí
La documentación de Google Ads registra que “el experimento comparte el tráfico (y el presupuesto) de tu campaña original”, y que si la campaña base se pausa o termina antes del experimento, el experimento no corre. En otras palabras, los brazos no son dos experimentos independientes corriendo en paralelo, son dos pedazos del mismo presupuesto.
Eso crea una dependencia que no existe en un test de página. Si el brazo B gasta más rápido, sobra menos para el brazo A ese día, y el brazo A pasa a correr en un régimen distinto del que correría solo. El efecto medido, entonces, es el efecto de B dado que A también estaba compitiendo por el mismo dinero, y no el efecto de B si él fuera la única campaña al aire.
Eso importa por un motivo muy concreto: es exactamente el escenario de implantación que quieres prever cuando vas a sustituir A por B. Si ganas y apagas el brazo A, la campaña B pasa a correr con el presupuesto entero, y el comportamiento de la subasta cambia. Hay evidencia directa de que el presupuesto por sí solo cambia a quién se alcanza: Ali y colegas (2019) lanzaron la misma campaña con límites diarios de 1, 2, 5, 10, 20 y 50 dólares, manteniendo creativo y público constantes, y midieron una correlación de Pearson de menos 0,88 (valor-p por debajo de 10 elevado a menos 5) entre presupuesto diario y fracción de hombres alcanzados cuando el objetivo eran todos los usuarios de Estados Unidos, y de menos 0,73 (valor-p por debajo de 10 elevado a menos 3) cuando el objetivo era un público personalizado. Más presupuesto, público distinto.
| qué mediste | qué vas a implantar | por qué difiere |
|---|---|---|
| B con la mitad del presupuesto, compitiendo con A | B con el presupuesto entero | más presupuesto cambia el público alcanzado, como midieron Ali y colegas |
| B mientras A aprendía | B después de que el sistema aprendió | la fase de aprendizaje tiene un desempeño distinto del régimen estable |
| B en un período específico | B de aquí en adelante | subasta, competencia y estacionalidad cambian |
Nada de eso vuelve inútil el experimento. Vuelve frágil la extrapolación. La postura honesta es tratar el resultado del experimento de campaña como evidencia direccional bajo las condiciones del test, y confirmar la decisión con el desempeño posterior a la implantación en vez de considerar la cuestión cerrada el día del informe.
Entrega optimizada: cada brazo recibe un público distinto
Este es el tercer mecanismo, y el menos visible. Dentro de cada brazo, el sistema de entrega elige quién ve el anuncio con base en la previsión de relevancia y en el precio de la subasta. Como los brazos tienen configuraciones distintas (ese es justamente el punto del test), terminan con públicos distintos.
Cuando la variable testeada es el propio creativo, ese efecto es enorme y está medido: Ali y colegas obtuvieron una entrega de 91 por ciento de hombres contra 5 por ciento de hombres solo cambiando la imagen, con público declarado, puja y presupuesto idénticos. La consecuencia para el diseño de test de creativo está en test A/B de creatividad publicitaria.
Cuando la variable testeada es la estrategia de puja, la palabra clave o la página de destino, el efecto es menor, pero no es cero: cualquier cambio que altere la previsión de desempeño altera también en cuáles subastas entra la campaña. Por eso la comprobación más útil de un experimento de campaña no es el valor-p, es la comparación de la composición entregada entre los brazos.
| qué comparar entre brazos | por qué | qué hacer si divergen mucho |
|---|---|---|
| impresiones y alcance | un volumen desigual sugiere que el presupuesto no se dividió como se configuró | investigar antes de leer el resultado |
| frecuencia media | una fatiga desigual cambia la tasa de clic por razones que no son el tratamiento | segmentar la lectura por franja de frecuencia |
| corte por dispositivo y emplazamiento | una composición distinta cambia la tasa base | leer el efecto dentro de cada corte, no solo en el agregado |
| distribución de consultas o públicos | el brazo puede haber entrado en subastas distintas | reportar la divergencia junto con el resultado |
Si los cortes divergen mucho, lo que tienes no es un test A contra B, son dos campañas distintas medidas en el mismo período. Eso no es nulo, pero la conclusión tiene que escribirse a nivel del paquete, como discutimos en métrica primaria y OEC.
Ejemplo trabajado: el mismo test, con y sin contaminación
Una tienda quiere testear una estrategia de puja nueva en una campaña de búsqueda. El test corre 50/50 durante 14 días. La tasa de conversión del clic en el control es de 2,50 por ciento.
Escenario 1: división por cookie. Cada usuario ve solo uno de los brazos.
| brazo | clics | conversiones | tasa de conversión |
|---|---|---|---|
| A (original) | 18.400 | 460 | 2,5000% |
| B (experimento) | 18.700 | 524 | 2,8021% |
El test z de dos proporciones devuelve: lift relativo de más 12,09 por ciento, diferencia de 0,3021 puntos porcentuales, valor-p de 0,0702, intervalo de confianza de 95 por ciento de la diferencia yendo de menos 0,0247 a más 0,6290 puntos porcentuales. O sea: no significativo al 5 por ciento, con el intervalo casi todo del lado positivo.
Escenario 2: división por búsqueda, con 35 por ciento de los usuarios viendo los dos brazos. El efecto verdadero es el mismo, pero la contaminación tira de las dos tasas una en dirección de la otra.
| brazo | clics | conversiones | tasa de conversión |
|---|---|---|---|
| A (original) | 18.400 | 469 | 2,5489% |
| B (experimento) | 18.700 | 512 | 2,7380% |
Ahora el test devuelve: lift relativo de más 7,42 por ciento, diferencia de 0,1891 puntos porcentuales, valor-p de 0,2565, intervalo de menos 0,1374 a más 0,5155 puntos porcentuales.
Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.
Pega 18400 y 460 en el lado A y 18700 y 524 en el lado B para reproducir el primer escenario: la pantalla muestra valor-p de 0,0702 y lift de +12,1%, que son los 12,09 por ciento de la tabla redondeados a un decimal. Cámbialo por 18400 y 469 contra 18700 y 512 y la calculadora devuelve 0,2565 con lift de +7,4% (los 7,42 por ciento del segundo escenario, redondeados).
La lectura. Los dos escenarios vienen del mismo mundo, en el que el tratamiento realmente mejora la conversión en 0,30 puntos porcentuales. El primero llega cerca de detectar y no detecta. El segundo ni se acerca, porque la contaminación de 35 por ciento se comió 35 por ciento de la señal antes de que entrara en escena cualquier estadística. Y fíjate en el detalle cruel: el escenario contaminado tenía más observaciones elegibles en la práctica (más búsquedas contadas), y aun así quedó más lejos de la respuesta. Más datos no arreglan el sesgo.
El error de SRM más común en un experimento de anuncios
El verificador de SRM compara la división observada con la configurada. Es uno de los guardrails más útiles que existen, y en un experimento de anuncios suele ejecutarse sobre la métrica equivocada.
| sobre qué ejecutarlo | división observada | chi-cuadrado | valor-p | veredicto |
|---|---|---|---|---|
| usuarios (unidad de aleatorización) | 51.230 contra 48.770 | 60,52 | por debajo de 0,000001 | SRM: la división se rompió |
| clics (resultado del tratamiento) | 18.400 contra 18.700 | 2,43 | 0,1193 | nada que declarar |
Repara en que los dos conjuntos de números vienen del mismo experimento. Si ejecutas el verificador sobre clics, el test pasa y sigues tranquilo con un experimento roto en las manos. Si lo ejecutas sobre usuarios, descubres que un brazo recibió 51,23 por ciento del sorteo en vez de 50, lo que con 100 mil usuarios es una discrepancia que no ocurre por azar.
La regla es la misma que en cualquier otro contexto y vale repetirla: el SRM se ejecuta sobre la unidad de aleatorización. Clics, sesiones, impresiones y conversiones están todos afectados por el tratamiento, así que una diferencia en ellos es el resultado del experimento, no una alarma. El tratamiento completo está en SRM y reparto desigual de tráfico, y el verificador de SRM hace la cuenta.
En una plataforma de anuncios, el SRM tiene una causa específica que vale la pena conocer: el experimento no empieza y termina exactamente junto con la campaña original. Diferencia de huso horario, retraso de aprobación de anuncio, pausa de un brazo por límite de presupuesto diario, todo eso desequilibra la exposición antes de que ocurra cualquier cosa del lado del usuario.
Potencia: qué conseguía detectar tu test
Antes de escribir “no hubo diferencia”, vale la pena calcular qué era capaz de ver el test. Con 18.500 clics por brazo y tasa base de 2,5 por ciento, al 95 por ciento de confianza y 80 por ciento de potencia, el efecto mínimo detectable es de 0,4548 puntos porcentuales, o 18,19 por ciento relativos.
El efecto verdadero del ejemplo era de 12,09 por ciento relativos. O sea, el test se diseñó para una regla mayor que el efecto que existía. No detectarlo era el desenlace más probable desde el inicio.
mdeForSample con 18.500 por brazo, tasa base de 2,5 por ciento, 95 por ciento de confianza y 80 por ciento de potencia. Un test cuya regla es mayor que el efecto esperado no es un test inconcluyente por mala suerte, es un test que nació sin oportunidad.| qué quieres detectar | clics por brazo (base 2,5%) | duración con 9.100 clics por semana |
|---|---|---|
| más 20% relativo | 16.792 | 26 días |
| más 15% relativo | 29.193 | 45 días |
| más 10% relativo | 64.199 | 99 días |
| más 8% relativo | 99.382 | 153 días |
| más 5% relativo | 250.846 | 386 días |
Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.
La tabla tiene una implicación estratégica que muchos equipos de medios se resisten a aceptar: un experimento de campaña no sirve para refinamiento. Sirve para decisiones grandes, del tipo “esta estrategia de puja entera contra aquella”, “esta estructura de campaña contra aquella”. Testear tres centavos en la puja máxima o una palabra en el titular es matemáticamente inviable en la mayor parte de las cuentas, y lo que aparece como “ganador” en esos tests es ruido, con la inflación de efecto que describimos en maldición del ganador.
Vale registrar la escala del problema medida por quien tenía acceso a los datos: Lewis y Rao (Quarterly Journal of Economics, 2015) analizaron 25 experimentos de campo de publicidad digital, con 2,8 millones de dólares en inversión y campañas alcanzando más de 1 millón de personas en la mediana, y el intervalo de confianza mediano sobre el retorno de la inversión quedó por encima de 100 puntos porcentuales de amplitud. Los autores estiman que experimentos informativos de publicidad pueden exigir más de 10 millones de personas-semana.
Cuándo sirve el diseño de la plataforma y cuándo no
No toda pregunta necesita un diseño más caro. La tabla de abajo es el mapa que usamos.
| pregunta | diseño adecuado | por qué |
|---|---|---|
| “¿esta estrategia de puja es mejor que aquella?” | experimento de campaña, división por cookie | la variable vive dentro de la plataforma y el efecto suele ser grande |
| “¿esta estructura de campaña rinde más?” | experimento de campaña, división por cookie | ídem, con la salvedad del presupuesto compartido |
| “¿este creativo vende más?” | experimento de campaña, con salvedad fuerte | la entrega reacciona al creativo; ver la guía de creatividad |
| “¿esta página de destino convierte mejor?” | test A/B en tu sitio, con el anuncio congelado | el sorteo vuelve a ser tuyo; ver la guía de correspondencia de mensaje |
| “¿vale la pena anunciar en este canal?” | incrementalidad con grupo de control sin anuncio | solo un control sin exposición responde eso |
| “¿cuánto suman los medios pagados a las ventas totales?” | experimento geográfico | cuando el control por persona no es viable |
Las dos últimas filas son el punto más importante de esta sección. Comparar dos brazos de campaña nunca responde si la campaña vale la pena, porque los dos brazos tienen anuncio. Para esa pregunta, el diseño es otro: mira test de incrementalidad de los medios pagados y experimentos geográficos.
Cómo leer el informe de un experimento de campaña
- ¿Cuál fue la unidad de aleatorización? Si fue la búsqueda, escribe en el informe que el efecto medido es una cota inferior.
- ¿La división coincidió con lo configurado en la unidad de aleatorización? Ejecuta el verificador sobre usuarios, no sobre clics.
- ¿Cuál era el efecto mínimo detectable del test? Sin ese número, “no significativo” no quiere decir nada.
- ¿El presupuesto se dividió como se esperaba a lo largo de todos los días? Un brazo que alcanzó el límite diario antes que el otro corrió en un régimen distinto.
- ¿Los dos brazos empezaron y terminaron en el mismo instante? La aprobación de anuncio y el huso horario crean un desequilibrio invisible.
- ¿La composición entregada fue parecida? Compara dispositivo, emplazamiento, frecuencia y franja de consulta.
- ¿La métrica es de clic o de negocio? La conversión medida por la plataforma y el pedido pagado en tu base suelen divergir; declara cuál es la primaria.
- ¿El período cubrió semanas enteras? Mira ciclo semanal y duración.
- ¿Hubo algún cambio en la cuenta durante el test? Alterar presupuesto, público o creativo a mitad de camino empalma dos experimentos.
Checklist antes de encender el experimento
- Escribe la hipótesis y la métrica primaria antes de todo, con el denominador explícito.
- Elige división por cookie cuando la pregunta sea causal, aunque tarde más.
- Calcula el efecto mínimo detectable con el tráfico que realmente tienes, y solo enciende el test si es menor que el efecto que esperas.
- Usa una división 50/50, que es la que maximiza la potencia para un tamaño total dado y es lo que la propia documentación de Google Ads recomienda para la mejor comparación.
- Congela todo lo que no es la variable: creativo, público, presupuesto total, página de destino.
- Programa el período en semanas enteras y registra inicio y fin antes.
- Instrumenta la conversión también de tu lado, para poder compararla con lo que reporta la plataforma.
- Define antes qué harás si el resultado no es concluyente. En la mayor parte de las cuentas, ese es el desenlace más probable, y decidirlo después se convierte en elección de narrativa.
- Planea la confirmación posterior a la implantación, porque el régimen de presupuesto cambia cuando el brazo perdedor se apaga.
Hazlo automático en Donnu
El dolor específico de testear dentro de la plataforma de anuncios es que no controlas el sorteo, no controlas la entrega y mides la conversión con el instrumento de quien te vende los medios. Una parte de eso no tiene arreglo. La otra parte es lo que ocurre después del clic, y esa sí la controlas.
En Donnu, el experimento corre en tu sitio, con sorteo por visitante y peso fijo, y puede restringirse por origen de tráfico, lo que permite testear la página solo para quien llegó de una campaña específica sin mezclar con el tráfico orgánico. La meta de conversión puede confirmarse desde tu servidor, con valor del pedido, lo que da un número independiente de lo que reporta la plataforma. El informe es bayesiano, avisa cuando la división de visitantes se aleja de lo configurado, que es el guardrail de SRM ejecutándose sobre la unidad correcta, y solo declara ganadora con al menos 200 visitantes por variación y 7 días de test.
Lo que sigue siendo tuyo: elegir la división correcta del lado de la plataforma, dimensionar para el efecto que esperas y aceptar que la pregunta de incrementalidad pide otro diseño. Para el resto, la calculadora de tamaño de muestra, la calculadora de efecto mínimo detectable y el verificador de SRM hacen las cuentas de esta guía con tus números, gratis.
Referencias
- Google. Configurar un experimento personalizado. Centro de Ayuda de Google Ads. Página leída íntegramente. Fuente de las dos opciones de división para campañas de búsqueda, de la descripción de la división por cookie como la que garantiza que un usuario vea solo una de las versiones, de la descripción de la división por búsqueda y del registro explícito de que el mismo usuario puede ver las dos versiones si hace varias búsquedas, de la recomendación de 50 por ciento para la mejor comparación, y del hecho de que el experimento comparte el tráfico y el presupuesto de la campaña original. Consultado el 22/09/2026. support.google.com.
- Ali, Muhammad; Sapiezynski, Piotr; Bogen, Miranda; Korolova, Aleksandra; Mislove, Alan y Rieke, Aaron. Discrimination through Optimization: How Facebook’s Ad Delivery Can Lead to Biased Outcomes. Proceedings of the ACM on Human-Computer Interaction, v. 3, CSCW, artículo 199, noviembre de 2019. Artículo leído íntegramente. Fuente del experimento de presupuesto diario de 1 a 50 dólares con creativo y público constantes, de las correlaciones de Pearson de menos 0,88 (valor-p por debajo de 10 elevado a menos 5) para todos los usuarios de Estados Unidos y menos 0,73 (valor-p por debajo de 10 elevado a menos 3) para públicos personalizados, y de la entrega de 91 contra 5 por ciento de hombres al cambiar solo la imagen. Consultado el 22/09/2026. ccs.neu.edu.
- Lewis, Randall A. y Rao, Justin M. The Unfavorable Economics of Measuring the Returns to Advertising. The Quarterly Journal of Economics, v. 130, n. 4, noviembre de 2015, p. 1941-1973. PDF leído en las secciones de resumen, introducción y potencia estadística. Fuente de los 25 experimentos de campo, de los 2,8 millones de dólares en inversión, de la mediana de más de 1 millón de personas alcanzadas por campaña, del intervalo de confianza mediano por encima de 100 puntos porcentuales de amplitud y de la estimación de más de 10 millones de personas-semana para un experimento informativo. Consultado el 22/09/2026. gwern.net.
Lee también: Test A/B de creatividad publicitaria · Correspondencia de mensaje entre anuncio y página · Test de incrementalidad de los medios pagados · Experimentos geográficos · SRM y reparto desigual de tráfico · Interferencia entre variantes · Maldición del ganador · Leia em português · Read in English
Preguntas frecuentes
- ¿El experimento de la plataforma de anuncios es un test A/B de verdad?
- Es un experimento con sorteo, pero con tres diferencias que cambian la lectura: la unidad de aleatorización puede no ser la persona, los dos brazos suelen disputar el mismo presupuesto y la entrega dentro de cada brazo está optimizada por un sistema que reacciona a lo que se está testeando. Nada de eso invalida el diseño, pero cada uno de ellos exige una salvedad explícita en el informe.
- ¿Cuál es la diferencia entre división por cookie y división por búsqueda en Google Ads?
- Según la documentación de Google Ads, la división por cookie "sortea usuarios aleatoriamente hacia tu experimento o hacia la campaña original y garantiza que un determinado usuario vea solo la original o el experimento". La división por búsqueda "sortea usuarios hacia tu experimento o hacia la campaña original cada vez que ocurre una búsqueda", y la propia documentación registra que, si un usuario hace varias búsquedas, "el mismo usuario podría ver tanto el experimento como tu campaña original". La segunda contamina los brazos a propósito, a cambio de llegar antes a un resultado significativo.
- ¿Por qué la contaminación entre brazos reduce el efecto medido?
- Porque quien vio los dos tratamientos carga un pedazo de cada uno. Si una fracción de los usuarios queda expuesta a los dos brazos, la diferencia medida se encoge aproximadamente en la proporción de esa fracción. En el ejemplo de esta guía, un efecto real de 0,30 puntos porcentuales con 35 por ciento de solapamiento aparece como 0,195 puntos porcentuales, lo que derrumba el valor-p de 0,0702 a 0,2565. El test no queda solo menos preciso, queda sesgado hacia abajo.
- ¿Debo ejecutar el verificador de SRM en un experimento de anuncios?
- Sí, pero sobre la unidad de aleatorización, no sobre clics. Los clics son un resultado del tratamiento, así que una diferencia de clics entre los brazos es esperada y no indica nada mal. En el ejemplo de esta guía, la división de clics 18.400 contra 18.700 pasa tranquila (valor-p de 0,1193) mientras que la división de usuarios 51.230 contra 48.770 reprueba con chi-cuadrado de 60,52 y valor-p por debajo de 0,000001.
- ¿Un resultado no significativo quiere decir que el cambio no funcionó?
- No. Quiere decir que el test no consiguió separar el efecto del ruido. Con 18.500 clics por brazo y 2,5 por ciento de conversión, el efecto mínimo detectable con 80 por ciento de potencia es de cerca de 18,2 por ciento relativos. Una ganancia real de 12 por ciento queda por debajo de esa regla y no sería detectada la mayor parte de las veces, incluso existiendo.
- ¿Qué diseño responde de verdad si los medios pagados valen la pena?
- Un diseño de incrementalidad, con grupo de control que no ve ningún anuncio, o un experimento geográfico cuando el control por persona no es posible. Comparar dos brazos de campaña entre sí responde "cuál configuración es mejor", nunca "vale la pena anunciar". Son preguntas distintas y piden diseños distintos.