CRO

Pujas automáticas: el optimizador es parte de tu test

Las pujas automáticas se recalibran durante tu test A/B. Cómo la fase de aprendizaje diluye el efecto, el costo en poder y tres diseños que resisten.

Ilustración plana de un regulador mecánico con volante que ajusta solo la válvula de un embudo que vierte pequeñas esferas en una canaleta, en fondo verde menta

Las pujas automáticas no son un ajuste de configuración, son un segundo experimento corriendo encima del tuyo. Una estrategia de puja que optimiza en la subasta se recalibra a lo largo del tiempo, y Google Ads declara que esa recalibración puede llevar algunos ciclos de conversión, típicamente 1 o 2. Si esa ventana cae dentro del período que vas a comparar, el brazo tratado fue una cosa en las dos primeras semanas y otra cosa en las cuatro siguientes, y el promedio de las dos no es el efecto de ninguna. En el ejemplo trabajado de esta guía, el mismo experimento devuelve tres veredictos distintos según la ventana leída: el tratamiento pierde de forma significativa en las semanas 1 y 2, empata en la ventana entera de 6 semanas y gana de forma significativa en las semanas 3 a 6. Ninguno de los tres es un error de cálculo. Esta guía cubre lo que hace el optimizador y tu plan no previó, por qué la dilución es aritmética simple, cuánto cuesta en poder, y tres diseños que sobreviven a un optimizador encendido. Esta guía forma parte de nuestra guía completa de test A/B.

Lo que hacen las pujas automáticas y tu plan no previó

La documentación de Google es directa en la definición: las pujas automáticas inteligentes usan la IA de Google para optimizar para conversiones o valor de conversión en cada subasta, un recurso descrito como puja en el momento de la subasta. Las cuatro estrategias de ese grupo son CPA objetivo, ROAS objetivo, Maximizar conversiones y Maximizar valor de conversión.

Fíjate en el “en cada subasta”. Eso quiere decir que la puja no es un número que fijaste y que vale igual del primer al último día. Es una función que recibe señales de contexto y devuelve una puja distinta en cada consulta. La lista declarada de señales incluye tipo de dispositivo, ubicación física, intención de ubicación, hora del día, día de la semana, pertenencia a una lista de remarketing, características del anuncio, idioma de la interfaz, navegador, sistema operativo y la propia consulta de búsqueda, además de atributos de producto, competitividad de precio y estacionalidad en algunos tipos de campaña.

Para un experimento, de ahí salen tres consecuencias.

lo que hace el optimizador consecuencia para el test
se recalibra con el tiempo el tratamiento en el día 3 no es el mismo tratamiento del día 30
elige quién entra la composición del tráfico del brazo cambia con él, así que la tasa de conversión base se mueve sin que nada en la página haya cambiado
persigue un objetivo, no un resultado mantener el CPA en el objetivo puede significar recortar volumen, y el volumen recortado cambia el denominador de tu test

Ninguna de las tres rompe el sorteo. Las tres mueven lo que estás comparando.

Una puja fija es un número, una puja automática es una función que cambia con el tiempoDos paneles lado a lado sobre un mismo eje de tiempo. En el panel de la izquierda, rotulado puja manual, una línea horizontal recta atraviesa todo el período, indicando que la misma puja vale del primer al último día. En el panel de la derecha, rotulado puja automática, una línea irregular sube y baja en las primeras semanas y después se estabiliza en una altura distinta de la inicial, indicando que la estrategia se recalibra antes de asentarse. Una franja sombreada cubre el tramo inicial de la línea irregular y se identifica como la ventana de calibración.el tratamiento que sorteaste cambia de forma a mitad del períodopuja manualel mismo número todos los díasdía 1día 42puja automáticacalibraciónasentadanivel final distinto del inicialcomparar la ventana entera mezcla dos tratamientos distintos en un solo número
Una puja manual es constante por construcción. Una puja automática es una función que se ajusta, y el período en que se ajusta pertenece a tu experimento tanto como el período posterior.

La fase de aprendizaje tiene un tamaño, y se mide en conversiones

Esta es la parte que casi todo plan de test ignora, a pesar de estar documentada.

Google Ads declara que puede llevar algunos ciclos de conversión, típicamente 1 o 2, que la estrategia de puja se calibre para el nuevo objetivo, y agrega que puede ser más rápido según el volumen de datos de conversión presente. La duración depende de tres factores nombrados: el número de conversiones que obtienen las campañas, grupos de anuncios, palabras clave o productos, la duración de los ciclos de conversión, definida como el tiempo que tarda un clic en resultar en una conversión, y la estrategia de puja elegida.

De esa definición salen dos consecuencias prácticas.

La primera es que la ventana de aprendizaje no se mide en días, se mide en tu propio volumen. Los dos primeros factores declarados, el número de conversiones obtenidas y la duración de los ciclos de conversión, son ambos propiedades de tu cuenta, no del calendario. Una cuenta con volumen alto y ciclo de conversión de dos días cierra los ciclos de calibración antes del final de la primera semana. Una cuenta con volumen bajo y ciclo de dos semanas gasta casi el test entero para cerrar los mismos ciclos. El mismo test, con el mismo diseño, tiene una ventana contaminada corta en una cuenta y larga en la otra.

La segunda es que que el estado deje de decir aprendizaje no significa que terminó. La propia documentación afirma que los algoritmos siguen aprendiendo incluso cuando el estado de la puja ya no muestra “Aprendizaje”. El indicador visible es un piso, no un techo.

Vale la pena conocer también los disparadores declarados del estado de aprendizaje, porque cada uno de ellos es algo que puedes hacer sin querer en medio de un test:

disparador declarado qué significa cómo aparece en un test
nueva estrategia la estrategia se creó o se reactivó hace poco es el caso esperado cuando la estrategia es el tratamiento
cambio de configuración se modificó una configuración de la estrategia alguien ajustó el CPA objetivo en la tercera semana “porque estaba caro”
cambio de composición campañas, grupos de anuncios o palabras clave entraron o salieron de la estrategia pausar una palabra clave de bajo rendimiento reinicia el reloj

Existen además los estados de estrategia limitada, por inventario, límite de puja, presupuesto o por la propia estrategia. Un brazo limitado por presupuesto mientras el otro no lo está no es un brazo tratado, es un brazo estrangulado, y esa diferencia no tiene nada que ver con la hipótesis que escribiste.

La misma ventana de aprendizaje ocupa fracciones distintas del test según el volumen de la cuentaTres barras horizontales apiladas, todas del mismo largo, que representan un test de seis semanas en tres cuentas de volumen distinto. En la cuenta de alto volumen, el tramo inicial sombreado que representa la calibración es muy corto y ocupa una fracción pequeña de la barra. En la cuenta de volumen medio, el tramo sombreado ocupa cerca de un tercio de la barra. En la cuenta de bajo volumen, el tramo sombreado cubre casi toda la barra, indicando que el test entero ocurrió durante la calibración. Una nota registra que el diseño del test es idéntico en los tres casos y solo cambia el volumen.el mismo test de 6 semanas, tres cuentas, tres ventanas contaminadasel tramo oscuro es el período de calibración; el claro es el período comparablealto volumen10%volumen medio33%bajo volumen90%la ventana se cuenta en conversiones, no en díaspor eso el mismo plan de test es seguro en una cuenta e inútil en la otra
Los mismos pocos ciclos de conversión significan cosas muy distintas según el volumen y el ciclo de la cuenta. El plan de test que funciona en el cliente grande puede medir solo calibración en el cliente pequeño.

Ejemplo trabajado: un test, tres veredictos

Los números de abajo salieron del mismo motor estadístico que corre en las calculadoras de esta página, no de una estimación a ojo.

El escenario: una campaña de búsqueda con 32.000 clics por semana, dividida mitad y mitad por cookie entre la campaña original y la de experimento. El control mantiene CPC manual, el tratamiento pasa a CPA objetivo. El test corre 6 semanas. La tasa de conversión del control es estable en 4,00 por ciento durante todo el período.

La estrategia nueva entra en calibración en las dos primeras semanas y convierte peor en ese tramo: 3,70 por ciento. A partir de la tercera semana, ya calibrada, convierte mejor: 4,30 por ciento. Vamos a leer el mismo experimento de tres maneras.

ventana leída control tratamiento diferencia lift relativo valor p IC 95% (pp) veredicto
semanas 1 y 2 1.280/32.000 = 4,0000% 1.184/32.000 = 3,7000% −0,3000 pp −7,5000% 0,048574 −0,5981 a −0,0019 el tratamiento pierde
semanas 1 a 6 3.840/96.000 = 4,0000% 3.936/96.000 = 4,1000% +0,1000 pp +2,5000% 0,266396 −0,0764 a +0,2764 empate
semanas 3 a 6 2.560/64.000 = 4,0000% 2.752/64.000 = 4,3000% +0,3000 pp +7,5000% 0,007129 +0,0815 a +0,5185 el tratamiento gana

Tres lecturas del mismo experimento, tres conclusiones incompatibles, ninguna de ellas equivocada aritméticamente. Pega los números en la calculadora de abajo y reproduce cualquiera de las tres filas.

Calculadora de significancia estadística
Control (A)
Variación (B)
Control (A) · Tasa-
Variación (B) · Tasa-
Mejora relativa-
valor-p-
IC 95% de la diferencia-

Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.

La dilución no es misteriosa, es un promedio ponderado. Dos sextos del período tuvieron un efecto de menos 0,30 puntos y cuatro sextos tuvieron más 0,30 puntos:

(2/6) × (−0,30) + (4/6) × (+0,30) = −0,10 + 0,20 = +0,10 pp

Que es exactamente la diferencia que reporta la ventana entera. El experimento no midió el efecto de la estrategia nueva, midió el promedio entre la estrategia ajustándose y la estrategia ajustada, ponderado por cuánto tiempo ocupó cada una el reloj.

Intervalos de confianza de las tres ventanas del mismo experimentoTres intervalos de confianza horizontales alineados sobre un eje común de diferencia en puntos porcentuales, con una línea vertical que marca el cero. El primer intervalo, de las semanas uno y dos, queda enteramente a la izquierda del cero y está rotulado como el tratamiento pierde. El segundo intervalo, de la ventana entera de seis semanas, cruza el cero y está rotulado como empate. El tercer intervalo, de las semanas tres a seis, queda enteramente a la derecha del cero y está rotulado como el tratamiento gana. Una nota abajo registra que los tres salieron del mismo experimento y difieren solo por la ventana elegida.el mismo experimento, tres ventanas, tres veredictosdiferencia entre tratamiento y control, en puntos porcentualescerosemanas 1 y 2el tratamiento pierde, p = 0,0486semanas 1 a 6empate, p = 0,2664semanas 3 a 6gana, p = 0,0071elegir la ventana después de ver los números es elegir el veredicto
Ninguno de los tres intervalos está equivocado. Lo que está mal es decidir cuál de ellos reportar después de mirar los tres.

Lo que la contaminación cuesta en poder

Aquí está el detalle que más sorprende: incluir la fase de aprendizaje te deja con más datos y menos poder al mismo tiempo.

Con 64.000 clics por brazo, solo las semanas 3 a 6, el poder para detectar el efecto real de más 7,5 por ciento relativo sobre una base de 4 por ciento es de 76,8 por ciento. Para llegar a 80 por ciento, bastarían 69.379 clics por brazo.

Con 96.000 clics por brazo, las 6 semanas enteras, el efecto que queda por detectar es el diluido, de más 2,5 por ciento relativo. El poder para detectar ese efecto cae a 19,8 por ciento, y para llegar a 80 por ciento harían falta 610.010 clics por brazo, casi nueve veces el tráfico del test entero.

La mitad del efecto cuesta cuatro veces la muestra, porque el tamaño de muestra escala con el inverso del cuadrado del efecto. Un período de descarte de dos semanas en un test de seis es caro exactamente en esa proporción.

efecto relativo a detectar muestra por brazo (base 4%, 95%, 80%) días a 32.000 clics/semana
+15% 17.943 8
+10% 39.475 18
+7,5% (efecto real) 69.379 31
+5% 154.304 68
+2,5% (efecto diluido) 610.010 267

Dimensiona por el efecto que vas a medir, no por el que esperas. Si el plan incluye dos semanas de calibración en una ventana de seis, el efecto que vas a medir ya nace un tercio menor.

Calculadora de tamaño de muestra
-Visitantes por variación
-Total (2 variaciones)
-Duración estimada

Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.

Más datos y menos poder al mismo tiempoDos columnas comparadas. La columna de la izquierda representa la ventana poscalibración, con sesenta y cuatro mil clics por brazo y un medidor de poder lleno hasta cerca de tres cuartos. La columna de la derecha representa la ventana entera, con noventa y seis mil clics por brazo, una barra de muestra visiblemente mayor, y un medidor de poder lleno hasta cerca de un quinto. Una flecha entre las dos columnas apunta de izquierda a derecha y está rotulada como cincuenta por ciento más de datos. Una nota abajo registra que lo que manda en el poder es el efecto diluido, no el tamaño de la muestra.incluir la calibración agrega muestra y destruye podersemanas 3 a 664.000 por brazoefecto a detectar: +7,5%poder 76,8%50% másde datossemanas 1 a 696.000 por brazoefecto a detectar: +2,5%poder 19,8%el poder sigue al efecto, y el efecto se cortó a la mitadpara llegar a 80% de poder sobre el efecto diluido harían falta 610.010 clics por brazo,casi nueve veces el tráfico que el test entero generó en seis semanas
La muestra no compra poder cuando lo que se encogió fue el efecto. Un período de descarte dentro de la ventana de análisis ataca el numerador de la cuenta, no el denominador.

Tres diseños que sobreviven a un optimizador encendido

No existe una única forma correcta. Existe el diseño correcto para lo que estás testeando.

Diseño 1: período de descarte declarado. Úsalo cuando la estrategia de puja ES el tratamiento. Escribe en la hipótesis, antes de encender nada, que los primeros N días o las primeras N conversiones se descartarán del análisis (el llamado burn-in), y que el criterio de corte es el mismo en los dos brazos. Eso convierte la contaminación en un costo conocido de diseño, en lugar de un sesgo escondido. El corte tiene que estar en el plan, nunca en el informe: el mismo recorte elegido después de ver los números infla el falso positivo de la misma forma que lo infla parar el test temprano.

Diseño 2: congela la puja y testea solo la página. Úsalo cuando lo que quieres testear es la página, no los medios. Si el sorteo ocurre en tu sitio, después del clic, la puja automática actúa antes y cae en los dos brazos por igual. No sesga la comparación. Lo que hace es mover la composición del tráfico a lo largo del tiempo, y eso solo se vuelve un problema si la estrategia cambia en medio del test. Entonces no la cambies: ninguna modificación de objetivo, de presupuesto ni de composición de la estrategia durante la ventana.

Diseño 3: división por región con control. Úsalo cuando el efecto es de cuenta entera, como un objetivo nuevo que reorganiza el gasto entre campañas, o cuando los dos brazos competirían en la misma subasta. La división por región elimina la competencia interna, al costo de unidades mucho más grandes y menos numerosas. El diseño está detallado en experimentos geográficos y la lectura causal del resultado en test de incrementalidad.

situación diseño por qué
la estrategia de puja es el tratamiento, cuenta con volumen experimento de la plataforma con división por cookie + descarte declarado la división por cookie mantiene a la persona en un solo brazo; el descarte saca la calibración de la cuenta
la estrategia es el tratamiento, cuenta de bajo volumen división por región con control los ciclos de calibración consumirían el test entero; la región da una unidad mayor
la página es el tratamiento sorteo en el sitio, estrategia congelada la puja actúa antes del clic y cae igual en los dos brazos
cambio de objetivo que reorganiza el gasto entre campañas división por región con control los brazos en la misma cuenta se canibalizan en la misma subasta
el objetivo tiene que cambiar en medio del test por decisión de negocio detén el test y vuelve a empezar un cambio de configuración reinicia la calibración en los dos brazos en momentos distintos
Árbol de decisión para elegir el diseño ante una puja automáticaUn diagrama de decisión que empieza con la pregunta sobre qué es el tratamiento. Si el tratamiento es la página, el camino lleva a sortear en el sitio y congelar la estrategia de puja durante la ventana. Si el tratamiento es la propia estrategia de puja, una segunda pregunta separa las cuentas por volumen de conversión. Las cuentas con volumen suficiente siguen hacia un experimento de la plataforma con división por cookie y período de descarte declarado. Las cuentas de bajo volumen, o los casos en que los dos brazos competirían en la misma subasta, siguen hacia una división por región con grupo de control.qué diseño usar¿qué es el tratamiento?la páginala pujasortea en el sitioy congela la estrategia de puja¿el volumen cierra los ciclos?sínoexperimento por cookiecon descarte declarado en el plandivisión porregiónen cualquier rama: ningún cambio de configuración durante la ventana de análisis
La elección del diseño depende de dónde vive el tratamiento y de si los dos brazos competirían en la misma subasta.

La frontera con el diseño del split de la plataforma

Vale la pena separar dos cosas que suelen confundirse.

El mecanismo del sorteo dentro de la plataforma, división por cookie contra división por búsqueda, presupuesto compartido, entrega optimizada, es tema de test A/B en la plataforma de anuncios. Sobre eso, la documentación de Google es clara: la división por cookie, recomendada, asigna usuarios aleatoriamente al experimento o a la campaña original y garantiza que un mismo usuario vea solo una de las dos, mientras que en la división por búsqueda el usuario se asigna aleatoriamente en cada búsqueda, de modo que la misma persona puede ver las dos versiones.

Lo que trata esta guía es distinto y viene después: incluso con un sorteo perfecto, el tratamiento cambia de forma a lo largo de la ventana. División por cookie impecable, presupuestos separados, y aun así las semanas 1 y 2 midieron algo que ya no existe en la semana 5.

Dos trampas de calendario completan el cuadro:

Métricas de guarda para un test con pujas automáticas

Además de las métricas de guarda de siempre, como el desequilibrio de muestra, cuatro señales específicas merecen seguimiento diario:

señal qué observar qué hacer si se dispara
estado de la estrategia cualquier brazo marcado como en aprendizaje dentro de la ventana de análisis extiende el descarte; no compares todavía
limitado por presupuesto un brazo limitado y el otro no corrige el presupuesto y reinicia la ventana; un brazo estrangulado no es un brazo tratado
impresiones por brazo divergencia que crece con el tiempo investiga la canibalización de subasta antes de leer la conversión
ciclo de conversión mediana de días entre clic y conversión contra la fecha de lectura espera al menos un ciclo después del final antes de cerrar el número

La regla que resume las cuatro: antes de leer el desenlace, confirma que los dos brazos pasaron el mismo tiempo siendo lo mismo.

Errores comunes

Haz esto automático en Donnu

La solución no es estadística nueva, es separar las dos capas de decisión.

Cuando el sorteo ocurre en tu página y eres tú quien controla cuándo empieza y termina, la capa de medios queda fuera de la comparación: cambia quién llega, y quien llega se sortea después. En Donnu el experimento vive en tu sitio, con la fecha de inicio, el período de descarte y la fecha de lectura declarados antes de que el test salga al aire, y el informe muestra la diferencia absoluta con el intervalo al lado, que es la forma que no se deja engañar por una ventana mal elegida. Donnu es una opción entre varias; lo que no cambia de herramienta a herramienta es el principio: si el tratamiento cambió de forma en medio de la ventana, el número que leíste es un promedio de dos cosas, y necesitas decidir cuál de ellas querías medir antes de mirar.

Preguntas frecuentes

Las preguntas al principio de esta página cubren si las pujas automáticas perjudican un test, cuánto dura la fase de aprendizaje, si se pueden descartar las primeras semanas, qué pasa con el poder, cómo testear una página con el optimizador encendido y qué hacer cuando la propia estrategia es el tratamiento.

Referencias

Lee también: Test A/B en la plataforma de anuncios · Test de incrementalidad · Experimentos geográficos · Retraso de conversión · El problema del peeking · Desequilibrio de muestra · Fatiga de creatividad publicitaria · Leia em português · Read in English

Preguntas frecuentes

¿Las pujas automáticas perjudican un test A/B?
No perjudican el sorteo, perjudican la ventana. Una estrategia de puja automática se recalibra a lo largo del tiempo, y Google documenta que esa recalibración puede llevar algunos ciclos de conversión, típicamente 1 o 2. Si esa ventana cae dentro del período que vas a comparar, tu brazo tratado pasó parte del tiempo siendo una cosa y parte del tiempo siendo otra. El promedio de las dos no es el efecto de ninguna de ellas.
¿Cuánto dura la fase de aprendizaje de la puja?
Google Ads afirma que puede llevar algunos ciclos de conversión, típicamente 1 o 2, que la estrategia se calibre para el nuevo objetivo, y que puede ser más rápido según el volumen de datos de conversión presente. La duración depende de tres factores declarados: el número de conversiones que obtienen las campañas, la duración de tus ciclos de conversión y la propia estrategia elegida. El ciclo de conversión es el tiempo que tarda un clic en convertirse en conversión.
¿Puedo simplemente descartar las primeras semanas del test?
Puedes, siempre que lo decidas antes de mirar el resultado y apliques el corte a los dos brazos con el mismo criterio. Un período de descarte declarado en el plan es diseño de experimento. El mismo corte elegido después de ver los números es selección de datos e infla el falso positivo de la misma forma que lo infla parar temprano. Escribe la fecha de corte en la hipótesis, no en el informe.
¿Qué pasa con el poder del test si incluyo el aprendizaje?
Se desploma, porque el efecto medido se encoge. En el ejemplo trabajado de esta guía, el efecto verdadero posaprendizaje es de más 7,5 por ciento relativo y la ventana entera mide apenas más 2,5 por ciento. Con 96.000 clics por brazo, el poder para detectar el efecto diluido es de 19,8 por ciento, contra 76,8 por ciento para el efecto real con los 64.000 clics posaprendizaje. Más datos y menos poder, al mismo tiempo.
¿Se puede testear la página mientras cambia la estrategia de puja?
Se puede, pero solo si los dos cambios no coinciden. Si sorteas visitantes entre dos páginas en tu sitio, la puja automática actúa antes del clic y cae en los dos brazos por igual, así que no sesga la comparación, solo mueve la composición del tráfico a lo largo del tiempo. El problema aparece cuando el cambio de estrategia ocurre en medio del test de página: ahí la mezcla de tráfico cambia a mitad de camino y el efecto de período se confunde con el efecto de la página.
¿Y si la propia estrategia de puja es lo que quiero testear?
Entonces ella es el tratamiento, y el diseño cambia. Un experimento personalizado de la plataforma con división por cookie y presupuesto separado es el camino más directo, con la ventana de aprendizaje excluida del análisis por decisión previa. Cuando el efecto es de cuenta entera, como un cambio de objetivo que reorganiza el gasto entre campañas, la división por región con grupo de control mide mejor, porque el brazo tratado y el de control no compiten en la misma subasta.