CRO

Estudio de brand lift: el efecto que no se convierte en clic

Estudio de brand lift: cómo funciona el experimento con encuesta, los sesgos que arrastra y por qué el mercado reporta al 80 por ciento de confianza.

Ilustración plana de dos portapapeles idénticos lado a lado bajo un brillo suave, cada uno con una tarjeta en blanco y dos casillas de selección redondas vacías, un portapapeles ligeramente más alto que el otro

Un estudio de brand lift es un experimento aleatorizado cuyo desenlace es una respuesta de encuesta, no una venta. La audiencia que habría visto tu campaña se divide antes de la entrega, el anuncio se retiene del brazo de control, y después los dos brazos reciben la misma encuesta de una pregunta; la diferencia en las respuestas positivas es el lift. La razón de que este diseño exista no es que el recuerdo importe más que los ingresos. Es que los ingresos son demasiado ruidosos para medirse con los presupuestos con los que corre la mayoría de las campañas, y una respuesta binaria de encuesta es lo bastante silenciosa para resolverse con unos pocos miles de respuestas en vez de unos pocos millones de personas. Ese intercambio compra poder estadístico y trae otro conjunto de problemas: quien puede ser encuestado no es la audiencia de la campaña, quien responde no es quien fue abordado, y la convención del mercado reporta el resultado al 80 por ciento de confianza con test de una cola. Esta guía cubre el diseño, los sesgos nombrados por quienes construyeron el método, un ejemplo trabajado que puedes reproducir en la calculadora y cómo leer un número de lift con honestidad. Esta guía forma parte de nuestra guía completa de test A/B.

El diseño del estudio de brand lift, dicho con precisión

La descripción publicada más limpia del mecanismo viene de los propios estadísticos de Google. Fan, Hesterberg, Liu y Zhang presentaron Methods for Measuring Brand Lift of Online Ads en el Joint Statistical Meetings de 2018, y el montaje que describen merece leerse despacio.

La población son los usuarios que normalmente verían un anuncio de la campaña, si el experimento no estuviera corriendo. Esos usuarios se dividen aleatoriamente en un brazo de tratamiento, que ve los anuncios de la campaña con normalidad, y en un brazo de control, para quien el anuncio de la campaña se retiene; el control puede ver otro anuncio, o ninguno. Luego viene el paso que hace funcionar todo: los usuarios de tratamiento que ven anuncios, y los de control que habrían visto uno, se marcan como elegibles para la encuesta.

Esa segunda cláusula es la ingeniería del contrafactual. El grupo de control no es “todo el mundo al que no le mostramos anuncios”. Es “las personas específicas que, en ausencia de la retención, habrían recibido esta impresión”. Es la misma lógica de ghost ad que cubrimos en test de incrementalidad, aplicada a un desenlace de encuesta en vez de un desenlace de compra.

Parte de los marcados visita después sitios donde pueden ser encuestados, parte de ellos es efectivamente encuestada, y parte de esa parte responde. Cada uno de esos tres pasos descarta personas, y cada uno las descarta de forma no aleatoria.

De la audiencia de la campaña al encuestado que responde, y lo que elimina cada etapaUn embudo de cuatro etapas que se va estrechando. La etapa más ancha es la audiencia de la campaña, es decir, todos los que habrían visto el anuncio. La segunda etapa es la población marcada, que conserva a los usuarios de tratamiento que vieron un anuncio y a los de control que lo habrían visto. La tercera etapa es la población solicitada, que conserva solo a quienes después visitaron una página donde la encuesta podía aparecer, introduciendo sesgo de solicitud. La cuarta y más estrecha etapa es la de encuestados que responden, que conserva solo a quienes eligieron responder dentro del límite de tiempo, introduciendo sesgo de respuesta. Dos notas laterales marcan dónde entra cada sesgo.cada etapa elimina gente, y ninguna la elimina al azaraudiencia de la campaña: todos los que habrían visto el anunciomarcados: vieron el anuncio, o lo habrían vistosolicitados: visitaron una página encuestable a tiempoencuestadosentra el sesgode solicitudentra el sesgode respuestalos anchos son ilustrativos; el estrechamiento es real, las proporciones no están medidas
La cadena de medición descrita por Fan y colegas. El sorteo ocurre arriba, pero el número que reportas se calcula abajo, cuatro filtros no aleatorios después. Las correcciones del artículo existen justamente para llevar la estimación de vuelta embudo arriba.

Un detalle más del diseño importa y pasa fácilmente desapercibido: los usuarios marcados no se encuestan de inmediato. Google relata un retraso mínimo de una hora, específicamente para estimar el efecto persistente de los anuncios en vez del efecto de cortísimo plazo justo después de la impresión, y los usuarios no se encuestan si su última impresión virtual es demasiado antigua. Un estudio de brand lift es, por lo tanto, una medición de memoria corta por construcción, que es algo distinto de un holdout de largo plazo.

Por qué existe este diseño: el argumento del poder

La razón honesta de que existan los estudios de brand lift no es filosófica. Es aritmética.

Lewis y Rao analizaron 25 grandes experimentos de campo de publicidad digital con minoristas y corredoras de Estados Unidos, que representaban 2,8 millones de dólares en gasto publicitario, y publicaron el resultado en el Quarterly Journal of Economics. El hallazgo es brutal: las ventas a nivel individual son tan volátiles en relación con el costo per cápita de la publicidad que un coeficiente de variación de 10 es común, los experimentos informativos pueden exigir fácilmente más de diez millones de personas-semana, y el intervalo de confianza mediano sobre el retorno de la inversión tiene más de 100 puntos porcentuales de ancho.

Cambia el desenlace de una compra a una respuesta de encuesta y el ruido se desploma. Aquí está la misma pregunta hecha a los dos desenlaces, calculada en el motor de dos proporciones que alimenta la calculadora de abajo.

desenlace base efecto a detectar muestra por brazo
respuesta de encuesta: recuerdo del anuncio 13,6 por ciento más 3 puntos porcentuales 2.235
respuesta de encuesta: recuerdo del anuncio 13,6 por ciento más 1 punto porcentual 19.012
compra 1,2 por ciento más 10 por ciento relativo 135.624
compra 1,2 por ciento más 3 por ciento relativo 1.457.329

Las cuatro filas asumen 95 por ciento de confianza, dos colas, con 80 por ciento de poder. La distancia entre 2.235 encuestados y 1,46 millones de personas es todo el caso de negocio de la medición por encuesta.

Calculadora de tamaño de muestra
-Visitantes por variación
-Total (2 variaciones)
-Duración estimada

Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.

Ese intercambio es legítimo, y también es lo que casi todo informe olvida declarar. Un estudio de brand lift no mide ventas. Mide si las personas recuerdan o sienten distinto, y depende de que creas que el recuerdo y el sentimiento se convierten en ventas en algún momento. Si ese vínculo se cumple en tu categoría es otra pregunta, y es el mismo problema de métrica sustituta que aparece siempre que un proxy ocupa el lugar del desenlace que de verdad interesa.

Los dos sesgos que arrastra el método, nombrados por los propios autores

Lo que hace especialmente útil el artículo de Google es que los autores documentan los modos de fallo en vez de esconderlos.

El sesgo de solicitud es la distancia entre quien puede ser solicitado y la audiencia entera de la campaña. Para ser solicitada, la persona necesita visitar una página donde la encuesta pueda mostrarse dentro de un período especificado después de la última impresión virtual. Los autores declaran la consecuencia sin rodeos: las cookies más activas tienen más probabilidad de ser solicitadas, y de hecho observan más actividad en internet y mayor frecuencia de anuncios de la campaña entre las cookies solicitadas que entre las no solicitadas. Los dos brazos se solicitan de la misma forma, así que el sesgo es simétrico entre brazos. Pero simétrico no quiere decir inofensivo: si los usuarios intensivos tienen un lift distinto de los ligeros, el estudio responde la pregunta para los usuarios intensivos.

El sesgo de respuesta viene de las elecciones de la propia audiencia, moldeadas por el mecanismo de la encuesta. La encuesta se presenta en lugar de un anuncio antes de un video. Quien no quiere responder puede cerrar la pestaña, recargarla o simplemente esperar a que termine la cuenta regresiva, y tiene más probabilidad de hacerlo si no está muy interesado en el video que viene a continuación. Las respuestas enviadas después de 30 segundos expiran. Las respuestas enviadas demasiado rápido se eliminan, porque quien responde así probablemente está respondiendo al azar para llegar pronto al video. Y, lo más importante: la persona puede tener más probabilidad de responder si está interesada en el patrocinador o en el producto, y ese interés puede haber sido afectado justamente por haber visto el anuncio. Esta última cláusula es la peligrosa, porque es el único sesgo de la lista que puede diferir entre brazos.

sesgo dónde entra simétrico entre brazos qué le hace a la estimación
solicitud quién puede recibir una encuesta sí, los dos brazos se solicitan igual desplaza la población desde la audiencia de la campaña hacia los usuarios activos
respuesta quién elige responder no necesariamente puede diferir por brazo si el propio anuncio movió el interés
cookie frente a persona la unidad de medición sí sesga el lift a la baja, así que un resultado positivo sobrevive
impresiones después de la encuesta el momento de la medición sí la estimación cubre solo los anuncios vistos antes de la encuesta
desequilibrio de covariables diferencias aleatorias o sistemáticas entre brazos no corregido por regresión en edad, género, dispositivo y actividad

La tercera fila merece una frase propia, porque es el único sesgo aquí cuya dirección está garantizada. Google estima el lift por cookie y no por persona, y declara que eso subestima tanto el lift por persona como el lift total de la campaña, por tres razones: las cookies de control pueden haber visto anuncios de la campaña a través de otras cookies de la misma persona, las personas pueden responder a la encuesta antes de ver todos los anuncios que todavía verán, y los efectos de exposiciones múltiples suelen ser sublineales. Un lift positivo medido es, por lo tanto, un piso conservador, no un techo.

El número que reporta el mercado no es un número al 95 por ciento

Esta es la parte de la medición de brand lift que casi nunca llega a la diapositiva, y cambia cómo deberías leer cada número de lift que te han mostrado.

En la sección de detalles de estimación, los autores de Google escriben que por coherencia con la práctica del mercado determinan la significancia estadística del lift usando tests de una cola con un nivel de significancia de 0,1, y producen intervalos de confianza del 80 por ciento.

Léelo de nuevo frente a lo que casi todo el mundo asume al ver “lift estadísticamente significativo”. El modelo mental estándar es un test de dos colas al 95 por ciento de confianza. La convención en medición de marca es un test de una cola al 90 por ciento de confianza con un intervalo del 80 por ciento impreso al lado. No son la misma vara, y la diferencia es lo bastante grande para cambiar una decisión.

La misma estimación de brand lift bajo la vara del 80 por ciento del mercado y bajo la vara habitual del 95 por cientoComparación de dos varas de evidencia aplicadas al mismo lift aditivo de 0,033 con error estándar de 0,011. La barra de arriba muestra el intervalo de confianza del 80 por ciento usado en la práctica del mercado, que va de 0,019 a 0,047, con semiancho de 0,014. La barra de abajo muestra el intervalo de confianza del 95 por ciento de dos colas, que va de 0,011 a 0,055, con semiancho de 0,022. Una nota indica que el intervalo del 95 por ciento es cerca de un 53 por ciento más ancho y que la muestra exigida para el mismo tamaño de efecto sube de 1.284 a 2.235 por brazo.la misma estimación, bajo dos varas de evidencia diferenteslift aditivo 0,033, error estándar 0,011, como se reporta en el estudio de caso publicado00,060intervalo 80%práctica del mercado0,0190,047intervalo 95%dos colas, el estándar habitual0,0110,055estimación puntual 0,033mismos datos: el intervalo del 95% es cerca de un 53% más ancho y exige 2.235 por brazo en vez de 1.284
Dos varas aplicadas a la estimación puntual y al error estándar publicados. Nada de la campaña cambió entre una barra y otra. El intervalo que imprimes es una elección de reporte, y el estándar del mercado es el más estrecho.

Para ser justos con la convención: los desenlaces de marca son genuinamente difíciles de mover, la dirección de interés es genuinamente de una cola, y una vara de reporte más estricta haría que muchos estudios no fueran reportables. Es un intercambio de ingeniería defendible. Deja de ser defendible en el momento en que el número resultante se presenta a finanzas como si tuviera el mismo peso que un resultado de conversión de dos colas al 95 por ciento. Declara la vara al lado del número, siempre.

Ejemplo trabajado: leer un estudio de recuerdo de punta a punta

Toma el estudio de caso publicado como ancla. Fan y colegas relatan una campaña cuya etapa del embudo de la pregunta es el recuerdo del anuncio, con el texto preguntando de cuál de las opciones el encuestado vio publicidad en video online recientemente, y respuesta positiva significa que seleccionó al anunciante en una lista de opción múltiple. El artículo reporta el lift aditivo de cuatro formas:

estimación tratamiento base lift aditivo error estándar intervalo
bruta, tratamiento menos control 0,169 0,136 0,033 0,011 0,018 a 0,048
encuestados corregidos 0,169 0,139 0,030 0,012 0,015 a 0,045
extrapolada a solicitados 0,162 0,133 0,029 0,014 0,011 a 0,047
extrapolada a toda la campaña 0,124 0,097 0,027 0,016 0,007 a 0,048

Los cuatro lifts son significativamente positivos, y el artículo registra que los errores estándar crecen a medida que extrapolas, porque la incertidumbre del modelo se suma a la incertidumbre muestral. Lee la tabla de arriba abajo y ocurren dos cosas a la vez: la estimación puntual baja de 0,033 a 0,027, y el error estándar crece cerca de un 45 por ciento. El número honesto es el de la última fila, y es a la vez más pequeño y más tembloroso que el de la primera.

Ahora reconstruye tú mismo la primera fila. Una diferencia de proporciones con error estándar de 0,011 a estas tasas implica aproximadamente 2.132 encuestados por brazo. Con 290 respuestas positivas de 2.132 en el brazo de control y 360 de 2.132 en el brazo expuesto:

Pega esos cuatro números en la calculadora y obtienes la fila del 95 por ciento de arriba. La calculadora es de dos colas, así que la fila de una cola con intervalo del 80 por ciento no sale de ella: viene de la misma diferencia y del mismo error estándar, con el factor 1,2816 en lugar de 1,96.

Calculadora de significancia estadística
Control (A)
Variación (B)
Control (A) · Tasa-
Variación (B) · Tasa-
Mejora relativa-
valor-p-
IC 95% de la diferencia-

Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.

Fíjate en que el intervalo del 80 por ciento impreso en el artículo, 0,018 a 0,048, es más estrecho que el intervalo del 95 por ciento calculado a partir del mismo error estándar, 0,011 a 0,055. No es una discrepancia. Es la convención de reporte haciendo exactamente lo que dice que hace.

El lift relativo es el número que termina en la diapositiva, y es el peor leído del conjunto. Más 24,14 por ciento suena enorme y describe un movimiento de unas 14 personas de cada 100 a unas 17 de cada 100. Imprime siempre el lift absoluto al lado del relativo.

Checklist antes de contratar un estudio

pregunta por qué importa cómo es una buena respuesta
cuál es la pregunta exacta de la encuesta recuerdo, reconocimiento, consideración e intención son desenlaces diferentes, con bases diferentes una pregunta, prerregistrada, idéntica en los dos brazos
quién está en el brazo de control un control de “gente a la que no le mostramos anuncios” no es un control las personas que habrían recibido la impresión, marcadas en el momento de la subasta
qué vara de confianza se reporta una cola a 0,1 con intervalo del 80 por ciento es el estándar del mercado declarada en la misma página que el número
encuestados por brazo es lo que define el lift más pequeño que podrías haber visto comparados con la tabla de muestra de arriba antes de lanzar
la estimación está corregida el lift bruto de encuestados no es lift de campaña pide la fila extrapolada, y espera que sea menor
cuál es el retraso antes de la encuesta el mínimo de una hora mide persistencia, no reacción inmediata declarado, e igual en los dos brazos
lift absoluto y relativo juntos un lift relativo grande sobre una base pequeña es un movimiento absoluto pequeño los dos números, siempre
qué decisión cambia un lift sobre el que no actuarías es un lift que no deberías comprar escrita antes de que corra el estudio

Errores comunes al leer un brand lift

Hazlo automático en Donnu

La parte de esto que se generaliza más allá de la medición de marca es la disciplina: decidir el desenlace, la población y la vara de confianza antes de que empiece el experimento, y después reportar el efecto absoluto con el intervalo en vez de un número relativo con un veredicto pegado.

En Donnu declaras la métrica primaria y el nivel de confianza al crear el experimento, el resultado vuelve como tamaño de efecto con el intervalo al lado, y una elección de una cola tiene que hacerse a propósito en vez de heredarse del estándar de un proveedor. Si ejecutas un experimento con encuesta en tus propias propiedades, la aritmética es el mismo test de dos proporciones de esta página, y la tabla de muestra de arriba te dice, antes del lanzamiento, si el estudio puede ver el efecto que importa. Donnu es una opción entre varias aquí; lo que importa es que la vara la elijas tú y se imprima al lado del número.

Preguntas frecuentes

Las preguntas al principio de esta página cubren qué es un estudio de brand lift, por qué existe el diseño, la vara de confianza que reporta el mercado, el sesgo de solicitud, por qué el lift corregido sale menor y la distinción entre cookie y persona.

Referencias

Lee también: Test de incrementalidad · Métrica sustituta · Holdout de largo plazo · Intención de tratar · Test A/B de creatividad publicitaria · Fatiga de creatividad y frecuencia · Leia em português

Preguntas frecuentes

¿Qué es un estudio de brand lift?
Es un experimento aleatorizado en el que el desenlace es una respuesta de encuesta en vez de una compra. La audiencia que normalmente vería tu campaña se divide en brazo expuesto y brazo de control antes de la entrega, el anuncio de la campaña se retiene del control, y después los dos brazos reciben la misma encuesta de una pregunta. La diferencia en la proporción de respuestas positivas es el lift. Mide recuerdo y percepción, que es justamente la parte de la publicidad que nunca se convierte en clic.
¿Por qué existen los estudios de brand lift, si se puede ejecutar un experimento de conversión?
Por poder estadístico. Las ventas individuales son extremadamente volátiles en relación con el costo per cápita de la publicidad: Lewis y Rao, en 25 experimentos de campo, encontraron común un coeficiente de variación de 10 y concluyeron que los experimentos informativos pueden exigir más de diez millones de personas-semana. Una respuesta binaria de encuesta con base de 13,6 por ciento es un desenlace mucho más silencioso. Detectar un lift de 3 puntos porcentuales en ella exige unos 2.235 encuestados por brazo, frente a aproximadamente 1,46 millones de personas por brazo para detectar un 3 por ciento relativo sobre una tasa de compra de 1,2 por ciento.
¿El resultado de brand lift se reporta al 95 por ciento de confianza?
Muchas veces no. En el artículo de metodología de Google, de Fan, Hesterberg, Liu y Zhang, los autores declaran que, por coherencia con la práctica del mercado, determinan la significancia estadística usando tests de una cola a un nivel de significancia de 0,1 y producen intervalos de confianza del 80 por ciento. Es una vara materialmente más débil que la de dos colas al 95 por ciento que casi todo el mundo asume al leer un número de lift, y reduce la muestra necesaria en cerca de un 43 por ciento para el mismo tamaño de efecto.
¿Qué es el sesgo de solicitud en un estudio de brand lift?
El sesgo de solicitud es la distancia entre quien puede ser encuestado y la audiencia entera de la campaña. Para ser encuestada, la persona necesita visitar una página donde la encuesta pueda aparecer dentro de una ventana después de la última impresión, así que las cuentas más activas tienen más probabilidad de ser abordadas. Google relata observar más actividad en internet y mayor frecuencia de anuncios de la campaña entre las cookies solicitadas que entre las no solicitadas. Los dos brazos se solicitan de la misma forma, así que el sesgo es simétrico, pero si las personas de frecuencia alta tienen un lift distinto de las de frecuencia baja, tu estimación es de la población solicitada, no de la población de la campaña.
¿Por qué el lift reportado se encoge cuando se corrige?
Porque la corrección mueve la estimación desde los encuestados que de verdad observaste hacia la audiencia de campaña que te interesa, y son poblaciones diferentes. En el estudio de caso publicado por Fan y colegas, el lift aditivo bruto sobre recuerdo del anuncio fue 0,033 con error estándar de 0,011, y después de la extrapolación a todos los usuarios de la campaña quedó en 0,027 con error estándar de 0,016. La estimación puntual bajó y la incertidumbre creció, porque la incertidumbre del modelo se sumó a la incertidumbre muestral.
¿El estudio de brand lift mide por persona o por cookie?
En general por cookie o por cuenta, no por persona real. Google es explícito al decir que estima el lift por cookie, y que eso subestima el lift por persona y el lift total de la campaña, porque las cookies de control pueden haber visto la campaña a través de otras cookies de la misma persona, porque las personas pueden responder antes de ver todos los anuncios que todavía verán, y porque los efectos de exposiciones múltiples suelen ser sublineales. La dirección de ese sesgo es a la baja, así que un resultado positivo sobrevive a él.