Experimento Geográfico: testear sin sortear usuario

Cuando la intervención no puede entregarse por usuario, la salida es sortear regiones enteras: la mitad recibe la campaña, la mitad no, y la diferencia entre los dos conjuntos es el efecto incremental. El precio de esto es que la unidad de muestra pasa a ser la región, no la persona, e ignorar ese intercambio produce valores-p que se equivocan por un factor grande. Esta guía cubre cuándo el experimento geográfico es la única opción honesta, un ejemplo trabajado en el que un resultado con valor-p de siete ceros se vuelve no significativo al leerse en la unidad correcta, el modelo lineal que Google publicó para estimar el retorno sobre la inversión publicitaria, y la regla de diseño que recorta el intervalo de confianza en un 10 por ciento sin costar nada. Forma parte de nuestra guía completa de test A/B y usa el mismo razonamiento de unidad de sorteo que aparece en test switchback.

Cuando no se puede sortear personas

El test A/B por usuario depende de dos cosas: conseguir entregar experiencias diferentes a personas diferentes, y conseguir ligar cada resultado a la persona que lo generó. Existe una familia entera de decisiones de marketing en la que ninguna de las dos es posible.

• Medios que alcanzan a quien está cerca. Televisión, radio, publicidad exterior, patrocinio local. La exposición no la eliges tú, es geográfica por naturaleza.
• Cambios de presupuesto y de estructura de campaña. Subir la puja, añadir palabras clave, apagar una campaña. El efecto colateral atraviesa canales y no respeta la división por cookie.
• Resultado que ocurre fuera del sitio. Venta en tienda física, llamada a la central, visita al concesionario. No existe un identificador que ligue exposición y conversión.
• Precios u operación regional. Envío, plazo de entrega, disponibilidad de stock.

En todos esos casos, la unidad que puedes controlar es la región. Vaver y Koehler describen exactamente ese diseño en el artículo de Google sobre medición de efectividad publicitaria: regiones geográficas que no se solapan se sortean para una condición de control o de tratamiento, y cada región realiza la condición asignada mediante anuncios con segmentación geográfica. Observan que en general no es viable trabajar con regiones tan pequeñas como un código postal, y que en Estados Unidos un conjunto posible son las 210 áreas de mercado definidas por Nielsen, ampliamente usadas como unidad de segmentación por las plataformas de anuncios.

Ejemplo trabajado: el valor-p que se evapora

Una cadena de retail corre un experimento geográfico con 210 regiones, sorteando 105 para tratamiento y 105 para control. Cada región tiene, de media, 40.000 clientes alcanzados, lo que da 4,2 millones por brazo. Al final del periodo, los números agregados son estos:

Control (A)

VisitantesConversiones

Variación (B)

VisitantesConversiones

Confianza90%95%99%

Control (A) · Tasa-

Variación (B) · Tasa-

Mejora relativa-

valor-p-

IC 95% de la diferencia-

Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.

Lectura ingenua, por cliente	Clientes	Conversiones	Tasa
Control, 105 regiones	4.200.000	84.000	2,000 por ciento
Tratamiento, 105 regiones	4.200.000	86.520	2,060 por ciento

La calculadora devuelve más 0,060 puntos porcentuales, más 3,000 por ciento relativo, z = 6,165, valor-p por debajo de 0,00001, intervalo del 95 por ciento de más 0,041 a más 0,079 puntos porcentuales. Parece un caso cerrado.

No lo es, y el motivo es que el sorteo no se hizo entre clientes. Se hizo entre 210 regiones. Los clientes de una misma región comparten clima, festivo municipal, competidor local, campaña del comercio vecino y estacionalidad regional, así que las observaciones dentro de una región no son independientes. El factor que corrige esto es el efecto de diseño, y su forma se conoce desde los trabajos de Kish: vale 1 más el producto del coeficiente de correlación intraclase por el tamaño del agrupamiento menos 1.

Supón una correlación intraclase modesta de 0,0005, un valor ilustrativo y deliberadamente pequeño, y agrupamientos de 40.000 clientes:

Cuenta	Resultado
Efecto de diseño: 1 más 0,0005 por (40.000 menos 1)	21,00
Muestra efectiva por brazo: 4.200.000 dividido por 21,00	200.005 clientes
Error estándar multiplicado por la raíz de 21,00	factor 4,583
z corregido: 6,165 dividido por 4,583	1,345
Valor-p corregido	0,178

El resultado que parecía cierto con siete ceros después de la coma es, en la lectura correcta, no significativo. Nada en los datos cambió. Lo que cambió fue honrar la unidad que de hecho se sorteó.

Fíjate en el tamaño de la palanca: una correlación intraclase de 0,0005 parece despreciable, y aun así, multiplicada por agrupamientos de 40 mil personas, borra el 95 por ciento de la muestra efectiva. Por eso el número de regiones, y no el número de personas, es lo que dicta la potencia de un experimento geográfico.

La cuenta correcta: el modelo lineal de ROAS

El test de dos proporciones que acabamos de corregir a mano no es el instrumento que Google usa en ese diseño. Vaver y Koehler analizan el resultado con un modelo lineal a nivel de región, y su forma explica por qué funciona.

La respuesta de la región en el periodo de test se modela a partir de tres cosas: un intercepto, la respuesta de la misma región en el periodo previo al test, y el diferencial de inversión publicitaria de esa región. El parámetro de interés es el coeficiente del diferencial de inversión, que es justamente el retorno sobre la inversión publicitaria, es decir, el impacto incremental que esa inversión tuvo sobre la métrica de respuesta.

Término del modelo	Papel
Intercepto y coeficiente de la respuesta previa	absorben las diferencias de estacionalidad entre el periodo previo y el test, y el tamaño de cada región
Coeficiente del diferencial de inversión	el parámetro de interés, el retorno sobre la inversión publicitaria
Pesos iguales a 1 dividido por la respuesta previa	controlan la heterocedasticidad causada por la diferencia de tamaño entre regiones

De ahí salen tres consecuencias prácticas:

1. El periodo previo hace el trabajo pesado. Entra como variable explicativa, y es eso lo que permite comparar una región grande con una pequeña sin que la diferencia de porte domine el resultado.
2. El diferencial de inversión no es el gasto del periodo de test. Cuando ya existía inversión en el periodo previo, el diferencial se estima con un segundo modelo, ajustado solo en las regiones de control, que sirve de contrafactual de lo que la inversión habría sido sin el experimento. Para las regiones de control el diferencial es cero por definición, ya que siguen en el nivel de base.
3. La métrica de respuesta es elección tuya. Los autores enumeran clics pagados y orgánicos, ventas online u offline, visitas al sitio, altas en newsletter y descargas de software.

Vale la pena registrar por qué ese diseño existe en el mundo de medios pagados: el coste por clic no cuenta la historia completa, porque parte del clic pagado puede estar canibalizando un clic orgánico que saldría gratis. La métrica que el experimento geográfico entrega, y que la observación directa no entrega, es el coste por clic incremental.

Diseño: estratificar por tamaño antes de sortear

Un sorteo simple entre 210 regiones puede, por azar, colocar las mayores de un solo lado. Como las regiones son muy desiguales en tamaño, eso cuesta precisión. La corrección recomendada por Vaver y Koehler es barata y específica:

1. Ordena las regiones por la métrica de respuesta observada en el periodo previo al test.
2. Parte esa lista ordenada en grupos de tamaño M, donde la fracción de tratamiento es 1 sobre M. Para la mitad en tratamiento, M igual a 2, es decir, pares.
3. Sortea una región de cada grupo para el tratamiento.

Relatan que agrupar las regiones por tamaño antes de la asignación reduce el intervalo de confianza de la medida de retorno sobre la inversión en un 10 por ciento o más, y que las estimaciones de intervalo de confianza quedan cerca de un 10 por ciento menores cuando el sorteo se restringe de esa forma. Es potencia estadística gratis, obtenida antes de que el experimento empiece.

Duración, retraso y el límite de la previsión

Dos trampas de calendario aparecen en ese diseño.

El efecto sigue ocurriendo después de que la inversión para. Vaver y Koehler son explícitos: la venta offline es un ejemplo de métrica de respuesta con retraso positivo, porque lleva tiempo hasta que el consumidor investiga, decide y va a la tienda. Por eso el periodo de test tiene que extenderse más allá del fin del cambio de inversión por el tamaño de ese retraso, para capturar las ventas incrementales completas. Si cortas el periodo el día en que apagas la campaña, subestimas el efecto de forma sistemática.

Prever el intervalo de confianza funciona, hasta cierto punto. Describen un procedimiento de diseño en el que se recortan pseudoperiodos previos y de test dentro de los datos históricos, con la misma duración de los periodos planificados, y se estima la semianchura del intervalo de confianza para varios sorteos diferentes. La previsión es bastante precisa. Pero advierten sobre el límite: cuando el periodo hipotético queda más largo que el histórico disponible, los datos del periodo previo necesitan reutilizarse varias veces para generar cada estimación, y esa reutilización vuelve las estimaciones demasiado optimistas. Vale como aviso general: una simulación de potencia hecha sobre datos reciclados promete más de lo que entrega.

Checklist del experimento geográfico

1. ¿La intervención es realmente imposible por usuario? Si puedes sortear personas, sortea personas. El experimento geográfico cambia mucha potencia por validez.
2. ¿Las regiones no se solapan? Dos regiones que comparten audiencia por desbordamiento de medios dejan de ser unidades independientes, y el problema se convierte en el de interferencia entre variantes.
3. ¿Existe un periodo previo limpio? Sin diferencia de estructura de campaña entre las regiones durante él.
4. ¿El sorteo fue estratificado por tamaño? Ordenar por la respuesta del periodo previo y sortear dentro de grupos.
5. ¿El análisis corre a nivel de región? O, si corre por usuario, se aplicó el efecto de diseño. Lo que no puede ser es las dos cosas juntas.
6. ¿El periodo de test cubre el retraso de la respuesta? Especialmente para la venta offline.
7. ¿La cuenta de potencia se hizo sobre el número de regiones? No sobre el número de personas.

Errores comunes

• Correr el test de dos proporciones con recuentos de usuario. Es el error de este artículo entero, y resulta atractivo porque produce el valor-p más bonito del informe.
• Elegir las regiones a dedo. Comparar las capitales contra el interior no es un experimento, es observación con nombre de experimento.
• Ignorar el desbordamiento de medios entre regiones vecinas. Una emisora que atraviesa la frontera de la región contamina el control y reduce la diferencia medida.
• Usar pocas regiones. Diez regiones por brazo casi nunca da potencia para detectar un efecto de marketing realista, por mucha gente que viva en ellas.
• Comparar antes y después en lugar de tratamiento contra control. Sin grupo de control simultáneo, cualquier cosa que haya ocurrido en el país entero se convierte en tu resultado.

Hazlo automático en Donnu

El error caro del experimento geográfico no es la matemática del modelo, es la tentación de cambiar la unidad a la hora del análisis, porque la versión por usuario siempre parece más concluyente.

En Donnu, el experimento declara la unidad de aleatorización en el diseño, y el informe se niega a presentar un intervalo de confianza calculado en una unidad diferente de la que fue sorteada. Cuando las unidades están agrupadas, el aviso de dependencia aparece junto al resultado, con el efecto de diseño estimado a partir de tus propios datos, no de un valor de referencia genérico. Y si quieres rehacer cualquier parte de la cuenta a mano, la calculadora de valor-p y la calculadora de intervalo de confianza aceptan los recuentos brutos.

Referencias

• Vaver, J. y Koehler, J. Measuring Ad Effectiveness Using Geo Experiments. Google Inc., 2011. Fuente de la definición de experimento geográfico con regiones que no se solapan sorteadas para control o tratamiento y realizadas mediante segmentación geográfica, de la observación de que no es viable usar regiones tan pequeñas como códigos postales y de que las 210 áreas de mercado de Nielsen son un conjunto posible en Estados Unidos, de la estructura de periodos previo y de test, del modelo lineal con respuesta previa y diferencial de inversión y pesos iguales al inverso de la respuesta previa, del segundo modelo ajustado solo en las regiones de control para estimar el contrafactual de inversión, de la definición de retorno sobre la inversión publicitaria y de coste por clic incremental, del procedimiento de estratificación por tamaño con grupos de tamaño M y la reducción de cerca del 10 por ciento en el intervalo de confianza, del retraso de la respuesta en ventas offline y de la necesidad de extender el periodo de test, y de la advertencia de que reutilizar datos del periodo previo vuelve las estimaciones de intervalo demasiado optimistas. research.google.
• Tu, S., Li, C., Wester, C. W., De Schacht, C. y colegas. Unified and Simple Sample Size Calculations for Individual or Cluster Randomized Trials with Skewed or Ordinal Outcomes. arXiv 2505.01640. Fuente de la forma del efecto de diseño como 1 más el producto de la correlación intraclase por el tamaño del agrupamiento menos 1, de la atribución original de la idea a Kish como medida del impacto del diseño muestral sobre la varianza de un estimador, de la aplicación por Donner y colegas como factor de inflación de tamaño de muestra, y de la relación entre el tamaño de muestra individual y el de clúster. arxiv.org.
• Kastelman, D. y Ramesh, R. Switchback Tests and Randomized Experimentation Under Network Effects at DoorDash. DoorDash, 2018. Referencia sobre el principio general de casar unidad de sorteo y unidad de análisis, aquí aplicado a unidades de tiempo y región en lugar de unidades puramente geográficas. careersatdoordash.com.
• Kohavi, R., Tang, D. y Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Referencia general sobre la elección de la unidad de aleatorización y sobre las consecuencias de analizar en una unidad diferente de la que fue sorteada. Material complementario en experimentguide.com.

Lee también: Test switchback · Interferencia entre variantes · Métricas de ratio · Atribuyendo ingresos al ganador · Calculadora de valor-p · Leia em português · Read in English