Experimento Geográfico: testar sem sortear usuário

Quando a intervenção não pode ser entregue por usuário, a saída é sortear regiões inteiras: metade recebe a campanha, metade não, e a diferença entre os dois conjuntos é o efeito incremental. O preço disso é que a unidade de amostra passa a ser a região, não a pessoa, e ignorar essa troca produz valores-p que erram por um fator grande. Este guia cobre quando o experimento geográfico é a única opção honesta, um exemplo trabalhado em que um resultado com valor-p de sete zeros vira não significativo ao ser lido na unidade certa, o modelo linear que o Google publicou para estimar retorno sobre investimento em anúncio, e a regra de desenho que corta o intervalo de confiança em 10 por cento sem custar nada. Faz parte do nosso guia completo de teste A/B e usa o mesmo raciocínio de unidade de sorteio que aparece em teste switchback.

Quando não dá para sortear pessoas

O teste A/B por usuário depende de duas coisas: conseguir entregar experiências diferentes para pessoas diferentes, e conseguir ligar cada resultado à pessoa que o gerou. Existe uma família inteira de decisões de marketing em que nenhuma das duas é possível.

• Mídia que atinge quem está por perto. Televisão, rádio, mídia exterior, patrocínio local. A exposição não é escolhida por você, é geográfica por natureza.
• Mudanças de verba e de estrutura de campanha. Aumentar lance, adicionar palavras-chave, desligar uma campanha. O efeito colateral atravessa canais e não respeita a divisão por cookie.
• Resultado que acontece fora do site. Venda em loja física, ligação para a central, visita a concessionária. Não existe identificador ligando exposição e conversão.
• Precificação ou operação regional. Frete, prazo de entrega, disponibilidade de estoque.

Em todos esses casos, a unidade que você consegue controlar é a região. Vaver e Koehler descrevem exatamente esse desenho no artigo do Google sobre medição de efetividade de anúncio: regiões geográficas que não se sobrepõem são sorteadas para uma condição de controle ou de tratamento, e cada região realiza a condição atribuída por meio de anúncio com segmentação geográfica. Eles observam que em geral não é viável trabalhar com regiões tão pequenas quanto um código postal, e que nos Estados Unidos um conjunto possível são as 210 áreas de mercado definidas pela Nielsen, amplamente usadas como unidade de segmentação pelas plataformas de anúncio.

Exemplo trabalhado: o valor-p que evapora

Uma rede de varejo roda um experimento geográfico com 210 regiões, sorteando 105 para tratamento e 105 para controle. Cada região tem, em média, 40.000 clientes alcançados, o que dá 4,2 milhões por braço. No fim do período, os números agregados são estes:

Controle (A)

VisitantesConversões

Variação (B)

VisitantesConversões

Confiança90%95%99%

Controle (A) · Taxa-

Variação (B) · Taxa-

Melhora relativa-

valor-p-

IC 95% da diferença-

Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.

Leitura ingênua, por cliente	Clientes	Conversões	Taxa
Controle, 105 regiões	4.200.000	84.000	2,000 por cento
Tratamento, 105 regiões	4.200.000	86.520	2,060 por cento

A calculadora devolve mais 0,060 ponto percentual, mais 3,000 por cento relativo, z = 6,165, valor-p abaixo de 0,00001, intervalo de 95 por cento de mais 0,041 a mais 0,079 ponto percentual. Parece um caso encerrado.

Não é, e o motivo é que o sorteio não foi feito entre clientes. Foi feito entre 210 regiões. Clientes da mesma região compartilham clima, feriado municipal, concorrente local, campanha do varejo vizinho e sazonalidade regional, então as observações dentro de uma região não são independentes. O fator que corrige isso é o efeito de desenho, e a forma dele é conhecida desde os trabalhos de Kish: vale 1 mais o produto do coeficiente de correlação intraclasse pelo tamanho do agrupamento menos 1.

Suponha uma correlação intraclasse modesta de 0,0005, um valor ilustrativo e propositalmente pequeno, e agrupamentos de 40.000 clientes:

Conta	Resultado
Efeito de desenho: 1 mais 0,0005 vezes (40.000 menos 1)	21,00
Amostra efetiva por braço: 4.200.000 dividido por 21,00	200.005 clientes
Erro-padrão multiplicado pela raiz de 21,00	fator 4,583
z corrigido: 6,165 dividido por 4,583	1,345
Valor-p corrigido	0,178

O resultado que parecia certo com sete zeros depois da vírgula é, na leitura correta, não significativo. Nada nos dados mudou. O que mudou foi honrar a unidade que de fato foi sorteada.

Repare no tamanho da alavanca: uma correlação intraclasse de 0,0005 parece desprezível, e mesmo assim, multiplicada por agrupamentos de 40 mil pessoas, ela apaga 95 por cento da amostra efetiva. É por isso que o número de regiões, e não o número de pessoas, é o que dita o poder de um experimento geográfico.

A conta certa: o modelo linear de ROAS

O teste de duas proporções que acabamos de corrigir na unha não é o instrumento que o Google usa nesse desenho. Vaver e Koehler analisam o resultado com um modelo linear no nível da região, e a forma dele explica por que funciona.

A resposta da região no período de teste é modelada a partir de três coisas: um intercepto, a resposta da mesma região no período pré-teste, e o diferencial de investimento em anúncio daquela região. O parâmetro de interesse é o coeficiente do diferencial de investimento, que é justamente o retorno sobre investimento em anúncio, ou seja, o impacto incremental que aquele investimento teve sobre a métrica de resposta.

Termo do modelo	Papel
Intercepto e coeficiente da resposta pré-teste	absorvem as diferenças de sazonalidade entre pré-teste e teste, e o tamanho de cada região
Coeficiente do diferencial de investimento	o parâmetro de interesse, o retorno sobre investimento em anúncio
Pesos iguais a 1 dividido pela resposta pré-teste	controlam a heterocedasticidade causada pela diferença de tamanho entre regiões

Três consequências práticas saem daí:

1. O pré-teste faz o trabalho pesado. Ele entra como variável explicativa, e é isso que permite comparar uma região grande com uma pequena sem que a diferença de porte domine o resultado.
2. O diferencial de investimento não é o gasto do período de teste. Quando já existia investimento no pré-teste, o diferencial é estimado por um segundo modelo, ajustado apenas nas regiões de controle, que serve de contrafactual do que o investimento teria sido sem o experimento. Para as regiões de controle o diferencial é zero por definição, já que elas seguem no nível de base.
3. A métrica de resposta é escolha sua. Os autores listam cliques pagos e orgânicos, vendas online ou offline, visitas ao site, cadastros em newsletter e downloads de software.

Vale registrar por que esse desenho existe no mundo de mídia paga: custo por clique não conta a história completa, porque parte do clique pago pode estar canibalizando um clique orgânico que sairia de graça. A métrica que o experimento geográfico entrega, e que a observação direta não entrega, é o custo por clique incremental.

Desenho: estratificar por tamanho antes de sortear

Um sorteio simples entre 210 regiões pode, por azar, colocar as maiores de um lado só. Como as regiões são muito desiguais em tamanho, isso custa precisão. A correção recomendada por Vaver e Koehler é barata e específica:

1. Ordene as regiões pela métrica de resposta observada no período pré-teste.
2. Parta essa lista ordenada em grupos de tamanho M, onde a fração de tratamento é 1 sobre M. Para metade em tratamento, M igual a 2, ou seja, pares.
3. Sorteie uma região de cada grupo para o tratamento.

Eles relatam que agrupar as regiões por tamanho antes da atribuição reduz o intervalo de confiança da medida de retorno sobre investimento em 10 por cento ou mais, e que as estimativas de intervalo de confiança ficam cerca de 10 por cento menores quando o sorteio é restringido dessa forma. É poder estatístico de graça, obtido antes de o experimento começar.

Duração, atraso e o limite da previsão

Duas armadilhas de calendário aparecem nesse desenho.

O efeito continua acontecendo depois que o investimento para. Vaver e Koehler são explícitos: venda offline é um exemplo de métrica de resposta com atraso positivo, porque leva tempo até o consumidor pesquisar, decidir e ir à loja. Por isso o período de teste tem que se estender além do fim da mudança de investimento pelo tamanho desse atraso, para capturar as vendas incrementais completas. Se você corta o período no dia em que desliga a campanha, subestima o efeito de forma sistemática.

Prever o intervalo de confiança funciona, até certo ponto. Eles descrevem um procedimento de desenho em que se recortam pseudoperíodos de pré-teste e de teste dentro dos dados históricos, com a mesma duração dos períodos planejados, e se estima a meia largura do intervalo de confiança para vários sorteios diferentes. A previsão é bastante precisa. Mas eles alertam sobre o limite: quando o período hipotético fica mais longo que o histórico disponível, os dados de pré-teste precisam ser reutilizados várias vezes para gerar cada estimativa, e essa reutilização torna as estimativas otimistas demais. Vale como aviso geral: simulação de poder feita em cima de dado reciclado promete mais do que entrega.

Checklist do experimento geográfico

1. A intervenção é mesmo impossível por usuário? Se der para sortear pessoa, sorteie pessoa. O experimento geográfico troca muito poder por validade.
2. As regiões não se sobrepõem? Duas regiões que compartilham audiência por transbordo de mídia deixam de ser unidades independentes, e o problema vira o de interferência entre variações.
3. Existe período pré-teste limpo? Sem diferença de estrutura de campanha entre as regiões durante ele.
4. O sorteio foi estratificado por tamanho? Ordenar pela resposta do pré-teste e sortear dentro de grupos.
5. A análise roda no nível da região? Ou, se rodar por usuário, o efeito de desenho foi aplicado. As duas coisas juntas é que não pode.
6. O período de teste cobre o atraso da resposta? Especialmente para venda offline.
7. A conta de poder foi feita sobre número de regiões? Não sobre número de pessoas.

Erros comuns

• Rodar o teste de duas proporções com contagens de usuário. É o erro deste artigo inteiro, e ele é atraente porque produz o valor-p mais bonito do relatório.
• Escolher as regiões a dedo. Comparar as capitais contra o interior não é experimento, é observação com nome de experimento.
• Ignorar transbordo de mídia entre regiões vizinhas. Uma emissora que atravessa a fronteira da região contamina o controle e reduz a diferença medida.
• Usar poucas regiões. Dez regiões por braço quase nunca dá poder para detectar efeito de marketing realista, por mais gente que more nelas.
• Comparar antes e depois em vez de tratamento contra controle. Sem grupo de controle simultâneo, qualquer coisa que aconteceu no país inteiro vira o seu resultado.

Faça isso automático na Donnu

O erro caro do experimento geográfico não é a matemática do modelo, é a tentação de trocar a unidade na hora da análise, porque a versão por usuário sempre parece mais conclusiva.

Na Donnu, o experimento declara a unidade de aleatorização no desenho, e o relatório se recusa a apresentar um intervalo de confiança calculado numa unidade diferente daquela que foi sorteada. Quando as unidades são agrupadas, o aviso de dependência aparece junto do resultado, com o efeito de desenho estimado a partir dos seus próprios dados, não de um valor de referência genérico. E se quiser refazer qualquer parte da conta na mão, a calculadora de valor-p e a calculadora de intervalo de confiança aceitam as contagens brutas.

Referências

• Vaver, J. e Koehler, J. Measuring Ad Effectiveness Using Geo Experiments. Google Inc., 2011. Fonte da definição de experimento geográfico com regiões que não se sobrepõem sorteadas para controle ou tratamento e realizadas por segmentação geográfica, da observação de que não é viável usar regiões tão pequenas quanto códigos postais e de que as 210 áreas de mercado da Nielsen são um conjunto possível nos Estados Unidos, da estrutura de períodos pré-teste e teste, do modelo linear com resposta pré-teste e diferencial de investimento e pesos iguais ao inverso da resposta pré-teste, do segundo modelo ajustado apenas nas regiões de controle para estimar o contrafactual de investimento, da definição de retorno sobre investimento em anúncio e de custo por clique incremental, do procedimento de estratificação por tamanho com grupos de tamanho M e a redução de cerca de 10 por cento no intervalo de confiança, do atraso da resposta em vendas offline e da necessidade de estender o período de teste, e do alerta de que reutilizar dados de pré-teste torna as estimativas de intervalo otimistas demais. research.google.
• Tu, S., Li, C., Wester, C. W., De Schacht, C. e colegas. Unified and Simple Sample Size Calculations for Individual or Cluster Randomized Trials with Skewed or Ordinal Outcomes. arXiv 2505.01640. Fonte da forma do efeito de desenho como 1 mais o produto da correlação intraclasse pelo tamanho do agrupamento menos 1, da atribuição original da ideia a Kish como medida do impacto do desenho amostral sobre a variância de um estimador, da aplicação por Donner e colegas como fator de inflação de tamanho de amostra, e da relação entre o tamanho de amostra individual e o de cluster. arxiv.org.
• Kastelman, D. e Ramesh, R. Switchback Tests and Randomized Experimentation Under Network Effects at DoorDash. DoorDash, 2018. Referência sobre o princípio geral de casar unidade de sorteio e unidade de análise, aqui aplicado a unidades de tempo e região em vez de unidades puramente geográficas. careersatdoordash.com.
• Kohavi, R., Tang, D. e Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Referência geral sobre escolha da unidade de aleatorização e sobre as consequências de analisar numa unidade diferente da que foi sorteada. Material complementar em experimentguide.com.

Leia também: Teste switchback · Interferência entre variações · Métricas de razão · Atribuindo receita ao vencedor · Calculadora de valor-p · Read in English