Teste de Orçamento: onde o gasto para de compensar
Teste de orçamento mede uma curva, não um vencedor. Retorno marginal contra ROI médio, por que dois braços não acham o ótimo e o custo em poder.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
Um teste de orçamento não tem vencedor, tem uma curva. O tratamento não é uma variação de página nem um criativo, é um nível de gasto, e a pergunta não é “qual braço converteu mais”, é “o próximo real ainda se paga”. Três consequências saem disso e quase nunca aparecem no plano de teste. A primeira: o ROI médio e o retorno marginal são números diferentes, e é o segundo que decide. No exemplo trabalhado deste guia, o nível de gasto mais alto exibe um retorno aparente de 8,0100 enquanto o último real investido rende 0,8100, ou seja, devolve menos do que custou. A segunda: dois braços nunca encontram um ótimo, porque o ótimo mora entre os degraus. A terceira, a mais cara: o degrau adjacente, justamente o que interessa, é o menor efeito do experimento inteiro, e medir o menor efeito exige a maior amostra. Este guia cobre como sortear um nível de gasto, como ler a curva em vez do vencedor, o que a saturação custa em poder e onde termina o experimento e começa o modelo de mix. Este guia faz parte do nosso guia completo de teste A/B.
Um teste de orçamento não devolve um vencedor, devolve uma curva
Num teste A/B de página, o tratamento é uma coisa discreta: existe ou não existe. O visitante vê o botão novo ou vê o antigo, e a pergunta “qual ganha” faz sentido porque não há nada entre as duas versões.
Orçamento não funciona assim. Entre gastar R$ 60.000 e gastar R$ 180.000 numa janela existem infinitos níveis intermediários, e o desfecho muda de forma contínua ao longo desse contínuo. Quando você sorteia dois níveis de gasto e declara um vencedor, o que aconteceu de fato foi isto: você amostrou dois pontos de uma função e chamou o mais alto de campeão. O ponto mais alto de dois pontos quase sempre é o de maior gasto, porque mais mídia costuma comprar mais conversão. O que ninguém perguntou é se ele comprou barato.
A documentação do Meridian, do Google, nomeia as duas quantidades separadamente. O desfecho incremental é definido como a parte do resultado, vendas ou conversões, que foi causada por uma atividade de marketing específica. O ROI é esse desfecho incremental dividido pelo custo, e a documentação o descreve explicitamente como uma média histórica que vale para o canal inteiro. Já o mROI é o retorno de um pequeno aumento de gasto, por exemplo o próximo real, calculado com um incremento pequeno, que a documentação exemplifica com 1 por cento.
A frase que fecha o raciocínio está na mesma página: se o mROI está muito mais baixo que o ROI, o canal está começando a saturar no nível histórico de gasto. O exemplo da própria documentação é uma loja de sapatos com ROI de 2,50 dólares e mROI de 0,80 dólar no mesmo canal. Média confortável, margem negativa.
ROI médio e retorno marginal são números diferentes
Esta é a confusão que custa mais dinheiro em mídia paga, e ela não é estatística, é contábil.
Pegue o nível alto do exemplo trabalhado: 8.010 conversões numa janela que consumiu R$ 180.000, com ticket médio de R$ 180. Multiplique e divida: R$ 1.441.800 de receita atribuída sobre R$ 180.000 de gasto dá um retorno aparente de 8,0100. É o número que o painel mostra, é o número que vai para o relatório, e ele é dez vezes maior que o retorno marginal real daquele nível de gasto, que é 0,8100.
A diferença não é erro de arredondamento, é erro de atribuição. O 8,0100 credita à mídia toda a demanda que apareceu enquanto a mídia rodava, incluindo as 7.200 conversões que o nível baixo já entregava com um terço do gasto, e mais todas as que apareceriam com gasto zero. O 0,8100 pergunta outra coisa, muito mais estreita e muito mais útil: dos R$ 60.000 que você acrescentou por último, quanto voltou?
| número | o que ele mede | valor no exemplo | serve para decidir o quê |
|---|---|---|---|
| retorno aparente do nível | receita atribuída dividida pelo gasto total | 8,0100 | quase nada, porque inclui demanda não causada |
| retorno médio do incremento | receita incremental de L até H dividida pelo incremento de gasto | 1,2150 | se vale a pena estar no nível alto em vez do baixo |
| retorno marginal do último degrau | receita incremental de M até H dividida pelos R$ 60.000 do degrau | 0,8100 | se o próximo real se paga, que é a pergunta real |
Repare no do meio. O retorno médio do incremento, 1,2150, é a média de um degrau que paga 1,6200 e de um degrau que paga 0,8100. Ele está acima de 1, o que dá a impressão de que subir do nível baixo ao alto foi um bom negócio. Foi, em parte: a primeira metade do aumento foi excelente e a segunda metade destruiu valor. A média das duas esconde exatamente a informação que você precisava.
Lewis e Rao explicam por que essa contaminação não se resolve olhando mais dados observacionais. No estudo deles, com 25 experimentos de campo em grandes varejistas e corretoras americanas, 19 varejistas e 6 empresas de serviços financeiros, somando 2,8 milhões de dólares em gasto com publicidade digital, o desvio padrão da venda individual é tipicamente 10 vezes a média na janela típica de avaliação de campanha. Com esse nível de ruído no desfecho, qualquer diferença entre pessoas expostas e não expostas que não tenha vindo de um sorteio está dominada por seleção, e não por efeito.
Como sortear um nível de gasto
Sortear uma página é fácil: o visitante chega, você joga a moeda, ele vê uma versão. Sortear um nível de gasto é mais difícil, porque orçamento é uma propriedade da campanha, não da pessoa. Três unidades de sorteio resolvem isso de maneiras diferentes.
Região. Você agrupa geografias em pares comparáveis e sorteia qual par recebe qual nível de gasto. É o desenho do exemplo trabalhado deste guia e o mais acessível para quem anuncia, porque não depende de nenhum acesso especial à plataforma. O mecanismo, o pareamento e a leitura estão em experimentos geográficos, e a leitura causal do resultado em teste de incrementalidade. O custo é a unidade: você tem poucas regiões, e poucas unidades grandes carregam muito mais variância que muitas unidades pequenas.
Submercado de usuários. Você divide a base de usuários em dois conjuntos disjuntos de tamanho igual e roda um nível de gasto em cada um. Hermle e Martini descrevem esse desenho em detalhe, e ele só está disponível para quem opera a plataforma de anúncios, porque exige isolar submercados inteiros de leilão. É o desenho mais limpo dos três e, por isso mesmo, o menos acessível ao anunciante.
Divisão de orçamento na própria plataforma. A plataforma divide o orçamento total entre os braços do experimento. A documentação do Google Ads é explícita sobre qual mecanismo se aplica a quê: para certos experimentos de Search, App e Display o Google suporta divisão de orçamento, enquanto para outros, como Performance Max, Demand Gen e Vídeo, suporta divisão de tráfego. Na divisão de orçamento, o Google reparte o orçamento total entre os braços; a própria página dá o exemplo de uma divisão 70-30, em que 70 por cento do orçamento vai para o controle e 30 por cento para o tratamento. Na divisão de tráfego, o que se reparte é quantas vezes os anúncios entram em leilão.
| unidade de sorteio | quem consegue usar | o que ela resolve bem | o que ela custa |
|---|---|---|---|
| região | qualquer anunciante | isola o leilão entre braços, permite nível de gasto de conta inteira | poucas unidades, variância alta, precisa de pareamento cuidadoso |
| submercado de usuários | só a plataforma | sorteio individual sem canibalização de leilão | exige controle do leilão, indisponível para o anunciante |
| divisão de orçamento na plataforma | anunciante, nos tipos de campanha suportados | rápido de montar, sem infraestrutura própria | o mecanismo varia por tipo de campanha e os braços dividem o mesmo total |
Duas advertências operacionais da documentação do Google Ads valem para o terceiro caso. A primeira: a recomendação é rodar o experimento por pelo menos 4 a 6 semanas, ou mais se o seu atraso de conversão for longo, mecanismo detalhado em atraso de conversão. A segunda: os primeiros 7 dias de dados são descartados para dar conta do tempo de aceleração do experimento. Ou seja, a plataforma já embute um período de queima, e o seu plano de análise precisa saber disso antes de calcular duração.
Exemplo trabalhado: três níveis, um degrau que decide
O desenho: experimento geográfico com três níveis de gasto sorteados entre regiões pareadas, 900.000 pessoas por nível, 4 semanas de janela, ticket médio de R$ 180. Os números abaixo saíram do mesmo motor de estatística que roda nas calculadoras desta página.
| nível | gasto na janela | conversões | taxa |
|---|---|---|---|
| baixo (L) | R$ 60.000 | 7.200 | 0,8000% |
| médio (M) | R$ 120.000 | 7.740 | 0,8600% |
| alto (H) | R$ 180.000 | 8.010 | 0,8900% |
Três níveis geram três comparações possíveis. Todas bilaterais, a 95 por cento:
| comparação | A | B | dif. abs. | lift rel. | z | p | IC 95% (pp) | veredito |
|---|---|---|---|---|---|---|---|---|
| M contra L (dobra o gasto) | 7.200/900.000 = 0,8000% | 7.740/900.000 = 0,8600% | +0,0600 pp | +7,5000% | 4,4364 | 0,000009 | +0,0335 a +0,0865 | M vence |
| H contra M (degrau adjacente, +50% de gasto) | 7.740/900.000 = 0,8600% | 8.010/900.000 = 0,8900% | +0,0300 pp | +3,4884% | 2,1609 | 0,030704 | +0,0028 a +0,0572 | H vence |
| H contra L (triplica o gasto) | 7.200/900.000 = 0,8000% | 8.010/900.000 = 0,8900% | +0,0900 pp | +11,2500% | 6,5957 | 0,000000 | +0,0633 a +0,1167 | H vence |
Lido como um teste A/B comum, o resultado é trivial: o nível alto venceu as duas comparações em que apareceu, então gaste mais. Cole 7.740 conversões em 900.000 pessoas contra 8.010 em 900.000 na calculadora abaixo para reproduzir a linha do meio: a tela mostra p de 0,0307 e melhora de +3,5%, que são o 0,030704 e os mais 3,4884 por cento da tabela, arredondados.
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
Agora leia o mesmo experimento como uma curva. Cada degrau custou os mesmos R$ 60.000:
- De L para M: mais 540 conversões por mais R$ 60.000, o que dá R$ 111,11 por conversão incremental e retorno marginal de 1,6200. Receita incremental de R$ 97.200,00.
- De M para H: mais 270 conversões pelos mesmos mais R$ 60.000, o que dá R$ 222,22 por conversão incremental e retorno marginal de 0,8100. Receita incremental de R$ 48.600,00.
- De L para H: mais 810 conversões por mais R$ 120.000, retorno médio do incremento de 1,2150.
O custo por conversão incremental dobrou de um degrau para o outro. O retorno marginal caiu pela metade e cruzou 1 para baixo. O nível alto ganhou o teste de significância e perdeu dinheiro no processo, e as duas afirmações são verdadeiras ao mesmo tempo porque respondem perguntas diferentes: a primeira pergunta se o efeito existe, a segunda pergunta se ele vale o preço.
O degrau que interessa é o mais caro de medir
Aqui está a aritmética que torna a saturação um problema genuinamente difícil, e não apenas um descuido de leitura.
O tamanho de amostra necessário escala com o inverso do quadrado do efeito que você quer detectar. Perto da saturação, os efeitos entre níveis vizinhos são pequenos por definição, porque a curva está achatando. Logo, quanto mais perto do ponto em que a decisão importa, menor o efeito e maior a amostra exigida. As duas coisas se movem na direção errada juntas.
Com base de 0,86 por cento, teste bilateral a 95 por cento e poder de 80 por cento:
| o que medir | base | MDE relativo | N por nível | duração com 3 níveis a 900.000 pessoas/semana |
|---|---|---|---|---|
| degrau H contra M | 0,86% | 3,4884% | 1.512.816 | 36 dias |
| degrau M contra L | 0,80% | 7,5000% | 358.916 | 9 dias |
| +10% relativo | 0,86% | 10,0000% | 189.927 | 5 dias |
| +5% relativo | 0,86% | 5,0000% | 741.784 | 18 dias |
| +2% relativo | 0,86% | 2,0000% | 4.568.901 | 107 dias |
O degrau que decide, de M para H, pede 1.512.816 pessoas por nível, quase o dobro das 900.000 que o experimento realmente teve. O degrau que já não interessava, de L para M, pede apenas 358.916. Reproduza a primeira linha na calculadora abaixo com base de 0,86 por cento, efeito mínimo detectável relativo de 3,49 por cento, confiança de 95 por cento e poder de 80 por cento; com 3,49 a tela mostra 1.511.417 por nível, e o 1.512.816 da tabela vem da fração cheia, 3,4884 por cento.
Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.
Com as 900.000 pessoas por nível que o experimento de fato teve, o poder efetivo fica assim:
- degrau H contra M: 57,96 por cento. O resultado saiu significante, p igual a 0,030704, mas veio de um teste com poder abaixo de 60 por cento. Quando um teste de baixo poder rejeita a hipótese nula, o efeito estimado tende a sair inflado, porque só as amostras mais favoráveis conseguem atravessar o limiar. A escolha de um limiar sensato é assunto de efeito mínimo detectável, e a conta de tráfego necessário está em quantos visitantes um teste A/B precisa.
- H contra L: 100,00 por cento. A comparação que ninguém precisava fazer é a única com poder de sobra.
Lewis e Rao chegam a essa mesma parede por outro caminho, e com números que valem citar. Nos experimentos de varejo deles, o intervalo de confiança mediano sobre o retorno do investimento tem cerca de 100 pontos percentuais de largura. O erro padrão mediano do ROI é de 26,1 por cento nos experimentos de varejo e de 115 por cento nos de corretoras. Para separar de forma confiável uma campanha muito lucrativa, com ROI de mais 50 por cento, de uma que apenas empata, com ROI de zero, a campanha mediana do estudo teria que ser 9 vezes maior. Para uma tolerância de 10 pontos de diferença de ROI, teria que ser 62 vezes maior, o que os autores classificam como praticamente impossível para uma campanha de tamanho realista.
Dois outros números do mesmo estudo ajudam a calibrar a intuição. Num exemplo estilizado de campanha muito lucrativa, os autores calculam que a variável de tratamento explicaria um R² da ordem de 0,0000054. E para render mais 25 por cento de ROI, a campanha mediana precisava causar um aumento de 0,35 dólar na venda média por pessoa, com custos de campanha entre 0,02 e 0,35 dólar por usuário exposto, a maioria perto de 0,10 dólar. Todo experimento do estudo teve mais de 500.000 usuários únicos e a maioria passou de 1.000.000; os autores calculam que experimentos informativos podem facilmente exigir mais de 10 milhões de pessoas-semana.
Por que a plataforma consegue fazer isso e você não
Hermle e Martini, do LinkedIn, atacam exatamente este problema, e a solução deles explica por que medir a curva é fácil de um lado do leilão e difícil do outro.
O ponto de partida é a endogeneidade. Correlacionar orçamento com desempenho não identifica nada, e o viés pode ir para qualquer lado. Um anunciante que espera bom desempenho coloca mais orçamento, o que enviesa a estimativa para cima. Um anunciante que quer atingir um patamar de resultado coloca mais orçamento justamente quando espera desempenho ruim por unidade de gasto, o que enviesa para baixo, e os autores registram que em casos extremos isso produz incrementalidade negativa medida quando o efeito causal verdadeiro é positivo.
A solução proposta é a divisão assimétrica de orçamento, e o detalhe mais importante é o que ela não faz: ela não muda o orçamento total do anúncio. O procedimento tem três passos. Primeiro, dividir a base de usuários em dois conjuntos disjuntos de tamanho igual, criando os submercados M1 e M2. Segundo, criar duas cópias do mesmo anúncio e repartir o orçamento total de forma desigual entre elas, com orçamento alto igual a α vezes B e orçamento baixo igual a 1 menos α vezes B, sendo α maior que 0,5. Terceiro, sortear qual cópia vai para qual submercado, com probabilidade 0,5 para cada alocação.
O estimador usa o componente aleatório do orçamento, definido como o orçamento efetivamente alocado menos 0,5 vezes o orçamento total do anúncio, ou seja, o desvio em relação à divisão igual. Esse desvio é o que o sorteio criou, e isolá-lo é o que separa a variação experimental da variação natural de orçamento entre anúncios.
Vale registrar duas relações. A divisão simétrica de orçamento, aquela usada para resolver interferência entre variações em marketplace, é o caso particular com α igual a 0,5. As duas respondem perguntas diferentes e são compatíveis. E o método, segundo os próprios autores, generaliza para qualquer ambiente em que uma quantidade divisível e esgotável influencie o desfecho, incluindo estoque, cotas de notificação e limites de impressão.
Na implantação em produção no Marketplace de Vagas do LinkedIn, contínua e não uma medição de uma vez só, o fator de assimetria foi fixado em α igual a 0,6, escolhido por um cálculo de poder que considera a variação dos desfechos no marketplace. O eixo dos resultados publicados é censurado por confidencialidade, mas a direção é declarada: o retorno incremental por unidade de orçamento é menor em países com PIB per capita mais alto e menor para vagas de senioridade mais alta, porque nesses casos o preço de mercado do candidato é mais alto.
E o anunciante? Ele não pode isolar submercados de leilão, e não pode simplesmente mexer no próprio orçamento sem consequência, porque mudar orçamento no meio de uma campanha mexe no ritmo de entrega e nos sistemas de otimização que rodam por cima, mecanismo tratado em lances automáticos e em ritmo de entrega do orçamento. O que sobra para o anunciante são duas coisas: a divisão por região, com o seu próprio sorteio, e a divisão de orçamento oferecida pela plataforma nos tipos de campanha em que ela existe, com os limites e o descarte de sete dias já mencionados.
A fronteira com o modelo de mix de marketing
Vale separar com precisão o que é assunto de modelagem de mix de marketing calibrada por experimento e o que é assunto deste guia, porque as duas coisas usam a palavra “curva” e querem dizer objetos diferentes.
Lá, o objeto é um modelo, e o experimento serve de âncora. A curva de resposta, na definição do Meridian, é o desfecho incremental em função do gasto, preservando os padrões históricos de veiculação. Ela é estimada com dados históricos e existe em toda a faixa. Em cima dela rodam os cenários de otimização de orçamento, e a documentação declara três. O cenário 1, orçamento fixo, é o método padrão: encontrar a alocação ótima entre canais e táticas para maximizar o retorno, com restrição padrão de mais ou menos 0,3 por canal, ou seja, cada canal pode variar entre 70 e 130 por cento do gasto alocado. O cenário 2, orçamento flexível com ROI mínimo alvo, pergunta quanto dá para gastar, sem limite de orçamento, até o ROI geral atingir o alvo; a restrição se aplica no nível do ROI total de marketing e não no nível de canal, com faixa padrão de 0 a 200 por cento do gasto alocado. O cenário 3, orçamento flexível com mROI alvo, pergunta quanto dá para gastar até o mROI de cada canal atingir o alvo; aqui a restrição se aplica no nível de canal e não no total, com as mesmas faixas.
Aqui, o objeto é a própria curva, medida por sorteio numa faixa estreita. O experimento não devolve a curva inteira, devolve dois ou três pontos dela, com intervalo de confiança em cada degrau. É muito menos abrangente e muito mais difícil de contestar.
As duas coisas se encaixam, e a razão está declarada na documentação do Meridian: o risco de extrapolação afeta a estimativa de desfecho incremental para pontos da curva de resposta que estão acima do gasto histórico, e esse risco cresce quanto mais longe você vai. O experimento resolve isso na faixa que ele cobriu e só nela. Na prática, o modelo propõe a direção e o tamanho do movimento, o experimento confirma o degrau seguinte, e a próxima rodada do modelo herda um ponto medido em vez de um ponto extrapolado.
Métricas de guarda
Um teste de orçamento falha de maneiras que um teste de página não conhece, porque o tratamento mexe no sistema de entrega e não só no que o visitante vê.
| sinal | o que observar | o que fazer se disparar |
|---|---|---|
| gasto realizado por nível | o gasto efetivo de cada braço contra o gasto planejado do nível | se um nível não gastou o que devia, o tratamento não foi aplicado; não leia a curva ainda |
| braço limitado por orçamento | qualquer nível batendo no teto de entrega antes do fim do dia | o nível está estrangulado, não tratado; o degrau medido não é o degrau planejado |
| pessoas alcançadas por nível | divergência entre níveis que cresce com o tempo | confira o sorteio das unidades antes de ler conversão; ver desequilíbrio de amostra |
| ticket médio por nível | diferença de ticket entre níveis maior que o ruído histórico | mais gasto pode estar comprando outro público; a receita incremental deixa de ser comparável entre degraus |
| atraso de conversão | mediana de dias entre exposição e conversão contra a data de leitura | espere pelo menos um ciclo completo depois do fim antes de fechar o retorno marginal |
| retorno marginal do último degrau | o degrau adjacente cruzando 1 para baixo | pare de subir; o próximo degrau custa mais amostra e rende menos |
A regra que resume todas: antes de ler a curva, confirme que cada nível realmente gastou o que o sorteio mandou gastar. Um nível que não conseguiu gastar o orçamento designado não é um ponto da curva, é um ponto de outra curva.
Erros comuns
- Declarar vencedor num teste de orçamento. O nível mais alto quase sempre “vence” em conversões absolutas. Isso não é informação, é aritmética. A informação está na inclinação entre níveis vizinhos.
- Usar o retorno aparente do nível para decidir o próximo real. No exemplo trabalhado, o retorno aparente é 8,0100 e o retorno marginal é 0,8100. Decidir pelo primeiro leva a subir o orçamento indefinidamente.
- Rodar com dois níveis. Dois pontos dão uma reta, e uma reta não tem ponto de saturação. Você mede uma inclinação média que pode esconder um degrau que destrói valor, exatamente como o 1,2150 esconde o 0,8100.
- Dimensionar a amostra pelo degrau grande. O degrau de L para M pede 358.916 pessoas por nível, o de M para H pede 1.512.816. Dimensionar pelo primeiro garante que o segundo, que é o que decide, saia sem poder.
- Tratar um resultado significante de baixo poder como estimativa confiável. O degrau H contra M saiu com p igual a 0,030704 e poder de 57,96 por cento. Quando um teste fraco rejeita, o efeito estimado tende a vir inflado.
- Extrapolar além da faixa sorteada. O experimento mediu de R$ 60.000 a R$ 180.000. Nada nele diz o que acontece em R$ 400.000, e o risco de extrapolação cresce com a distância do gasto observado.
- Mudar orçamento no meio da janela para “corrigir” um nível. Isso não corrige, cria um quarto nível que ninguém sorteou e que nenhum braço representa.
- Inferir a curva do histórico da conta. Orçamento é endógeno: quem esperava um resultado melhor gastou mais, e quem perseguia um patamar gastou mais quando o desempenho por real estava pior. O histórico mistura os dois vieses em direções opostas.
- Ler o resultado antes do fim sem plano de análise sequencial. Olhar a cada semana e parar quando o degrau fica significante infla o falso positivo, mecanismo detalhado no problema do peeking.
Faça isso automático na Donnu
A dor específica deste guia é uma dor de leitura, não de execução: o número que o painel de mídia entrega é uma média de canal, e a decisão que você precisa tomar é marginal. Nenhuma ferramenta conserta isso automaticamente, porque a diferença entre os dois números depende de quanto da demanda existiria sem a mídia, e isso só um sorteio responde.
O que dá para automatizar é a metade estatística: declarar o nível, a janela e o efeito mínimo antes de começar, e ler cada degrau com o intervalo de confiança do lado, em vez do vencedor. Na Donnu o experimento vive no seu site, com data de início, período de queima e data de leitura declarados antes de o teste subir, e o relatório mostra a diferença absoluta com o intervalo ao lado, que é a forma que não se deixa enganar por um degrau de baixo poder. Para quem quiser fazer a conta sem subir nada, a calculadora de tamanho de amostra e a calculadora de significância desta casa são gratuitas e abertas.
A Donnu é uma opção entre várias, e nenhuma ferramenta de teste em página mede a curva de orçamento por você: essa parte exige sorteio na camada de mídia, por região ou pela própria plataforma. O que não muda de ferramenta para ferramenta é o princípio: se você não sorteou mais de um nível de gasto, o retorno marginal que você está usando para decidir não foi medido, foi suposto.
Perguntas frequentes
As perguntas no topo desta página cobrem se teste de orçamento é a mesma coisa que teste A/B, qual a diferença entre ROI e retorno marginal, por que dois níveis de gasto não bastam, quantas pessoas são necessárias para medir saturação, se dá para estimar a curva sem experimento e o que um experimento de orçamento não responde.
Referências
- Lewis, R. e Rao, J. The Unfavorable Economics of Measuring the Returns to Advertising, Quarterly Journal of Economics 130(4), 2015, pp. 1941-1973. Fonte dos 25 experimentos de campo com grandes varejistas e corretoras dos EUA (19 varejistas e 6 empresas de serviços financeiros) somando 2,8 milhões de dólares em gasto, do intervalo de confiança mediano sobre o ROI no varejo com cerca de 100 pontos percentuais de largura, dos erros padrão medianos de 26,1 por cento no varejo e 115 por cento nas corretoras, do desvio padrão da venda individual tipicamente 10 vezes a média, dos fatores de 9 vezes e 62 vezes de tamanho de campanha, do R² de 0,0000054 no exemplo estilizado de campanha muito lucrativa, do aumento de 0,35 dólar por pessoa necessário para mais 25 por cento de ROI, dos 10 milhões de pessoas-semana e dos custos de 0,02 a 0,35 dólar por usuário exposto. Conferido em 25 de setembro de 2026. gwern.net.
- Hermle, J. e Martini, G. (LinkedIn). Valid and Unobtrusive Measurement of Returns to Advertising through Asymmetric Budget Split, arXiv:2207.00206, 2022. Fonte do argumento de endogeneidade do orçamento nos dois sentidos, do desenho de divisão assimétrica em três passos com submercados disjuntos, do estimador baseado no desvio em relação à divisão igual, da relação com a divisão simétrica como caso particular de alfa igual a 0,5, do valor alfa igual a 0,6 usado em produção no Marketplace de Vagas do LinkedIn e da direção do resultado por PIB per capita e senioridade da vaga. Conferido em 25 de setembro de 2026. arxiv.org.
- Google for Developers, Meridian. Incremental Outcome, ROI, mROI & Response Curves. Fonte da definição de desfecho incremental, da descrição do ROI como média histórica do canal inteiro, da definição de mROI como retorno de um pequeno aumento de gasto com incremento como 1 por cento, da afirmação de que um mROI muito abaixo do ROI indica saturação no nível histórico de gasto, do exemplo da loja de sapatos com ROI de 2,50 e mROI de 0,80 dólar e da advertência sobre risco de extrapolação acima do gasto histórico. Conferido em 25 de setembro de 2026. developers.google.com.
- Google for Developers, Meridian. Budget optimization scenarios. Fonte dos três cenários de otimização, das restrições padrão de mais ou menos 0,3 por canal no cenário de orçamento fixo, da faixa de 0 a 200 por cento nos cenários flexíveis e da distinção de que o ROI alvo se aplica no nível total de marketing enquanto o mROI alvo se aplica no nível de canal. Conferido em 25 de setembro de 2026. developers.google.com.
- Google Ads Help. Experiments FAQs. Fonte da distinção entre divisão de orçamento, suportada em certos experimentos de Search, App e Display, e divisão de tráfego, suportada em Performance Max, Demand Gen e Vídeo, do exemplo de divisão 70-30 do orçamento total entre os braços, da recomendação de rodar o experimento por pelo menos 4 a 6 semanas e do descarte dos primeiros 7 dias de dados por causa do tempo de aceleração. Conferido em 25 de setembro de 2026. support.google.com.
Leia também: Realocação de orçamento · Ritmo de entrega do orçamento · Experimentos geográficos · Teste de incrementalidade · Modelagem de mix de marketing · Efeito mínimo detectável · Quantos visitantes · O problema do peeking · Lances automáticos · Read in English
Perguntas frequentes
- Teste de orçamento é a mesma coisa que teste A/B?
- É um teste A/B com outro tipo de tratamento. No teste A/B clássico você sorteia pessoas entre duas versões e pergunta qual delas ganha. No teste de orçamento o tratamento é um nível de gasto, e a resposta não é um vencedor, é uma curva: quanto cada real adicional ainda produz. Por isso o desenho costuma ter três ou mais braços, e a leitura olha a inclinação entre braços vizinhos, não apenas qual braço teve o número mais alto.
- Qual a diferença entre ROI e retorno marginal?
- O ROI é uma média histórica do canal inteiro; o retorno marginal é o que o próximo real produz. A documentação do Meridian define o mROI como o retorno de um pequeno aumento de gasto, com um incremento como 1 por cento, e afirma que quando o mROI está muito abaixo do ROI o canal está começando a saturar no nível histórico de gasto. No exemplo trabalhado deste guia, o retorno aparente do nível alto é 8,0100 e o retorno marginal do último degrau é 0,8100. Quem decide o próximo real é o segundo número.
- Por que dois níveis de gasto não bastam?
- Porque dois pontos só descrevem uma reta, e a pergunta é sobre curvatura. Com dois braços você mede a inclinação média entre eles e continua sem saber se o ponto de equilíbrio está antes, dentro ou depois do intervalo. No exemplo deste guia, ir do nível baixo ao alto de uma vez rende retorno médio de 1,2150, que parece confortável, mas esse número é a média de um degrau que paga 1,6200 e de outro que paga 0,8100. Três níveis mostram onde a curva cruza o equilíbrio; dois níveis escondem.
- Quantas pessoas preciso para medir saturação?
- Mais do que a intuição sugere, porque o degrau que decide é o menor efeito do experimento inteiro. No exemplo deste guia, detectar o degrau do nível médio para o alto, de mais 3,4884 por cento relativos sobre uma base de 0,86 por cento, em teste bilateral a 95 por cento com poder de 80 por cento, exige 1.512.816 pessoas por nível. O degrau anterior, que já não interessava, pede apenas 358.916. A amostra escala com o inverso do quadrado do efeito, então cada passo em direção à saturação multiplica a conta.
- Dá para medir a curva sem experimento?
- Dá para estimar, não para identificar. Hermle e Martini mostram que correlacionar orçamento com desempenho não identifica nada, porque o orçamento é endógeno: quem espera bom desempenho coloca mais orçamento, e quem persegue um patamar coloca mais orçamento justamente quando espera desempenho ruim por unidade de gasto. Um modelo de mix de marketing devolve uma curva de resposta útil, mas a própria documentação do Meridian avisa que o risco de extrapolação cresce quanto mais longe do gasto histórico você vai. O experimento é o que ancora a faixa.
- O que o experimento de orçamento não responde?
- Ele não diz onde exatamente está o ótimo, nem o que acontece fora da faixa sorteada. Um experimento com três níveis devolve dois degraus e, portanto, dois retornos marginais; o ponto em que a curva cruza o equilíbrio mora entre os degraus, e o experimento apenas o cerca. Ele também não responde como dividir o orçamento entre canais, que é problema de realocação, nem como distribuir o gasto ao longo do dia, que é problema de ritmo de entrega.