Realocação de Orçamento: o experimento de portfólio
Realocação de orçamento não se testa canal por canal. Por que a unidade de análise é o portfólio, o que o CPA médio esconde e quanto custa medir.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
Quando o orçamento é compartilhado, canal não é tratamento. O tratamento é a alocação inteira, e a unidade de análise é o portfólio. Isso não é preferência metodológica, é consequência de como as plataformas gastam dinheiro: a Meta declara que o compartilhamento de orçamento entre conjuntos de anúncios move até 20 por cento do orçamento diário de um conjunto para outro, e que no nível da campanha o gasto permanece igual com o recurso ligado ou desligado. Ler canal por canal depois de uma realocação produz dois vereditos falsos ao mesmo tempo: o canal que perdeu dinheiro parece ter melhorado e o que ganhou parece ter piorado, porque o CPA médio de cada canal é contaminado pela demanda que já existia. No exemplo trabalhado deste guia, o movimento ganha 360 conversões com gasto total idêntico, e as duas leituras de canal pedem para desfazê-lo. Este guia cobre por que o portfólio é a única unidade válida, o que o CPA médio esconde, qual é a regra de parada correta e por que este é o teste menos poderoso que você vai rodar. Este guia faz parte do nosso guia completo de teste A/B.
Canal não é tratamento quando o orçamento é compartilhado
O argumento mais forte contra a leitura canal por canal não vem da estatística, vem da própria plataforma.
A Meta descreve o compartilhamento de orçamento entre conjuntos de anúncios como um recurso que permite compartilhar até 20 por cento do orçamento diário de um conjunto com outros conjuntos, para melhorar o desempenho de campanhas que não usam orçamento de campanha. E acrescenta a frase que resolve a discussão: no nível da campanha, o gasto permanece o mesmo com o recurso ligado ou desligado.
Leia isso como um enunciado sobre tratamento. Se até um quinto do orçamento de um conjunto pode financiar outro conjunto, então o gasto observado em cada conjunto não é uma quantidade que você fixou, é uma quantidade que o sistema decidiu. Você não atribuiu orçamento a um canal, você atribuiu um total a um conjunto de canais e delegou a divisão.
O Advantage+ campaign budget é a versão explícita disso. A documentação afirma que o recurso gerencia automaticamente o orçamento da campanha entre os conjuntos de anúncios para obter os melhores resultados gerais, distribuindo continuamente e em tempo real para os conjuntos com as melhores oportunidades. E ela mesma tira a conclusão operacional: o orçamento pode não ser gasto igualmente em cada conjunto, com a maior parte indo para um só conjunto se for assim que os melhores resultados aparecem, e por isso é importante analisar resultados no nível da campanha, não no nível do conjunto de anúncios.
Três consequências práticas saem daí.
| o que a plataforma faz | consequência para o seu teste |
|---|---|
| compartilha até 20% do orçamento diário entre conjuntos | o gasto por canal é desfecho, não tratamento |
| redistribui em tempo real para a melhor oportunidade | a divisão observada muda de um dia para o outro sem que você tenha mexido |
| mantém o gasto total da campanha constante | o único número que você realmente fixou é o total |
Repare que a terceira linha é uma boa notícia: o total é estável, e é exatamente sobre o total que a hipótese de realocação se escreve.
Na realocação de orçamento, o tratamento é a alocação inteira
Realocar orçamento é trocar um vetor por outro vetor. Não é ligar nem desligar nada.
O desenho do exemplo deste guia é um experimento geográfico com dois braços de regiões pareadas, 1.200.000 pessoas por braço, 4 semanas, ticket médio de R$ 40. O gasto total é idêntico nos dois braços: R$ 200.000. O que muda é só a divisão.
| braço | canal A | canal B | total |
|---|---|---|---|
| controle (alocação atual) | R$ 140.000 | R$ 60.000 | R$ 200.000 |
| tratamento (move R$ 40.000 de A para B) | R$ 100.000 | R$ 100.000 | R$ 200.000 |
Duas definições precisam estar escritas no plano antes de o teste subir, e elas não são a mesma coisa.
A unidade de aleatorização é a região. É ela que o sorteio distribui entre os braços, e é o nível em que a alocação é aplicada. A unidade de análise é o portfólio: a conversão somada de todos os canais dividida pela população do braço. Confundir as duas é o erro que produz todos os outros deste guia.
Por que o portfólio, e não o canal? Porque o desfecho de interesse é uma soma, e a soma é a única quantidade que o sorteio protege. Quando você olha o canal B dentro do braço tratado, você está abrindo um subgrupo definido depois da aleatorização, com um denominador que o próprio tratamento alterou. Métricas cujo denominador se move com o tratamento pedem cuidado específico, e o mecanismo está detalhado em métricas de razão.
Existe um parente próximo deste desenho que resolve outra pergunta. Hermle e Martini, do LinkedIn, propõem a divisão assimétrica de orçamento: manter o orçamento total de um anúncio e dividi-lo de forma desigual entre dois submercados comparáveis, sorteando qual cópia recebe a fatia maior. O ponto em comum é usar o orçamento como tratamento sorteado em vez de tratá-lo como variável observada. A diferença é o objeto: ali a pergunta é qual o retorno de mais orçamento no mesmo anúncio, aqui é qual o retorno de dividir um total fixo de outra maneira entre canais diferentes.
Exemplo trabalhado: o mesmo dinheiro, dividido de outro jeito
Os números abaixo saíram do mesmo motor de estatística que roda nas calculadoras desta página.
A leitura do portfólio, que é a válida, compara conversão total por braço sobre a população do braço.
| A (controle) | B (tratamento) | dif. abs. | lift rel. | z | p | IC 95% (pp) |
|---|---|---|---|---|---|---|
| 9.000/1.200.000 = 0,7500% | 9.360/1.200.000 = 0,7800% | +0,0300 pp | +4,0000% | 2,6671 | 0,007652 | +0,0080 a +0,0520 |
São +360 conversões com gasto total idêntico. Com ticket médio de R$ 40, a receita incremental é de R$ 14.400,00. Dividindo pelos R$ 40.000 que foram movidos, o movimento rendeu 0,009000 conversão por real movido, ou R$ 0,3600 de receita por real movido.
Cole 9.000 sobre 1.200.000 contra 9.360 sobre 1.200.000 na calculadora abaixo e a tela mostra p de 0,0077 e lift de +4,0%, que são o 0,007652 e o 4,0000 por cento da tabela arredondados. A mesma conta também está disponível na calculadora de significância.
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
Agora a decomposição por canal. Ela não decide nada, mas precisa existir no relatório, porque é ela que explica o resultado do portfólio. Some e confira: 6.300 mais 2.700 dá 9.000 no controle, e 5.040 mais 4.320 dá 9.360 no tratamento.
| canal | conversões no controle | conversões no tratamento | variação | gasto |
|---|---|---|---|---|
| A | 6.300 | 5.040 | -20,00% | R$ 140.000 para R$ 100.000 |
| B | 2.700 | 4.320 | +60,00% | R$ 60.000 para R$ 100.000 |
O canal A caiu um quinto. O canal B subiu três quintos. O portfólio subiu 4 por cento. As três afirmações são verdadeiras ao mesmo tempo, e só a terceira responde à pergunta que foi feita.
O que o CPA médio de cada canal esconde
Aqui está a armadilha, e ela é a razão de este guia existir.
| canal | CPA médio no controle | CPA médio no tratamento | o que o painel sugere |
|---|---|---|---|
| A | R$ 22,22 | R$ 19,84 | A melhorou, devolva o dinheiro para ele |
| B | R$ 22,22 | R$ 23,15 | B piorou, tire o dinheiro de lá |
As duas leituras estão erradas e as duas apontam para desfazer exatamente o movimento que ganhou R$ 14.400,00.
O mecanismo é simples quando você para de olhar a média e olha de onde ela vem. O CPA médio de um canal mistura duas populações: a demanda que apareceria de qualquer jeito, barata, e a demanda que o último pedaço de orçamento comprou, caríssima. Quando você tira dinheiro de A, o que sai são as conversões marginais, as mais caras. A média do que sobrou melhora. Quando você coloca dinheiro em B, o que entra são conversões marginais, mais caras que a média antiga de B. A média piora. Em qualquer realocação, o CPA médio da origem melhora e o CPA médio do destino piora, independentemente de o movimento ter sido bom ou ruim. O indicador não tem informação sobre a decisão: ele responde à mesma coisa sempre.
A verdade está na margem.
| lado do movimento | conversões | CPA marginal | retorno marginal |
|---|---|---|---|
| retirar R$ 40.000 de A | -1.260 | R$ 31,75 | 1,2600 |
| colocar R$ 40.000 em B | +1.620 | R$ 24,69 | 1,6200 |
| saldo | +360 | 1,6200 menos 1,2600 = R$ 0,3600 por real movido |
Retirar R$ 40.000 de A custou 1.260 conversões, o que dá um CPA marginal de R$ 31,75 e um retorno marginal de 1,2600. Colocar os mesmos R$ 40.000 em B rendeu 1.620 conversões, CPA marginal de R$ 24,69 e retorno marginal de 1,6200. O saldo é de mais 360 conversões, e o ganho líquido por real movido é 1,6200 menos 1,2600, igual a R$ 0,3600.
Esse R$ 0,3600 é exatamente o número que a leitura do portfólio já havia entregado, calculado por outro caminho: R$ 14.400,00 de receita incremental divididos pelos R$ 40.000 movidos. As duas contas fecham no mesmo lugar, e é assim que você sabe que a leitura está certa. Quando a conta marginal e a conta do portfólio discordam, uma das duas tem um erro de contabilidade, e vale achar o erro antes de tomar qualquer decisão.
Vale registrar também o que o ROAS médio do portfólio faz: ele sobe de 1,8000 para 1,8720. É verdade, e é pequeno demais para servir de sinal. O que decide é a diferença entre os retornos marginais, não a média do portfólio, e essa distinção é a mesma que separa medir incrementalidade de olhar desempenho reportado.
A regra de parada: iguale os retornos marginais
A regra de decisão é curta: mova dinheiro enquanto o retorno marginal do destino for maior que o retorno marginal da origem, e pare quando os dois se igualarem.
No exemplo, 1,6200 contra 1,2600 diz que o movimento vale a pena. Não diz que R$ 40.000 é a quantia certa. Conforme o dinheiro entra em B, o retorno marginal de B cai; conforme sai de A, o de A sobe. Em algum ponto eles se cruzam, e depois desse ponto continuar movendo passa a destruir valor. A curva de resposta de cada canal, que é o desfecho incremental em função do gasto, é o objeto que contém essa informação, e o assunto de quanto gastar num único canal está em testes de orçamento e saturação.
A documentação do Meridian, do Google, formaliza isso em três cenários de otimização, e vale conhecer os três porque eles respondem perguntas diferentes.
| cenário | pergunta | onde a restrição vale | restrição padrão de gasto por canal |
|---|---|---|---|
| orçamento fixo | qual a melhor divisão de um total dado | por canal | de 70% a 130% do gasto alocado |
| orçamento flexível com ROI mínimo alvo | quanto dá para gastar até o ROI geral atingir o alvo | no ROI total de marketing, não por canal | de 0% a 200% do gasto alocado |
| orçamento flexível com mROI alvo | quanto dá para gastar até o mROI de cada canal atingir o alvo | por canal, não no total | de 0% a 200% do gasto alocado |
O primeiro cenário é o parente direto de um teste de realocação: total fixo, divisão variável. O terceiro é a formalização da regra de parada, porque fixar um mROI alvo por canal é justamente forçar os retornos marginais a convergirem para o mesmo número.
Duas advertências, e elas são importantes.
A primeira: modelo propõe, experimento confere. Um modelo de mix calibrado devolve uma alocação candidata; o experimento testa aquela alocação contra a atual e devolve o sinal da diferença com um intervalo em volta. O experimento não varre o espaço de alocações e não encontra o ótimo. Ele responde uma pergunta binária sobre um par de pontos. A relação entre as duas ferramentas está detalhada em modelagem de mix de marketing com experimento.
A segunda: extrapolar além do gasto histórico é arriscado por construção. A própria documentação do Meridian avisa que o risco de extrapolação afeta a estimativa de desfecho incremental em pontos da curva de resposta acima do gasto histórico, e que o risco cresce quanto mais longe você vai. Uma proposta que dobra o orçamento de um canal que nunca operou naquele nível é uma extrapolação, não uma previsão.
Por que este é o teste menos poderoso que você vai rodar
O efeito de uma realocação é uma diferença entre dois retornos marginais que, por definição, já eram parecidos. Se fossem muito diferentes, alguém já teria movido o dinheiro. Efeito pequeno significa amostra grande, e a escala é quadrática.
| MDE relativo | N por braço | duração a 600.000 pessoas/semana |
|---|---|---|
| 10,0000% | 218.037 | 6 dias |
| 5,0000% | 851.547 | 20 dias |
| 4,0000% (o efeito real deste exemplo) | 1.324.101 | 31 dias |
| 2,0000% | 5.244.878 | 123 dias |
A coluna de duração usa o fluxo do próprio exemplo: 1.200.000 pessoas por braço em 4 semanas são 2.400.000 pessoas no total, ou 600.000 por semana somando os dois braços. Repare que o efeito real deste exemplo pediria 31 dias e o experimento rodou 28, o que é outra forma de enxergar o poder de 76,02 por cento: faltaram três dias de coleta para chegar aos 80 por cento planejados. Passar de 4 por cento para 2 por cento de efeito quadruplica a amostra, porque o tamanho de amostra escala com o inverso do quadrado do efeito. O conceito por trás dessa coluna está em efeito mínimo detectável, e a conta de calendário também roda na calculadora de duração.
Aproximação normal de duas proporções, divisão igual entre as variações. A data usa o seu fuso e recalcula ao vivo.
Agora o outro lado da mesma moeda. Com as 1.200.000 pessoas por braço que este experimento realmente teve, o poder foi de 76,02 por cento para o efeito de mais 4 por cento relativos, abaixo dos 80 por cento convencionais. E para um efeito de mais 2 por cento relativos, que é uma realocação mais modesta e perfeitamente plausível, o poder cai para 26,77 por cento. Três em cada quatro experimentos desse tamanho não veriam um ganho real de 2 por cento.
Isso não é pessimismo de blog, é o resultado central da literatura sobre medir retorno de publicidade. Lewis e Rao analisaram 25 experimentos de campo com grandes varejistas e corretoras dos Estados Unidos, 19 varejistas e 6 empresas de serviços financeiros, somando 2,8 milhões de dólares em gasto com publicidade digital, e registram que o intervalo de confiança mediano sobre o retorno do investimento tem mais de 100 pontos percentuais de largura. Todos os experimentos do estudo tiveram mais de 500.000 usuários únicos, a maioria passou de 1.000.000, e mesmo assim a campanha mediana teria que ser 9 vezes maior para distinguir de forma confiável uma campanha muito lucrativa, com ROI de mais 50 por cento, de uma que apenas empata. Para uma tolerância de 10 pontos percentuais de diferença de ROI, a campanha teria que ser 62 vezes maior, algo que os autores descrevem como quase impossível para uma campanha de tamanho realista.
A razão apontada por eles é a variabilidade do comportamento individual: o desvio padrão das vendas por pessoa é tipicamente 10 vezes a média na janela típica de avaliação de campanha. No exemplo estilizado do artigo, o de uma campanha muito lucrativa, o R quadrado da variável de tratamento ficaria na ordem de 0,0000054.
Um teste de realocação é ainda mais exigente que isso, porque a pergunta é mais fina. Medir se um canal funciona compara gastar contra não gastar. Medir uma realocação compara duas maneiras de gastar o mesmo total, e a diferença entre elas é a diferença entre dois retornos marginais próximos. Você trocou uma pergunta difícil por uma mais difícil ainda, e o cálculo de amostra tem que refletir isso antes de o teste começar, não depois. O ponto de partida está em quantos visitantes um teste A/B precisa.
A fronteira com a interferência entre variações
Duas coisas se confundem aqui, e separá-las é o que evita desenhar o experimento errado.
Em interferência entre variações, o problema é o braço A estragar a medição do braço B por disputa de um recurso compartilhado. A interferência é um defeito: ela existe contra a sua vontade, contamina a estimativa e você gasta esforço para eliminá-la, isolando submercados ou mudando a unidade de aleatorização.
Num teste de realocação, a disputa pelo recurso é o tratamento. Você não está tentando impedir que um canal tire dinheiro do outro, você está declarando exatamente quanto um tira do outro e sorteando a regra entre regiões. O que era contaminação virou objeto de estudo. Por isso a leitura no nível do portfólio não é uma concessão: é o que mantém a estimativa limpa, porque a soma dos canais dentro de um braço não sofre interferência de nada.
A fronteira com as outras duas peças deste arco também é útil:
| pergunta | onde ela mora |
|---|---|
| quanto gastar num canal, e onde ele satura | testes de orçamento e saturação |
| como dividir um total fixo entre canais | esta peça |
| como o orçamento é entregue dentro do dia | ritmo de entrega de orçamento |
| a que canal o crédito da conversão é atribuído | modelo de atribuição |
A última linha merece um aviso extra. Trocar o modelo de atribuição muda o CPA aparente de todos os canais sem que um centavo mude de lugar. Se a atribuição mudar durante a sua janela, a realocação e a atribuição ficam confundidas e o experimento não separa mais as duas.
Métricas de guarda
Além das guardas de sempre, como desequilíbrio de amostra, quatro sinais são específicos deste desenho.
| sinal | o que observar | o que fazer se disparar |
|---|---|---|
| gasto total por braço | diferença entre os totais dos dois braços acima de 1 por cento | pare a leitura: se o total divergiu, o tratamento não é mais só a divisão |
| divisão realizada contra planejada | quanto cada canal gastou de fato, dia a dia, contra o plano | se a plataforma redistribuiu sozinha, documente a divisão real e reanalise por ela |
| fechamento das duas contas | o ganho por real movido pela margem contra o ganho pelo portfólio | se os dois números não coincidirem, existe erro de contabilidade antes de existir resultado |
| mudança de atribuição ou de tagueamento | qualquer alteração de modelo, janela ou tag durante a janela do teste | descarte o período afetado nos dois braços pelo mesmo critério, decidido antes |
A regra que resume as quatro: antes de ler o resultado, confirme que a única coisa diferente entre os braços foi a divisão do mesmo total.
Erros comuns
- Ler canal por canal. É o erro que gera todos os outros. O tratamento é a alocação inteira e o desfecho é a soma.
- Decidir pelo CPA médio. Numa realocação, o CPA médio da origem sempre melhora e o do destino sempre piora. O indicador não carrega informação sobre a decisão.
- Confundir unidade de aleatorização com unidade de análise. Você sorteia regiões e analisa portfólio. Abrir canal dentro do braço é abrir subgrupo definido depois do sorteio.
- Deixar o gasto total divergir entre os braços. Se o total mudou, você testou duas coisas ao mesmo tempo e não vai conseguir separá-las depois.
- Dimensionar pelo efeito de um canal. O efeito do portfólio é menor que o de qualquer canal isolado, porque é uma diferença entre dois retornos marginais. Dimensionar pelo canal deixa o teste sem poder.
- Pedir ao experimento a alocação ótima. Ele testa um par de pontos. Achar o ótimo é trabalho de modelo, e o modelo precisa do experimento para ser calibrado.
- Aceitar a divisão planejada como divisão realizada. Com orçamento compartilhado ou distribuição automática, a divisão que aconteceu pode não ser a que você digitou. Confira antes de analisar.
- Extrapolar muito acima do gasto histórico. A própria documentação do Meridian avisa que o risco de extrapolação cresce conforme você se afasta do gasto observado.
Faça isso automático na Donnu
O conserto aqui não é um relatório mais bonito, é uma decisão de unidade de análise tomada antes de o teste subir.
Um teste de realocação de mídia é caro por natureza, e a maior parte do custo vem de o efeito ser pequeno. Por isso vale separar o que precisa de um experimento geográfico de milhões de pessoas do que pode ser respondido dentro do seu site com uma fração disso. Onde a Donnu entra é nessa segunda camada: o experimento vive na sua página, a unidade de análise fica declarada antes do início e o relatório mostra a diferença absoluta com o intervalo ao lado, que é a forma que não se deixa enganar por uma média que melhorou pelo motivo errado. A Donnu é uma opção entre várias, e nenhuma ferramenta de teste no site substitui um experimento geográfico quando a pergunta é sobre divisão de mídia. O que não muda de ferramenta para ferramenta é o princípio: se o tratamento é a alocação inteira, o número que decide é o do portfólio, e qualquer média de canal que discorde dele está medindo outra coisa.
Perguntas frequentes
As perguntas no topo desta página cobrem se dá para testar um canal por vez, por que o CPA de cada canal engana depois de uma realocação, qual é a unidade de análise correta, quanto tráfego o teste exige, se o experimento encontra a alocação ótima e o que fazer quando a plataforma redistribui o orçamento sozinha.
Referências
- Meta Business Help Center. About ad set budget sharing. Fonte da afirmação de que o compartilhamento de orçamento entre conjuntos de anúncios permite compartilhar até 20 por cento do orçamento diário de um conjunto com outros conjuntos, e de que no nível da campanha o gasto permanece o mesmo com o recurso ligado ou desligado. Conferido em 25 de setembro de 2026. facebook.com.
- Meta Business Help Center. About Advantage+ campaign budget. Fonte da descrição de que o recurso gerencia automaticamente o orçamento da campanha entre os conjuntos de anúncios, distribuindo continuamente e em tempo real, e da orientação de analisar resultados no nível da campanha e não no nível do conjunto de anúncios. Conferido em 25 de setembro de 2026. facebook.com.
- Google for Developers, Meridian. Budget optimization scenarios. Fonte dos três cenários de otimização de orçamento, das restrições padrão de gasto por canal de cada cenário, do fato de que a restrição de ROI mínimo vale no nível do ROI total de marketing e a de mROI vale no nível do canal. Conferido em 25 de setembro de 2026. developers.google.com.
- Google for Developers, Meridian. Incremental Outcome, ROI, mROI and Response Curves. Fonte do aviso de que o risco de extrapolação também afeta a estimativa de desfecho incremental em pontos da curva de resposta acima do gasto histórico, e de que o risco cresce quanto mais longe você vai. Conferido em 14 de outubro de 2026. developers.google.com.
- Lewis, R. e Rao, J. The Unfavorable Economics of Measuring the Returns to Advertising, Quarterly Journal of Economics 130(4), 2015, pp. 1941-1973. Fonte dos 25 experimentos de campo com 19 varejistas e 6 empresas de serviços financeiros somando 2,8 milhões de dólares em gasto, da largura mediana de mais de 100 pontos percentuais no intervalo de confiança do ROI, dos fatores de 9 vezes e 62 vezes de aumento de campanha necessários, do desvio padrão de vendas individuais igual a 10 vezes a média e do R quadrado na ordem de 0,0000054 para uma campanha muito lucrativa no exemplo estilizado do artigo. Conferido em 25 de setembro de 2026. gwern.net.
- Hermle, J. e Martini, G. Valid and Unobtrusive Measurement of Returns to Advertising through Asymmetric Budget Split, arXiv:2207.00206, 2022. Fonte da divisão assimétrica de orçamento como desenho que mantém o orçamento total e sorteia qual cópia do anúncio recebe a fatia maior em submercados comparáveis. Conferido em 25 de setembro de 2026. arxiv.org.
Leia também: Interferência entre variações · Experimentos geográficos · Modelagem de mix de marketing · Teste de incrementalidade · Métricas de razão · Read in English
Perguntas frequentes
- Dá para testar um canal por vez numa realocação de orçamento?
- Não, porque o tratamento não cabe dentro de um canal. Mover dinheiro de A para B muda os dois ao mesmo tempo, e a soma é o que você quer saber. Se você isolar o canal B e concluir que ele melhorou, você mediu apenas metade de uma conta que tem duas parcelas com sinais opostos. O tratamento é a alocação inteira, e o único desfecho que responde à pergunta é o desfecho somado dos dois canais no mesmo braço.
- Por que o CPA de cada canal engana depois de uma realocação?
- Porque o CPA médio mistura a demanda que você comprou com a demanda que já existia. No exemplo trabalhado deste guia, o canal A perde 40.000 reais de orçamento e o CPA médio dele melhora de 22,22 para 19,84 reais, porque as conversões mais baratas de A continuam lá enquanto as mais caras somem. O canal B recebe os mesmos 40.000 reais e o CPA médio dele piora de 22,22 para 23,15 reais, porque as conversões novas são mais caras que a média antiga. As duas leituras pedem para desfazer o movimento que ganhou 360 conversões.
- Qual é a unidade de análise de um teste de realocação?
- A unidade de aleatorização é a região, ou o conjunto de usuários, e a unidade de análise é o portfólio. São coisas diferentes e as duas precisam estar escritas no plano. Você sorteia regiões entre dois braços, mas o número que você compara é a conversão total do braço dividida pela população do braço, somando todos os canais. Ler canal por canal dentro de um braço é abrir um subgrupo que o sorteio nunca prometeu equilibrar.
- Quanto tráfego preciso para medir uma realocação?
- Muito mais do que para testar uma página, porque o efeito é uma diferença entre dois retornos marginais parecidos. No exemplo deste guia, detectar mais 4 por cento relativos sobre uma base de 0,75 por cento com poder de 80 por cento pede 1.324.101 pessoas por braço. Com as 1.200.000 pessoas por braço que o experimento teve, o poder foi de 76,02 por cento. Para um efeito de mais 2 por cento relativos o poder cai para 26,77 por cento e a amostra necessária sobe para 5.244.878 pessoas por braço.
- O experimento encontra a alocação ótima de orçamento?
- Não. O experimento testa uma alocação contra outra e devolve o sinal da diferença, com um intervalo em volta. Encontrar o ponto em que os retornos marginais se igualam é trabalho de modelo, não de teste. A documentação do Meridian descreve três cenários de otimização que propõem alocações; o experimento serve para verificar se a alocação proposta realmente bate a atual no mundo real. Modelo propõe, experimento confere, e essa divisão de trabalho é o que mantém as duas ferramentas honestas.
- O que fazer quando a plataforma redistribui o orçamento sozinha?
- Aceitar que o nível do conjunto de anúncios deixou de existir como unidade de leitura e subir a análise para o nível da campanha. A Meta declara que o compartilhamento de orçamento entre conjuntos move até 20 por cento do orçamento diário de um conjunto para outro, e que no nível da campanha o gasto continua o mesmo. Sobre o Advantage+ campaign budget, a mesma documentação afirma que é importante analisar resultados no nível da campanha, não no nível do conjunto de anúncios. Quem escreve a regra é a plataforma, e a regra diz onde ler.