Ritmo de Entrega: quando o limite diário quebra o teste
Ritmo de entrega: o limite diário corta horas, não só gasto. Como um braço estrangulado inverte o veredito e por que sortear usuário não resolve.
📚 Este artigo faz parte do guia Otimização de Conversão (CRO): O Guia Completo 2026.
O limite diário de orçamento não corta só o gasto, corta o horário. Um braço de teste que esgota o orçamento às 15h não é uma amostra aleatória do dia: é uma amostra das horas em que o orçamento ainda existia. Como a taxa de conversão varia por hora, o braço estrangulado chega ao relatório com uma composição de tráfego diferente do outro, e a diferença medida passa a incluir a hora do dia junto com o efeito da página. No exemplo trabalhado deste guia, um tratamento que era 5,0000% melhor é lido como 15,3226% pior, com valor p de 0,008007 e intervalo de confiança inteiro do lado negativo, ou seja, com todas as aparências de um resultado confiável. O sinal que denuncia o problema não é o valor p, é o desequilíbrio de amostra. Este guia cobre o mecanismo, os tetos que Google e Meta documentam, o exemplo trabalhado com as três leituras possíveis, o que sobra de poder depois do corte, e por que o ritmo de entrega em si não se testa por sorteio de usuário. Este guia faz parte do nosso guia completo de teste A/B.
O limite diário não corta gasto, corta horário
Um orçamento diário é lido quase sempre como uma restrição de dinheiro. Para quem mede, ele é uma restrição de amostragem, e é aí que o problema nasce.
Quando um braço bate no teto, ele não serve menos em cada hora. Ele para de servir a partir de um certo momento. O braço não fica com uma versão reduzida do dia inteiro, fica com o começo do dia inteiro. Se a taxa de conversão fosse constante ao longo das 24 horas, isso custaria apenas amostra. Ela não é constante: tráfego de manhã e tráfego de fim de tarde vêm de intenções diferentes, de dispositivos diferentes e de momentos diferentes da decisão de compra.
O resultado é uma confusão clássica, e ela é estrutural, não estatística: a variável “braço” passou a estar correlacionada com a variável “hora do dia”. Nenhum ajuste de valor p conserta isso, porque não é ruído. É viés, e ele tem sinal definido: sempre a favor do braço que serve o dia inteiro, quando as horas perdidas são as de taxa mais alta.
Vale separar dois problemas que se parecem. Um braço que recebe menos tráfego por igual em todas as horas só custa poder estatístico: a comparação continua honesta, só fica menos sensível. Um braço que recebe o mesmo tráfego até certa hora e nada depois custa validade. É a segunda situação que o limite diário produz, e é ela que inverte vereditos.
Os tetos que a plataforma documenta
Antes de qualquer conta, vale saber que o orçamento diário não é um teto rígido em nenhuma das duas maiores plataformas. As duas documentam explicitamente que o gasto de um dia pode passar do número que você digitou, e cada uma compensa de um jeito diferente.
O Google Ads afirma que, num dado dia, uma campanha pode gastar até duas vezes o orçamento médio diário para aproveitar flutuações de tráfego, e que no fim do mês o total gasto não passa de 30,4 vezes o orçamento médio diário. A documentação acrescenta um detalhe que confunde relatório: em algumas circunstâncias os custos servidos, ou seja, o custo de todos os cliques ou impressões que a campanha recebeu, podem exceder os limites diário ou mensal, mas o anunciante nunca paga mais do que os limites de gasto. Ou seja, o número que aparece no relatório de entrega e o número que aparece na fatura podem divergir, e para medição o primeiro é o que importa.
A Meta trabalha com uma janela semanal fixa. A documentação diz que o orçamento diário informa à Meta um valor aproximado para gastar por dia ao longo da semana que começa no domingo e termina no sábado. Em dias com melhores oportunidades de anúncio, a Meta pode gastar até 75% acima do orçamento diário. Com o compartilhamento de orçamento entre conjuntos de anúncios ligado, ela pode adicionalmente compartilhar até 20% do orçamento diário flexível com outros conjuntos, o que chega a 210% do orçamento diário. Os tetos declarados: para todo dia terminando à meia-noite, o gasto não passa de 175% do orçamento diário; para toda semana terminando no sábado à meia-noite, não passa de 7 vezes o orçamento diário.
| plataforma | orçamento informado | teto de um dia | teto do período | período de compensação |
|---|---|---|---|---|
| Google Ads | R$ 500 por dia (média) | R$ 1.000 (2 vezes) | R$ 15.200,00 no mês (30,4 vezes) | mês |
| Meta | R$ 100 por dia | R$ 175 (175%) | R$ 700 na semana (7 vezes) | domingo a sábado |
| Meta, com compartilhamento entre conjuntos | R$ 100 por dia | R$ 210 (210%) | R$ 840 na semana | domingo a sábado |
A documentação da Meta sobre compartilhamento entre conjuntos declara as fórmulas por conjunto de anúncios: o gasto máximo num dia é o orçamento diário somado ao orçamento compartilhado do dia, multiplicado por 1,75; o gasto máximo na semana de domingo a sábado é a mesma soma multiplicada por 7. E declara algo importante para quem testa: no nível de campanha, o gasto permanece o mesmo com o compartilhamento ligado ou desligado. O compartilhamento redistribui entre conjuntos, não aumenta o total.
Três implicações práticas saem daí.
A primeira é que o teto não protege contra o problema deste guia, ele agrava. Se um braço pode gastar 175% do orçamento em um dia, ele esgota mais cedo nos dias em que a plataforma resolve acelerar, e a hora de corte passa a variar de dia para dia. Um braço cuja hora de parada muda ao longo da semana tem uma composição horária que muda junto.
A segunda é de calendário. A semana de orçamento da Meta é fixa, de domingo a sábado. Um teste que começa numa quarta-feira roda a primeira semana sob uma regra de compensação diferente da segunda, porque a primeira semana civil do teste está partida entre duas semanas de orçamento. Isso é um efeito de período, e ele se confunde com o efeito do tratamento. Comece testes na fronteira da semana de orçamento da plataforma, não no meio dela.
A terceira é que o Google resolve parte disso descartando dado por padrão. Segundo as perguntas frequentes de experimentos da plataforma, os primeiros 7 dias de dados são descartados para dar conta do tempo de subida do experimento. É uma decisão de desenho tomada pela plataforma, não pelo anunciante, e ela existe exatamente porque o começo de um experimento de mídia não é comparável com o meio.
Exemplo trabalhado: um tratamento que ganha e é lido como perdedor
Os números abaixo saíram do mesmo motor de estatística que roda nas calculadoras desta página.
O desenho: um teste de página de destino com dois braços em mídia paga. O braço B recebeu um limite diário menor e esgota o orçamento às 15h; o braço A serve o dia inteiro. O tratamento aplicado em B é de fato 5% melhor em termos relativos sobre a taxa de A, em qualquer hora do dia. Não há efeito de hora nenhum no tratamento: ele é uniformemente positivo.
As taxas por faixa horária são as mesmas para os dois braços antes do tratamento:
| faixa horária | taxa de base | observação |
|---|---|---|
| 0h às 15h | 1,0000% | tráfego de exploração |
| 15h às 24h | 1,6000% | tráfego de decisão, 1,6 vez a taxa da manhã |
As contagens que a janela de teste produziu:
| braço | 0h às 15h | 15h às 24h | total |
|---|---|---|---|
| A (sem limite) | 360 em 36.000 | 384 em 24.000 | 744 em 60.000 = 1,2400% |
| B (estrangulado às 15h) | 378 em 36.000 | nada servido | 378 em 36.000 = 1,0500% |
Repare que na faixa em que os dois braços serviram, B converte melhor: 1,0500% contra 1,0000%, que é exatamente o tratamento de 5% relativos. O efeito está ali, intacto, na única faixa em que a comparação é legítima.
Agora as três leituras possíveis do mesmo experimento, com a saída literal do motor:
| leitura | A | B | dif. abs. | lift rel. | z | p | IC 95% (pp) | veredito |
|---|---|---|---|---|---|---|---|---|
| ingênua, janela inteira | 744/60.000 = 1,2400% | 378/36.000 = 1,0500% | -0,1900 pp | -15,3226% | -2,6518 | 0,008007 | -0,3276 a -0,0524 | A vence, de forma significante |
| correta, só 0h às 15h | 360/36.000 = 1,0000% | 378/36.000 = 1,0500% | +0,0500 pp | +5,0000% | 0,6660 | 0,505404 | -0,0971 a +0,1971 | empate |
| contrafactual, B sem limite | 744/60.000 = 1,2400% | 781/60.000 = 1,3017% | +0,0617 pp | +4,9731% | 0,9536 | 0,340311 | -0,0651 a +0,1884 | empate |
A leitura ingênua não erra apenas de tamanho. Ela erra de sinal e é significante ao errar. Um valor p de 0,008007 com o intervalo de confiança inteiro do lado negativo é a cara de um resultado em que se pode confiar, e o efeito verdadeiro é positivo. Se esse relatório chega a uma reunião de decisão, a página melhor é descartada com uma justificativa estatística convincente.
Para reproduzir a tabela, cole 744 conversões em 60.000 visitantes contra 378 em 36.000 e a tela mostra lift de -15,3% com p de 0,0080. Depois troque para 360 em 36.000 contra 378 em 36.000 e a tela mostra +5,0% com p de 0,5054. São os valores da tabela arredondados. A mesma calculadora de significância roda as duas leituras.
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
A aritmética que produz a inversão é média ponderada, e ela é simples o bastante para caber numa linha. O braço A tem 60,00% do seu tráfego na faixa de 1,0000% e 40,00% na faixa de 1,6000%:
36.000 x 1,0000% + 24.000 x 1,6000% = 360 + 384 = 744, e 744 / 60.000 = 1,2400%
O braço B tem 100,00% do tráfego na faixa mais fraca. Os 1,2400% de A não são a taxa de A em hora nenhuma do dia: são uma mistura de 1,0000% e 1,6000% pesada pelo volume de cada faixa. Comparar 1,2400% com 1,0500% é comparar duas misturas diferentes de horários, com a página entrando como um detalhe secundário.
A terceira linha da tabela fecha o argumento. No contrafactual em que B não tem limite e serve as mesmas 60.000 visitas, ele produz 781 conversões, uma taxa de 1,3017% contra os 1,2400% de A, um lift de 4,9731%. Sem o teto de orçamento, o experimento devolve o efeito verdadeiro. Todo o desastre da primeira linha é obra do teto.
O SRM é o alarme, não o valor p
A pergunta óbvia é como alguém pega isso antes de tomar a decisão errada. A resposta é que o sinal existe, é barato de calcular e não tem nada a ver com a métrica principal.
O teste foi desenhado para dividir tráfego meio a meio. Saiu 60.000 contra 36.000, ou seja, 62,50% do tráfego num braço só, contra os 50% esperados. O teste de aderência sobre essa divisão devolve um z de 77,46, com valor p abaixo de 1 dividido por 10 elevado a 300. Não existe sutileza a discutir: uma divisão assim não acontece por sorteio.
A regra prática é dura de propósito: nenhum teste com desequilíbrio de amostra deve ser lido, por melhor que esteja o valor p da métrica principal. O valor p de 0,008007 da primeira linha não é uma evidência a favor da conclusão, é uma evidência de que o viés é grande. Quanto mais forte o desequilíbrio, mais confiante o número errado parece. O mecanismo e o diagnóstico estão detalhados em desequilíbrio de amostra.
Vale notar por que o desequilíbrio aparece aqui. Não houve falha de sorteio, nem bug de instrumentação, nem bot. O sorteio funcionou perfeitamente: cada visitante que entrou em leilão tinha a mesma chance de cair em cada braço. O que aconteceu é que um dos braços deixou de entrar em leilão a partir das 15h. O desequilíbrio é uma consequência do orçamento, e é exatamente por isso que ele é um bom detector do problema deste guia: a causa e o sintoma são a mesma coisa.
O que sobra de poder na janela limpa
Consertar o viés é fácil: compare só as horas em que os dois braços serviram. O que quase ninguém calcula é o preço desse conserto.
Dimensionando a leitura correta, com base de 1,00%, teste bilateral a 95% e poder de 80%:
| MDE relativo | N por braço | duração a 252.000 visitantes por semana |
|---|---|---|
| 5,0000% | 637.010 | 36 dias |
| 10,0000% | 163.095 | 10 dias |
| 15,0000% | 74.193 | 5 dias |
Com os 36.000 por braço que sobraram da janela limpa, o poder para detectar os 5% verdadeiros é de 9,78%. Em outras palavras, mesmo com o viés removido, esse teste tinha cerca de uma chance em dez de encontrar o efeito que existia. Com 420.000 por braço, o poder sobe para 62,36%, e ainda fica abaixo dos 80% convencionais. Para chegar aos 80% seriam 637.010 por braço, quase dezoito vezes o que a janela limpa entregou.
O limite diário cobra duas vezes: primeiro inverte o veredito, depois destrói o poder da única janela que ainda servia. É uma combinação especialmente ruim porque as duas cobranças se escondem uma atrás da outra. Quem corrige o viés e não recalcula o poder troca um falso positivo confiante por um falso negativo silencioso, e conclui que a página nova “não fez diferença”.
Para reproduzir a primeira linha da tabela, informe base de 1%, efeito mínimo detectável relativo de 5%, confiança de 95% e poder de 80% na calculadora de amostra: o resultado é 637.010 por braço.
Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.
A leitura mais útil dessa tabela é de planejamento, não de autópsia. Se o seu efeito esperado é da ordem de 5% relativos sobre uma base de 1%, o teste precisa de mais de 1,2 milhão de visitantes somando os dois braços. Um desenho que aceita perder 40% do tráfego de um braço para o teto de orçamento está gastando uma fração enorme do orçamento de amostra antes de medir qualquer coisa. O mesmo raciocínio aparece em quantos visitantes um teste A/B precisa e em efeito mínimo detectável.
Ritmo de entrega não se testa por sorteio de usuário
Até aqui o ritmo de entrega foi o vilão. Vale inverter a pergunta: e se ele for o que você quer medir?
Aí o desenho muda por completo, e a razão está declarada na literatura. Os autores do algoritmo de ritmo de entrega do LinkedIn afirmam que um teste A/B por usuário não serve para avaliar ritmo de entrega. O argumento deles é direto: o algoritmo afeta o gasto de orçamento de uma campanha pelo dia inteiro, logo o mesmo tratamento tem que ser aplicado à campanha pelo dia inteiro. Sortear tráfego em dois grupos não basta, porque o mecanismo não vive no usuário, vive na campanha e no dia.
A alternativa natural, sortear campanhas em dois grupos, também não fecha. Ela mede o benefício para o anunciante, mas não o benefício de receita para o publicador, porque campanhas dos dois grupos disputam o mesmo leilão. Para ver o efeito inteiro, o algoritmo precisa estar ligado para todas as campanhas o dia inteiro.
A saída declarada por eles foi rodar o ritmo de entrega em dias alternados. É um desenho switchback: a unidade de randomização passa a ser o dia, não o usuário nem a campanha, e cada unidade recebe os dois tratamentos ao longo do experimento. O preço é o de sempre nesse desenho: poucas unidades, e efeito de dia da semana para controlar.
Vale registrar por que eles se deram esse trabalho. O ponto de partida do artigo é que o leilão de segundo preço generalizado, aplicado de forma gulosa a cada impressão, é subótimo para anunciante e publicador quando o anunciante tem orçamento finito: as campanhas de alto desempenho esgotam o orçamento e saem do mercado cedo. Esse é exatamente o mecanismo deste guia, visto do lado da plataforma.
A métrica que eles escolheram para vida de campanha é reveladora: tempo até esgotar 95% do orçamento, reportado como mediana em horas. Os resultados no produto Direct Ads, ao longo de 2 semanas no quarto trimestre de 2013, sem amostragem:
| métrica | sem ritmo | com ritmo |
|---|---|---|
| vida mediana da campanha | 13,54 horas | 19,50 horas |
| impressões únicas por gasto | referência | +7,74% |
| número de campanhas servidas | referência | +4,74% |
| custo por requisição | referência | +5,67% |
| entrega além do orçamento | 3,8% | 3,4% |
| campanhas únicas vistas por membro | referência | +0,15% |
A vida mediana da campanha subiu 44%, de 13,54 para 19,50 horas. Traduzido para o problema deste guia: sem ritmo de entrega, a campanha mediana morria antes de completar 14 horas de dia, ou seja, antes das 15h se ela começasse à meia-noite. O cenário do exemplo trabalhado não é um caso de laboratório, é aproximadamente a mediana de um sistema real antes de receber um algoritmo de ritmo.
O efeito no preço dentro do dia é o outro lado da mesma moeda. Com o ritmo ligado, o custo por clique fica mais baixo no começo do dia e mais alto por um período bem mais longo na segunda metade, porque o algoritmo estrangula de propósito as campanhas de alto desempenho no início, que de outra forma competiriam todas juntas e esgotariam o orçamento rápido. Quem mede conversão por faixa horária precisa saber disso: o preço do tráfego não é plano ao longo do dia, e o ritmo de entrega o achata de propósito.
Os parâmetros operacionais declarados dão uma ideia da granularidade desse tipo de sistema: a taxa de repasse começa em 10% para toda campanha, a taxa de ajuste é constante em 10%, e o sistema atualiza cerca de 12% de todas as campanhas a cada 7 segundos. Um mecanismo que se ajusta em intervalos de segundos não é algo que um relatório diário consiga observar direito.
A fronteira com o split da plataforma e com os lances automáticos
Três guias deste blog tratam de coisas parecidas e vale deixar claro o que é assunto de onde.
O mecanismo do sorteio dentro da plataforma é assunto de teste A/B na plataforma de anúncios. Como a plataforma reparte usuários, se a divisão é por cookie ou por sessão, como ela mantém a mesma pessoa num braço só: tudo isso vem antes do problema deste guia.
O tratamento que muda de forma ao longo da janela é assunto de lances automáticos. Lá o problema é que o braço tratado no dia 3 não é o mesmo braço tratado no dia 30, porque o otimizador recalibrou.
Aqui o problema é outro e é mais bruto: o braço para de servir no meio do dia. Não é uma mudança de forma, é uma ausência. E a decisão de configuração que determina se você vai ou não cair nisso é anterior a qualquer uma das duas.
As perguntas frequentes de experimentos do Google Ads descrevem essa decisão de forma explícita. Para certos experimentos de Rede de Pesquisa, App e Display, o Google oferece divisão por orçamento, enquanto para outros, como Performance Max, Demand Gen e Vídeo, oferece divisão por tráfego. A diferença importa muito aqui:
| tipo de divisão | o que a plataforma reparte | risco de estrangulamento |
|---|---|---|
| divisão por orçamento | o orçamento total entre os braços, por exemplo 70% para o controle e 30% para o tratamento | alto: o braço de 30% bate no teto muito antes do de 70% |
| divisão por tráfego | o tráfego, ou seja, quantas vezes os anúncios entram em leilão | baixo: os dois braços compartilham a mesma restrição de orçamento |
A documentação também descreve como a divisão por usuário funciona: ela acontece no início do experimento e os sistemas do Google tentam garantir braços razoavelmente equilibrados com base na probabilidade de entrar em leilão, usando divisão por cookie ou por usuário. Repare na formulação: equilíbrio na probabilidade de entrar em leilão, não no número de impressões servidas. Se um braço fica sem orçamento, o equilíbrio de entrada continua honrado e o equilíbrio de saída vai para o chão. É justamente essa diferença que o desequilíbrio de amostra pega.
Uma divisão 70 para 30 é a receita exata do problema deste guia se as duas metades não tiverem o mesmo perfil de esgotamento. Se você tem escolha, prefira divisão por tráfego. Se só existe divisão por orçamento, prefira uma repartição simétrica e monitore a hora de parada dos dois braços todo dia.
Duas notas de calendário completam a fronteira. O Google recomenda rodar o experimento por pelo menos 4 a 6 semanas, ou mais se houver atraso longo de conversão, o que interage com o mecanismo descrito em atraso de conversão. E descarta os primeiros 7 dias de dados para dar conta do tempo de subida. Janelas longas ajudam contra o estrangulamento em um sentido, porque diluem dias atípicos, e atrapalham em outro, porque dão mais chance de alguém mexer no orçamento no meio do caminho.
Quando o efeito que interessa é de conta inteira, ou quando os braços disputariam o mesmo leilão de qualquer jeito, o caminho é sair da plataforma como unidade: o desenho está em experimentos geográficos. E quando a pergunta é qual patamar de orçamento maximiza retorno, em vez de qual página converte melhor, os dois guias vizinhos deste lote cobrem o assunto: saturação de orçamento trata da curva de resposta e do ponto em que gastar mais deixa de valer, e realocação de orçamento trata de mover verba entre canais sem se enganar com correlação.
Métricas de guarda
Nenhuma dessas métricas é a métrica principal do teste, e todas devem ser olhadas antes dela. Se qualquer uma disparar, o resultado da métrica principal não é interpretável.
| sinal | o que observar | o que fazer se disparar |
|---|---|---|
| hora do último evento servido | por braço e por dia, o horário do último evento registrado | se um braço para sistematicamente mais cedo, ele está limitado; não leia a métrica principal |
| participação de cada faixa horária | a fração do tráfego de cada braço em cada faixa horária, comparada entre braços | qualquer divergência material invalida a comparação da janela inteira; corte a janela para a interseção |
| status de limitado por orçamento | o indicador de limitação que a plataforma expõe, por dia e por braço | corrija o orçamento e reinicie a janela; braço estrangulado não é braço tratado |
| razão de visitantes entre braços | o desvio em relação à divisão planejada, com teste de aderência | acima do limiar do seu teste de desequilíbrio, pare a análise e ache a causa |
| gasto diário contra o teto documentado | quantos dias bateram em 2 vezes o diário no Google, ou em 175% do diário na Meta | dias no teto são dias com hora de parada antecipada; marque-os e verifique se afetaram um braço só |
| entrega além do orçamento | a fração de gasto acima do planejado, por braço | assimetria entre braços indica que a plataforma está compensando de formas diferentes nos dois |
A regra que resume as seis: antes de comparar taxas, confirme que os dois braços estiveram no ar nas mesmas horas.
Erros comuns
- Ler a janela inteira quando um braço parou no meio do dia. É o erro do exemplo trabalhado. Ele inverte o sinal do efeito e devolve um valor p convincente enquanto faz isso.
- Usar um valor p bom como prova de que o teste está sadio. O valor p mede ruído, não viés. Com desequilíbrio de amostra grande, quanto mais viés houver, melhor o valor p fica.
- Dar orçamentos diferentes aos dois braços porque um deles “é só o teste”. Orçamento assimétrico é hora de parada assimétrica, que é composição de tráfego assimétrica. Se a plataforma só oferece divisão por orçamento, divida meio a meio.
- Escolher a janela de análise depois de ver os números. Cortar para a interseção de horários é correto, e precisa estar declarado no plano. O mesmo corte escolhido depois de ver o resultado infla o falso positivo do mesmo jeito que parar o teste cedo infla.
- Corrigir o viés e não recalcular o poder. Depois do corte sobraram 36.000 por braço e 9,78% de poder. Concluir “não deu diferença” com esse poder é afirmar algo que o teste nunca teve como mostrar.
- Começar o teste no meio da semana de orçamento da plataforma. A semana da Meta vai de domingo a sábado. Um teste que começa na quarta tem a primeira semana partida entre dois períodos de compensação.
- Supor que o orçamento diário é um teto rígido. O Google documenta até 2 vezes o diário num dia; a Meta, até 175% do diário, ou 210% com compartilhamento entre conjuntos. A hora de parada varia de dia para dia por causa disso.
- Tentar testar o ritmo de entrega sorteando usuários. O tratamento age sobre a campanha no dia inteiro. Sorteio por usuário mede outra coisa, e sorteio por campanha deixa de fora o efeito no leilão.
Faça isso automático na Donnu
O conserto de fundo é tirar a decisão de amostragem das mãos do sistema de mídia.
Quando o sorteio acontece na sua página, depois do clique, o orçamento diário deixa de decidir quem entra em qual braço. Ele continua decidindo quanto tráfego chega e em que horas, mas isso cai igual nos dois braços, porque os dois braços vivem no mesmo tráfego. É a diferença entre um teto que enviesa e um teto que só encolhe a amostra, e só a segunda situação é recuperável com mais tempo.
Na Donnu o experimento roda no seu site, com a janela de análise e o critério de corte declarados antes de o teste subir, e o relatório mostra a razão de visitantes entre braços ao lado da diferença de taxa, que é a ordem em que essas duas coisas precisam ser lidas. A Donnu é uma opção entre várias, e o que não muda de ferramenta para ferramenta é o princípio: se um braço deixou de servir em horas que o outro serviu, o número que você leu não é o efeito do tratamento, é o efeito do relógio.
Perguntas frequentes
As perguntas no topo desta página cobrem se o limite diário atrapalha um teste A/B, por que o braço estrangulado parece pior do que é, como identificar que um braço bateu no teto, se cortar a janela resolve, se dá para testar o ritmo de entrega em si e quanto a plataforma pode gastar além do orçamento diário informado.
Referências
- Agarwal, D., Ghosh, S., Wei, K. e You, S. (LinkedIn). Budget Pacing for Targeted Online Advertisements at LinkedIn. KDD 2014, pp. 1613-1619. Fonte da afirmação de que um teste A/B por usuário não serve para avaliar ritmo de entrega, porque o algoritmo afeta o gasto da campanha pelo dia inteiro; do argumento de que sortear campanhas mede o benefício do anunciante mas não o do publicador, já que campanhas dos dois grupos disputam o mesmo leilão; da decisão de rodar o algoritmo em dias alternados; da métrica de vida de campanha como tempo até esgotar 95% do orçamento; da tabela de resultados no produto Direct Ads em 2 semanas do quarto trimestre de 2013 (vida mediana de 13,54 para 19,50 horas, mais 7,74% de impressões únicas por gasto, mais 4,74% de campanhas servidas, mais 5,67% de custo por requisição, entrega além do orçamento de 3,8% para 3,4% e mais 0,15% de campanhas únicas por membro); da descrição da curva de custo por clique dentro do dia; e dos parâmetros operacionais de taxa de repasse inicial de 10%, taxa de ajuste de 10% e atualização de cerca de 12% das campanhas a cada 7 segundos. Conferido em 25 de setembro de 2026. dl.acm.org.
- Google Ads Help. Average daily budget. Fonte da afirmação de que num dado dia a campanha pode gastar até duas vezes o orçamento médio diário para aproveitar flutuações de tráfego, de que no fim do mês o gasto não passa de 30,4 vezes o orçamento médio diário, e da ressalva de que os custos servidos podem exceder os limites diário ou mensal sem que o anunciante pague mais do que esses limites. Conferido em 25 de setembro de 2026. support.google.com.
- Google Ads Help. Experiments FAQs. Fonte da distinção entre divisão por orçamento, oferecida para certos experimentos de Rede de Pesquisa, App e Display, e divisão por tráfego, oferecida para Performance Max, Demand Gen e Vídeo; do exemplo de repartição 70 para 30 entre controle e tratamento; da descrição da divisão por usuário no início do experimento com equilíbrio baseado na probabilidade de entrar em leilão; da recomendação de rodar o experimento por pelo menos 4 a 6 semanas; e da informação de que os primeiros 7 dias de dados são descartados por causa do tempo de subida. Conferido em 25 de setembro de 2026. support.google.com.
- Meta Business Help Center. About daily budgets. Fonte da definição da semana de orçamento que começa no domingo e termina no sábado, da afirmação de que a Meta pode gastar até 75% acima do orçamento diário em dias com melhores oportunidades, dos tetos de 175% por dia e de 7 vezes o diário por semana, e do teto de 210% do diário quando o compartilhamento entre conjuntos de anúncios está ligado. Conferido em 25 de setembro de 2026. facebook.com.
- Meta Business Help Center. About ad set budget sharing. Fonte da definição de compartilhamento de até 20% do orçamento diário com outros conjuntos de anúncios, da afirmação de que no nível de campanha o gasto permanece o mesmo com o recurso ligado ou desligado, e das fórmulas declaradas de gasto máximo por dia (orçamento diário mais orçamento compartilhado, multiplicado por 1,75) e por semana (a mesma soma multiplicada por 7). Conferido em 25 de setembro de 2026. facebook.com.
Leia também: Teste A/B na plataforma de anúncios · Lances automáticos · Teste switchback · Desequilíbrio de amostra · Atraso de conversão · Experimentos geográficos · Read in English
Perguntas frequentes
- O limite diário de orçamento atrapalha um teste A/B?
- Atrapalha, e de um jeito que o valor p não denuncia. Um braço que esgota o orçamento no meio do dia deixa de servir a partir dali, então ele não coleta uma amostra aleatória do dia: coleta uma amostra das horas em que o orçamento ainda existia. Como a taxa de conversão varia por hora, o braço estrangulado carrega uma composição de tráfego diferente do outro, e a diferença medida passa a incluir a hora do dia. No exemplo trabalhado deste guia, um tratamento que era 5 por cento melhor aparece como 15,3226 por cento pior, com valor p de 0,008007.
- Por que o braço estrangulado parece pior do que é?
- Porque ele perde justamente as horas de taxa mais alta. No exemplo deste guia a faixa da manhã converte a 1,0000 por cento e a faixa da tarde a 1,6000 por cento, ou seja, 1,6 vez mais. O braço que serve o dia inteiro fica com 60 por cento do tráfego na faixa fraca e 40 por cento na forte, o que dá uma média ponderada de 1,2400 por cento. O braço que para às 15h fica com 100 por cento do tráfego na faixa fraca. A comparação entre os dois está lendo a hora do dia, não a página.
- Como saber se um braço bateu no teto de orçamento?
- Três sinais resolvem, e nenhum deles é a métrica principal. O primeiro é a hora do último evento servido por braço no dia: se um braço para sempre no mesmo horário e o outro não, ele está limitado. O segundo é a participação de cada faixa horária no total de cada braço, que deve ser parecida nos dois. O terceiro é a razão de visitantes entre braços, ou seja, o desequilíbrio de amostra, que no exemplo deste guia dá um z de 77,46. As plataformas também expõem um status de limitado por orçamento, que vale acompanhar todo dia.
- Dá para consertar cortando a janela de análise?
- Dá para corrigir o viés, não para recuperar o poder. Se você comparar só as horas em que os dois braços serviram, no exemplo deste guia a leitura volta a ser 1,0000 por cento contra 1,0500 por cento, um lift de 5,0000 por cento com valor p de 0,505404, que é o efeito verdadeiro. O problema é que sobraram 36.000 visitantes por braço, e com esse tamanho o poder para detectar os 5 por cento verdadeiros é de 9,78 por cento. O corte precisa ser declarado antes de olhar os números, senão ele deixa de ser desenho e passa a ser seleção de dados.
- Posso testar o ritmo de entrega em si?
- Pode, mas não com sorteio por usuário. Os autores do algoritmo de ritmo de entrega do LinkedIn afirmam que um teste por usuário não serve, porque o algoritmo afeta o gasto da campanha pelo dia inteiro, então o mesmo tratamento tem que valer para a campanha inteira no dia inteiro. Sortear campanhas em dois grupos mede o benefício do anunciante mas não o do publicador, porque campanhas dos dois grupos caem no mesmo leilão. A saída declarada por eles foi rodar o ritmo de entrega em dias alternados, que é um desenho switchback.
- Quanto a plataforma pode gastar além do orçamento diário?
- Mais do que a maioria dos planos de teste supõe. O Google Ads declara que um dia pode consumir até duas vezes o orçamento médio diário, e que no fim do mês o total não passa de 30,4 vezes esse orçamento. A Meta declara que pode gastar até 75 por cento acima do orçamento diário num dia, com teto de 175 por cento por dia e de 7 vezes o diário por semana, de domingo a sábado; com o compartilhamento entre conjuntos de anúncios ligado, os tetos sobem para 210 por cento no dia e 840 por cento na semana.