CRO

Correspondência de Mensagem entre Anúncio e Página

Correspondência de mensagem: por que comparar páginas por anúncio engana, como desenhar o teste fatorial certo e o que medir depois do clique.

Ilustração plana de uma peça de quebra-cabeça encaixando num recorte correspondente de uma folha de documento em branco, em fundo verde-menta

Correspondência de mensagem é o quanto a promessa do anúncio reaparece na página que recebe o clique. Quase todo time mede isso do jeito errado: olha a taxa de conversão da página por anúncio e conclui qual página é melhor. Não dá. O anúncio escolhe quem clica, então cada anúncio entrega uma população diferente para a página, e a comparação mistura o efeito da página com a diferença de intenção do público. No exemplo trabalhado deste guia, a leitura agregada aponta a página X vencendo por 74,5 por cento com valor-p abaixo de 0,0001, enquanto dentro de cada anúncio, separadamente, a página Y é a que está na frente. O desenho que resolve isso é simples e quase ninguém usa: sortear a página dentro de cada anúncio e ler o efeito dentro de cada bloco antes de agregar. Este guia faz parte do nosso guia completo de teste A/B.

O que é correspondência de mensagem e por que ela importa

A ideia é antiga e tem nome na literatura de usabilidade: rastro de informação. Na explicação da Nielsen Norman Group sobre forrageamento de informação, teoria desenvolvida por Peter Pirolli e Stuart Card no PARC no fim dos anos 1990, “cada fonte de informação emite um cheiro, um sinal que diz ao forrageador o quanto é provável que ela contenha o que ele precisa”. A pessoa segue em frente enquanto sentir que está esquentando, e abandona quando estima que continuar custa mais do que vai render. O artigo resume a decisão como uma razão entre valor da informação e custo de obtê-la.

Aplicado a mídia paga, isso quer dizer o seguinte. O anúncio cria uma expectativa específica: um preço, uma promessa, um problema resolvido. A página de destino ou confirma essa expectativa nos primeiros segundos, ou obriga a pessoa a procurar. Procurar é custo. Custo alto com rastro fraco é saída.

E há um segundo canal, que quase ninguém conecta ao primeiro: correspondência de mensagem mexe no preço do leilão. Na documentação do Google Ads, o índice de qualidade tem três componentes, e um deles é a experiência na página de destino, definida como “o quanto a sua página de destino é relevante e útil para quem clica no seu anúncio”. A documentação do Ad Rank lista, entre os fatores, “a qualidade dos seus anúncios e da página de destino”, e registra que “mesmo que a sua concorrência tenha lances maiores que o seu, você ainda pode ganhar uma posição melhor por um preço menor usando palavras-chave e anúncios altamente relevantes”. Ou seja, a mesma decisão de página pode baratear o clique e melhorar a conversão dele, o que é raro em CRO.

Dois caminhos do anúncio até a conversão, com e sem correspondência de mensagemDois trilhos horizontais. No trilho de cima, com correspondência, a promessa do anúncio aparece em três estações seguidas: no anúncio, no título da página e na oferta do formulário, com um indicador de rastro forte que se mantém alto até a conversão. No trilho de baixo, sem correspondência, a promessa aparece só no anúncio, some no título da página e na oferta, e o indicador de rastro cai até a saída. Uma legenda diz que o custo de procurar é o que decide a saída.a promessa que some no meio do caminho vira custo de procuracom correspondênciaanúnciotítulo da páginaoferta no formulárioconversãofrete grátisfrete grátisfrete grátissem correspondênciaanúnciotítulo da páginaoferta no formulárioconversãofrete grátisqualidade premiumcadastre-seo rastro se perde aquia pessoa continua enquanto sente que está esquentando, e sai quando procurar custa mais do que rende
Leitura do rastro de informação descrito pela Nielsen Norman Group a partir da teoria de forrageamento de Pirolli e Card. A promessa não precisa estar em todo lugar, precisa estar onde a pessoa olha primeiro.

O erro de medida que quase todo mundo comete

Aqui está o problema que dá nome a este guia. A pergunta natural é “qual página converte melhor”, e o dado natural é a taxa de conversão de cada página por anúncio. O problema é que, na maior parte das contas, cada anúncio manda a maior parte do seu tráfego para uma página específica. Ou seja, a página não foi sorteada: ela foi escolhida junto com o anúncio.

E como o anúncio decide quem clica, cada página recebe uma mistura diferente de intenção. Compare as duas e você compara públicos, não páginas.

Um exemplo com números. Uma conta tem dois anúncios e duas páginas. O anúncio 1 é de alta intenção (busca de marca, a pessoa já sabe o que quer, base de 6 por cento). O anúncio 2 é de descoberta (base de 2 por cento). Historicamente, a maior parte do tráfego do anúncio 1 foi para a página X e a maior parte do anúncio 2 foi para a página Y.

recorte página X página Y quem está na frente
anúncio 1 (alta intenção) 16.000 cliques, 960 pedidos, 6,0000% 4.000 cliques, 252 pedidos, 6,3000% Y, mais 5,00%
anúncio 2 (descoberta) 4.000 cliques, 80 pedidos, 2,0000% 16.000 cliques, 344 pedidos, 2,1500% Y, mais 7,50%
agregado 20.000 cliques, 1.040 pedidos, 5,2000% 20.000 cliques, 596 pedidos, 2,9800% X, mais 74,5%

Dentro de cada anúncio, a página Y está na frente. No agregado, a página X ganha de lavada: o teste z devolve menos 42,69 por cento para Y, com valor-p abaixo de 0,0001 e intervalo de confiança de menos 2,6076 a menos 1,8324 ponto percentual, sem chegar perto do zero.

Reversão de Simpson entre a leitura por anúncio e a leitura agregadaTrês grupos de duas barras. No primeiro grupo, anúncio de alta intenção, a página X marca 6,00 por cento e a página Y marca 6,30 por cento, com Y na frente. No segundo grupo, anúncio de descoberta, a página X marca 2,00 por cento e a página Y marca 2,15 por cento, novamente com Y na frente. No terceiro grupo, agregado, a página X marca 5,20 por cento e a página Y marca 2,98 por cento, agora com X muito na frente. Uma nota explica que a inversão vem da alocação desigual do tráfego de cada anúncio entre as páginas.Y ganha nos dois anúncios e perde no agregadoanúncio 1, alta intenção6,00%6,30%XYY na frenteanúncio 2, descoberta2,00%2,15%XYY na frenteagregado5,20%2,98%XYX na frentea página X recebeu 80% do tráfego de alta intenção e a página Y recebeu 80% do de descobertaa diferença agregada mede a mistura de público, não a página
Os números da tabela anterior, desenhados. A inversão não é um erro de conta: 5,20 e 2,98 por cento são reais. Elas só não respondem à pergunta que o relatório diz responder.

A causa é a alocação: a página X recebeu 80 por cento do tráfego de alta intenção e a página Y recebeu 80 por cento do tráfego de descoberta. É a estrutura clássica descrita em paradoxo de Simpson em teste A/B. E note que o valor-p não protege ninguém aqui: o resultado agregado é extremamente significativo e extremamente enganoso, porque o problema é de identificação e não de amostra.

O desenho que resolve: o anúncio vira bloco, não tratamento

A correção é mais barata do que parece. Em vez de escolher uma página por anúncio, sorteie a página dentro de cada anúncio, com peso fixo, e analise o efeito da página dentro de cada anúncio antes de agregar.

desenho o que você aprende o que você não aprende
uma página por anúncio, comparação entre anúncios nada causal sobre a página tudo
página sorteada no tráfego todo, análise só no agregado o efeito médio da página na mistura atual de tráfego se o efeito depende do anúncio
página sorteada dentro de cada anúncio, análise por bloco e depois agregada o efeito da página em cada anúncio e a média ponderada nada relevante fica de fora

O terceiro desenho é um fatorial simples: dois anúncios vezes duas páginas, quatro células, com sorteio da página dentro de cada anúncio. Ele tem três vantagens e nenhuma desvantagem prática.

Primeiro, a comparação entre páginas fica limpa dentro de cada bloco, porque quem clicou naquele anúncio foi sorteado entre as duas páginas. Segundo, o agregado deixa de depender da mistura de tráfego, porque a mistura passa a ser igual nos dois braços por construção. Terceiro, e mais interessante, você mede se o efeito da página depende do anúncio, que é literalmente a pergunta de correspondência de mensagem. Isso é efeito heterogêneo declarado antes, não garimpo de segmento depois, como explicamos em efeito heterogêneo por segmento.

Do lado prático, o sorteio pode ser feito no seu site, no momento em que a pessoa chega, com o parâmetro de campanha na URL servindo de bloco. Isso é melhor que fazer o sorteio na plataforma por duas razões: você controla o peso e a unidade de sorteio, e não depende do mecanismo de divisão da plataforma, cujos limites estão em teste A/B na plataforma de anúncios.

Exemplo trabalhado: o fatorial que revela o encaixe

Uma loja roda dois anúncios de busca paga. O anúncio 1 promete frete grátis acima de um valor. O anúncio 2 promete 20 por cento de desconto na primeira compra. Duas páginas de destino:

A página é sorteada 50/50 dentro de cada anúncio. O anúncio 1 traz 26 mil cliques no período e o anúncio 2 traz 54 mil.

bloco página cliques pedidos taxa de conversão
anúncio 1 (frete grátis) X 13.000 780 6,0000%
anúncio 1 (frete grátis) Y (alinhada) 13.000 920 7,0769%
anúncio 2 (desconto) X 27.000 540 2,0000%
anúncio 2 (desconto) Y (desalinhada) 27.000 524 1,9407%

Os resultados, calculados com o mesmo teste z de duas proporções da calculadora:

comparação lift relativo valor-p IC 95% da diferença leitura
dentro do anúncio 1 mais 17,95% 0,0004 de 0,4761 a 1,6777 ponto percentual a página alinhada ganha
dentro do anúncio 2 menos 2,96% 0,6203 de menos 0,2937 a 0,1752 ponto percentual empate
agregado (mistura igual) mais 9,39% 0,0164 de 0,0569 a 0,5631 ponto percentual ganho real, mas diluído
Calculadora de significância estatística
Controle (A)
Variação (B)
Controle (A) · Taxa-
Variação (B) · Taxa-
Melhora relativa-
valor-p-
IC 95% da diferença-

Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.

Cole 13000 e 780 no lado A e 13000 e 920 no lado B para reproduzir a primeira linha: valor-p de 0,0004 e lift de 17,95 por cento. Troque para 27000 e 540 contra 27000 e 524 e a calculadora devolve 0,6203, que é a segunda linha. E 40000 com 1320 contra 40000 com 1444 devolve 0,0164, que é o agregado.

A leitura. O ganho de 9,39 por cento no agregado é real e estatisticamente significativo, mas ele é a média ponderada de um ganho grande num bloco e de nada no outro. Se você parar no agregado, a decisão vira “troque a página para todo mundo”, e você aplica em 54 mil cliques por período uma mudança que não faz nada por eles (e que, no ponto estimado, faz um pouco menos que nada). A decisão certa com esse resultado é rotear por anúncio: quem vem do anúncio de frete vê a página de frete; quem vem do anúncio de desconto continua na página genérica, ou, melhor, ganha a sua própria página alinhada com desconto, que vira o próximo teste.

Repare também o que não está provado. Não está provado que “correspondência de mensagem aumenta conversão em 18 por cento”. Está provado que, neste par, alinhar o topo da página com a promessa de frete aumentou a conversão daquele tráfego. Correspondência de mensagem não é um efeito, é uma família de efeitos que depende de qual promessa, de qual página e de qual público.

Quanto tráfego esse desenho pede

A boa notícia é que o bloco de alta intenção costuma ser barato de testar, porque a taxa-base é alta e o efeito esperado também. A má notícia é que o bloco de baixa intenção é caro, e é justamente onde a maior parte do tráfego costuma estar.

bloco e taxa-base mais 5% rel. mais 8% rel. mais 10% rel. mais 15% rel.
alta intenção, base 6,0% 100.670 39.861 25.740 11.693
baixa intenção, base 2,0% 315.206 124.891 80.682 36.693

Valores por célula, 95 por cento de confiança, 80 por cento de poder, bicaudal. Para o efeito grande que a correspondência de mensagem costuma produzir no bloco alinhado, 18 por cento relativos numa base de 6 por cento, bastam 8.225 cliques por célula, o que num anúncio de 6.500 cliques por semana sai em 8 dias de teste com dois braços.

Calculadora de tamanho de amostra
-Visitantes por variação
-Total (2 variações)
-Duração estimada

Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.

Três decisões práticas saem dessa tabela:

  1. Comece pelo bloco de maior intenção. É onde o efeito é maior e a amostra é menor. O resultado chega em uma ou duas semanas.
  2. Não tente medir o bloco de descoberta com a mesma precisão. No exemplo, as células do anúncio 2 com 27 mil cliques cada só enxergam 16,88 por cento relativos. Declarar “sem diferença” ali é impreciso; o correto é “não detectamos diferença acima de 17 por cento”.
  3. Não some braços de anúncios diferentes para ganhar amostra. Isso é exatamente o que cria a reversão da seção anterior.

O que alinhar, em ordem de retorno

Correspondência de mensagem não é copiar o anúncio na página inteira. É repetir o suficiente onde a pessoa olha primeiro.

elemento da página quanto pesa o que fazer
título principal (H1) alto repetir a promessa central do anúncio, quase com as mesmas palavras
primeira linha abaixo do H1 alto resolver a condição da promessa: acima de qual valor, por quanto tempo, para quem
imagem ou vídeo do topo médio-alto mostrar o mesmo objeto ou cenário do criativo, quando houver criativo visual
rótulo do botão principal médio usar o verbo da promessa, não um verbo genérico
preço ou oferta visível sem rolar médio quando o anúncio dá um número, o mesmo número tem que aparecer
navegação e menu baixo, mas negativo em página de campanha, menu completo costuma ser uma saída, não uma ajuda
prova social baixo ajuda, mas não substitui a promessa; ver prova social em teste A/B

Duas armadilhas específicas merecem destaque.

A primeira é prometer na página o que o produto não entrega. Alinhamento não é permissão para repetir uma promessa exagerada; se o anúncio promete frete grátis sem condição e a condição existe, alinhar a página só adianta a frustração. Nesse caso o problema é o anúncio, não a página.

A segunda é confundir alinhamento com clonagem. Repetir literalmente o texto do anúncio num H1 comprido, com todas as palavras-chave, costuma piorar a legibilidade e não melhora a conversão. O que a pessoa precisa em dois segundos é reconhecer a promessa, não reler o anúncio.

Anúncio dinâmico e inserção de palavra-chave: alinhamento automático tem custo

Existe o atalho de fazer a página trocar o título conforme o parâmetro da URL, espelhando a palavra-chave ou o texto do anúncio. Ele funciona e tem três custos que precisam ser declarados antes de ligar.

  1. Ele cria muitas versões de conteúdo pouco controladas. Uma página que muda o H1 por parâmetro é, na prática, N páginas. Se elas forem indexáveis, viram um problema de conteúdo duplicado; o mínimo é bloquear a variação por parâmetro na indexação e manter uma canônica.
  2. Ele introduz uma janela em que o título muda depois de a página aparecer. Isso é o efeito flicker, e ele não é cosmético: ele atrapalha a leitura e pode enviesar a medida. O tratamento está em efeito flicker em teste A/B.
  3. Ele mistura tratamento e conteúdo na hora de analisar. Se o texto injetado varia por consulta, cada visitante recebeu um tratamento levemente diferente, e o “braço” deixa de ser homogêneo. Para o teste, congele o conjunto de variações possíveis e registre qual foi servida.

Se o objetivo é só validar a hipótese de correspondência, prefira duas páginas estáticas bem escritas no primeiro teste. A injeção dinâmica é otimização de escala, não instrumento de medição.

Como ler o resultado sem se enganar

  1. A página foi sorteada, ou escolhida junto com o anúncio? Se foi escolhida, você não tem um teste, tem uma observação.
  2. O efeito foi lido dentro de cada anúncio antes de agregar? Sem isso, a mistura de público pode inverter o sinal.
  3. A mistura de tráfego entre os braços é a mesma? No fatorial correto ela é, por construção. Confira mesmo assim.
  4. Qual era o menor efeito detectável de cada bloco? “Sem diferença” num bloco que só enxerga 17 por cento não é a mesma frase que “sem diferença” num bloco que enxerga 5.
  5. A métrica é conversão ou receita por clique? Se o anúncio de desconto traz pedidos menores, conversão sozinha engana; use receita por visitante.
  6. O custo por clique mudou durante o teste? Se sim, a comparação entre períodos fica contaminada pelo leilão, além do efeito da página.
  7. Você mudou só o topo, ou a página inteira? Trocar a página inteira responde “esta página é melhor”, não “alinhar a promessa ajuda”.
  8. O resultado sobrevive a uma segunda promessa? Um efeito de correspondência que só aparece num par de anúncio e página é um achado pequeno e útil, não uma lei.

Checklist antes de ligar o teste

  1. Liste os anúncios que valem como bloco, com volume de cliques e taxa-base de cada um.
  2. Escolha a promessa a alinhar, uma só, e escreva a hipótese: se o H1 repetir a promessa X, a conversão do tráfego do anúncio X sobe porque o rastro de informação se mantém.
  3. Monte o fatorial: página sorteada 50/50 dentro de cada anúncio, com o parâmetro de campanha definindo o bloco.
  4. Congele o anúncio durante todo o período. Se o criativo mudar, muda quem clica, e o bloco deixa de ser o mesmo.
  5. Calcule o menor efeito detectável de cada bloco antes de ligar, e aceite desde já que o bloco pequeno pode não concluir.
  6. Declare a métrica primária, com denominador em cliques do bloco, e a de guarda (receita por clique, taxa de devolução).
  7. Garanta que a página alinhada não promete nada falso.
  8. Rode em semanas inteiras, como em ciclo semanal e duração.
  9. Planeje o roteamento, não só o vencedor: o resultado provável é “depende do anúncio”, e isso é uma decisão de arquitetura de campanha, não de página única.

Faça isso automático na Donnu

A dor específica de testar correspondência de mensagem é que a variável está de um lado do clique e a medida está do outro, e o jeito fácil de olhar o dado é justamente o que inverte o sinal.

Na Donnu, o experimento pode ser restrito por origem de tráfego, o que permite rodar o teste da página só para quem chegou de uma campanha específica, que é exatamente o bloco deste guia. O sorteio é por visitante, com peso fixo que você define, e a meta de conversão pode ser confirmada pelo seu servidor, com valor do pedido, o que permite ler receita por clique em vez de só taxa de conversão. O relatório é bayesiano, avisa quando a divisão de visitantes se afasta do configurado e só declara vencedora com pelo menos 200 visitantes por variação e 7 dias de teste.

O que continua sendo seu: escolher qual promessa alinhar, congelar o anúncio durante o teste e decidir o roteamento no fim. Para as contas, a calculadora de tamanho de amostra, a calculadora de significância e o avaliador de landing page trabalham com os seus números, de graça.

Referências

Leia também: Teste A/B de criativo de anúncio · Teste A/B na plataforma de anúncios · Paradoxo de Simpson · Efeito heterogêneo por segmento · Efeito flicker · Prova social em teste A/B · Teste de incrementalidade da mídia paga · Read in English

Perguntas frequentes

O que é correspondência de mensagem entre anúncio e página?
É o grau em que a promessa do anúncio reaparece na página de destino, no texto, na oferta e na imagem. O conceito por trás dela é o rastro de informação da teoria de forrageamento de informação: segundo a Nielsen Norman Group, cada fonte emite um sinal que diz ao usuário o quanto é provável que ela contenha o que ele procura, e a pessoa segue em frente enquanto sentir que está esquentando. Quando o anúncio promete frete grátis e a página fala de qualidade, o rastro se perde.
Posso comparar a taxa de conversão da página por anúncio?
Não como evidência causal. O anúncio decide quem clica, então cada anúncio entrega uma população diferente para a página. Comparar páginas entre anúncios mistura o efeito da página com a diferença de intenção do público. No exemplo deste guia, a comparação agregada aponta a página X vencendo por 74,5 por cento com valor-p abaixo de 0,0001, enquanto dentro de cada anúncio a página Y é a que está na frente. É uma reversão de Simpson clássica.
Qual é o desenho correto?
Sortear a página dentro de cada anúncio, 50/50, e analisar o efeito dentro de cada anúncio antes de agregar. O anúncio vira bloco, não tratamento. Assim a comparação entre páginas fica limpa e você ainda descobre se o efeito da página depende do anúncio, que é justamente a pergunta de correspondência de mensagem.
Correspondência de mensagem afeta só a conversão?
Não. Ela também entra no preço do leilão em busca paga. Segundo o Google Ads, o índice de qualidade tem três componentes, e um deles é a experiência na página de destino, definida como o quanto a sua página é relevante e útil para quem clica no anúncio. A própria documentação do Ad Rank registra que, mesmo com concorrentes dando lances maiores, é possível conquistar posição melhor por um preço menor usando palavras-chave e anúncios muito relevantes.
O efeito da correspondência de mensagem é igual para todos os anúncios?
Não, e esse é o ponto. No exemplo trabalhado deste guia, a página alinhada com a promessa de frete ganha 17,95 por cento dentro do anúncio de frete, com valor-p de 0,0004, e perde 2,96 por cento dentro do anúncio de desconto, com valor-p de 0,6203. Não existe página universalmente melhor: existe par de anúncio e página que se encaixa.
Quanto tráfego preciso para testar isso?
Menos do que parece, se você testar a correspondência onde ela deveria importar mais. Para detectar 18 por cento relativos numa base de 6 por cento de conversão bastam 8.225 cliques por célula. O que custa caro é o braço de baixa intenção: detectar 10 por cento relativos numa base de 2 por cento pede 80.682 cliques por célula.