CRO

Teste A/B de CTA: o que testar além da cor do botão

Teste A/B de CTA com método: oferta, risco percebido, texto específico e o que vem depois do clique, decidido pelo cadastro, não pelo clique.

Ilustração plana de uma janela de navegador com um botão grande em destaque, um cursor de mão sobre ele e um funil estreito abaixo, em tons de verde-floresta e verde-água sobre fundo verde-menta

Um teste A/B de CTA que vale a pena testa o que o visitante entende e o risco que ele sente antes de clicar: a oferta, a promessa escrita no botão, a frase de risco logo abaixo dele e, principalmente, o que acontece na tela seguinte. A cor do botão quase nunca entra nessa lista, porque o efeito que ela costuma produzir é pequeno demais para o tráfego da maioria das páginas. E a armadilha central é decidir o teste pelo clique no botão: um CTA pode ganhar 15% de cliques e não trazer nenhum cadastro a mais. Este guia mostra o que testar, como dimensionar e como ler o resultado, com um exemplo ilustrativo de ponta a ponta. Ele é parte do nosso método de otimização de landing page, que por sua vez faz parte do guia completo de otimização de conversão (CRO).

O que um teste A/B de CTA realmente testa

CTA (do inglês call to action, chamada para ação) é o elemento que pede ao visitante o próximo passo: um botão, um link, às vezes um formulário curto. Num teste de CTA, a pergunta de negócio nunca é “qual botão recebe mais cliques?”. É “qual versão desse pedido leva mais gente a completar a ação que paga as contas?”.

A distinção parece detalhe e decide tudo. O clique no CTA é uma micro conversão: um passo no caminho. O cadastro concluído, o trial iniciado, a compra paga são a macro conversão. A micro serve para diagnosticar onde as pessoas desistem. A macro decide o teste. Se você ainda não fixou qual é a sua, comece pela métrica primária (OEC).

Por que o clique engana? Porque o botão faz uma promessa, e quem clica cobra essa promessa na tela seguinte. Um texto mais sedutor atrai mais gente, inclusive gente que não queria o que vem depois. O Nielsen Norman Group descreveu exatamente esse padrão num estudo com botões “Get Started” (comece agora): o rótulo genérico “atrai cliques, mas também engana os usuários”. Do ponto de vista da empresa, escrevem os autores, os fluxos “provavelmente seriam interpretados como bem-sucedidos”, porque a análise mostraria os botões levando o usuário ao funil; os participantes, porém, desistiram, se frustraram ou foram para o concorrente.

A anatomia de um CTA, e o que testar em cada parte

Um CTA não é só o retângulo colorido. É um conjunto de seis peças, e cada uma responde a uma pergunta que o visitante faz antes de clicar:

Anatomia de um CTA e o que testar em cada parteJanela de navegador com a primeira tela de uma página de cadastro: título com a oferta, um botão verde com o texto Criar conta grátis, a frase Sem cartão de crédito, cancele quando quiser logo abaixo, um segundo botão repetido mais abaixo na página e a próxima tela, o formulário de cadastro. À direita, seis rótulos numerados: oferta e promessa, texto do botão, risco logo abaixo, contraste e tamanho, posição e repetição, e o que acontece depois do clique.Criar conta grátisSem cartão de crédito. Cancele quando quiser.fim da 1ª telaCriar conta grátisPróxima tela: o formulário de cadastro1. Oferta e promessao que eu ganho, exatamente?2. Texto do botãoo que acontece quando eu clicar?3. Risco logo abaixovão me cobrar? dá para desistir?4. Contraste e tamanhoeu vejo e consigo tocar no botão?5. Posição e repetiçãoo botão está onde eu decido?6. Depois do cliquea próxima tela cumpre a promessa?
As peças 1, 3 e 6 mudam o que o visitante entende ou o esforço que ele faz, e são as que costumam render testes com efeito grande. A cor mora dentro da peça 4, e é a menor alavanca do conjunto.
Peça Exemplo de variação O que tende a mudar Risco de leitura
Oferta e promessa “Teste grátis” contra “Conta grátis para sempre no plano básico” O que a pessoa recebe; pode mover a macro conversão Mudar a oferta muda também o perfil de quem entra (olhe a ativação)
Texto do botão “Começar agora” contra “Criar conta grátis” Clareza sobre o próximo passo Mais cliques sem mais cadastros
Risco abaixo do botão Adicionar “Sem cartão. Cancele quando quiser.” Medo de cobrança ou de compromisso A frase só funciona se for verdade no passo seguinte
Contraste e tamanho Botão com borda e texto mais legível, alvo maior no celular Quem não via ou não conseguia tocar passa a conseguir Efeito costuma ser pequeno quando o botão já era visível
Posição e repetição Repetir o CTA depois da seção de preços ou de prova social Presença do pedido no momento da decisão Pode só antecipar cliques que aconteceriam de qualquer jeito
Depois do clique Tirar o cartão do cadastro, reduzir campos, pular uma etapa Esforço real para concluir É um teste de fluxo, não de botão: meça no fim do fluxo

1. A oferta e a promessa do botão

O botão é a promessa mais curta da página. “Agende uma demonstração” e “Veja o produto funcionando em 2 minutos” pedem coisas muito diferentes ao visitante, ainda que levem ao mesmo lugar. Testar a oferta (o que a pessoa ganha e o que ela precisa dar em troca) costuma mover mais a macro conversão do que qualquer ajuste visual, porque muda a conta que o visitante faz entre benefício e custo.

A promessa do botão precisa casar com a promessa que trouxe a pessoa até ali. Se o anúncio fala em “teste grátis” e o botão pede “Fale com vendas”, o visitante sente que errou de lugar. O tema tem artigo próprio: correspondência de mensagem entre anúncio e página.

2. Texto específico contra texto genérico

“Saiba mais”, “Começar”, “Enviar” e “Clique aqui” servem para qualquer coisa, e por isso não dizem nada. O artigo do Nielsen Norman Group citado acima conclui que, assim como o primo “Saiba mais”, o “Get Started” é genérico demais para se sustentar sozinho e pode ser interpretado de várias formas. O rótulo genérico dá um “cheiro de informação” forte para quase qualquer intenção, e é por isso que ele captura o clique de quem queria outra coisa, como preço ou uma explicação do serviço.

Um texto específico descreve o que acontece depois do clique: “Criar conta grátis”, “Ver planos e preços”, “Baixar o modelo em planilha”. Ele tende a atrair menos cliques curiosos e mais cliques de quem quer exatamente aquilo. É por isso que um teste de texto de CTA precisa ser lido no cadastro: o texto específico pode perder no clique e ganhar onde importa.

3. O risco percebido logo abaixo do botão

A linha pequena embaixo do CTA (microcopy) responde à objeção que aparece no instante do clique: “vão me cobrar?”, “vou receber spam?”, “consigo cancelar?”. “Sem cartão de crédito”, “Cancele quando quiser” e “Não compartilhamos seu e-mail” são mudanças de uma linha que mexem no risco percebido, e por isso são boas candidatas a teste quando a página pede um compromisso.

A regra de ouro: a frase precisa ser verdade na tela seguinte. Escrever “sem cartão” e pedir o cartão no passo dois é um jeito eficiente de trocar cadastros por reclamações. O teste honesto aqui quase sempre é um teste da oferta inteira, como no exemplo trabalhado mais abaixo.

4. Posição e repetição

O CTA precisa estar onde a decisão acontece. Para uma oferta simples e conhecida, isso é a primeira tela. Para uma oferta cara ou nova, a decisão acontece depois que o visitante leu os benefícios, viu a prova social e encontrou o preço, e um segundo botão nesse ponto evita que ele precise rolar de volta. Repetir o CTA ao longo de uma página longa é uma hipótese razoável; o cuidado é que a repetição pode só antecipar cliques que aconteceriam de qualquer jeito, o que de novo só aparece na macro conversão.

5. Contraste, tamanho e acessibilidade

Aqui há critério objetivo antes de qualquer teste. As Diretrizes de Acessibilidade para Conteúdo Web (WCAG 2.2, do W3C) pedem, no nível AA:

Um exemplo com as cores deste blog, calculado pela fórmula de contraste da WCAG: texto branco sobre o verde-floresta #15735a dá 5,78:1, e passa; texto branco sobre um verde claro como #5bb894 dá 2,41:1, e reprova. Se o seu botão reprova, não teste: corrija. Acessibilidade não é hipótese, é requisito. E quando o botão já é visível e legível, trocar um verde por um laranja raramente muda a decisão de quem já o viu.

6. O que acontece depois do clique

É a peça mais fácil de esquecer num teste de CTA, porque nem aparece na página. O clique é o começo de um fluxo: um formulário, um cadastro, um checkout. Se o fluxo pede cartão, oito campos e confirmação por e-mail antes de mostrar qualquer valor, nenhum texto de botão compensa. Mudar o que vem depois do clique muda o esforço real para concluir, e esforço é o que separa quem clica de quem termina.

Há uma sutileza estatística aqui: quando a variação muda o fluxo depois do clique, ela muda também quem chega ao fim de cada etapa, e comparar etapas intermediárias entre A e B deixa de ser uma comparação justa. O artigo sobre atrito diferencial em teste A/B explica por que só a métrica medida sobre todos os visitantes sorteados continua limpa. Para o fluxo em si, veja otimização do fluxo de cadastro self-serve.

Por que a cor do botão quase nunca vale um teste

A cor do botão é o exemplo mais famoso de teste A/B e um dos piores pontos de partida para quem tem tráfego médio. Não porque cor nunca importa, mas porque o efeito típico é pequeno, e efeito pequeno custa uma amostra que a maioria das páginas não tem.

A evidência honesta vai nos dois sentidos. No artigo “Seven Rules of Thumb for Web Site Experimenters” (KDD 2014), Ron Kohavi, Alex Deng, Roger Longbotham e Ya Xu relatam que uma série de testes de cores de fonte no Bing, em 2013, melhorou a monetização em mais de 10 milhões de dólares por ano, resultado replicado com 32 milhões de usuários. Na mesma seção, os autores dizem que esse tipo de avanço por mudança pequena é “muito raro e surpreendente”: no Bing, talvez um em cada 500 experimentos atinja esse patamar. A regra seguinte do artigo é que mudanças raramente têm grande impacto positivo nas métricas-chave: a maioria dos experimentos falha, e os que dão certo melhoram as métricas entre 0,1% e 1,0% depois de diluídos no impacto geral.

Ou seja: com dezenas de milhões de usuários, um efeito de cor pequeno é detectável e vale dinheiro. Com 10.000 visitantes por semana, o mesmo efeito simplesmente não aparece dentro de um prazo razoável. Veja o custo no nosso cenário ilustrativo.

O cenário ilustrativo deste guia

Uma página de cadastro de um SaaS com trial, com 10.000 visitantes por semana. Hoje, 12% das visitas clicam no CTA e 3% das visitas concluem o cadastro (a macro). Um teste de 4 semanas acumula 40.000 visitas, 20.000 por variação. É um cenário inventado para ensinar o método, não dado de cliente.

Com 95% de confiança, 80% de poder, teste bilateral e duas variações, a amostra necessária para cada efeito relativo é:

Efeito relativo que você quer detectar Clique no CTA (base 12%) Dias Cadastro (base 3%) Dias
5% 47.036 por variação 66 207.938 por variação 292
10% 12.004 por variação 17 53.211 por variação 75
15% 5.443 por variação 8 24.193 por variação 34
20% 3.122 por variação 5 13.914 por variação 20
Dias de teste para detectar cada efeito, no clique e no cadastroCom 10.000 visitantes por semana, detectar 5% relativo leva 66 dias no clique e 292 dias no cadastro; 10% leva 17 dias no clique e 75 no cadastro; 15% leva 8 dias no clique e 34 no cadastro; 20% leva 5 dias no clique e 20 no cadastro. Uma linha tracejada marca 4 semanas, ou 28 dias.clique no CTA (base 12%)cadastro (base 3%)5%47.036 por variação · 66 dias207.938 por variação · 292 dias10%12.004 · 17 dias53.211 · 75 dias15%5.443 · 8 dias24.193 · 34 dias20%3.122 · 5 dias13.914 · 20 dias4 semanas (28 dias)efeito relativo
Cenário ilustrativo: 95% de confiança, 80% de poder, bilateral, 2 variações, 10.000 visitantes por semana. O mesmo efeito relativo custa cerca de 4 vezes mais amostra no cadastro do que no clique, porque a taxa base é 4 vezes menor.

Duas leituras saem dessa tabela. A primeira: se a cor do botão move a conversão em algo da ordem de 5%, o teste precisa de 292 dias para enxergar isso no cadastro. Ninguém espera dez meses por uma cor. A segunda é mais traiçoeira: o clique fecha a conta muito mais rápido, em 8 dias para um efeito de 15%. É exatamente por isso que tanta equipe acaba decidindo pelo clique. A pergunta é se o clique responde a pergunta certa, e a próxima seção mostra que nem sempre.

Teste A/B de CTA: clique ou cadastro?

Vamos ao primeiro teste do cenário. A hipótese: o texto genérico “Começar agora” não diz o que acontece depois do clique; “Teste grátis por 14 dias” é específico e mais atraente. Variação A: “Começar agora”. Variação B: “Teste grátis por 14 dias”. Quatro semanas, 20.000 visitantes por variação.

Teste 1 A · Começar agora B · Teste grátis por 14 dias Resultado
Visitantes 20.000 20.000 divisão 50/50
Cliques no CTA 2.400 (12,00%) 2.760 (13,80%) +15,0% relativo, valor-p menor que 0,0001
Cadastros 600 (3,00%) 612 (3,06%) +2,0% relativo, valor-p 0,7263, inconclusivo
Cadastro por clique 25,0% 22,2% caiu

No clique, B é um “vencedor” sem discussão: escore z de 5,37, valor-p menor que 0,0001 e intervalo de confiança de 95% da diferença de +1,14 a +2,46 pontos percentuais, inteiramente acima de zero. No cadastro, a história é outra: +2,0% relativo, valor-p 0,7263 e intervalo de -0,28 a +0,40 ponto percentual, que inclui o zero com folga. O teste não mostra que B traz mais cadastros.

Funil do teste 1: o CTA que ganhou no clique e empatou no cadastroA, com o texto Começar agora, teve 20.000 visitas, 2.400 cliques (12,00%) e 600 cadastros (3,00%). B, com o texto Teste grátis por 14 dias, teve 20.000 visitas, 2.760 cliques (13,80%) e 612 cadastros (3,06%). No clique, B ganhou 15,0% com valor-p menor que 0,0001; no cadastro, ganhou 2,0% com valor-p 0,7263, inconclusivo. O cadastro por clique caiu de 25,0% para 22,2%.A · Começar agoraB · Teste grátis por 14 diasB contra AVisitas20.00020.000divisão 50/50Clique no CTA2.400 · 12,00%2.760 · 13,80%+15,0%valor-p menor que 0,0001Cadastro600 · 3,00%612 · 3,06%+2,0%valor-p 0,7263, inconclusivoCadastro por clique25,0%22,2%caiuCenário ilustrativo: 4 semanas, 20.000 visitas por variação. B atraiu mais cliques de gente que desistiu na etapa seguinte.
O “vencedor” do clique não é o vencedor do teste. Os 360 cliques a mais de B viraram 12 cadastros a mais, uma diferença que cabe com folga no ruído.

O que aconteceu? O texto de B prometeu um trial grátis, e gente que só queria olhar clicou. Na tela seguinte, essas pessoas encontraram o mesmo cadastro de antes e desistiram. A conversão de cadastro por clique caiu de 25,0% (600 de 2.400) para 22,2% (612 de 2.760). O botão não melhorou a página: mudou o lugar onde as pessoas desistem.

O mesmo artigo de Kohavi e colegas traz um caso famoso que ensina a lição pelo avesso. Na página inicial da Amazon, em 2004, a oferta do cartão de crédito venceu a disputa pelo espaço do topo apesar de ter uma taxa de cliques muito baixa, porque a oferta era muito lucrativa e o valor esperado era alto. Clique alto não garante valor, e clique baixo não condena uma oferta. Quem decide é a métrica que paga as contas.

Na prática, um teste de CTA deve declarar antes de começar:

E se a macro conversão for rara demais para ser a primária? Há casos em que uma métrica intermediária é usada como substituta, mas isso exige mostrar, com dados, que ela anda junto com a macro. Um clique de botão raramente passa nesse teste, como o exemplo acima mostra.

Dimensione antes: quanto tráfego o seu teste de CTA consome

Se o teste vai ser decidido pelo cadastro, o dimensionamento também tem que ser feito pelo cadastro. Com 4 semanas e 20.000 visitantes por variação, o menor efeito que esse teste consegue detectar no cadastro é de 15,9% relativo, ou 0,48 ponto percentual: de 3,00% para 3,48%. Esse é o efeito mínimo detectável do teste, e ele funciona como um filtro de ideias. Uma mudança que não tem chance plausível de mover o cadastro em algo perto de 16% não cabe nesse tráfego, por melhor que pareça.

É aqui que a cor do botão e os ajustes de uma palavra saem da fila, e a oferta, o risco percebido e o fluxo depois do clique entram. Para ordenar o que sobra, o priorizador de testes PIE e ICE dá uma nota para cada hipótese.

Confira na calculadora. Preencha taxa atual 3, efeito mínimo detectável 15 (relativo), confiança 95, poder 80, visitantes por semana 10000 e teste bilateral. A tela mostra 24.193 visitantes por variação, 48.386 no total e 34 dias:

Calculadora de tamanho de amostra
-Visitantes por variação
-Total (2 variações)
-Duração estimada

Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.

Repare que 34 dias passa um pouco das 4 semanas planejadas, o que é coerente com o MDE de 15,9%: com 28 dias, o teste enxerga efeitos a partir de 15,9%, não de 15%. Se a sua página tem ainda menos tráfego, o guia de CRO para sites de baixo tráfego mostra as alternativas.

Uma vez fixada a duração, cumpra-a. Evan Miller mostrou, num texto clássico de 2010, que olhar o resultado a cada nova observação e parar na primeira significância pode levar a taxa real de falso positivo a 26,1%, mais de cinco vezes os 5% que o painel promete. Nada de encerrar o teste de CTA no dia 6 porque o clique já “deu”; veja o problema do peeking.

Exemplo trabalhado: mudar a oferta, não a cor

O teste 1 ensinou que o texto do botão, sozinho, não mudou o que acontecia depois do clique. O segundo teste ataca isso. A hipótese, escrita no formato de hipótese de teste A/B: “Porque o cadastro por clique é de apenas 25% e o passo seguinte pede cartão de crédito, acreditamos que oferecer uma conta grátis sem cartão, com a exigência de cartão removida do cadastro, vai aumentar os cadastros, medidos por cadastros concluídos divididos por visitantes”.

A variação B troca o CTA para “Criar conta grátis, sem cartão” e remove o campo de cartão do passo seguinte. É uma mudança de oferta e de risco, não de rótulo, e por isso a promessa do botão é verdade na tela seguinte. Mesmo plano: 4 semanas, 20.000 visitantes por variação, decisão só no fim.

Agora confira na calculadora. Digite 20000 visitantes e 600 conversões no controle, 20000 visitantes e 702 conversões na variação, com confiança de 95%:

Calculadora de significância estatística
Controle (A)
Variação (B)
Controle (A) · Taxa-
Variação (B) · Taxa-
Melhora relativa-
valor-p-
IC 95% da diferença-

Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.

A tela mostra taxa de 3,00% para A e 3,51% para B, melhora relativa de +17,0%, valor-p de 0,0041, IC 95% da diferença de +0,2% … +0,9% (pp) e o veredito Vencedora com significância · B vence. A calculadora arredonda as taxas para duas casas e o intervalo para uma; os valores com mais casas vêm do mesmo cálculo. Se você digitar os cadastros do teste 1 (600 contra 612), verá valor-p de 0,7263 e o veredito Ainda sem significância. Se digitar os cliques do teste 1 (2.400 contra 2.760), verá valor-p menor que 0,0001: a mesma página, dois veredictos opostos, dependendo da métrica.

Intervalo de confiança da diferença no cadastro, teste 1 contra teste 2No teste 1, de texto do CTA, a diferença no cadastro foi de +0,06 ponto percentual, com intervalo de confiança de 95% de -0,28 a +0,40, cruzando o zero: inconclusivo. No teste 2, de oferta sem cartão, a diferença foi de +0,51 ponto percentual, com intervalo de +0,16 a +0,86, inteiramente acima de zero: B vence.Diferença no cadastro (B menos A), intervalo de confiança de 95%, em pontos percentuaiszero: nenhuma diferençaTeste 1 · texto do CTA: +0,06 pp, inconclusivo-0,28+0,40Teste 2 · oferta sem cartão: +0,51 pp, B vence+0,16+0,86-0,40+0,4+0,8Cenário ilustrativo: 20.000 visitantes por variação em cada teste, base de 3,00%.
O intervalo do teste 1 cruza o zero: não dá para dizer que o texto novo trouxe cadastros. O do teste 2 fica inteiro à direita do zero, e o limite inferior, +0,16 ponto percentual, é o número para planejar.

Quanto isso vale, e por que planejar pelo limite inferior

A página recebe cerca de 43.333 visitas por mês (10.000 por semana vezes 52 semanas, divididos por 12 meses). Com a diferença pontual de 0,51 ponto percentual, isso dá um ganho de cerca de 221 cadastros por mês. No limite inferior do intervalo, +0,16 ponto percentual, o ganho é de cerca de 70 cadastros por mês.

O número que vai para a planilha de planejamento é o de baixo. Testes que cruzam o limiar de significância tendem a superestimar o efeito, porque os que tiveram sorte para cima são justamente os que passaram na linha: é a maldição do vencedor. O teste 2 passou com um efeito de 17,0%, muito perto do MDE de 15,9%, que é o cenário típico em que o efeito medido vem inflado. Planeje com 70 cadastros por mês e trate o que vier acima disso como bônus.

Duas verificações antes de comemorar. Primeiro, a guarda: uma conta sem cartão traz gente com menos compromisso, e a ativação na primeira semana e a conversão de trial para pago precisam ser acompanhadas, porque o ganho de cadastro só vale se não for comido mais adiante no funil. Segundo, o tempo: mudanças que chamam atenção podem render mais nas primeiras semanas e perder força depois, o efeito novidade; compare o efeito da primeira com o da última semana antes de dar o resultado por estável.

Testar 3 ou mais textos de CTA ao mesmo tempo

A tentação é natural: se dá para testar um texto, por que não cinco? “Começar agora”, “Teste grátis”, “Criar conta”, “Ver o produto”, “Experimente sem cartão”. O problema é que cada variação é comparada com o controle, e cada comparação é uma nova chance de um falso positivo aparecer por acaso. Com quatro variações contra o controle a 95% de confiança cada, a chance de ao menos um “vencedor” falso é bem maior que 5%.

Por isso um teste A/B/n de CTA exige correção de múltiplas comparações (Bonferroni, Holm ou similar), que torna o limiar de cada comparação mais exigente e, portanto, pede mais amostra por variação. E o tráfego é dividido em mais partes: com 10.000 visitantes por semana divididos em cinco, cada variação recebe 2.000 por semana, e o MDE de cada comparação sobe muito. O guia de como testar várias variações num teste A/B/n mostra as contas, e a calculadora de significância para múltiplas variações aplica a correção.

Com tráfego médio, a recomendação prática é testar menos e maior: duas ideias fortes e bem diferentes, como no teste 2, rendem mais aprendizado do que cinco variações de rótulo que se parecem entre si.

Checklist de um teste de CTA

Copie e use antes de ligar cada teste:

  1. A métrica primária é a macro conversão (cadastro, compra, trial iniciado) dividida por visitantes sorteados, escrita antes de ligar.
  2. Clique no CTA e conversão por clique estão declarados como diagnóstico, não como critério de decisão.
  3. As métricas de guarda estão definidas (ativação, qualidade do lead, reembolso).
  4. O botão atual passa nos critérios de contraste e área de toque da WCAG; se não passa, corrija antes de testar.
  5. A hipótese muda algo que o visitante entende ou o esforço que ele faz, não só a aparência.
  6. A promessa do botão e da frase de risco é verdade na tela seguinte.
  7. O MDE foi calculado com a taxa base da macro e o seu tráfego semanal, e a mudança tem chance plausível de chegar nele.
  8. A duração está fixada em semanas inteiras, e a decisão acontece só no fim.
  9. Se houver 3 ou mais variações, a correção de múltiplas comparações está escolhida antes.
  10. O evento de conversão dispara uma vez por cadastro, nas duas versões, no celular e no computador.
  11. A regra de decisão está escrita: o que fazer se B ganhar, perder ou der inconclusivo.

Erros comuns ao testar um CTA

Faça isso automático na Donnu

A parte difícil de um teste de CTA não é ter ideias de texto. É resistir ao número que aparece primeiro: o clique sobe em poucos dias, o painel fica verde e a vontade de encerrar é enorme. O teste certo é decidido pela métrica que paga as contas e para no tamanho de amostra que foi planejado, não no dia em que o clique “ganhou”.

Na Donnu, você cria a variação do CTA, da frase de risco ou da página inteira no editor visual, e roda testes A/B na mesma URL ou testes de Split URL quando a variação é um fluxo novo. A meta de conversão pode ser um clique, um envio de formulário ou a visita a uma página, então você pode definir como meta a página de cadastro concluído, e não o clique no botão. O relatório é bayesiano e mostra a incerteza junto com o ganho, para você planejar pelo lado conservador. O painel é em português e o tratamento de dados segue a LGPD.

O que continua sendo seu é a escolha da hipótese e da métrica. Para isso, a calculadora de tamanho de amostra, a calculadora de significância e o priorizador PIE e ICE são gratuitos. Prefere ler em inglês? Veja a versão em inglês deste guia.

Referências

Leia também: Otimização de landing page · Otimização de conversão (CRO) · Métrica primária (OEC) · Atrito diferencial em teste A/B · Testar várias variações (A/B/n) · Maldição do vencedor · Efeito mínimo detectável · Read in English

Perguntas frequentes

O que testar num teste A/B de CTA, além da cor do botão?
O que move a conversão num CTA é o que o visitante entende e o risco que ele sente: a oferta e a promessa do botão, o texto específico no lugar do genérico, a frase de risco logo abaixo (sem cartão, cancele quando quiser), a posição e a repetição do botão, o contraste e o tamanho, e principalmente o que acontece na tela seguinte ao clique. A cor é a alavanca mais fraca dessa lista e a que mais consome amostra.
Vale a pena testar a cor do botão do CTA?
Quase nunca com tráfego médio. Mudanças cosméticas tendem a produzir efeitos pequenos, e efeito pequeno exige amostra enorme. No cenário ilustrativo deste guia, com 10.000 visitantes por semana, detectar uma melhora relativa de 5% no clique (base 12%) exige 47.036 visitantes por variação e 66 dias; no cadastro (base 3%), exige 207.938 por variação e 292 dias.
Devo decidir um teste de CTA pelo clique ou pelo cadastro?
Pelo cadastro, ou pela compra: a macro conversão. No exemplo ilustrativo, trocar "Começar agora" por "Teste grátis por 14 dias" subiu o clique em 15,0% (de 12,00% para 13,80%, valor-p menor que 0,0001), mas o cadastro só passou de 3,00% para 3,06%, valor-p 0,7263, inconclusivo. A taxa de cadastro por clique caiu de 25,0% para 22,2%: o botão atraiu mais cliques de gente que desistiu na etapa seguinte.
Quantos visitantes preciso para um teste de CTA?
Depende da métrica que decide. Com 95% de confiança, 80% de poder, teste bilateral e 10.000 visitantes por semana, detectar 15% relativo sobre um cadastro de 3% exige 24.193 visitantes por variação, 48.386 no total e 34 dias. Num teste de 4 semanas com 20.000 visitantes por variação, o menor efeito detectável no cadastro é de 15,9% relativo, de 3,00% para 3,48%.
Quanto vale um CTA vencedor?
No exemplo ilustrativo, "Criar conta grátis, sem cartão", com a exigência de cartão removida do passo seguinte, levou o cadastro de 3,00% para 3,51% (+17,0%, valor-p 0,0041). Em cerca de 43.333 visitas por mês, a estimativa pontual é de cerca de 221 cadastros extras por mês; no limite inferior do intervalo de confiança, cerca de 70. Planeje com o limite inferior, porque o efeito medido de um vencedor tende a vir inflado.
Posso testar vários textos de CTA ao mesmo tempo?
Pode, mas com 3 ou mais variações cada uma é comparada com o controle, e cada comparação é uma nova chance de falso positivo. Um teste A/B/n exige correção de múltiplas comparações, como Bonferroni ou Holm, e mais amostra por variação. Com tráfego médio, costuma ser melhor testar duas ideias fortes do que cinco variações de texto.