CRO

CRO para Sites de Baixo Tráfego: como Testar Assim Mesmo

CRO em site de baixo tráfego: alargue o efeito mínimo, teste mais acima no funil e saiba quando o teste A/B é a ferramenta errada pra sua pergunta.

Ilustração plana de um funil estreito com poucos pontos caindo e uma ampulheta ao lado, sobre fundo verde menta

Baixo tráfego não significa que você não pode testar, significa que você não pode testar do jeito que um site de tráfego alto testa. A estatística não oferece desconto para quem tem menos visitante: detectar um efeito pequeno com confiança continua exigindo amostra de verdade, e fingir o contrário apenas troca um teste lento por um teste rápido e errado. Este artigo é filho do guia completo de otimização de conversão e cobre as alavancas que um site de baixo tráfego realmente tem: alargar o efeito que você procura, subir o teste no funil, esticar o prazo com honestidade e reconhecer quando o teste A/B não é a ferramenta certa para a pergunta que você está fazendo.

Por que baixo tráfego quebra o manual padrão

O manual padrão de CRO pressupõe que você consegue detectar uma melhora modesta (de 10% a 20% relativo) em algumas semanas. Essa premissa depende inteiramente do volume de tráfego, e ela se rompe em silêncio assim que o volume cai.

Um exemplo trabalhado. Suponha uma página que converte a 3% e um alvo de detectar uma melhora relativa de 20% (de 3,0% para 3,6%), a 95% de confiança e 80% de poder. Com 1.000 visitantes por semana chegando nessa página e divididos entre duas variações, o dimensionamento dá:

Seis meses é mais tempo do que quase qualquer time aceita esperar por uma resposta, e quando o teste terminasse a página, a oferta ou o mercado provavelmente já teriam mudado por baixo dele. Esse é o problema real que o baixo tráfego cria: não é que testar seja impossível, é que o prazo honesto para detectar um efeito pequeno costuma ser maior do que o negócio tolera.

Calculadora de tamanho de amostra
-Visitantes por variação
-Total (2 variações)
-Duração estimada

Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.

Coloque a sua taxa base e o seu tráfego semanal reais acima antes de assumir que qualquer alavanca abaixo resolve o seu caso, porque a alavanca certa depende exatamente de quão longe os seus números estão de um prazo viável.

Alavanca 1: alargue o efeito mínimo detectável (MDE)

A maior alavanca de um site de baixo tráfego é aceitar que você só consegue detectar um efeito maior, e desenhar os testes em torno de mudanças grandes em vez de ajustes finos.

O mesmo exemplo, com efeito mais largo. Mesma página, convertendo a 3%, mesmos 1.000 visitantes por semana, mas agora mirando uma melhora relativa de 50% (de 3,0% para 4,5%) em vez de 20%:

A tabela completa mostra como a curva é brutal na ponta dos efeitos pequenos:

Efeito relativo mirado Amostra por variação Duração a 1.000 visitantes por semana
10% 53.211 745 dias
20% 13.914 195 dias
30% 6.455 91 dias
35% 4.841 68 dias
50% 2.518 36 dias

Base de 3%, 95% de confiança, 80% de poder, teste bicaudal, duas variações.

Duração do teste conforme o efeito mínimo miradoCom base de 3 por cento e 1.000 visitantes por semana, mirar 10 por cento relativo leva 745 dias, 20 por cento leva 195 dias, 30 por cento leva 91 dias, 35 por cento leva 68 dias e 50 por cento leva 36 dias. Dobrar o efeito mirado reduz a duração em muito mais do que a metade.Dias até fechar a amostra (base 3%, 1.000 visitantes por semana)mirar +10%745 diasmirar +20%195 diasmirar +30%91 diasmirar +35%68 diasmirar +50%36 diasA amostra necessária cai com o quadrado do efeito, e é por isso que alargar o alvo compra tanto tempo.
Cortar pela metade o efeito que você persegue não dobra o prazo, quadruplica. É a relação que explica por que site de baixo tráfego precisa testar mudança grande, não ajuste fino.

Alargar o efeito perseguido de 20% para 50% relativo transformou um teste de seis meses num de cinco semanas. O custo é real: você não vai detectar uma melhora verdadeira mas pequena, de 10%, com esse desenho; ela vai aparecer como inconclusiva mesmo estando lá de verdade. Em site de baixo tráfego esse trade-off geralmente compensa, porque um teste que nunca termina não ensina nada.

Alavanca 2: mova o teste para mais alto no funil

Um checkout, um fluxo de trial para pago ou qualquer etapa profunda do funil quase sempre vê uma fração do tráfego que uma landing page, a home ou a página de preços vê. Testar nesse ponto de maior volume, e depois acompanhar o efeito descendo o funil pelo analytics em vez de por um segundo teste A/B completo, costuma ser o caminho realista quando a etapa mais profunda simplesmente não sustenta uma amostra decente sozinha.

O volume de teste encolhe conforme o funil aprofundaA home ou a landing page recebem o maior volume de visitantes, a página de produto ou de preços recebe menos, e o checkout ou o trial para pago recebe o menor volume. Em site de baixo tráfego, mover o teste para uma etapa de maior volume costuma ser a única forma de fechar a amostra em prazo razoável.Home / landing page (maior volume)Página de produto / de preçosCheckout / trial para pago (menor volume)Site de baixo tráfego costuma precisar testar uma ou duas linhas acima da métrica que realmente importa
Um teste na linha de cima fecha a amostra muito antes do mesmo teste na linha de baixo, puramente porque passa mais gente por ali toda semana.

É um trade-off real, não almoço grátis: um teste de título na home fala sobre comportamento na home, e você ainda precisa confiar que a melhora ali chega na métrica profunda que interessa. Acompanhe a taxa de conversão do fim do funil ao longo das semanas seguintes à implementação da variação vencedora, em vez de assumir que o ganho medido no topo vale igual lá embaixo.

Alavanca 3: teste mudanças grandes, não ajustes finos

Alargar o MDE (alavanca 1) só compensa se a mudança testada for de fato capaz de produzir um efeito grande. Cor de botão dificilmente move conversão em 50%, por mais que o seu tráfego precise que ela mova. Em site de baixo tráfego, priorize mudanças estruturais (uma proposta de valor reescrita, uma página de preços redesenhada, um onboarding fundamentalmente diferente) em vez de cosméticas, porque só a mudança estrutural tem chance realista de gerar o efeito grande que o seu tráfego consegue detectar em janela razoável.

Existe um ganho colateral pouco lembrado nessa escolha: mudança grande também é mais fácil de justificar internamente e mais fácil de aprender com o resultado. Um teste que compara duas propostas de valor diferentes ensina algo sobre o cliente mesmo quando perde; um teste de espaçamento não ensina nada em nenhum dos dois desfechos.

Alavanca 4: estique o prazo com honestidade

Às vezes a resposta certa é simplesmente aceitar um teste mais longo, desde que o negócio tolere a espera e a página ou a oferta sejam estáveis o suficiente para não mudarem no meio do caminho. O erro a evitar é o oposto: encurtar a espera declarando vencedor antes de a amostra e a duração calculadas serem atingidas, o que reintroduz o problema de peeking independentemente do tamanho do seu tráfego. Um teste lento e corretamente dimensionado vale mais que um teste rápido e subdimensionado que por acaso pareceu significativo. O artigo sobre o problema do peeking quantifica o estrago.

Uma regra prática que ajuda: escreva a data de encerramento no calendário no dia em que o teste sobe, junto do número de visitantes que ele precisa fechar. Prazo definido antes é a defesa mais barata contra a tentação de encerrar na primeira semana boa.

Alavanca 5: teste unicaudal, com cuidado

Um teste bicaudal verifica se a variação é melhor ou pior que o controle. Um teste unicaudal só verifica se é melhor, o que exige uma amostra um pouco menor para a mesma confiança e o mesmo poder.

Mesmo exemplo, unicaudal. Mesma página (base de 3%), mesmo MDE de 20% relativo, mesmos 1.000 visitantes por semana, mas com teste unicaudal:

A economia é real e modesta, cerca de 21% da amostra, e vem com um custo real: um teste unicaudal, por construção, não é feito para flagrar com confiabilidade uma variação que piora o resultado. Use apenas quando você genuinamente não agiria diferente diante de um resultado “pior” e de um resultado “sem diferença”, o que é um caso mais estreito do que parece. Como alavanca padrão para baixo tráfego, alargar o MDE ou subir no funil ajudam bem mais.

Quando o teste A/B não é a ferramenta certa

Algumas situações de baixo tráfego são melhor resolvidas por outro método, não por um contorno dentro do teste A/B.

Situação Ferramenta melhor Por quê
Você precisa entender por que as pessoas desistem Pesquisa qualitativa: entrevista, gravação de sessão, teste de usabilidade Respondem “por quê”, que nenhum teste A/B, com qualquer amostra, foi feito para responder
O tráfego é baixo demais para qualquer teste fechar em janela tolerável Revisão heurística contra princípios conhecidos de usabilidade Não exige tráfego nenhum e pega fricção óbvia que um teste levaria meses para confirmar
Você precisa implementar sem dividir a audiência (redesign completo, exigência legal) Comparação antes e depois, bem ressalvada Confundida pelo tempo, mas às vezes é a única opção; rotule como evidência mais fraca
A pergunta é sobre um público minúsculo e específico Entrevista com esse público Amostra pequena por natureza; teste quantitativo nunca vai fechar

O teste de usabilidade merece um parágrafo próprio porque ele é o substituto mais subutilizado. A Nielsen Norman Group defende há anos que a maior parte dos problemas de usabilidade de uma interface aparece com poucos participantes por rodada, o que torna o método viável exatamente onde o teste A/B não é: ele não depende de volume de visitante nenhum. Não é a mesma evidência que um experimento controlado dá, e não deve ser apresentado como se fosse, mas resolve a classe de problema que trava conversão em site pequeno com muito mais velocidade.

Uma tabela de decisão: qual alavanca puxar primeiro

Se a sua restrição é essa Puxe esta alavanca primeiro
A duração calculada é realista, só um pouco longa Alavanca 4: estique o prazo com honestidade
A duração calculada é inviável (muitos meses) Alavanca 1: alargue o MDE, junto da alavanca 3 (teste mudanças grandes)
A etapa que importa tem pouco tráfego, mas uma página acima dela tem bastante Alavanca 2: suba o teste no funil
Você só se importa em detectar melhora, nunca piora Alavanca 5: considere unicaudal, com cautela
O tráfego é tão baixo que nenhum MDE realista fecha a conta Pule o teste A/B nessa pergunta; use pesquisa qualitativa ou revisão heurística

Uma nota sobre teste sequencial e bandits

Dois métodos mais avançados aparecem sempre nessa conversa, e os dois merecem uma ressalva honesta em vez de recomendação geral. O teste sequencial, às vezes chamado de inferência sempre válida, foi desenhado para permitir olhar o resultado enquanto ele acumula sem inflar a taxa de falso positivo do jeito que o peeking ingênuo infla, o que soa como a solução perfeita para um teste lento. Ele ajuda de verdade com o problema de olhar, mas não reduz a amostra necessária para detectar um efeito de determinado tamanho: um teste de baixo tráfego com método sequencial pode levar exatamente o mesmo tempo para chegar a uma resposta confiante, só sem a ansiedade de olhar escondido.

Multi-armed bandits trocam o objetivo de “aprender com certeza” por “ganhar enquanto aprende”, deslocando tráfego aos poucos para a variação que parece melhor. Fazem sentido para um site de baixo tráfego que tem muitas variações para testar (dez assuntos de e-mail candidatos, por exemplo) e se importa mais com o desempenho agregado durante o período do que com uma resposta estatisticamente limpa no fim. São má escolha quando o objetivo real é uma decisão confiante de sim ou não sobre uma mudança específica, porque o bandit otimiza desempenho acumulado, não a clareza estatística que um teste A/B tradicional entrega.

Os erros mais comuns em site de baixo tráfego

Sempre os mesmos, e todos ficam mais tentadores justamente quando o volume é pequeno. Segmentar o resultado depois do fato até achar um subgrupo em que o teste “funcionou” é uma forma de garimpo que fica mais atraente, não menos, quando o número agregado decepciona; o artigo sobre erros comuns de teste A/B trata disso em detalhe. Deixar o teste rodando indefinidamente sem nunca se comprometer com uma decisão queima o único recurso que um site pequeno não tem de sobra: tempo. E tratar uma mudança cosmética como se ela pudesse produzir o efeito grande que o baixo tráfego exige condena o teste antes de ele começar.

Faça isso automático na Donnu

Dimensionar corretamente importa ainda mais em site de baixo tráfego, onde cada semana extra pesa e cada atalho cobra caro depois. A Donnu faz a conta de amostra do jeito que a calculadora acima acabou de fazer, contra o seu tráfego real e a sua taxa base real, coleta os dados por um snippet que nunca trava o carregamento da página e lê o resultado com estatística bayesiana honesta, em vez de declarar vencedor antes de a amostra existir.

Comece um teste grátis de 14 dias e dimensione o próximo teste com honestidade, qualquer que seja o seu tráfego.


Leia também: Otimização de Conversão (CRO): o Guia Completo · Quantos Visitantes Você Precisa para um Teste A/B · Significância Estatística em Testes A/B · Read in English

Referências

Perguntas frequentes

Dá para fazer teste A/B em site de baixo tráfego?
Dá, só não do mesmo jeito que um site de tráfego alto faz. A estatística não abre desconto para quem tem menos visitante: você continua precisando de uma amostra dimensionada para confiar no resultado. O que muda é a estratégia, alargar o efeito mínimo que você tenta detectar, mover o teste para etapas de maior volume no funil e aceitar um prazo mais longo, em vez de fingir que uma amostra pequena entrega uma resposta confiável.
Quanto tráfego eu preciso para rodar um teste A/B?
Não existe número universal, depende da sua taxa base de conversão e do tamanho do efeito que você quer detectar. Como ilustração: uma página que converte a 3% precisa de cerca de 13.914 visitantes por variação para detectar com confiança uma melhora relativa de 20%, e a mesma página precisa de apenas cerca de 2.518 por variação para detectar uma melhora relativa de 50%. Baixo tráfego não impede testar, impede detectar efeitos pequenos em prazo curto.
O que testar se a etapa que me interessa tem tráfego de menos?
Mova o teste para mais cedo no funil, para uma etapa com mais volume. Um checkout ou um fluxo de trial para pago costuma ver uma fração do tráfego que uma landing page ou uma página de preços vê, então testar mais acima e acompanhar o efeito descendo o funil pelo analytics costuma ser o caminho realista em site de baixo tráfego.
Pode declarar vencedor sem atingir significância?
Não, se a intenção é tomar uma decisão permanente. Um teste subdimensionado ainda serve como sinal qualitativo (alguma coisa quebrou de forma óbvia, os usuários reagiram forte), mas não sustenta a mesma decisão que um teste com poder adequado sustenta. Registrar "inconclusivo por tráfego insuficiente" é um resultado legítimo, e bem melhor do que fabricar confiança a partir de uma amostra pequena demais.
Teste unicaudal ajuda quando o tráfego é baixo?
Ajuda pouco e cobra caro. Um teste bicaudal verifica se a variação é melhor ou pior que o controle; o unicaudal só verifica se é melhor, o que exige uma amostra um pouco menor para a mesma confiança e poder. No exemplo deste artigo, a economia é de 13.914 para 10.960 por variação, cerca de 21%, e o preço é que o teste deixa de ser construído para flagrar uma variação que piora o resultado. Só faz sentido quando você genuinamente não agiria diferente diante de um resultado pior, o que é mais raro do que parece.
Comparação antes e depois substitui o teste A/B quando o tráfego é pequeno?
Substitui mal, e só como último recurso. Comparação antes e depois é tentadora em baixo tráfego porque não exige dividir a audiência, mas ela confunde a sua mudança com tudo o mais que mudou no período (sazonalidade, mix de tráfego, outras alterações no site), justamente o que o teste A/B controla ao rodar as duas versões ao mesmo tempo. Quando o volume realmente não sustenta nenhum teste, ela é aceitável, desde que rotulada como evidência mais fraca, nunca como equivalente a um experimento controlado.
Teste sequencial ou bandit resolvem o problema de baixo tráfego?
Nenhum dos dois cria amostra do nada. O teste sequencial resolve especificamente o problema de olhar o painel várias vezes sem inflar o falso positivo, e isso é útil, mas não reduz o volume necessário para detectar um efeito de determinado tamanho. O bandit troca a pergunta: em vez de "qual variação é melhor com certeza", ele otimiza o desempenho acumulado durante o teste, o que faz sentido quando existem muitas variações e o objetivo é ganhar enquanto aprende, e faz pouco sentido quando você precisa de um sim ou não confiável sobre uma mudança específica.