Teste A/B de E-mail Marketing: o Guia Estatístico Completo

Teste A/B de e-mail marketing é comparar duas versões de uma campanha (assunto, remetente, horário, corpo ou CTA) enviando cada uma para uma fatia aleatória da sua lista e medindo qual gera mais resultado. A parte que a maioria dos guias erra: desde que a Apple lançou o Mail Privacy Protection em 2021, a taxa de abertura ficou frágil como métrica de decisão, porque uma parcela grande das “aberturas” registradas acontece por um pré-carregamento automático do servidor da Apple, não porque alguém leu o e-mail. Este guia cobre o que testar, a estatística específica de e-mail (amostra menor que a de um site, duração ligada a hábito de leitura), como isolar o assunto do conteúdo, e por que decidir com clique ou conversão é mais seguro do que decidir com abertura. Tem calculadoras ao vivo e um exemplo trabalhado com números reais que mostra o mesmo teste dando um veredito diferente conforme a métrica escolhida.

O que dá para testar em e-mail marketing

Um e-mail tem bem menos “superfície” que uma landing page, mas cada parte dele move o resultado de um jeito diferente, e vale separar o que decide a abertura do que decide a ação depois de aberto:

• Remetente (nome e domínio): “Loja Exemplo” convence mais que “no-reply@dominio.com”? O nome de uma pessoa costuma abrir mais que o nome de uma marca, mas isso varia por segmento.
• Assunto (subject line): a variável mais testada do canal, porque decide sozinha boa parte da abertura.
• Preview text (preheader): o resumo que aparece ao lado ou abaixo do assunto na caixa de entrada; é subaproveitado e muda a decisão de abrir tanto quanto o assunto.
• Horário e dia de envio: o mesmo e-mail às 8h de terça e às 20h de sábado chega para hábitos de leitura diferentes.
• Corpo e CTA: texto, imagem, prova social, e o botão ou link que gera o clique.
• Personalização: nome, comportamento recente, tag de segmento. Ajuda a relevância, mas também é uma variável, não um enfeite grátis.

Um erro de origem que já nasce na lista acima: testar remetente, assunto e corpo todos de uma vez. Se o vencedor sair assim, você não vai saber qual dos três moveu o ponteiro. Isole uma variável por teste, ou rode etapas sequenciais (primeiro o assunto, depois o corpo do vencedor).

Escreva uma hipótese de e-mail que dá para testar

A mesma disciplina de qualquer teste A/B vale aqui: uma hipótese liga um dado a uma mudança, a um efeito esperado e a uma métrica que vai medir isso. Para e-mail, o formato fica assim: “porque observei [dado do seu histórico de envios], acredito que [mudança num elemento do e-mail] vai gerar [efeito esperado], medido por [métrica primária]”. Um exemplo concreto: “porque o CTOR (cliques por abertura) despenca nos envios feitos depois das 20h, acredito que mudar o horário de disparo da campanha semanal para as 9h vai aumentar a taxa de clique, medida pelo CTR sobre o total de destinatários”. Note que a hipótese já define a métrica primária (CTR sobre destinatários, não CTOR, que herda a distorção da abertura) antes mesmo de o teste rodar. Isso evita a tentação, comum em e-mail, de escolher a métrica depois de ver qual delas “deu vitória”.

Por que a taxa de abertura é uma métrica frágil

Aqui está o ponto que separa este guia de a maioria do conteúdo sobre teste A/B de e-mail: a taxa de abertura, a métrica mais citada do canal, é também a mais fácil de distorcer sem que ninguém perceba.

Até 2021, um “e-mail aberto” era medido por um pixel de rastreio invisível, que só carregava quando o destinatário abria a mensagem e o cliente de e-mail buscava aquela imagem de 1x1 pixel no servidor do remetente. Em setembro de 2021, a Apple lançou o Mail Privacy Protection (MPP) no iOS 15, no iPadOS 15 e no macOS Monterey. Segundo a própria documentação da Apple, quando o recurso está ativo, “seu endereço IP é ocultado dos remetentes e o conteúdo remoto é baixado de forma privada em segundo plano quando você recebe uma mensagem, em vez de quando você a visualiza” (Apple, Protect email privacy in Mail). Na prática, isso significa que o servidor da Apple baixa o e-mail inteiro, incluindo o pixel de abertura, assim que a mensagem chega à caixa de entrada, e não quando a pessoa realmente lê o e-mail. Uma análise técnica da AWS sobre o impacto do recurso para remetentes descreve o mecanismo com ainda mais precisão: os e-mails “são baixados para o dispositivo do usuário, mas primeiro passam por cache num servidor proxy que não expõe o IP individual do destinatário”, e esse download em cache acontece “independentemente de o destinatário realmente abrir a mensagem” (AWS Messaging and Targeting Blog).

O resultado prático: uma fatia relevante das “aberturas” no seu relatório não representa ninguém lendo o e-mail. É o proxy da Apple pré-buscando conteúdo por privacidade, um objetivo legítimo do lado do usuário, que tem como efeito colateral inflar um número que o marketing historicamente tratou como sinal de interesse. E esse efeito só cresceu: o Apple Mail, que já respondia por cerca de 46% das aberturas de e-mail medidas globalmente em 2020, chegava a quase 50% logo após o lançamento do MPP em agosto de 2021, segundo dados publicados pela Litmus (Litmus, Apple’s Mail Privacy Protection for marketers). O relatório mais recente da própria Litmus, com dados de mais de 1 bilhão de aberturas analisadas em maio de 2026, mostra o Apple Mail em 64,66% de participação nas aberturas de e-mail, contra 24,11% do Gmail (Litmus, Email Client Market Share). Quanto maior essa fatia, maior a parte do seu relatório de abertura que reflete o comportamento de um proxy, não o de uma pessoa.

A consequência para o seu teste A/B: se você decide o vencedor pela taxa de abertura, está decidindo, em boa parte, pelo comportamento de um proxy de privacidade. A tabela abaixo separa o que é frágil do que continua confiável:

Métrica	Confiabilidade	Por que
Taxa de abertura	Frágil	Inflada pelo pré-carregamento automático do Apple Mail Privacy Protection, que dispara o pixel de rastreio ao receber a mensagem, não ao lê-la
CTOR (cliques por abertura)	Moderada	Ajuda a comparar engajamento relativo, mas herda parte da distorção porque o denominador (aberturas) já está inflado
Taxa de clique (CTR)	Confiável	Só conta quando alguém interage de fato com um link; não é afetada pelo pré-carregamento de imagem
Taxa de conversão	Confiável, e a que decide	Liga o teste ao resultado de negócio (compra, cadastro, upgrade); imune ao pré-carregamento
Descadastro e reclamação de spam	Guardrail	Não decide o teste, mas não pode piorar enquanto a métrica primária melhora

Isso não quer dizer que a taxa de abertura virou inútil. Ela ainda serve para comparar remetente e horário de envio (que a MPP não distorce da mesma forma direcional, já que o efeito é mais ou menos constante entre as suas variações, desde que a divisão A/B seja aleatória). O problema é usá-la como métrica primária para decidir um vencedor, especialmente ao testar assunto, porque aí o viés pode variar conforme a composição de dispositivos de cada grupo e inflar uma diferença que não existe no comportamento real de leitura.

O funil de e-mail e onde medir de verdade

Um envio de e-mail tem um funil próprio, mais curto que o de um site, mas com o mesmo princípio: quanto mais fundo, menor o volume e maior a confiança que você pode depositar no número.

Repare que a maior queda relativa do funil acontece entre “abertos” e “clicados”: é normal, e não significa que o e-mail falhou. O ponto é outro: decida pela etapa que você confia, e não pela etapa mais alta do funil só porque o número dela é maior e mais fácil de comemorar.

Quantos assinantes você precisa

Listas de e-mail costumam ser bem menores que o tráfego mensal de um site. Uma newsletter ou uma base de clientes de porte médio, pequeno ou médio, frequentemente tem uma fração do volume que uma landing page de tráfego pago recebe em um mês, e isso muda a conta de amostra na prática: você não escolhe livremente qual métrica testar, a métrica escolhe você, porque só algumas têm base suficiente para dar um veredito confiável.

O tamanho de amostra depende dos mesmos três fatores de qualquer teste A/B (taxa base, efeito mínimo detectável e rigor estatístico), mas a taxa base muda de ordem de grandeza conforme você desce no funil: uma abertura de 30% pede muito menos gente que uma conversão de compra de menos de 1%.

Métrica	Taxa base (exemplo)	Efeito mínimo buscado	Amostra por variação
Abertura	32%	+10% relativo	≈ 3.419
Clique (CTR)	2,5%	+20% relativo	≈ 16.792
Conversão (compra)	0,8%	+25% relativo	≈ 35.001

Os números acima saem da mesma fórmula de amostra usada em qualquer teste A/B (duas proporções, 95% de confiança, 80% de poder), calculada para as taxas e efeitos deste exemplo. Quanto mais raro o evento, maior a amostra para o mesmo rigor, e é exatamente por isso que muita lista de e-mail só tem gente suficiente para enxergar diferença na abertura (a métrica mais frágil) e não na conversão (a que importa).

Calcule para o seu caso: informe a sua taxa base, o efeito que você quer detectar e o tamanho da sua lista, e veja quantos assinantes e quantos envios o seu teste precisa.

Taxa de conversão atual%Efeito mínimo detectávelrelativo (%)absoluto (pp)Confiança909599%Poder8090%Visitantes por semana (total)Testebilateralunilateral

-Visitantes por variação

-Total (2 variações)

-Duração estimada

Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.

Se a sua lista não bancar amostra suficiente para a métrica de fundo de funil, duas saídas honestas: acumule o teste ao longo de vários envios recorrentes (a mesma campanha de assunto rodando em edições sucessivas de uma newsletter, por exemplo), ou aceite testar num nível acima no funil (clique em vez de conversão), documentando que a decisão carrega mais incerteza sobre o resultado final de receita.

Vale lembrar de um detalhe que reduz a amostra “efetiva” sem que você perceba: nem todo destinatário conta. Endereços que retornam (hard bounce), spam traps e contatos que já pediram descadastro não deveriam nem entrar na base do teste, e uma parte do que sobra ainda vai bloquear imagens ou cair em promoções/spam, o que reduz mais ainda a fração que de fato tem chance de abrir ou clicar. Se a sua ferramenta permite, calcule a amostra sobre entregues, não sobre a lista bruta, para não superestimar quanto dado você realmente vai coletar.

Duração: quanto tempo deixar o teste rodando

E-mail tem uma particularidade que a maioria dos guias de teste A/B para web ignora: o comportamento de leitura muda por fuso horário e por hábito, não só por dia da semana. Quem abre o e-mail nos primeiros 15 minutos depois do envio (em geral quem está de olho na caixa de entrada naquele momento) não é a mesma pessoa que abre à noite, no dia seguinte, ou só quando vai organizar a caixa de entrada no fim de semana.

Isso cria uma armadilha específica: declarar vencedor cedo demais captura só o comportamento de quem lê rápido, tipicamente um perfil mais engajado, e ignora quem ainda vai abrir o e-mail no dia seguinte. Como referência de mercado, boa parte do resultado de um envio (a maioria das aberturas e cliques) costuma se consolidar dentro das primeiras 24 a 48 horas, com públicos B2B levando mais tempo que B2C para reagir, segundo recomendações publicadas por ferramentas de marketing como a HubSpot (HubSpot, How to determine your A/B test sample size and time frame). Ainda assim, espere pelo menos um ciclo completo de leitura antes de decidir, e nunca compare a métrica de quem abriu rápido contra quem abriu depois como se fossem grupos equivalentes.

A mesma lógica de peeking (espiar o painel e parar assim que “der significância”) vale aqui com um agravante: como o volume de e-mail costuma ser mais raso, cada checagem antecipada pesa proporcionalmente mais no risco de falso positivo do que num teste de site com tráfego contínuo. Defina o prazo antes de rodar, e só decida no fim.

Declare o vencedor com a métrica certa

Cole os visitantes (destinatários) e as conversões (aberturas, cliques ou o evento que você escolher) de cada versão. A calculadora devolve as taxas, o lift, o valor-p, o intervalo de confiança da diferença e um veredito honesto:

Controle (A)

VisitantesConversões

Variação (B)

VisitantesConversões

Confiança90%95%99%

Controle (A) · Taxa-

Variação (B) · Taxa-

Melhora relativa-

valor-p-

IC 95% da diferença-

Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.

Um exemplo trabalhado: o mesmo teste, três métricas, três respostas diferentes

Este é o exemplo que resume todo o argumento deste guia. Uma loja envia duas versões de assunto para 10.000 assinantes cada (controle A e variação B, com CTA e corpo idênticos, só o assunto muda). Os resultados brutos:

• Aberturas: A teve 3.200 (32,0%); B teve 3.800 (38,0%).
• Cliques: A teve 250 (2,5%); B teve 240 (2,4%).
• Conversões (compra): A teve 80 (0,80%); B teve 78 (0,78%).

Rodando o mesmo teste de duas proporções (o mesmo z-test usado em qualquer teste A/B) para cada métrica:

• Aberturas: lift relativo de +18,8% (6,0 pontos percentuais), escore z ≈ 8,89, valor-p menor que 0,001. Estatisticamente esmagador: B vence disparado, se você olhar só essa métrica.
• Cliques: lift relativo de −4,0% (−0,1 ponto percentual), escore z ≈ −0,46, valor-p ≈ 0,647. Sem significância nenhuma: o intervalo de confiança da diferença vai de −0,53 a +0,33 ponto percentual, cruzando o zero.
• Conversões: lift relativo de −2,5% (−0,02 ponto percentual), escore z ≈ −0,16, valor-p ≈ 0,873. De novo sem significância, intervalo de −0,27 a +0,23 ponto percentual.

Ou seja: quem decidisse pela abertura declararia B o grande vencedor e passaria a usar aquele assunto em todos os envios seguintes. Quem olhasse clique ou conversão veria um empate estatístico, com o número cru até levemente a favor de A. O assunto B provavelmente é mais chamativo (talvez mais urgente, talvez com uma palavra que o Apple Mail carrega com mais frequência em pré-visualização), mas isso não se traduziu em mais gente clicando ou comprando. Declarar B vencedor com base só na abertura teria sido um erro caro, disfarçado de vitória.

O ensinamento não é “ignore a abertura”. É: escolha a métrica primária antes de rodar o teste, baseada no que você realmente quer otimizar (normalmente conversão, às vezes clique quando a conversão está fora do e-mail e é lenta demais para medir), e não troque de métrica no meio do caminho só porque uma delas “deu vitória” mais rápido.

Os erros que mais aparecem em teste A/B de e-mail

Erro	Sinal de alerta	Correção
Decidir pela abertura	“B teve muito mais abertura, foi ele”	Trate abertura como referência, decida por clique ou conversão
Testar assunto e corpo juntos	Mudou a linha do assunto e o botão do CTA no mesmo envio	Isole uma variável por teste, ou rode em etapas sequenciais
Encerrar cedo demais	Decidiu 2 horas depois do envio	Espere um ciclo completo de leitura (24 a 72 horas) antes de decidir
Comparar envios em datas diferentes	“Semana passada com A, essa semana com B”	Rode as duas versões no mesmo envio, ao mesmo tempo, para a mesma lista
Ignorar descadastro e spam como guardrail	Conversão subiu, mas ninguém checou reclamação	Monitore descadastro e marcação de spam junto da métrica primária
Amostra pequena para a métrica escolhida	Testou conversão de compra numa lista de 500 pessoas	Calcule a amostra antes; se não fechar, teste um nível acima no funil

E-commerce: carrinho abandonado e promoções

E-commerce tem dois padrões de e-mail que mais valem a pena testar, e os dois têm uma métrica primária óbvia: a conclusão da compra, não o clique e muito menos a abertura.

O que testar	Ideias de variação	Métrica primária
Carrinho abandonado, 1º disparo	Horário do disparo (1h, 4h ou 24h depois do abandono), assunto com urgência x assunto neutro	Taxa de conclusão da compra
Carrinho abandonado, sequência	Incluir ou não um cupom de desconto no 2º ou 3º e-mail, mostrar os itens do carrinho ou não	Taxa de conclusão da compra, com receita por destinatário como guardrail
Promoção sazonal	Assunto com prazo (“só hoje”) x assunto com benefício (“frete grátis”), CTA único x múltiplos CTAs	Taxa de conclusão da compra

Um ponto que vale reforçar aqui: taxas de recuperação de carrinho variam muito por operação e por categoria, e o próprio conceito de “recuperado” muda de ferramenta para ferramenta (compra na mesma sessão do clique, ou qualquer compra dentro de um prazo maior). Use o seu histórico como referência, não um número genérico de mercado, e desconfie de qualquer benchmark de recuperação apresentado sem dizer como foi medido.

SaaS: onboarding e upgrade

Em SaaS, o e-mail entra depois do cadastro, e a métrica primária muda de “comprou” para “usou de verdade” ou “virou pagante”:

O que testar	Ideias de variação	Métrica primária
Onboarding (boas-vindas)	Sequência de 1 e-mail x sequência de 3, foco num único próximo passo x lista de recursos	Ativação (o usuário chegou ao evento que define valor real no produto)
Trial para pago (upgrade)	Prova social e depoimento x comparação de planos, urgência de expiração do trial x sem urgência	Conversão de trial para plano pago
Reengajamento de inativo	Pergunta direta (“por que você parou?”) x oferta de ajuda x novidade de produto	Retorno ao produto dentro de um prazo definido, não abertura do e-mail

A armadilha mais comum em SaaS é medir “engajamento com o e-mail” (abriu, clicou) quando a pergunta de negócio é “o produto reteve essa pessoa”. Um e-mail de onboarding pode ter clique excelente e ativação ruim, porque o link levou a pessoa de volta ao produto, mas o produto não entregou o “aha moment” a tempo. Se o seu objetivo é crescimento de produto, vale a leitura do guia de growth experimentation para SaaS, que cobre como instrumentar e priorizar experimentos além da caixa de entrada.

Frequentista, o mesmo rigor de qualquer canal

Nada da estatística muda de canal para canal: o valor-p, o intervalo de confiança e o cuidado com peeking são os mesmos conceitos usados num teste de landing page. O que muda é a taxa base (geralmente mais baixa quanto mais fundo no funil de e-mail), o tamanho da lista (geralmente menor que o tráfego de um site) e a variável tempo (fuso horário e hábito de leitura, em vez de sazonalidade de tráfego). Se você quer entender a fórmula por trás do escore z e do valor-p com mais profundidade, o guia de significância estatística em teste A/B cobre isso passo a passo, e os mesmos princípios de o que é teste A/B valem integralmente aqui: amostra suficiente, tempo suficiente, uma métrica primária definida antes de olhar o resultado.

Quem prefere a leitura bayesiana também pode aplicá-la a e-mail sem trocar nada na coleta: em vez de um valor-p, o resultado vira “a variação B tem X% de chance de superar A” e uma perda esperada caso a escolha esteja errada, o que costuma ser mais fácil de explicar para quem só quer saber qual assunto usar no próximo envio. A escola não resolve amostra pequena nem corrige uma métrica mal escolhida: se a base é a abertura distorcida pelo Mail Privacy Protection, um resultado bayesiano “com 97% de chance de B ser melhor” é tão enganoso quanto um valor-p de 0,001 obtido da mesma forma.

Faça isso automático na Donnu

Você acabou de ver o trabalho que um teste A/B honesto de e-mail dá: separar o que é frágil (abertura, distorcida pelo Apple Mail Privacy Protection desde 2021) do que é confiável (clique e conversão), calcular a amostra certa para a métrica certa, esperar o ciclo de leitura completo e isolar uma variável por vez. A Donnu foi construída com o mesmo rigor estatístico que você aplicaria num teste de site: você define a hipótese e a métrica primária, a Donnu dimensiona o teste e devolve um veredito honesto, sem deixar você comemorar uma vitória que só existe porque um proxy de e-mail pré-carregou uma imagem.

Comece um teste grátis de 14 dias e leve o mesmo padrão estatístico do seu site para o próximo envio. Para aprofundar a base estatística usada neste guia, veja também o que é teste A/B, o guia completo e significância estatística em teste A/B.

Referências

• Apple. Protect email privacy in Mail on Mac. Apple Support. support.apple.com/guide/mail/protect-email-privacy-mlhlp1205/mac.
• AWS Messaging and Targeting Blog. Apple Mail’s iOS 15 Privacy Protection: impact to senders. aws.amazon.com/blogs/messaging-and-targeting.
• Litmus. Apple’s Mail Privacy Protection Is Here: What It Actually Means for Email Marketers. litmus.com/blog/apple-mail-privacy-protection-for-marketers.
• Litmus. Email Client Market Share. Dados de maio de 2026. litmus.com/email-client-market-share.
• HubSpot. How to Determine Your A/B Testing Sample Size and Time Frame. blog.hubspot.com/marketing/email-a-b-test-sample-size-testing-time.

Leia também

• O que é teste A/B? O guia completo
• Significância estatística em teste A/B: o guia
• Growth experimentation para SaaS: o playbook completo de PLG