Calculadora de amostra para teste A/B de e-mail

Esta calculadora é para o teste A/B de assunto de e-mail, onde você tem uma lista fixa, não tráfego que chega por dia. Você envia dois assuntos a duas coortes de teste, mede a abertura, e o vencedor vai para o restante da lista. Para dimensionar teste de página web (visitantes por dia e duração), use a calculadora de tamanho de amostra para teste A/B.

Como usar

1. Informe o tamanho da sua lista (inscritos disponíveis para o teste).
2. Coloque a sua taxa de abertura atual, em %. Serve também para taxa de clique: troque pela sua.
3. Escolha o efeito mínimo detectável: o menor ganho que ainda mudaria a sua decisão, relativo (%) ou absoluto (pontos).
4. Deixe confiança 95% e poder 80% ou ajuste se souber o que está fazendo.
5. Leia o resultado: inscritos por assunto, coorte total do teste e quanto sobra para o vencedor, com o veredito de viabilidade.

Como funciona: a fórmula

A amostra por assunto usa a aproximação normal de duas proporções, a mesma conta da calculadora de amostra de site, aplicada à taxa de abertura. O número por variação é:

Onde p₁ é a abertura atual, p₂ é a abertura alvo (base mais o MDE), p̄ é a média das duas, z_α é o valor crítico da confiança (1,96 para 95% bilateral) e z_β é o do poder (0,84 para 80%). A coorte total do teste é 2·n (dois assuntos, 50/50), e o que sobra da lista recebe o assunto vencedor.

Exemplo trabalhado (reproduz o resultado padrão)

Com os valores que já vêm preenchidos: lista de 50.000 inscritos, abertura atual 25%, MDE +10% relativo (alvo de 27,5%), confiança 95% e poder 80%, bilateral. A diferença absoluta é 2,5 pontos (0,275 − 0,25). Substituindo na fórmula, o numerador dá cerca de 3,0382 e o denominador 0,000625, então:

n ≈ 3,0382 / 0,000625 = 4.862 inscritos por assunto, ou 9.724 na coorte total do teste. Isso é 19,4% da lista de 50.000, e sobram 40.276 inscritos para o assunto vencedor. É exatamente o que a ferramenta mostra acima quando você abre a página.

Como interpretar e onde ela engana

O número por assunto é o alvo que você fixa antes de disparar o teste. A regra de ouro é a mesma da amostra de site: quanto menor o efeito que você quer detectar, muito maior a coorte. No e-mail isso aperta rápido, porque a abertura tem base alta e variância grande. Se a coorte de teste passa do tamanho da sua lista, o veredito acusa: aumente o efeito buscado ou junte mais inscritos antes de testar.

Limites a ter em mente: a conta assume uma métrica binária (abriu ou não, clicou ou não) e uma lista homogênea. Ela não cobre receita por e-mail, horário de envio, nem o efeito da própria linha de assunto no engajamento futuro. Depois de medir o vencedor, confira se a diferença é real com a calculadora de significância estatística e leia o contexto no guia o que é teste A/B.

Boas práticas no teste A/B de assunto

Antes de disparar, deixe três coisas travadas: a coorte por assunto, o efeito mínimo que você aceita e a métrica principal. Depois disso, siga estas regras.

• Uma métrica por teste: abertura OU clique, não as duas ao mesmo tempo. Perseguir várias multiplica o falso positivo.
• Coortes do mesmo tamanho e sorteadas ao acaso. Um recorte enviesado (só os mais engajados numa coorte) contamina o resultado.
• Se o teste consome quase toda a lista, o ganho de mandar o vencedor pro resto vira pequeno. Reveja o efeito buscado.
• Respeite a base: prometer detectar +2% relativo na abertura custa uma coorte que a maioria das listas não tem.

Perguntas frequentes

Quantos inscritos um teste A/B de assunto precisa?

Depende da sua taxa de abertura atual e do ganho que você quer detectar. Quanto menor o efeito buscado, maior a coorte. Para uma abertura de 25% detectando +10% relativo (chegar a 27,5%), com 95% de confiança e 80% de poder, são cerca de 4.862 inscritos por assunto, ou 9.724 no total do teste. Efeitos maiores custam coortes bem menores.

Por que o teste de e-mail costuma pedir uma coorte tão grande?

Porque a taxa de abertura é uma métrica binária de base alta e variância grande, então separar 25% de 27,5% com confiança exige muito volume. É por isso que testar assunto num site pequeno é diferente de testar num e-commerce com lista gorda. Se a coorte pedida passa da sua lista, aumente o efeito mínimo ou junte mais inscritos antes.

Testo com uma fração da lista e mando o vencedor pro resto?

Sim, é o padrão do teste A/B de assunto. Você envia o assunto A para uma coorte, o assunto B para outra do mesmo tamanho, mede a abertura, e o assunto com melhor desempenho vai para o restante da lista. A calculadora mostra quanto da lista o teste consome e quanto sobra para o envio vencedor.

Posso usar a calculadora para taxa de clique em vez de abertura?

Pode. A conta é a mesma para qualquer métrica binária de e-mail: troque a taxa base pela sua taxa de clique atual e o efeito que quer detectar. Como o clique costuma ter base bem menor que a abertura, a coorte necessária tende a ser ainda maior. Escolha uma métrica principal por teste.

Qual a diferença para a calculadora de amostra de site?

A de site pensa em visitantes por dia e duração do teste, porque o tráfego chega ao longo do tempo. No e-mail você tem uma lista fixa e o envio é único, então a pergunta muda: quanto da lista o teste consome e quanto sobra para o vencedor. A matemática da amostra é a mesma, o enquadramento é o do e-mail.

Continue

Dimensionou a coorte? Rode o teste, meça a abertura e confirme o vencedor com a calculadora de significância estatística. Para dimensionar teste de página web em vez de e-mail, use a calculadora de tamanho de amostra para teste A/B. O contexto completo está no guia o que é teste A/B.