Gerador de hipótese de teste A/B

A maioria dos testes A/B que não ensinam nada morreu antes de começar, na hipótese. Não porque a estatística falhou, mas porque ninguém escreveu o que se esperava aprender. Um teste sem hipótese só produz uma resposta: subiu ou desceu. Um teste com hipótese produz conhecimento reaproveitável, que sobrevive ao resultado e orienta o próximo experimento. Esta ferramenta escreve a hipótese por você a partir dos campos que importam, e depois faz o trabalho mais desconfortável: pontua o quanto ela é rigorosa e diz onde está frouxa.

Como usar

1. Descreva a mudança em termos concretos. Escreva o que a variação faz, não o objetivo por trás dela. "Deixar a página mais confiável" não é mudança; "adicionar três selos de segurança abaixo do formulário" é.
2. Diga para quem e onde. Público e etapa mudam completamente o efeito esperado: o mesmo botão se comporta diferente no celular e no desktop.
3. Escreva o efeito esperado no comportamento, não o resultado financeiro. Comportamento é o que a variação consegue causar diretamente.
4. Registre a evidência e escolha a origem dela na lista. Este é o campo de maior peso na nota, e é onde a honestidade compensa.
5. Defina uma métrica primária, o baseline atual e a melhora relativa que você espera. É esse par de números que alimenta o cálculo de amostra depois.
6. Declare as métricas de guarda e copie a hipótese pronta para o card do seu backlog.

Como funciona: a anatomia da hipótese e a nota

O texto sai no formato canônico da experimentação, com cada cláusula cumprindo uma função específica:

O alvo é calculado como baseline × (1 + melhora relativa / 100), porque efeito em teste A/B se declara em termos relativos. Uma melhora de 20% sobre uma taxa de 3,2% chega a 3,84%, não a 23,2%: confundir os dois é o erro mais comum ao dimensionar um teste, e ele infla o tamanho de efeito esperado a ponto de tornar o experimento impossível de detectar.

A nota de qualidade soma oito critérios com pesos fixos: público específico (15), mudança concreta (15), efeito esperado (10), origem da evidência (até 25), razão explicada (10), métrica primária (10), números de baseline e efeito (10) e métricas de guarda (5). A evidência pesa mais que qualquer outro item isolado porque é ela que distingue um programa de experimentação de uma fila de opiniões: dado quantitativo vale 25 pontos, pesquisa qualitativa 20, heurística de UX 12, benchmark de terceiros 10 e achismo vale zero.

Exemplo trabalhado (reproduz o resultado padrão)

Os campos já vêm preenchidos com um caso real de página de produto. A mudança é trocar o texto do botão de Enviar para Quero meu orçamento grátis, o público são os visitantes de celular na página de produto, o efeito esperado é que mais visitantes concluam o formulário e a razão são as gravações de sessão mostrando 62% dos usuários parando no botão sem clicar. A métrica primária é a taxa de conversão em lead, hoje em 3,2%, com melhora relativa esperada de 20%.

O alvo sai de 3,2 × 1,20 = 3,84%, e é esse número que aparece na cláusula Medido por. A nota fecha em 95 de 100: sete dos oito critérios entregam a pontuação cheia (15 + 15 + 10 + 10 + 10 + 10 + 5 = 75) e a evidência, marcada como pesquisa qualitativa, entrega 20 dos 25 possíveis. Faltam exatos 5 pontos, e eles estão num lugar só: se você tivesse o dado quantitativo do funil confirmando a queda naquele passo, e não apenas as gravações, o item de evidência iria a 25 e a hipótese chegaria a 100.

Troque a origem da evidência para achismo e observe o que acontece: a nota despenca para 75 sem que uma única palavra do texto mude. É de propósito. A hipótese continua bem escrita, específica e falseável; ela só deixou de ter qualquer motivo para existir. Esse é o teste que consome três semanas de tráfego para descobrir algo que ninguém sabia por que estava perguntando.

Como interpretar a nota e onde ela não ajuda

A nota mede rigor de formulação, não probabilidade de vitória. Uma hipótese de 100 pontos pode perder feio, e isso é sinal de saúde: significa que você aprendeu algo que contrariava a evidência disponível, que é exatamente o resultado mais valioso de um programa de testes. O que a nota garante é que, ganhando ou perdendo, você vai saber o que o resultado significa.

Ela também não julga a qualidade da sua evidência dentro da categoria. Marcar "dado quantitativo" com base em uma amostra de 30 sessões rende os mesmos 25 pontos que um funil com 200 mil visitantes, e a ferramenta não tem como saber a diferença. O mesmo vale para o baseline: ela aceita o número que você digita sem verificar se ele veio do analytics ou da memória. A régua é de estrutura, e a estrutura é condição necessária, nunca suficiente.

O limite mais importante é este: uma hipótese boa não conserta um teste subdimensionado. Depois de escrever a sua, leve o baseline e a melhora esperada para a calculadora de tamanho de amostra e descubra quantos visitantes o experimento exige. Se o seu tráfego não banca aquele efeito, o problema não está na redação: use a calculadora de MDE para descobrir qual é o menor efeito que você consegue detectar de verdade e reescreva a expectativa com base nele.

Cinco erros que a nota flagra na hora

• Duas métricas primárias. Quando o teste tem dois donos, o vencedor é quem argumenta melhor depois do resultado. Escolha uma e rebaixe a outra para métrica de guarda.
• Mudança empacotada. "Redesenhar a página" contém dez mudanças. Se vencer, você não sabe qual delas venceu, e não consegue aplicar o aprendizado em nenhum outro lugar.
• Efeito em receita, não em comportamento. Um botão não causa faturamento diretamente; ele causa cliques que causam formulários que causam vendas. Meça o elo que a mudança realmente move.
• Porque circular. "Porque vai converter mais" repete o Então com outras palavras e não é evidência. O Porque precisa apontar para algo que existia antes do teste.
• Expectativa sem número. Sem baseline e sem efeito esperado não dá para dimensionar o teste, e um teste sem dimensionamento termina quando alguém se cansa de esperar.

Perguntas frequentes

O que é uma hipótese de teste A/B?

É a afirmação testável que o seu experimento vai tentar derrubar. Ela precisa dizer o que muda, para quem, que comportamento você espera ver, por que você acredita nisso e qual número decide a questão. Se a frase não puder ser provada errada por um resultado, ela não é uma hipótese: é um desejo.

Qual a diferença entre hipótese e ideia de teste?

Uma ideia é "vamos testar o botão verde". Uma hipótese é "se trocarmos o texto do botão de Enviar para Quero meu orçamento grátis, para visitantes de celular na página de produto, então mais visitantes concluem o formulário, porque as gravações mostram gente parando ali, medido pela taxa de conversão em lead". A ideia diz o que fazer. A hipótese diz o que você aprende, ganhando ou perdendo.

Por que o formato Se, Então, Porque, Medido por?

Porque cada parte fecha uma brecha diferente. O Se prende a mudança, para você não alterar cinco coisas e não saber qual funcionou. O Então prende o comportamento esperado, que é o que torna a hipótese falseável. O Porque prende a evidência, que separa experimento de palpite. O Medido por prende a métrica primária antes de ver os dados, o que impede a escolha conveniente de número depois do resultado.

Como a nota de qualidade é calculada?

São oito critérios com pesos fixos que somam 100: público e página específicos (15), mudança concreta (15), efeito esperado (10), origem da evidência (até 25), razão explicada (10), métrica primária (10), baseline e efeito em número (10) e métricas de guarda (5). A origem da evidência é o item de maior peso de propósito: uma hipótese linda apoiada em achismo continua sendo achismo. Tudo roda no seu navegador, sem enviar nada.

Preciso mesmo declarar as métricas de guarda?

Sim, e é o item que mais gente pula. Métrica de guarda é o que não pode piorar enquanto você persegue a métrica primária. Um popup agressivo pode subir a captura de e-mail e afundar a receita por visitante ao mesmo tempo. Sem guarda declarada antes, você comemora a vitória parcial e leva o prejuízo para casa sem perceber.

A hipótese pode mudar depois que o teste começa?

Não. Trocar a métrica primária ou o público depois de ver os dados é o caminho mais curto para um falso positivo, porque você passa a escolher o corte que confirma o que queria. Se a hipótese estava errada, registre isso e escreva uma nova para o próximo ciclo. A hipótese antiga, derrubada e documentada, é aprendizado; a hipótese reescrita no meio do caminho é ruído.

Continue

O raciocínio completo por trás de cada cláusula está no guia como escrever uma hipótese de teste A/B. Com a hipótese pronta, dimensione o experimento na calculadora de tamanho de amostra, descubra quanto tempo ele vai levar na calculadora de duração e, no fim, leia o veredito na calculadora de significância.