Copilots de IA em Ferramentas de Teste A/B
O que os copilots de IA em ferramentas de teste A/B fazem de verdade, o que eles não conseguem fazer e como avaliar um sem terceirizar a decisão.
📚 Este artigo faz parte do guia Personalização com IA e Teste A/B: como funcionam juntos.
Copilots de IA viraram item de catálogo em praticamente toda ferramenta de teste A/B, e a distância entre o que eles fazem e o que a página de vendas sugere é grande o suficiente para valer um artigo. Na prática, um copilot é uma camada de linguagem sobre dados que a ferramenta já tinha: ele acelera rascunho, tradução e leitura, e não muda uma linha da estatística por baixo. Este guia separa as quatro tarefas em que essa camada ajuda de verdade das quatro em que ela não pode ajudar por construção, mostra com um exemplo trabalhado como um resumo tecnicamente correto vira uma conclusão errada, e fecha com um critério de avaliação que funciona para qualquer fornecedor, inclusive a Donnu.
O que um copilot é, por baixo do rótulo
Vale começar desfazendo a ambiguidade do termo. “IA” numa ferramenta de teste A/B pode significar coisas muito diferentes, com riscos muito diferentes.
| O que costuma ser chamado de IA | O que é de verdade | O que decide o resultado |
|---|---|---|
| Copilot conversacional | Modelo de linguagem sobre os dados e a documentação da ferramenta | O motor estatístico, que o modelo apenas descreve |
| Alocação adaptativa (bandit) | Algoritmo de decisão que realoca tráfego para o que performa melhor | Uma regra matemática explícita, não um modelo de linguagem |
| Personalização por modelo | Modelo preditivo treinado no histórico de comportamento | Um modelo estatístico, medido contra um grupo reservado |
| Detecção de anomalia | Verificações determinísticas, como o teste de proporção de amostra | Uma conta fixa, geralmente qui-quadrado |
| Geração de variação | Modelo de linguagem escrevendo texto alternativo | A sua escolha do que entra no teste |
A confusão mais cara é entre a primeira linha e as outras quatro. Um bandit e um verificador de proporção de amostra são matemática determinística, auditável, que existia antes dos modelos de linguagem. Um copilot conversacional é uma interface. Chamar as duas coisas de “IA” no mesmo material de marketing é comum e faz a interface herdar a credibilidade da matemática.
As quatro coisas em que um copilot ajuda de verdade
Nenhuma delas é a análise. Todas elas são o trabalho ao redor da análise, que costuma consumir mais tempo do que a análise em si.
1. Transformar ideia solta em hipótese estruturada. A distância entre “acho que o formulário está ruim” e uma hipótese testável, com métrica primária, efeito esperado e justificativa, é onde a maioria dos backlogs morre. Um copilot faz esse preenchimento rápido, e o ganho é real porque a estrutura é padronizada, não porque a ideia melhorou. O molde está no guia de como escrever uma hipótese de teste A/B.
2. Redigir variações de texto. Escrever seis versões de uma chamada é trabalho mecânico e o modelo faz bem. A ressalva vem no bloco seguinte, e ela é séria.
3. Explicar um resultado em linguagem comum. Traduzir “p-valor de 0,03, intervalo de confiança de 0,2 a 1,1 ponto percentual” para uma frase que um time de marketing entende tem valor de comunicação. Também é onde mora o maior risco, pelo mesmo motivo: a tradução apaga a incerteza.
4. Apontar anomalias que a ferramenta já detecta. Desvio na divisão de tráfego, queda em métrica de guarda, comportamento estranho por dispositivo. Aqui o copilot é um mensageiro de uma verificação determinística, e isso é exatamente o uso mais seguro dele: quem detectou foi a conta, o modelo só avisou.
As quatro coisas que ele não pode fazer
Não por imaturidade da tecnologia, mas por construção.
Não cria poder estatístico. Amostra vem de tráfego, e nenhuma camada de linguagem gera informação que os dados não contêm. Um copilot útil deixa a restrição explícita antes de você começar; um copilot ruim descreve com fluência um resultado que não existe.
Não estabelece causalidade. Causalidade vem do desenho do experimento: sorteio aleatório, grupos equivalentes, uma métrica primária escolhida antes. Um modelo que lê números correlacionados vai narrar uma explicação plausível para qualquer padrão, inclusive para ruído.
Não conhece as suas restrições. Compromisso com um parceiro, limite jurídico, promessa de marca, dívida técnica no checkout: nada disso está nos dados. É a categoria de veto legítimo que só uma pessoa consegue aplicar.
Não resiste ao seu viés. Este é o mais silencioso. Se você perguntar de três formas diferentes até receber a leitura que queria, você fez peeking em cima da conversa em vez de em cima do painel, e o efeito é o mesmo: a probabilidade de encontrar a resposta desejada sobe com o número de tentativas. O mecanismo é o mesmo descrito no problema do peeking.
Exemplo trabalhado: o resumo correto que leva à conclusão errada
Este é o ponto onde a discussão deixa de ser abstrata. Suponha um teste com estes números reais:
- Variação A (controle): 9.500 visitantes, 266 conversões
- Variação B: 9.500 visitantes, 304 conversões
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
Cole esses valores na calculadora acima. O resultado é: taxa de 2,80% contra 3,20%, lift relativo de +14,3%, p-valor de 0,106 e intervalo de confiança de 95% para a diferença absoluta indo de -0,09 ponto percentual a +0,89 ponto percentual. Ou seja: o resultado não é estatisticamente significativo, e o intervalo inclui zero e inclui piora.
Agora imagine o resumo em linguagem natural: “a variação B está com 3,20% de conversão contra 2,80% do controle, uma melhora de 14,3%”. Cada palavra dessa frase é verdadeira. E a frase inteira leva à decisão errada, porque ela descreve a estimativa pontual e omite a única informação que decide: a incerteza em torno dela.
| O que foi dito | Verdadeiro? | O que faltou |
|---|---|---|
| “B está com 3,20% contra 2,80%” | Sim | Que a diferença observada é compatível com acaso |
| “Uma melhora de 14,3%” | Sim, como estimativa pontual | Que o intervalo vai de uma piora leve a quase +32% relativos |
| “B está na frente” | Sim, numericamente | Que estar na frente sem significância não sustenta implementar |
A lição não é que o copilot mentiu. É que a linguagem natural apaga incerteza por padrão, e um número acompanhado de uma frase confiante é lido como uma conclusão. O antídoto é operacional: exija que todo resumo traga o intervalo, e mantenha a regra de decisão escrita antes de rodar, como descrito no guia de significância estatística.
A armadilha específica da geração de variações
Um risco menos óbvio aparece na geração de variações, e ele custa tempo de tráfego. Modelos de linguagem tendem a produzir alternativas que são paráfrases: a mesma promessa dita com outras palavras. Paráfrase produz efeito pequeno, e efeito pequeno é o mais caro de detectar, porque a amostra necessária cresce aproximadamente com o inverso do quadrado do efeito.
O resultado prático é um teste que consome semanas de tráfego para terminar em empate inconclusivo, e a conclusão errada que o time tira disso costuma ser “o nosso público não responde a copy”.
A correção é pedir mudança de mecanismo, não de redação:
| Tipo de variação | Exemplo | Efeito esperado |
|---|---|---|
| Paráfrase | Trocar “comece agora” por “inicie hoje” | Pequeno, caro de detectar |
| Mudança de argumento | Trocar benefício de velocidade por remoção de risco | Médio |
| Mudança de estrutura | Trocar a ordem das etapas, remover um campo obrigatório | Médio a grande |
| Mudança de oferta ou compromisso | Alterar o que é prometido, a garantia ou o preço exibido | Grande, e exige aprovação de negócio |
Um copilot é ótimo para gerar dez opções dentro da primeira linha dessa tabela. Cabe a você exigir que a variação testada venha das linhas de baixo.
Um roteiro de uso que preserva o rigor
Nada disso é argumento para não usar. É argumento para usar numa ordem específica, em que a conversa acontece antes da coleta e não depois do resultado. Cinco passos:
- Use o copilot antes de rodar, não depois. Peça ajuda para estruturar a hipótese, listar métricas de guarda e escrever a regra de decisão. Tudo isso é trabalho de redação, que é onde o modelo é bom, e tudo isso perde valor se for feito depois de ver o resultado.
- Congele a regra de decisão por escrito. Métrica primária, efeito mínimo que justifica implementar, duração planejada. A partir daí, nenhuma conversa muda a regra, e essa é a defesa contra perguntar de novo até gostar da resposta.
- Peça a leitura completa, não o veredito. A pergunta útil é “quais são o p-valor, o intervalo de confiança e a amostra acumulada”, não “quem ganhou”. A primeira pergunta admite resposta inconclusiva; a segunda empurra o modelo a escolher um lado.
- Confira o número na fonte. Todo valor citado num resumo tem que existir no painel. É uma checagem de trinta segundos que elimina a classe inteira de erro mais perigosa, que é o número plausível e inventado.
- Registre a decisão junto com o motivo. Quem decidiu, com base em qual número, e o que foi implementado. Um repositório de decisões é o que impede o time de retestar em seis meses uma hipótese que já foi refutada.
Repare que os cinco passos são os mesmos de um programa de experimentação disciplinado sem nenhuma IA envolvida. O copilot não muda o método, ele só reduz o custo de cumprir cada passo, e essa é exatamente a promessa que vale a pena.
Como avaliar o copilot de uma ferramenta
Vale um critério neutro, aplicável a qualquer fornecedor. Três perguntas separam um instrumento de análise de um gerador de confiança:
- Ele mostra o cálculo e a origem do número? Um resumo que cita uma taxa sem deixar você clicar até o dado bruto é uma afirmação, não uma análise.
- Ele consegue dizer “não dá para concluir”? Peça de propósito a leitura de um teste inconclusivo. Um copilot que sempre encontra um vencedor está otimizando para a sua satisfação, não para a sua decisão.
- Ele avisa antes, e não depois? A hora útil de saber que o teste levaria 90 dias é antes de começar. Um alerta de amostra insuficiente entregue no dia da leitura chegou tarde demais para mudar alguma coisa.
Três sinais de alerta do outro lado: número citado no texto que não bate com o painel, ausência total de intervalo de confiança nos resumos, e recomendação de “parar agora que já está vencendo” sem referência à amostra planejada.
Onde os copilots provavelmente vão de fato mudar o jogo
Sendo justo com a tecnologia, existe um ganho estrutural real, e ele não está na análise: está no acesso. A maior parte das empresas não deixa de testar por falta de ferramenta, deixa por falta de alguém que saiba montar a hipótese, dimensionar a amostra e ler o resultado sem se enganar. Uma camada que conduz uma pessoa não especialista por esse caminho, com as perguntas certas na ordem certa, aumenta o número de times capazes de rodar um teste honesto.
Isso só funciona, porém, se a camada for construída para preservar o rigor em vez de esconder. A diferença entre as duas coisas é observável: uma versão explica por que a amostra precisa ser aquela e a outra apenas apresenta um botão de “otimizar”. Ronny Kohavi, Diane Tang e Ya Xu tratam desse ponto em “Trustworthy Online Controlled Experiments” (Cambridge University Press, 2020) sem falar de copilots: a confiabilidade de um programa de experimentação vem de disciplina de processo, não da sofisticação da ferramenta.
Faça isso automático na Donnu
A Donnu também tem uma camada de IA, e o critério deste artigo se aplica a ela igual: ela serve para acelerar hipótese e leitura, não para decidir no seu lugar. O que decide continua sendo o motor estatístico: a Donnu devolve o veredito com o intervalo de confiança de 95% na frente e só declara uma vencedora quando a variação acumula pelo menos 200 visitantes e 7 dias no ar, para que “está na frente” e “dá para implementar” nunca sejam lidos como a mesma frase.
Comece um teste grátis de 14 dias e confira o critério na prática. Para a comparação aberta do mercado, veja as ferramentas de teste A/B comparadas.
Referências
- Kohavi, R., Tang, D. e Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Material complementar em experimentguide.com.
- Kohavi, R. e Thomke, S. The Surprising Power of Online Experiments. Harvard Business Review, 2017. hbr.org/2017/09/the-surprising-power-of-online-experiments.
- Kohavi, R. ExP Platform: accelerating innovation through trustworthy experimentation. exp-platform.com.
Leia também:
Perguntas frequentes
- O que é um copilot de IA numa ferramenta de teste A/B?
- É uma camada de modelo de linguagem colocada por cima dos dados e da documentação da própria ferramenta, que conversa com você em texto. Ela costuma cobrir quatro tarefas: transformar uma ideia solta em hipótese estruturada, redigir variações de texto, explicar em linguagem comum um resultado que o painel já calculou, e apontar anomalias que a ferramenta já detecta. Em nenhuma delas o modelo é quem faz a estatística: quem calcula continua sendo o motor da ferramenta.
- Um copilot de IA pode decidir se o meu teste venceu?
- Não deveria, e vale conferir se o seu está sugerindo isso. Decidir um teste é aplicar uma regra definida antes de rodar sobre um número calculado pelo motor estatístico. Um modelo de linguagem que resume o resultado pode descrever esse número corretamente e ainda assim narrar como vitória um resultado que não sustenta decisão nenhuma, porque a linguagem natural apaga a incerteza que o intervalo de confiança carrega.
- Copilot de IA resolve o problema de falta de tráfego?
- Não. Poder estatístico vem de amostra, e amostra vem de tráfego. Nenhuma camada de linguagem cria informação que os dados não têm. O que um bom copilot pode fazer é deixar a restrição explícita mais cedo, mostrando antes de você começar que aquele teste levaria meses no seu volume, o que muda a decisão de escopo em vez de mudar a matemática.
- Vale a pena usar IA para gerar as variações do teste?
- Vale como acelerador de rascunho, com uma ressalva importante: modelos tendem a produzir variações que são paráfrases umas das outras, e paráfrase gera efeito pequeno, que é exatamente o tipo de efeito mais caro de detectar. Se as variações geradas mudam palavras sem mudar a proposta, o teste nasce condenado a um empate caro. Peça mudanças de mecanismo, não de redação.
- Quais os riscos de usar um copilot de IA em CRO?
- Três se repetem: número inventado num resumo que ninguém confere contra o painel, autoridade falsa (um texto fluente lido como análise revisada), e o incentivo a perguntar de novo até receber a resposta desejada, que é peeking transferido para o campo da conversa. Os três se resolvem com a mesma disciplina: a regra de decisão escrita antes de rodar, e o número conferido na fonte.
- Como avaliar o copilot de uma ferramenta antes de contratar?
- Faça três perguntas concretas: ele mostra o cálculo e a fonte do número que cita, ele consegue dizer "não dá para concluir" quando o resultado não sustenta decisão, e ele avisa sobre amostra insuficiente antes do teste começar em vez de depois. Um copilot que nunca diz não é um gerador de confiança, não um instrumento de análise.