Teste A/B x Multivariado x Split URL: qual usar
Teste a/b vs multivariado, na prática: tabela comparativa, o efeito de interação, o custo real de amostra e uma árvore de decisão.
📚 Este artigo faz parte do guia O que é teste A/B? O guia completo (2026).
Teste A/B, A/B/n, split URL e multivariado resolvem perguntas diferentes. Se você tem uma mudança isolada para validar, use A/B. Se tem várias ideias concorrentes, A/B/n. Se a variação já existe numa página com URL própria, ou o redesenho é grande demais para trocar por JavaScript, split URL. Se você precisa saber como duas ou mais mudanças interagem entre si, e tem tráfego de sobra, multivariado (MVT). A confusão mais cara é usar MVT quando o tráfego não sustenta: o teste nunca fecha, e você perde meses sem resposta.
| Tipo | O que muda | Nº de variações | Tráfego exigido | O que revela | Melhor para |
|---|---|---|---|---|---|
| A/B | Uma mudança isolada, mesma URL | 2 (controle + 1) | Baixo a médio | Se a mudança move a métrica | O caso padrão, qualquer site |
| A/B/n | Várias ideias concorrentes, mesma URL | 3 ou mais | Médio a alto (dividido entre todas) | Qual das variações vence | Quando há várias hipóteses boas e tráfego para sustentar todas |
| Split URL | Página inteira, URL própria | 2 ou mais páginas | Baixo a médio | Se a página nova bate a antiga | Redesenhos grandes, variação que já existe em outro lugar |
| Multivariado (MVT) | Combinações de vários elementos | Produto das variantes (células) | Alto, cresce por multiplicação | O efeito de cada elemento e a interação entre eles | Tráfego alto, elementos com interação esperada |
O resto deste artigo aprofunda cada linha dessa tabela, com o ponto que mais gente erra: o motivo de o multivariado exigir tanto tráfego, e como calcular isso para o seu caso.
A/B, o caso padrão
O teste A/B compara o controle (A) contra uma única variação (B), na mesma URL, com o tráfego dividido por sorteio. É o desenho mais simples que existe, e por isso é o ponto de partida certo para praticamente qualquer teste.
A força do A/B é a clareza causal. Como só uma coisa muda entre A e B, qualquer diferença de conversão só pode vir daquela mudança (descontado o acaso, que a estatística do teste mede). Não existe ambiguidade sobre “o que causou o quê”.
A limitação é a mesma moeda pelo outro lado: você só aprende sobre uma mudança de cada vez. Se você tem cinco ideias boas para o herói da página, o A/B simples te obriga a escolher uma, testar, esperar o resultado, e só então testar a próxima. Para casos assim, existem A/B/n e, em situações mais raras, o multivariado.
A/B/n e split URL: onde cada um se encaixa
A/B/n é o A/B esticado para mais de uma variação: controle A contra B, C, D, e assim por diante, todas rodando ao mesmo tempo, todas na mesma URL. Faz sentido quando você tem várias hipóteses concorrentes sobre a mesma mudança (três títulos diferentes, por exemplo) e tráfego suficiente para dividir entre todas sem esvaziar cada braço. O trade-off é direto: cada variação extra reduz a fatia de tráfego que sobra para as outras, então o teste demora mais para fechar do que um A/B de duas pontas.
Split URL resolve um problema diferente: às vezes a variação não é um ajuste de elementos na mesma página, é uma página inteiramente nova, com estrutura, template ou até domínio diferentes. Forçar isso a virar uma troca de DOM via JavaScript é frágil e lento. No split URL, cada versão vive no seu próprio endereço, e um redirecionamento (não o script no navegador) decide qual página o visitante vê. É o desenho certo para redesenhos completos, para migração de builder de página, ou quando a “variação B” já existe: por exemplo, uma landing page mais antiga que você quer comparar contra a atual.
Estatisticamente, A/B/n e split URL não mudam a matemática por trás do teste A/B: continuam sendo comparações de proporções, uma contra a outra. O que muda é onde o conteúdo mora e quantos braços dividem o tráfego.
O que é teste multivariado (MVT)
O multivariado testa várias variáveis ao mesmo tempo, cada uma com duas ou mais variantes, e todas as combinações possíveis entre elas. Cada combinação única é uma célula.
Um exemplo simples: você quer testar dois elementos da página, o título (2 variantes: A e B) e a cor do botão (2 variantes: verde e âmbar). Isso gera 2 × 2 = 4 combinações, ou seja, 4 células:
O resultado de um MVT não é só “qual célula converteu mais”. É a decomposição estatística de quanto cada variável contribuiu sozinha (o efeito principal do título, o efeito principal da cor do botão) e quanto elas contribuíram juntas, além do que cada uma faria isolada (o efeito de interação). É essa última parte, a interação, que só o multivariado consegue medir de verdade.
O efeito de interação: o motivo real de o MVT existir
Se as variáveis de uma página nunca interagissem, o multivariado seria só um jeito caro de fazer vários A/B ao mesmo tempo, sem ganho real sobre testar cada elemento em sequência. O motivo de o MVT existir é a possibilidade de interação: quando o efeito de uma mudança muda de sinal ou de tamanho dependendo do que está presente na outra.
Um exemplo numérico, com taxas de conversão hipotéticas para ilustrar o mecanismo (não são medições reais):
| Combinação | Taxa de conversão |
|---|---|
| Título A + botão verde | 4,0% |
| Título A + botão âmbar | 5,5% |
| Título B + botão verde | 6,0% |
| Título B + botão âmbar | 4,5% |
Repare no que acontece: com o botão verde, o título B vence o título A (6,0% contra 4,0%). Mas com o botão âmbar, o título A vence o título B (5,5% contra 4,5%). O “melhor título” depende do botão que está do lado dele. Essa inversão é a interação.
Agora imagine que você tivesse testado título e botão em sequência, como dois A/B separados. Você fixa o botão que já está no ar (digamos, verde), testa título A contra B, e B vence. Você implementa B. Semanas depois, testa a cor do botão com o título B fixo, e o âmbar perde feio, porque a combinação título B + âmbar é a pior linha da tabela. Você nunca saberia que título A + âmbar era, na verdade, a segunda melhor combinação disponível. O A/B sequencial não tem como enxergar isso: ele sempre testa uma variável com o resto da página congelado, e a interação só aparece quando as duas variam ao mesmo tempo.
Isso não quer dizer que interações sejam comuns. Em elementos de página que não competem pela mesma atenção ou pelo mesmo argumento (por exemplo, a cor de um selo de segurança no rodapé e o texto do título no topo), a interação costuma ser pequena ou inexistente, e o A/B sequencial funciona bem. Interações fortes tendem a aparecer entre elementos que reforçam ou contradizem a mesma mensagem, como título e CTA, ou preço e garantia.
O problema de tráfego do multivariado
Aqui está o ponto que a maioria dos times de marketing subestima: cada célula do multivariado é, na prática, um teste A/B inteiro, e precisa da mesma amostra mínima que um A/B simples precisaria.
A regra de combinações é multiplicativa: pegue o número de variantes de cada elemento e multiplique todos entre si.
Dois elementos com 2 variantes cada: 2 × 2 = 4 células. Três elementos com 2 variantes cada: 2 × 2 × 2 = 8 células. Um quarto elemento entra e o número dobra de novo. A amostra total do teste não é a amostra de uma célula dividida pelo número de células: é a amostra de uma célula multiplicada pelo número de células, porque cada célula, isoladamente, ainda precisa do mesmo volume que qualquer A/B precisaria para detectar o mesmo efeito com a mesma confiança.
Vamos usar um exemplo trabalhado com números reais. Parta de um cenário comum: uma página que converte 5%, e você quer detectar uma melhora relativa de 10% (de 5% para 5,5%), com 95% de confiança e 80% de poder, o padrão de mercado. O tamanho de amostra por variação (ou seja, por célula) para esse cenário é 31.234 visitantes.
Para um A/B simples (2 variações), isso significa um total de cerca de 62.468 visitantes até o teste fechar. Agora aplique a mesma amostra por célula a um multivariado:
| Desenho | Nº de células | Amostra total | Duração a 10 mil visitantes/semana |
|---|---|---|---|
| A/B simples (2 variações) | 2 | 62.468 | 44 dias |
| Multivariado 2×2 (2 elementos, 2 variantes cada) | 4 | 124.936 | 88 dias |
| Multivariado 2×2×2 (3 elementos, 2 variantes cada) | 8 | 249.872 | Seria necessário ~4x o tráfego semanal do A/B simples só para manter a mesma duração de 44 dias |
(Valores calculados com o mesmo motor estatístico da calculadora deste blog, para baseline de 5%, MDE relativo de 10%, 95% de confiança, 80% de poder, bilateral.)
A amostra não dobra com 4 células, ela quadruplica em relação ao A/B simples, porque o A/B simples já usa 2 células (2 × 31.234) e o MVT 2×2 usa 4 (4 × 31.234). Com 8 células, o total passa de 249 mil visitantes, quase 8 vezes o de um A/B comum. Num site com 10 mil visitantes por semana, o teste 2×2 levaria o dobro do tempo de um A/B simples (88 dias contra 44); o 2×2×2 exigiria um tráfego bem maior para não se arrastar por meses.
Esse é o motivo real de o multivariado ser raro fora de sites com tráfego muito alto: a matemática de combinações cresce mais rápido do que a intuição sugere, e cada célula “barata” isoladamente vira uma amostra total cara quando multiplicada.
Full factorial x fracionado (Taguchi): cortando tráfego
Existe uma saída parcial para o problema de tráfego: em vez de testar todas as combinações (o desenho full factorial, que é o que descrevemos até aqui), testar um subconjunto ortogonal delas. Esse desenho, popularizado pelo engenheiro Genichi Taguchi na indústria, escolhe um número menor de combinações de forma que ainda seja possível estimar o efeito principal de cada elemento, sem passar por toda a grade de combinações.
A honestidade aqui importa: o desenho fracionado economiza tráfego, mas paga o preço em visibilidade. Ele consegue isolar bem os efeitos principais (o efeito do título sozinho, o efeito do botão sozinho), mas perde a capacidade de detectar interações de ordem mais alta, exatamente o tipo de efeito que motivou o multivariado no primeiro lugar. Se a razão de você estar testando várias variáveis ao mesmo tempo é caçar interação, um desenho fracionado que sacrifica a interação para economizar tráfego está, de certa forma, jogando fora o motivo do teste.
Na prática, para a maioria dos times de marketing e produto, o desenho fracionado é raro fora de operações de CRO grandes com equipe estatística dedicada. É mais simples, e quase sempre mais barato em esforço de implementação, rodar full factorial só quando o tráfego sustenta, ou trocar o multivariado por uma sequência de A/B bem priorizados.
Árvore de decisão: qual escolher
Resuma a decisão em quatro perguntas: quanto tráfego mensal você tem, quantas mudanças quer testar, se elas têm interação esperada entre si, e quanto prazo você tem disponível.
Quando o multivariado não vale a pena
O veredito honesto: para a maioria dos sites de tráfego médio, o multivariado não vale a pena. Não porque o método seja ruim, mas porque o custo em tempo quase sempre supera o ganho em informação.
Considere o exemplo trabalhado acima: um multivariado 2×2 simples, o menor desenho de MVT que existe, já dobra a duração do teste em relação a um A/B comum, no mesmo tráfego. Um 2×2×2, ainda modesto (só 3 elementos, 2 variantes cada), exige quase 8 vezes a amostra de um A/B simples. Sites que recebem algumas centenas ou poucos milhares de visitantes por semana simplesmente não geram esse volume num prazo razoável, e o teste vira um projeto de meses que nunca fecha com confiança.
Na prática, a maioria das “interações” que os times de marketing querem capturar (título com botão, imagem com prova social) pode ser suficientemente bem aproximada testando as combinações mais prováveis de vencer em sequência, via A/B/n, com uma fração do tráfego. Você perde a garantia estatística de ter mapeado todas as interações possíveis, mas ganha uma resposta em semanas, não em meses, e isso quase sempre compensa.
O multivariado compensa quando três coisas coexistem ao mesmo tempo: tráfego alto (o suficiente para preencher todas as células num prazo aceitável), uma razão concreta para esperar interação forte entre os elementos, e um prazo que sustenta o teste rodando por mais tempo que um A/B comum. Fora dessa combinação, prefira o A/B simples ou o A/B/n.
Calculando a amostra por célula na prática
A calculadora abaixo calcula o tamanho de amostra de uma variação, ou seja, de uma célula. Ajuste a taxa de conversão atual, o efeito mínimo que você quer detectar e o tráfego semanal disponível, para o seu caso real:
Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.
Para transformar esse número num orçamento de multivariado, o passo é sempre o mesmo: pegue a amostra por célula que a calculadora devolveu e multiplique pelo número de células do seu desenho (o produto das variantes de cada elemento, como mostrado no exemplo trabalhado acima). Se o resultado passar de alguns meses no seu tráfego atual, isso já é sinal de que vale reconsiderar o desenho, seja reduzindo o número de elementos testados, seja voltando para uma sequência de A/B/n.
Faça isso automático na Donnu
Escolher entre A/B, A/B/n, split URL e multivariado é a primeira decisão que separa um teste que fecha de um que se arrasta sem resposta. E depois de escolher, ainda falta dimensionar a amostra certa para não declarar vencedor cedo demais nem deixar o teste rodando além da conta. A Donnu cuida dessa segunda parte: você define a hipótese, a Donnu dimensiona o teste pelo seu tráfego real, coleta com um snippet leve que nunca trava a página, e declara o vencedor com estatística bayesiana honesta.
Comece um teste grátis de 14 dias e monte o seu primeiro experimento com o tipo de teste certo desde o início. Para entender a base estatística por trás de qualquer um desses desenhos, veja o que é teste A/B e como declarar significância estatística sem se enganar.
Leia também: O que é teste A/B? O guia completo · Como fazer um teste A/B passo a passo · O problema do peeking em teste A/B
Referências
- Kohavi, R., Tang, D. & Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Material de apoio em experimentguide.com.
- VWO. Multivariate Testing: The Complete Guide. vwo.com/ab-testing.
- CXL. Multivariate Testing vs A/B Testing: What’s the Difference? cxl.com.
- Nielsen Norman Group. A/B Testing 101. nngroup.com.
- Optimizely. Multivariate Testing. optimizely.com.
Perguntas frequentes
- Qual a diferença entre teste A/B e teste multivariado?
- O A/B compara duas versões inteiras de uma página, uma contra a outra. O multivariado (MVT) testa várias mudanças pequenas ao mesmo tempo, em todas as combinações possíveis, para descobrir tanto o efeito de cada uma quanto o efeito delas juntas. O MVT exige muito mais tráfego, porque cada combinação vira uma célula que precisa da mesma amostra de um A/B simples.
- Split URL é o mesmo que teste A/B?
- É uma variação técnica dele. No A/B clássico, as versões vivem na mesma URL e a ferramenta troca elementos na hora. No split URL, cada versão é uma página com endereço próprio, e o visitante é redirecionado para uma delas. A lógica estatística é idêntica; muda só onde o conteúdo mora.
- Quando vale a pena rodar um teste multivariado?
- Quando você tem tráfego alto (dezenas de milhares de visitantes por semana), quer testar duas ou mais mudanças que podem interagir entre si (por exemplo, título e imagem do herói) e tem tempo para deixar o teste rodar por várias semanas. Fora isso, o A/B simples ou o A/B/n costumam entregar resposta mais rápida com o mesmo tráfego.
- Por que o multivariado precisa de tanto mais tráfego que o A/B?
- Porque cada combinação de elementos vira uma célula, e cada célula é, na prática, um A/B inteiro que precisa da mesma amostra mínima. Um teste com 2 elementos e 2 variantes cada gera 4 células; com 3 elementos e 2 variantes, 8 células. A amostra total é a amostra de uma célula multiplicada pelo número de células, não dividida por ele.
- O que é o efeito de interação e por que ele importa?
- É quando o desempenho de uma mudança depende de outra mudança estar presente. Um título pode vencer com um botão e perder com outro. Testes A/B sequenciais, feitos um de cada vez, nunca capturam isso, porque cada teste roda com o resto da página fixo. Só testar as combinações ao mesmo tempo revela a interação.
- Full factorial ou fracionado: qual escolher?
- O full factorial testa todas as combinações possíveis e mede todas as interações, mas custa o tráfego cheio. O fracionado (desenho tipo Taguchi) testa um subconjunto ortogonal das combinações, economizando tráfego, ao custo de perder visibilidade sobre interações de ordem mais alta. Para a maioria dos times de marketing, o fracionado raramente compensa a complexidade: é mais simples rodar A/B sequenciais.
- Dá para usar a calculadora de amostra de A/B para dimensionar um multivariado?
- Sim, com um ajuste. A calculadora de tamanho de amostra devolve o número de visitantes por variação, ou seja, por célula. Para saber o total do multivariado, multiplique esse número pela quantidade de células (o produto do número de variantes de cada elemento).