Interleaving: avaliar ranqueamento com muito menos tráfego

Interleaving é um método de avaliação em que dois ranqueamentos são mesclados numa lista única, mostrada ao mesmo usuário na mesma consulta, e o clique vira voto no ranqueador que escolheu aquele resultado. Isso transforma uma comparação entre grupos de pessoas numa comparação pareada dentro da consulta, e o ganho de sensibilidade é enorme. No exemplo trabalhado deste guia, exatamente as mesmas 71.429 buscas devolvem valor-p de 0,097060 num teste A/B clássico de CTR, ou seja, nada, e valor-p de 4,3309 vezes 10 elevado a menos 8 no interleaving. Este guia mostra os dois algoritmos de mescla, o teste de sinal que fecha a conta, os ganhos de sensibilidade publicados por Yahoo, Bing e Airbnb, os casos reais em que o método aponta na direção errada, e como decidir se ele cabe no seu produto. Faz parte do nosso guia completo de teste A/B e é o caso extremo do assunto tratado em unidade de sorteio.

O problema: comparar duas listas é mais difícil do que parece

Você tem dois ranqueadores para a busca interna do seu site. O ranqueador B é uma reordenação nova, e a pergunta é se ele é melhor.

O reflexo é montar um teste A/B: metade dos usuários vê a ordenação A, metade vê a B, compara-se a taxa de clique. O problema é que a variação natural entre consultas domina o sinal. Uma busca por um código de produto tem CTR altíssimo, uma busca vaga por uma categoria tem CTR baixo, e a diferença entre dois ranqueadores decentes é pequena em comparação com essa dispersão. Você está tentando ouvir um sussurro dentro de um estádio.

O interleaving resolve isso mudando a pergunta que o usuário responde. Em vez de perguntar “quanto você clica nesta lista?”, ele pergunta, implicitamente, “entre estes dois conjuntos de resultados que estão bem na sua frente, qual você prefere?”. A resposta vem no mesmo instante, do mesmo usuário, sobre a mesma intenção de busca, e é isso que mata a variância.

Chapelle, Joachims, Radlinski e Yue conjecturam duas razões para a sensibilidade do método: ele é um teste pareado, pareado ao mesmo tempo em consultas e em usuários, e ele elicia diretamente uma preferência entre duas alternativas em vez de inferir qualidade a partir de um número absoluto.

Os dois algoritmos de mescla

Balanced Interleaving

Intercala as duas listas removendo duplicatas, e no fim da consulta define k como o menor corte que contém todos os documentos mostrados. Conta-se quantos cliques caíram no topo k de A e quantos no topo k de B. Mais cliques em A significa preferência por A.

O método tem um viés conhecido, que os próprios autores demonstram. Com A igual a (a, b, c, d) e B igual a (b, c, d, a), a mescla resulta em (a, b, c, d) ou (b, a, c, d) conforme o sorteio de desempate, e um usuário que clicasse completamente ao acaso produziria mais preferências por B do que por A. Isso acontece porque todos os documentos, exceto o a, estão mais bem posicionados em B.

Team-Draft Interleaving

Foi criado para consertar exatamente isso, e a analogia dos autores é a de escolher times para uma partida amistosa. Os dois ranqueadores são capitães. Em cada rodada, sorteia-se quem escolhe primeiro, e cada capitão pega o melhor jogador ainda disponível da sua lista, colocando-o no seu time e no fim da lista mesclada.

O clique é creditado ao time de quem escolheu o resultado clicado. Se o time A recebe mais cliques que o B na consulta, a consulta conta como vitória de A; se recebe menos, vitória de B; se recebe o mesmo número, empate. Consultas sem clique nenhum são descartadas.

A propriedade que isso garante é a que faltava no Balanced: um usuário clicando ao acaso produz, em expectativa, tantas preferências por A quanto por B.

O estatístico e o teste

Os autores definem um resumo único da comparação:

Para decidir se a preferência é significativa, o caso mais simples é o teste binomial de sinal sobre as consultas com preferência, contra a hipótese de que cada ranqueador vence metade das vezes. Consultas sem clique são descartadas antes de tudo.

Repare no que essa construção joga fora de propósito: o número de cliques, a posição do clique, o tempo na página. Tudo vira um voto binário. Parece desperdício e é exatamente o contrário: é jogar fora a fonte de variância e ficar só com o sinal comparativo. O mesmo raciocínio aparece no teste de permutação e nas métricas de razão, em outras roupagens.

O exemplo trabalhado: o mesmo tráfego, duas leituras opostas

Cenário. Busca interna de um marketplace, 40.000 buscas por semana, CTR médio de 28,00 por cento. O ranqueador B reordena os resultados usando um sinal novo de disponibilidade. A hipótese é que ele seja melhor, mas a expectativa de efeito é pequena, algo em torno de 2 por cento relativo no CTR.

Primeiro, quanto custa medir isso pelo A/B. Coloque na calculadora de tamanho de amostra a base de 28,00 por cento, MDE relativo de 2 por cento, 95 por cento de confiança e 80 por cento de poder:

Taxa de conversão atual%Efeito mínimo detectávelrelativo (%)absoluto (pp)Confiança909599%Poder8090%Visitantes por semana (total)Testebilateralunilateral

-Visitantes por variação

-Total (2 variações)

-Duração estimada

Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.

A resposta é 101.526 buscas por braço, ou seja, 203.052 buscas no total, o que dá 36 dias a 40.000 buscas por semana. Cinco semanas de janela para decidir sobre uma reordenação, e é só um candidato entre vários na fila.

Agora o interleaving. O experimento roda por 13 dias com todo o tráfego de busca passando pela lista mesclada, o que dá 71.429 buscas. Dessas, 20.000 tiveram pelo menos um clique e entram na conta. O resultado:

desfecho da consulta	quantidade
vitórias do ranqueador B	6.300
vitórias do ranqueador A	5.700
empates (clicou, mas os times empataram)	8.000
total de consultas com clique	20.000
consultas com preferência (sem empates)	12.000

Aplicando o estatístico: delta vale (6.300 mais 4.000) dividido por 20.000, menos 0,5, ou seja, mais 1,5000 por cento a favor de B.

O teste de sinal sobre as 12.000 consultas com preferência: a proporção observada é 0,525000, o valor de z é 5,4772 e o valor-p é 4,3309 vezes 10 elevado a menos 8. Não é um resultado no limite, é uma decisão fechada.

A comparação justa. Agora pegue exatamente as mesmas 71.429 buscas e gaste-as num teste A/B clássico, divididas em 35.714 no controle e 35.715 na variação. Com CTR de 28,0002 por cento no controle (10.000 cliques) e 28,5594 por cento na variação (10.200 cliques), cole na calculadora:

Controle (A)

VisitantesConversões

Variação (B)

VisitantesConversões

Confiança90%95%99%

Controle (A) · Taxa-

Variação (B) · Taxa-

Melhora relativa-

valor-p-

IC 95% da diferença-

Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.

A tela mostra 28,00 por cento contra 28,56 por cento, mais 2,0 por cento relativo, valor-p de 0,0971 e o veredito de que ainda não há significância. Ou seja: não deu. Sem o arredondamento, a diferença absoluta é de mais 0,5592 ponto percentual, o z vale 1,6593, o valor-p é 0,097060 e o intervalo de confiança vai de menos 0,1013 a mais 1,2197 ponto percentual, cruzando o zero.

método	dados consumidos	resultado	veredito
teste A/B de CTR	71.429 buscas (35.714 e 35.715 por braço)	z 1,6593, valor-p 0,097060	inconclusivo
interleaving (Team-Draft)	as mesmas 71.429 buscas	z 5,4772, valor-p 0,000000043	B vence, com folga

Esses dois resultados vêm do mesmo tráfego, no mesmo período, sobre a mesma diferença entre ranqueadores. A diferença inteira está no desenho da comparação, não na quantidade de dados.

Quanto tráfego o interleaving pede, por tamanho de preferência

O interleaving não tem tamanho de amostra fixo: ele depende de quão grande é o delta que o par de ranqueadores produz. Com 95 por cento de confiança, 80 por cento de poder, teste bicaudal e supondo que 60 por cento das consultas com clique gerem preferência (o resto empata):

delta	consultas com preferência	consultas com clique	buscas (CTR 28%)	dias a 40.000/semana	vezes menos dados que o A/B
1,0%	7.062	11.770	42.036	8	4,83
1,5%	3.138	5.230	18.679	4	10,87
2,0%	1.764	2.940	10.500	2	19,34
3,0%	783	1.305	4.661	1	43,56
5,0%	281	469	1.675	1	121,23

A última coluna compara com as 203.052 buscas que o teste A/B de CTR exige para um efeito relativo de 2 por cento. Duas leituras saem daí:

• O multiplicador não é uma constante. Ele vai de cerca de 5 vezes até mais de 120 vezes nesse mesmo cenário, e depende inteiramente de quanto sinal pareado o par de ranqueadores produz.
• A relação entre delta e diferença de CTR não é fixa. É por isso que os números publicados variam tanto entre empresas, e por que nenhum artigo consegue prometer “dez vezes” a você antes de você rodar.

Há também um detalhe do desenho que costuma passar despercebido, e que os autores registram: para um mesmo número de consultas no eixo, uma comparação absoluta consome o dobro dos dados de uma comparação intercalada, porque ela exige dois baldes não comparativos rodando ao mesmo tempo.

Os números publicados, e o que eles realmente dizem

fonte	contexto	ganho reportado
Chapelle, Joachims, Radlinski e Yue (2012)	Yahoo, seis pares de ranqueadores, contra a melhor métrica absoluta (Clicks@1)	razões de dados de 379,1 · 193,1 · 17,8 · 270,7 · 18,9 · 0,69
mesmos autores, análise por tempo	Yahoo, par BY contra DY	interleaving leva cerca de 1 hora para chegar a inconsistência abaixo de 0,01; os baldes não comparativos levam pouco mais de um dia; razão de cerca de 22
mesmos autores, contra julgamento humano	Bing, conjunto de cerca de 12.000 consultas julgadas	uma consulta julgada por especialista equivale a cerca de dez consultas com clique no interleaving
Zhang e coautores, busca do Airbnb (KDD 2025)	Team Drafting com pares competitivos, mais de cem experimentos	cerca de 50 vezes de aceleração em relação ao teste A/B
mesmos autores, citando Bi e coautores (Amazon Search, 2022)	interleaving balanceado	60 vezes, sobre um corpus de 10 comparações

Três observações honestas sobre essa tabela.

Primeiro, o 0,69 importa tanto quanto o 379,1. Em um dos seis pares do Yahoo, o interleaving precisou de mais dados que a métrica absoluta. Os autores dizem exatamente isso: em todos os outros, o interleaving foi muito mais sensível, reduzindo o número de consultas necessárias em mais de uma ordem de grandeza. Mas houve uma exceção, e ela está publicada.

Segundo, esses números saem de reamostragem empírica sobre pares reais de ranqueadores, não de uma fórmula. Eles descrevem o que aconteceu naqueles sistemas, com aquelas consultas.

Terceiro, a linha da consulta julgada é a mais subestimada. Ela quantifica em que medida clique substitui avaliador humano, e mostra que uma avaliação com dez mil consultas julgadas por especialistas pode ser igualada por cem mil consultas com clique, que aparecem sozinhas em algumas horas de tráfego. Os autores registram ainda que, decompondo de consultas para documentos, um par consulta e documento julgado parece oferecer tanta sensibilidade quanto uma ou duas consultas com cliques.

Onde o interleaving erra, com casos documentados

Sensibilidade não é acurácia. Um método pode ser muito preciso e apontar para o lado errado, e o interleaving tem casos assim, todos publicados.

Consulta ambígua com intenções desbalanceadas. Os autores de 2012 constroem o caso: 49 por cento dos usuários têm intenção A, satisfeita pelo documento a; 49 por cento têm intenção B, satisfeita por b; 2 por cento têm intenção C, satisfeita por c. O ranqueamento R1, que começa com (a, b), satisfaz 98 por cento dos usuários com os dois primeiros resultados. O ranqueamento R2, que começa com (b, c), satisfaz 51 por cento. E ainda assim, supondo que cada usuário clique só no primeiro resultado relevante que encontrar, R2 vence o Team-Draft em 51 por cento das comparações. O melhor ranqueamento perde.

Clique mede expectativa, julgamento mede a página de destino. O clique acontece sobre o título e o resumo, antes de o usuário ver o conteúdo. Os autores dão exemplos reais dessa divergência: na consulta “travel insurance”, seguradoras pequenas focadas no produto são mais relevantes pelo critério do avaliador, mas os usuários clicam em marcas conhecidas. Na consulta “adobe”, a página institucional é considerada a mais relevante, mas quase ninguém que busca isso quer a página institucional, e sim o download do leitor de PDF. Em “bank of america”, os usuários preferem a página de banco online e os avaliadores preferem a home.

Otimização no nível do conjunto. A equipe de busca do Airbnb documenta o caso mais útil para produto. Um ranqueador de tratamento foi feito para otimizar um objetivo secundário mantendo a conversão neutra, reordenando anúncios que antes estavam ordenados por probabilidade de reserva. No teste A/B, a conversão ficou de fato neutra. No interleaving, o resultado foi significativamente negativo: colocados lado a lado na mesma lista, os anúncios do grupo de controle pareciam mais atraentes, e os usuários migravam para eles. A mescla mudou o que estava sendo avaliado.

Os mesmos autores listam mais dois limites do método no produto deles: quando a lista de busca também alimenta outra superfície, como a visão de mapa, mesclar arrisca estragar a experiência; e não é direto construir uma métrica com significado para um desfecho contínuo como receita.

Onde ele cabe no processo, e onde não cabe

O uso que as duas empresas descrevem é o mesmo, e não é substituição: interleaving é filtro, teste A/B é veredito de negócio. No Airbnb, entre 29 pares de interleaving e teste A/B, os dois concordaram na direção 82 por cento das vezes, com coeficiente de correlação de 0,6 entre as estimativas pontuais. Ou seja: concordância boa, longe de perfeita, e os desacordos são informativos em vez de ruído.

pergunta	quem responde
qual destes 8 candidatos de ranqueamento merece uma janela de A/B?	interleaving
o candidato escolhido aumenta a receita?	teste A/B
o candidato prejudica alguma métrica de guardrail?	teste A/B
o ganho persiste depois de 6 semanas?	teste A/B com holdout
a diferença entre dois ranqueadores é perceptível pelo usuário?	interleaving

Isso muda a economia do programa de ranqueamento inteiro, e é o mesmo argumento de velocidade de experimentação: se cada candidato precisa de cinco semanas de A/B, você testa dez por ano; se oito candidatos passam por um filtro de poucos dias e só o vencedor ocupa a janela de A/B, o número de ideias avaliadas por ano muda de patamar sem aumentar o tráfego.

E o pré-requisito prático é alto. Interleaving exige que o sistema de ranqueamento saiba executar dois ranqueadores por consulta, mesclar as listas com sorteio por rodada, carimbar a origem de cada resultado e registrar o clique com esse carimbo. Isso é engenharia dentro da busca, não configuração em ferramenta de teste A/B. Nenhuma ferramenta de CRO de página faz isso, e tudo bem: são camadas diferentes do produto.

Como aplicar isso na prática

1. Confirme que o seu caso é uma ordenação de itens comparáveis. Busca interna, recomendação, feed. Se for layout de página, o método não se aplica.
2. Use Team-Draft, não Balanced. O viés do Balanced com listas quase idênticas é conhecido e demonstrado, e listas quase idênticas são o caso comum quando se ajusta um ranqueador.
3. Sorteie quem escolhe primeiro em cada rodada, não uma vez por consulta. É esse sorteio por rodada que garante a neutralidade contra clique ao acaso.
4. Descarte consultas sem clique antes de contar. Elas não carregam informação de preferência e só diluem a conta.
5. Registre empates separadamente. A proporção de empates é um diagnóstico: empate demais costuma significar que os dois ranqueadores são quase iguais no topo.
6. Não converta delta em receita. Ele mede preferência revelada, não valor de negócio. Quem faz a ponte é o A/B, e a fronteira é a mesma discutida em métrica substituta.
7. Use como filtro de fila. Rode vários candidatos em interleaving e mande ao A/B só o vencedor, que é o padrão descrito pelas equipes do Yahoo, do Bing e do Airbnb.
8. Desconfie quando interleaving e A/B discordarem, nos dois sentidos. Segundo o Airbnb, a discordância aconteceu em cerca de 18 por cento dos pares, e o caso deles mostrou que a discordância tinha explicação real.

Erros comuns

• Contar cliques em vez de consultas. Uma consulta é um voto, não importa se teve 1 ou 5 cliques. Contar cliques traz de volta a variância que o método existe para eliminar.
• Aplicar o teste de sinal incluindo os empates. Os empates entram no delta, mas não no denominador do teste de sinal.
• Rodar interleaving quando os dois ranqueadores devolvem conjuntos muito diferentes. A mescla vira uma lista que nenhum dos dois produziria, e a experiência do usuário piora de verdade.
• Interpretar delta como diferença de CTR. São escalas distintas, e não existe conversão fixa entre elas.
• Concluir que o A/B ficou obsoleto. Ele responde à pergunta de negócio, que o interleaving não responde.
• Esquecer que usuários são compartilhados entre experimentos. Mesclar listas de vários experimentos ao mesmo tempo na mesma consulta cria interferência; o Airbnb resolve isso com faixas separadas de tráfego por experimento.
• Prometer o multiplicador de outra empresa. O 379,1 do Yahoo, o 50 do Airbnb e o 60 da Amazon são daqueles sistemas, e a tabela de dimensionamento acima mostra que o multiplicador varia por ordem de grandeza dentro do mesmo cenário.

Faça isso automático na Donnu

Vale ser direto: interleaving não é algo que uma ferramenta de teste A/B entregue, nem a nossa. Ele vive dentro do sistema de ranqueamento, porque exige executar dois ranqueadores por consulta e carimbar a origem de cada resultado antes de a página ser montada. Qualquer fornecedor que prometa “interleaving por script no site” está descrevendo outra coisa.

O que fica do lado da ferramenta de experimentação é a parte que costuma se perder: o registro de qual candidato foi filtrado por qual leitura, e com qual métrica primária declarada. A Donnu guarda a configuração do experimento no momento da criação, com métrica primária e guardrails declarados, e mantém o histórico congelado por experimento. Num fluxo em duas etapas, isso é o que permite responder, meses depois, por que aquele ranqueador específico ganhou a janela de A/B em vez de outro.

A recomendação prática deste guia, para quem tem busca interna e ainda não chegou perto disso: comece medindo a proporção de consultas com clique e a dispersão de CTR entre consultas. Esses dois números dizem, antes de qualquer engenharia, se o seu volume comporta uma avaliação pareada e o quanto você está perdendo hoje ao comparar médias. A calculadora de tamanho de amostra dá o outro lado da conta, o do teste A/B que você roda hoje.

Referências

• Chapelle, O., Joachims, T., Radlinski, F. e Yue, Y. Large-Scale Validation and Analysis of Interleaved Search Evaluation. ACM Transactions on Information Systems, volume 30, número 1, artigo 6, fevereiro de 2012. Fonte da descrição dos métodos Balanced e Team-Draft, incluindo a analogia dos capitães que se revezam escolhendo jogadores, o sorteio de quem escolhe primeiro em cada rodada e o crédito do clique ao time que selecionou o resultado; da definição do estatístico delta como as vitórias de A mais metade dos empates sobre o total, menos 0,5, com o exemplo de 40, 30 e 30 por cento resultando em 5 por cento; do uso do teste binomial de sinal; do viés do Balanced com as listas (a, b, c, d) e (b, c, d, a), em que um usuário clicando ao acaso produz mais preferências por B; do exemplo de consulta ambígua com 49, 49 e 2 por cento de intenções em que R2 vence em 51 por cento das comparações apesar de R1 satisfazer 98 por cento dos usuários; das razões de dados de 379,1, 193,1, 17,8, 270,7, 18,9 e 0,69 contra Clicks@1 nos seis pares do Yahoo; da análise temporal em que o interleaving leva cerca de uma hora e os baldes não comparativos pouco mais de um dia, com razão de cerca de 22; do resultado de que uma consulta julgada equivale a cerca de dez consultas com clique, a partir de um conjunto de cerca de 12.000 consultas julgadas no Bing, e de que um par consulta e documento julgado equivale a uma ou duas consultas com cliques; da observação de que uma comparação absoluta consome o dobro dos dados por exigir dois baldes não comparativos; da conjectura de que a sensibilidade vem de o teste ser pareado em consultas e usuários e de eliciar preferência diretamente; e dos exemplos de divergência entre clique e julgamento nas consultas “travel insurance”, “adobe” e “bank of america”. cs.cornell.edu.
• Zhang, Q. e coautores. Harnessing the Power of Interleaving and Counterfactual Evaluation for Airbnb Search Ranking. KDD 2025, Toronto. Fonte do uso de Team Drafting com pares competitivos na busca do Airbnb, com mais de cem experimentos conduzidos; da validação com 29 pares de interleaving e teste A/B, com alinhamento direcional de 82 por cento e coeficiente de correlação de 0,6; do ganho de cerca de 50 vezes em relação ao teste A/B; da referência a Bi e coautores, da busca da Amazon, que reportaram 60 vezes sobre um corpus de tamanho 10; do estudo de caso em que um ranqueador que otimizava objetivo secundário ficou neutro em conversão no A/B e significativamente negativo no interleaving, porque lado a lado os anúncios do controle pareciam mais atraentes; e dos três limites declarados do método, que são otimização no nível do conjunto, listas que alimentam outras superfícies como a visão de mapa, e a dificuldade de construir métrica com significado para desfecho contínuo como receita. arxiv.org.
• Kohavi, R., Deng, A., Longbotham, R. e Xu, Y. Seven Rules of Thumb for Web Site Experimenters. KDD 2014, Nova York. Usado aqui como contraponto sobre por que métricas absolutas exigem muito mais dados e por que resultados espetaculares publicados merecem ceticismo, em linha com a exceção do par com razão 0,69 registrada no estudo de interleaving. exp-platform.com.

Leia também: Unidade de sorteio · Teste de permutação · Métricas de razão · Métrica substituta · Velocidade de experimentação · Calculadora de tamanho de amostra · Read in English