Interleaving: evaluar rankings con mucho menos tráfico

El interleaving (evaluación por intercalado) es un método de evaluación en el que dos rankings se mezclan en una lista única, mostrada al mismo usuario en la misma consulta, y el clic se convierte en un voto para el ranker que eligió ese resultado. Eso transforma una comparación entre grupos de personas en una comparación pareada dentro de la consulta, y la ganancia de sensibilidad es enorme. En el ejemplo trabajado de esta guía, exactamente las mismas 71.429 búsquedas devuelven un valor p de 0,097060 en un test A/B clásico de CTR, es decir, nada, y un valor p de 4,3309 por 10 elevado a menos 8 en el interleaving. Esta guía muestra los dos algoritmos de mezcla, el test de signo que cierra la cuenta, las ganancias de sensibilidad publicadas por Yahoo, Bing y Airbnb, los casos reales en los que el método apunta en la dirección equivocada, y cómo decidir si encaja en su producto. Forma parte de nuestra guía completa de test A/B y es el caso extremo del tema tratado en unidad de aleatorización.

El problema: comparar dos listas es más difícil de lo que parece

Usted tiene dos rankers (algoritmos de ordenamiento) para la búsqueda interna de su sitio. El ranker B es un reordenamiento nuevo, y la pregunta es si es mejor.

El reflejo es montar un test A/B: la mitad de los usuarios ve el ordenamiento A, la otra mitad ve el B, y se compara la tasa de clics. El problema es que la variación natural entre consultas domina la señal. Una búsqueda por un código de producto tiene un CTR altísimo, una búsqueda vaga por una categoría tiene un CTR bajo, y la diferencia entre dos rankers decentes es pequeña en comparación con esa dispersión. Usted está intentando oír un susurro dentro de un estadio.

El interleaving resuelve esto cambiando la pregunta que responde el usuario. En lugar de preguntar “¿cuánto hace clic en esta lista?”, pregunta, implícitamente, “entre estos dos conjuntos de resultados que tiene justo delante, ¿cuál prefiere?”. La respuesta llega en el mismo instante, del mismo usuario, sobre la misma intención de búsqueda, y eso es lo que mata la varianza.

Chapelle, Joachims, Radlinski y Yue conjeturan dos razones para la sensibilidad del método: es un test pareado, pareado al mismo tiempo en consultas y en usuarios, y elicita directamente una preferencia entre dos alternativas en lugar de inferir calidad a partir de un número absoluto.

Los dos algoritmos de mezcla

Balanced Interleaving

Intercala las dos listas eliminando duplicados, y al final de la consulta define k como el menor corte que contiene todos los documentos mostrados. Se cuenta cuántos clics cayeron en el top k de A y cuántos en el top k de B. Más clics en A significa preferencia por A.

El método tiene un sesgo conocido, que los propios autores demuestran. Con A igual a (a, b, c, d) y B igual a (b, c, d, a), la mezcla resulta en (a, b, c, d) o (b, a, c, d) según el sorteo de desempate, y un usuario que hiciera clic completamente al azar produciría más preferencias por B que por A. Esto ocurre porque todos los documentos, excepto a, están mejor posicionados en B.

Team-Draft Interleaving

Fue creado para corregir exactamente eso, y la analogía de los autores es la de elegir equipos para un partido amistoso. Los dos rankers son capitanes. En cada ronda se sortea quién elige primero, y cada capitán toma al mejor jugador todavía disponible de su lista, colocándolo en su equipo y al final de la lista mezclada.

El clic se acredita al equipo de quien eligió el resultado clicado. Si el equipo A recibe más clics que el B en la consulta, la consulta cuenta como victoria de A; si recibe menos, victoria de B; si recibe el mismo número, empate. Las consultas sin ningún clic se descartan.

La propiedad que esto garantiza es la que le faltaba al Balanced: un usuario que hace clic al azar produce, en expectativa, tantas preferencias por A como por B.

El estadístico y el test

Los autores definen un resumen único de la comparación:

Para decidir si la preferencia es significativa, el caso más simple es el test binomial de signo sobre las consultas con preferencia, contra la hipótesis de que cada ranker gana la mitad de las veces. Las consultas sin clic se descartan antes que nada.

Fíjese en lo que esta construcción descarta a propósito: el número de clics, la posición del clic, el tiempo en la página. Todo se convierte en un voto binario. Parece un desperdicio y es exactamente lo contrario: es descartar la fuente de varianza y quedarse solo con la señal comparativa. El mismo razonamiento aparece en el test de permutación y en las métricas de ratio, con otros ropajes.

El ejemplo trabajado: el mismo tráfico, dos lecturas opuestas

Escenario. Búsqueda interna de un marketplace, 40.000 búsquedas por semana, CTR medio de 28,00 por ciento. El ranker B reordena los resultados usando una señal nueva de disponibilidad. La hipótesis es que sea mejor, pero la expectativa de efecto es pequeña, algo alrededor de 2 por ciento relativo en el CTR.

Primero, cuánto cuesta medir esto con el A/B. Ponga en la calculadora de tamaño de muestra la base de 28,00 por ciento, MDE relativo de 2 por ciento, 95 por ciento de confianza y 80 por ciento de poder:

Tasa de conversión actual%Efecto mínimo detectablerelativo (%)absoluto (pp)Confianza909599%Poder8090%Visitantes por semana (total)Testbilateralunilateral

-Visitantes por variación

-Total (2 variaciones)

-Duración estimada

Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.

La respuesta es 101.526 búsquedas por brazo, es decir, 203.052 búsquedas en total, lo que da 36 días a 40.000 búsquedas por semana. Cinco semanas de ventana para decidir sobre un reordenamiento, y es solo un candidato entre varios en la fila.

Ahora el interleaving. El experimento corre durante 13 días con todo el tráfico de búsqueda pasando por la lista mezclada, lo que da 71.429 búsquedas. De ellas, 20.000 tuvieron al menos un clic y entran en la cuenta. El resultado:

desenlace de la consulta	cantidad
victorias del ranker B	6.300
victorias del ranker A	5.700
empates (hizo clic, pero los equipos empataron)	8.000
total de consultas con clic	20.000
consultas con preferencia (sin empates)	12.000

Aplicando el estadístico: delta vale (6.300 más 4.000) dividido por 20.000, menos 0,5, es decir, más 1,5000 por ciento a favor de B.

El test de signo sobre las 12.000 consultas con preferencia: la proporción observada es 0,525000, el valor de z es 5,4772 y el valor p es 4,3309 por 10 elevado a menos 8. No es un resultado en el límite, es una decisión cerrada.

La comparación justa. Ahora tome exactamente las mismas 71.429 búsquedas y gástelas en un test A/B clásico, dividiéndolas en 35.714 para el control y 35.715 para la variante. Con un CTR de 28,0002 por ciento en el control (10.000 clics) y de 28,5594 por ciento en la variante (10.200 clics), péguelo en la calculadora:

Control (A)

VisitantesConversiones

Variación (B)

VisitantesConversiones

Confianza90%95%99%

Control (A) · Tasa-

Variación (B) · Tasa-

Mejora relativa-

valor-p-

IC 95% de la diferencia-

Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.

La pantalla muestra 28,00 por ciento contra 28,56 por ciento, más 2,0 por ciento relativo, valor p de 0,0971 y el veredicto de que todavía no hay significancia. Es decir: no alcanzó. Sin el redondeo, la diferencia absoluta es de más 0,5592 puntos porcentuales, el z vale 1,6593, el valor p es 0,097060 y el intervalo de confianza va de menos 0,1013 a más 1,2197 puntos porcentuales, cruzando el cero.

método	datos consumidos	resultado	veredicto
test A/B de CTR	71.429 búsquedas (35.714 y 35.715 por brazo)	z 1,6593, valor p 0,097060	no concluyente
interleaving (Team-Draft)	las mismas 71.429 búsquedas	z 5,4772, valor p 0,000000043	B gana, con holgura

Estos dos resultados vienen del mismo tráfico, en el mismo período, sobre la misma diferencia entre rankers. Toda la diferencia está en el diseño de la comparación, no en la cantidad de datos.

Cuánto tráfico pide el interleaving, según el tamaño de la preferencia

El interleaving no tiene un tamaño de muestra fijo: depende de qué tan grande es el delta que produce el par de rankers. Con 95 por ciento de confianza, 80 por ciento de poder, test bilateral y suponiendo que el 60 por ciento de las consultas con clic generen preferencia (el resto empata):

delta	consultas con preferencia	consultas con clic	búsquedas (CTR 28%)	días a 40.000/semana	veces menos datos que el A/B
1,0%	7.062	11.770	42.036	8	4,83
1,5%	3.138	5.230	18.679	4	10,87
2,0%	1.764	2.940	10.500	2	19,34
3,0%	783	1.305	4.661	1	43,56
5,0%	281	469	1.675	1	121,23

La última columna compara con las 203.052 búsquedas que el test A/B de CTR exige para un efecto relativo de 2 por ciento. De ahí salen dos lecturas:

• El multiplicador no es una constante. Va de cerca de 5 veces hasta más de 120 veces en este mismo escenario, y depende enteramente de cuánta señal pareada produce el par de rankers.
• La relación entre delta y diferencia de CTR no es fija. Por eso los números publicados varían tanto entre empresas, y por eso ningún artículo puede prometerle “diez veces” antes de que usted lo corra.

Hay también un detalle del diseño que suele pasar desapercibido, y que los autores registran: para un mismo número de consultas en el eje, una comparación absoluta consume el doble de datos que una comparación intercalada, porque exige dos baldes no comparativos corriendo al mismo tiempo.

Los números publicados, y lo que realmente dicen

fuente	contexto	ganancia reportada
Chapelle, Joachims, Radlinski y Yue (2012)	Yahoo, seis pares de rankers, contra la mejor métrica absoluta (Clicks@1)	razones de datos de 379,1 · 193,1 · 17,8 · 270,7 · 18,9 · 0,69
mismos autores, análisis por tiempo	Yahoo, par BY contra DY	el interleaving tarda cerca de 1 hora en llegar a una inconsistencia por debajo de 0,01; los baldes no comparativos tardan poco más de un día; razón de cerca de 22
mismos autores, contra juicio humano	Bing, conjunto de cerca de 12.000 consultas juzgadas	una consulta juzgada por un especialista equivale a cerca de diez consultas con clic en el interleaving
Zhang y coautores, búsqueda de Airbnb (KDD 2025)	Team Drafting con pares competitivos, más de cien experimentos	cerca de 50 veces de aceleración frente al test A/B
mismos autores, citando a Bi y coautores (Amazon Search, 2022)	interleaving balanceado	60 veces, sobre un corpus de 10 comparaciones

Tres observaciones honestas sobre esta tabla.

Primero, el 0,69 importa tanto como el 379,1. En uno de los seis pares de Yahoo, el interleaving necesitó más datos que la métrica absoluta. Los autores dicen exactamente eso: en todos los demás, el interleaving fue mucho más sensible, reduciendo el número de consultas necesarias en más de un orden de magnitud. Pero hubo una excepción, y está publicada.

Segundo, estos números salen de remuestreo empírico sobre pares reales de rankers, no de una fórmula. Describen lo que ocurrió en esos sistemas, con esas consultas.

Tercero, la fila de la consulta juzgada es la más subestimada. Cuantifica en qué medida el clic sustituye al evaluador humano, y muestra que una evaluación con diez mil consultas juzgadas por especialistas puede igualarse con cien mil consultas con clic, que aparecen solas en algunas horas de tráfico. Los autores registran además que, al descomponer de consultas a documentos, un par consulta y documento juzgado parece ofrecer tanta sensibilidad como una o dos consultas con clics.

Dónde se equivoca el interleaving, con casos documentados

Sensibilidad no es exactitud. Un método puede ser muy preciso y apuntar hacia el lado equivocado, y el interleaving tiene casos así, todos publicados.

Consulta ambigua con intenciones desbalanceadas. Los autores de 2012 construyen el caso: el 49 por ciento de los usuarios tiene la intención A, satisfecha por el documento a; el 49 por ciento tiene la intención B, satisfecha por b; el 2 por ciento tiene la intención C, satisfecha por c. El ranking R1, que empieza con (a, b), satisface al 98 por ciento de los usuarios con los dos primeros resultados. El ranking R2, que empieza con (b, c), satisface al 51 por ciento. Y aun así, suponiendo que cada usuario haga clic solo en el primer resultado relevante que encuentre, R2 gana el Team-Draft en el 51 por ciento de las comparaciones. El mejor ranking pierde.

El clic mide la expectativa, el juicio mide la página de destino. El clic ocurre sobre el título y el resumen, antes de que el usuario vea el contenido. Los autores dan ejemplos reales de esta divergencia: en la consulta “travel insurance”, las aseguradoras pequeñas enfocadas en el producto son más relevantes según el criterio del evaluador, pero los usuarios hacen clic en marcas conocidas. En la consulta “adobe”, la página institucional se considera la más relevante, pero casi nadie que busca eso quiere la página institucional, sino la descarga del lector de PDF. En “bank of america”, los usuarios prefieren la página de banca en línea y los evaluadores prefieren la home.

Optimización a nivel de conjunto. El equipo de búsqueda de Airbnb documenta el caso más útil para producto. Un ranker de tratamiento se hizo para optimizar un objetivo secundario manteniendo la conversión neutra, reordenando anuncios que antes estaban ordenados por probabilidad de reserva. En el test A/B, la conversión quedó de hecho neutra. En el interleaving, el resultado fue significativamente negativo: puestos lado a lado en la misma lista, los anuncios del grupo de control parecían más atractivos, y los usuarios migraban hacia ellos. La mezcla cambió lo que se estaba evaluando.

Los mismos autores enumeran dos límites más del método en su producto: cuando la lista de búsqueda también alimenta otra superficie, como la vista de mapa, mezclar arriesga estropear la experiencia; y no es directo construir una métrica con significado para un desenlace continuo como el ingreso.

Dónde encaja en el proceso, y dónde no

El uso que describen las dos empresas es el mismo, y no es sustitución: el interleaving es filtro, el test A/B es veredicto de negocio. En Airbnb, entre 29 pares de interleaving y test A/B, los dos coincidieron en la dirección el 82 por ciento de las veces, con un coeficiente de correlación de 0,6 entre las estimaciones puntuales. Es decir: buena concordancia, lejos de perfecta, y los desacuerdos son informativos en lugar de ruido.

pregunta	quién responde
¿cuál de estos 8 candidatos de ranking merece una ventana de A/B?	interleaving
¿el candidato elegido aumenta el ingreso?	test A/B
¿el candidato perjudica alguna métrica de guardrail?	test A/B
¿la ganancia persiste después de 6 semanas?	test A/B con holdout
¿la diferencia entre dos rankers es perceptible para el usuario?	interleaving

Esto cambia la economía de todo el programa de ranking, y es el mismo argumento de la velocidad de experimentación: si cada candidato necesita cinco semanas de A/B, usted testea diez por año; si ocho candidatos pasan por un filtro de pocos días y solo el ganador ocupa la ventana de A/B, el número de ideas evaluadas por año cambia de escala sin aumentar el tráfico.

Y el prerrequisito práctico es alto. El interleaving exige que el sistema de ranking sepa ejecutar dos rankers por consulta, mezclar las listas con sorteo por ronda, sellar el origen de cada resultado y registrar el clic con ese sello. Eso es ingeniería dentro de la búsqueda, no configuración en una herramienta de test A/B. Ninguna herramienta de CRO de página hace esto, y está bien: son capas distintas del producto.

Cómo aplicar esto en la práctica

1. Confirme que su caso es un ordenamiento de ítems comparables. Búsqueda interna, recomendación, feed. Si es layout de página, el método no aplica.
2. Use Team-Draft, no Balanced. El sesgo del Balanced con listas casi idénticas es conocido y está demostrado, y las listas casi idénticas son el caso común cuando se ajusta un ranker.
3. Sortee quién elige primero en cada ronda, no una vez por consulta. Es ese sorteo por ronda el que garantiza la neutralidad frente al clic al azar.
4. Descarte las consultas sin clic antes de contar. No llevan información de preferencia y solo diluyen la cuenta.
5. Registre los empates por separado. La proporción de empates es un diagnóstico: demasiados empates suelen significar que los dos rankers son casi iguales en el top.
6. No convierta delta en ingreso. Mide preferencia revelada, no valor de negocio. Quien tiende el puente es el A/B, y la frontera es la misma que se discute en métrica sustituta.
7. Úselo como filtro de fila. Corra varios candidatos en interleaving y mande al A/B solo al ganador, que es el patrón descrito por los equipos de Yahoo, Bing y Airbnb.
8. Desconfíe cuando interleaving y A/B discrepen, en ambos sentidos. Según Airbnb, la discrepancia ocurrió en cerca del 18 por ciento de los pares, y su caso mostró que la discrepancia tenía una explicación real.

Errores comunes

• Contar clics en lugar de consultas. Una consulta es un voto, sin importar si tuvo 1 o 5 clics. Contar clics trae de vuelta la varianza que el método existe para eliminar.
• Aplicar el test de signo incluyendo los empates. Los empates entran en el delta, pero no en el denominador del test de signo.
• Correr interleaving cuando los dos rankers devuelven conjuntos muy distintos. La mezcla se convierte en una lista que ninguno de los dos produciría, y la experiencia del usuario empeora de verdad.
• Interpretar delta como diferencia de CTR. Son escalas distintas, y no existe una conversión fija entre ellas.
• Concluir que el A/B quedó obsoleto. Responde a la pregunta de negocio, que el interleaving no responde.
• Olvidar que los usuarios se comparten entre experimentos. Mezclar listas de varios experimentos al mismo tiempo en la misma consulta crea interferencia; Airbnb lo resuelve con carriles separados de tráfico por experimento.
• Prometer el multiplicador de otra empresa. El 379,1 de Yahoo, el 50 de Airbnb y el 60 de Amazon son de esos sistemas, y la tabla de dimensionamiento de arriba muestra que el multiplicador varía en órdenes de magnitud dentro del mismo escenario.

Haga esto automático en Donnu

Vale ser directos: el interleaving no es algo que entregue una herramienta de test A/B, ni la nuestra. Vive dentro del sistema de ranking, porque exige ejecutar dos rankers por consulta y sellar el origen de cada resultado antes de que se monte la página. Cualquier proveedor que prometa “interleaving por script en el sitio” está describiendo otra cosa.

Lo que queda del lado de la herramienta de experimentación es la parte que suele perderse: el registro de qué candidato fue filtrado por qué lectura, y con qué métrica primaria declarada. Donnu guarda la configuración del experimento en el momento de la creación, con la métrica primaria y los guardrails declarados, y mantiene el historial congelado por experimento. En un flujo de dos etapas, eso es lo que permite responder, meses después, por qué ese ranker específico se ganó la ventana de A/B en lugar de otro.

La recomendación práctica de esta guía, para quien tiene búsqueda interna y todavía no se acercó a esto: empiece midiendo la proporción de consultas con clic y la dispersión del CTR entre consultas. Esos dos números dicen, antes de cualquier ingeniería, si su volumen admite una evaluación pareada y cuánto está perdiendo hoy al comparar medias. La calculadora de tamaño de muestra da el otro lado de la cuenta, el del test A/B que usted corre hoy.

Referencias

• Chapelle, O., Joachims, T., Radlinski, F. y Yue, Y. Large-Scale Validation and Analysis of Interleaved Search Evaluation. ACM Transactions on Information Systems, volumen 30, número 1, artículo 6, febrero de 2012. Fuente de la descripción de los métodos Balanced y Team-Draft, incluida la analogía de los capitanes que se turnan para elegir jugadores, el sorteo de quién elige primero en cada ronda y el crédito del clic al equipo que seleccionó el resultado; de la definición del estadístico delta como las victorias de A más la mitad de los empates sobre el total, menos 0,5, con el ejemplo de 40, 30 y 30 por ciento que resulta en 5 por ciento; del uso del test binomial de signo; del sesgo del Balanced con las listas (a, b, c, d) y (b, c, d, a), en el que un usuario que hace clic al azar produce más preferencias por B; del ejemplo de consulta ambigua con 49, 49 y 2 por ciento de intenciones en el que R2 gana en el 51 por ciento de las comparaciones pese a que R1 satisface al 98 por ciento de los usuarios; de las razones de datos de 379,1, 193,1, 17,8, 270,7, 18,9 y 0,69 contra Clicks@1 en los seis pares de Yahoo; del análisis temporal en el que el interleaving tarda cerca de una hora y los baldes no comparativos poco más de un día, con una razón de cerca de 22; del resultado de que una consulta juzgada equivale a cerca de diez consultas con clic, a partir de un conjunto de cerca de 12.000 consultas juzgadas en Bing, y de que un par consulta y documento juzgado equivale a una o dos consultas con clics; de la observación de que una comparación absoluta consume el doble de datos por exigir dos baldes no comparativos; de la conjetura de que la sensibilidad viene de que el test es pareado en consultas y usuarios y elicita la preferencia directamente; y de los ejemplos de divergencia entre clic y juicio en las consultas “travel insurance”, “adobe” y “bank of america”. cs.cornell.edu.
• Zhang, Q. y coautores. Harnessing the Power of Interleaving and Counterfactual Evaluation for Airbnb Search Ranking. KDD 2025, Toronto. Fuente del uso de Team Drafting con pares competitivos en la búsqueda de Airbnb, con más de cien experimentos realizados; de la validación con 29 pares de interleaving y test A/B, con alineación direccional de 82 por ciento y coeficiente de correlación de 0,6; de la ganancia de cerca de 50 veces frente al test A/B; de la referencia a Bi y coautores, de la búsqueda de Amazon, que reportaron 60 veces sobre un corpus de tamaño 10; del estudio de caso en el que un ranker que optimizaba un objetivo secundario quedó neutro en conversión en el A/B y significativamente negativo en el interleaving, porque lado a lado los anuncios del control parecían más atractivos; y de los tres límites declarados del método, que son la optimización a nivel de conjunto, las listas que alimentan otras superficies como la vista de mapa, y la dificultad de construir una métrica con significado para un desenlace continuo como el ingreso. arxiv.org.
• Kohavi, R., Deng, A., Longbotham, R. y Xu, Y. Seven Rules of Thumb for Web Site Experimenters. KDD 2014, Nueva York. Usado aquí como contrapunto sobre por qué las métricas absolutas exigen muchos más datos y por qué los resultados espectaculares publicados merecen escepticismo, en línea con la excepción del par con razón 0,69 registrada en el estudio de interleaving. exp-platform.com.

Lee también: Unidad de aleatorización · Test de permutación · Métricas de ratio · Métrica sustituta · Velocidad de experimentación · Calculadora de tamaño de muestra · Leia em português · Read in English