Test A/B de Recomendación de Producto: ¿Convierte de Verdad?
Test de recomendación de producto: la métrica que engaña, canibalización, el control honesto, costo de latencia y cómo dimensionar el experimento.
📚 Este artículo es parte de la guía Optimización de Checkout: el Playbook de Test A/B.
Un test A/B de recomendación de producto compara una versión de la tienda con sugerencias automáticas contra otra sin ellas (o con una lógica de sugerencia distinta), para descubrir si la personalización genera un pedido nuevo o solo mueve la misma venta de lugar. Es uno de los tests en que la métrica que la herramienta muestra en la pantalla principal es justamente la que más engaña. Este artículo forma parte del playbook completo de optimización de checkout y cubre qué testear, qué métrica decide, cómo montar un control honesto, cuánto tráfico exige el experimento y las trampas específicas de la personalización.
Qué hace realmente un bloque de recomendación de producto
Un bloque de recomendación resuelve un problema concreto: en una tienda con catálogo grande, la mayor parte de los productos nunca se ve, y el visitante que no encuentra el artículo correcto se va sin comprar. La recomendación abrevia esa búsqueda. El problema es que lo hace ocupando espacio en una página que ya tenía un objetivo, y no siempre el desvío de atención compensa.
Tres posiciones concentran la mayor parte de las implementaciones, y cada una testea una hipótesis distinta:
- En la página de producto. La hipótesis es de descubrimiento: “este artículo no es exactamente lo que quieres, mira alternativas parecidas”. Ayuda a quien llegó por búsqueda genérica y estorba a quien ya decidió.
- En el carrito. La hipótesis es de ticket: “quien se llevó esto también se llevó aquello”. Es la posición con mayor probabilidad de aumentar el valor del pedido y mayor riesgo de añadir fricción en la etapa más sensible del embudo.
- Después de la compra (confirmación o correo). La hipótesis es de recompra: ningún riesgo para el pedido actual, efecto medido en el ciclo siguiente. Es la posición más segura y la más lenta de evaluar.
La métrica que engaña: el clic en el widget
Toda herramienta de recomendación muestra, en el panel inicial, la tasa de clic en el bloque y los ingresos atribuidos a él. Los dos números casi siempre parecen excelentes, y ninguno de los dos responde la pregunta del test.
La tasa de clic mide atractivo visual, no incremento. Un carrusel bien diseñado recibe clics en cualquier tienda. Los ingresos atribuidos son peores, porque incorporan un supuesto silencioso: que la compra hecha después de un clic en el widget no habría ocurrido sin él. En la práctica, buena parte de ella sí habría ocurrido.
Eso tiene nombre: canibalización. Tres formas comunes:
- El visitante ya iba a comprar el producto A, hace clic en una recomendación, compra el producto B. La tienda registra una venta atribuida a la recomendación, y el total de pedidos no cambió.
- El visitante compraría de todas formas, y el artículo recomendado es más barato que el original. La recomendación aparece como victoria y el ticket cae.
- El visitante entra en una espiral de navegación entre productos sugeridos, no decide nada y se va. Ningún panel de widget registra ese caso.
La lectura correcta ignora completamente a quien hizo clic y compara a todos los visitantes de cada variación: cuántos pedidos por visitante, cuántos ingresos por visitante. Es la única forma de medir incremento en lugar de atribución.
El control honesto: más vendidos contra algoritmo
El segundo error estructural de este tipo de test es la elección del control. Comparar “con recomendación” contra “sin nada” mide el valor de ocupar ese espacio con cualquier cosa, no el valor de la personalización. Una lista estática de más vendidos de la categoría es un control fuerte y barato: entrega productos con prueba social alta, stock garantizado y cero latencia extra.
| Lógica de recomendación | Qué usa | Cuándo suele ganar | Costo y riesgo |
|---|---|---|---|
| Más vendidos de la categoría | Histórico agregado de ventas | Catálogo pequeño, tráfico nuevo, productos de rotación rápida | Prácticamente ninguno; es el control a batir |
| Reglas manuales (curaduría) | Relaciones definidas por quien conoce el catálogo | Catálogos con relación obvia entre artículos (kits, accesorios) | Costo de mantenimiento; envejece en silencio |
| Comprado junto (colaborativo) | Coocurrencia de artículos en pedidos anteriores | Catálogos grandes con histórico voluminoso | Cold start en producto nuevo; refuerza lo que ya vende |
| Basado en comportamiento de la sesión | Navegación reciente del propio visitante | Sesiones largas de exploración | Depende de dato personal; exige base legal en la normativa aplicable |
| Modelo predictivo por perfil | Combinación de histórico, perfil y contexto | Bases logueadas grandes y recurrentes | Infraestructura, latencia y menor explicabilidad |
Una consecuencia práctica de esa tabla: si tu tienda todavía no tiene un bloque de más vendidos bien colocado, ese es el test a correr primero. Es más barato, más rápido de implementar y establece la línea de base contra la cual cualquier algoritmo tendrá que probar su valor después.
Dimensionando el test
Ajusta la tasa de pedido actual, la ganancia mínima que justificaría mantener la recomendación (incluyendo el costo mensual de la herramienta) y el tráfico semanal real:
Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.
Un ejemplo trabajado con números reales
Una tienda convierte 2,2% de los visitantes en pedido y recibe 50.000 visitas por semana. El equipo quiere encender un bloque de recomendación en la página de producto.
Detectar una mejora relativa de 8% (de 2,2% a 2,376%), con 95% de confianza y 80% de poder, exige 113.296 visitantes por variación, lo que lleva cerca de 32 días. Apuntando a 12% relativo (de 2,2% a 2,464%), el requisito baja a 51.299 por variación y el test cierra en cerca de 15 días. Fíjate en el tamaño de esos números: por eso los tests de recomendación con pocos miles de visitantes por lado terminan casi siempre inconcluyentes, y el equipo acaba decidiendo por la tasa de clic del widget, que es exactamente lo que no se debe hacer.
Supón que el test corrió hasta 52.000 visitantes por variación y cerró con 1.144 pedidos en el control (2,20%) contra 1.248 en la variación con recomendación (2,40%). Corriendo los cuatro números en el motor de significancia del blog: z = 2,15, valor p ≈ 0,0315, con intervalo de confianza de 95% de la diferencia entre +0,02 y +0,38 punto porcentual, y mejora relativa observada de +9,1%. El resultado es significativo, y el intervalo es un recordatorio importante de cuán impreciso puede ser un resultado significativo: la ganancia verdadera puede ser tan pequeña como 0,02 punto, prácticamente nada.
¿La ganancia paga la herramienta?
Esa es la pregunta que cierra el test. Sobre 52.000 visitas, la ganancia de 2,20% a 2,40%, con un ticket medio de R$ 180, genera R$ 18.720 de ingresos incrementales en el período del test. Eso son ingresos, no beneficio: descontados el margen bruto y el costo mensual de la herramienta de recomendación, el número real queda bastante menor.
Y aquí es donde el límite inferior del intervalo marca la diferencia. Si la ganancia verdadera está cerca de +0,02 punto en lugar de +0,20, los ingresos incrementales caen a cerca de una décima parte de ese valor, lo que puede no pagar ni la suscripción de la herramienta. Para una decisión de inversión, usa el límite inferior; para priorizar el próximo test, usa el punto central. La guía de significancia estadística detalla cómo leer cada uno de esos números.
Test puntual u holdout permanente
La recomendación es una de las pocas palancas de ecommerce en que vale mantener un grupo de control después de que el test termine. La razón es simple: el algoritmo cambia solo. Reaprende con los pedidos nuevos, reacciona a cambios de catálogo y de stock, y lo que funcionaba en marzo puede estar neutro en septiembre sin que nadie haya alterado una línea de configuración.
Un test puntual responde “encender la recomendación fue mejor que no encenderla, en aquellas semanas”. Un holdout permanente, una franja pequeña y fija del tráfico (típicamente entre 2% y 5%) que nunca ve la recomendación, responde una pregunta distinta y más duradera: “cuánto está entregando el algoritmo en este trimestre”. Es la misma lógica de guarda que los equipos de email marketing usan para medir el efecto de una automatización a lo largo del tiempo.
| Test puntual (A/B) | Holdout permanente | |
|---|---|---|
| Pregunta que responde | ¿Vale encenderlo? | ¿Cuánto está valiendo ahora? |
| Duración | Semanas, hasta cerrar la muestra | Continuo, leído por trimestre |
| Franja de tráfico en el control | 50% | Entre 2% y 5% |
| Costo | La mitad del tráfico sin la palanca durante semanas | Una franja pequeña permanentemente sin la palanca |
| Cuándo usarlo | Antes de contratar o implementar | Después de que la palanca sea parte de la tienda |
El costo del holdout es real y hay que decirlo con honestidad: si la recomendación de hecho convierte mejor, estás dejando dinero sobre la mesa en esa franja pequeña, todos los días. La contrapartida es saber, con números en lugar de fe, si la herramienta que pagas cada mes sigue entregando. Como la franja es pequeña, la lectura tarda más en acumular muestra, así que trata el holdout como un informe trimestral, no como un panel para mirar cada lunes.
Guardas obligatorias
| Guarda | Por qué monitorearla | Señal de alerta |
|---|---|---|
| Ticket medio | La recomendación puede sustituir un artículo caro por uno barato | Los pedidos suben y los ingresos por visitante se quedan igual o caen |
| Tiempo de carga | El bloque casi siempre viene de un servicio externo | La variación con recomendación carga perceptiblemente más lento, sobre todo en conexión móvil |
| Tasa de devolución | La compra por sugerencia tiene más probabilidad de no ser lo que la persona quería | La devolución sube en la variación ganadora en las semanas siguientes |
| Rotura de stock | El algoritmo tiende a concentrar tráfico en los mismos productos | Los artículos recomendados se agotan y el bloque pasa a sugerir indisponibles |
| Diversidad del catálogo vendido | La recomendación colaborativa refuerza lo que ya vende | La cola larga desaparece de las ventas y la tienda queda dependiente de pocos artículos |
La guarda de latencia merece destaque porque es la más frecuentemente olvidada. Un bloque que añade peticiones y JavaScript después del contenido principal cobra un peaje en toda visita, incluso en las que nunca miraron el carrusel. Si el bloque retrasa la renderización del producto, parte de la ganancia de descubrimiento vuelve como abandono por lentitud, y el test mide la suma de los dos efectos sin separar uno del otro.
Personalización, dato personal y protección de datos
La recomendación basada en más vendidos o en coocurrencia de pedidos trabaja con dato agregado. La recomendación basada en el comportamiento individual del visitante, o en el histórico de un cliente identificado, trata dato personal, y en Brasil eso exige base legal y transparencia según la LGPD (Ley 13.709/2018), con exigencias equivalentes en otras jurisdicciones.
Dos implicaciones prácticas para el diseño del test: la variación personalizada necesita respetar la misma política de consentimiento que la variación de control (si la personalización depende de cookies que parte de los visitantes rechaza, esa parte se comporta como control y diluye el efecto medido), y el aviso al usuario sobre el uso de los datos necesita ser igual en los dos lados, si no la diferencia de consentimiento se convierte en una variable de confusión que ninguna calculadora corrige después.
Trampas específicas del test de recomendación de producto
- Efecto de novedad. Un carrusel nuevo atrae atención por la simple novedad en las primeras semanas, especialmente entre clientes recurrentes. Corre el test durante al menos dos ciclos semanales completos y comprueba si el efecto se mantiene en el segundo.
- Encender la recomendación en toda la tienda de una vez. Produce un número agregado que no dice dónde funciona. Testea por posición.
- Cold start en producto nuevo. Los algoritmos colaborativos no saben recomendar lo que todavía no se ha comprado, y los productos recién lanzados quedan invisibles exactamente cuando más necesitan exposición.
- Cambiar el algoritmo en medio del test. Es la versión de personalización de cambiar el umbral en medio: los visitantes del comienzo vieron un producto distinto de los del final, dentro de la misma variación.
- Leer el resultado solo en el agregado. El efecto suele ser positivo en quien llega por búsqueda genérica y neutro o negativo en quien llega por búsqueda de producto específico. Declara esos segmentos antes de correr, como se recomienda en los errores que invalidan un test A/B.
Haz esto automático en Donnu
Testear recomendación de producto exige tres cosas al mismo tiempo: muestra suficientemente grande para un efecto pequeño sobre una tasa base baja, lectura por pedido e ingresos por visitante en lugar de clic en el widget, y un intervalo de confianza honesto para comparar con el costo real de la herramienta.
Donnu A/B entrega eso en tu sitio: snippet ligero que no retrasa la página de producto, dimensionamiento automático de muestra y estadística bayesiana sin inventar certeza. Empieza una prueba gratis de 14 días y descubre si tu recomendación genera venta nueva o solo cambia de lugar la venta que ya existía.
Lee también: Optimización de Checkout: el Playbook de Test A/B · Test A/B de Página de Producto · Test A/B de Upsell y Cross-Sell
Referencias
- Baymard Institute. Checkout Usability Research. Base de problemas de usabilidad documentados en investigación de ecommerce a gran escala, incluyendo navegación y descubrimiento de producto. baymard.com/research/checkout-usability.
- Baymard Institute. Cart Abandonment Rate Statistics. Promedio de 50 estudios sobre abandono de carrito y distribución de los motivos de abandono. baymard.com/lists/cart-abandonment-rate.
- Kohavi, R., Tang, D. & Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020, sobre efecto de novedad, métricas de guarda y lectura por segmento. Material de apoyo en experimentguide.com.
- Brasil. Ley General de Protección de Datos Personales (Ley 13.709/2018). Base legal y transparencia en el tratamiento de dato personal, lo que incluye la personalización basada en comportamiento individual. planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm.
Preguntas frecuentes
- ¿Qué métrica decide un test de recomendación de producto?
- Pedido por visitante e ingresos por visitante, nunca el clic en el bloque de recomendación. La tasa de clic en el widget es la métrica que la herramienta de recomendación muestra primero y la que siempre parece buena, porque cualquier bloque visualmente atractivo recibe clics. Lo que no separa es si ese clic generó una compra nueva o solo desvió una compra que ya iba a ocurrir. Solo la métrica al final del embudo, medida sobre todos los visitantes de la variación y no solo sobre quien hizo clic, responde eso.
- ¿Qué es la canibalización en un test de recomendación?
- Es cuando la recomendación captura una compra que ocurriría de todas formas, generalmente sustituyendo el producto que la persona ya había decidido comprar por otro sugerido. El panel del widget registra eso como una victoria, porque hubo clic y hubo venta atribuida al bloque. En el agregado de la tienda, sin embargo, el número de pedidos no cambia y el ticket puede incluso caer, si el artículo recomendado es más barato que el original. Por eso la lectura correcta compara a todos los visitantes de cada variación, no a los compradores atribuidos al widget.
- ¿La personalización con algoritmo le gana a una lista de más vendidos?
- No siempre, y esa es la comparación honesta que muchos tests evitan hacer. Una lista curada de más vendidos de la categoría es un control fuerte: ya entrega productos con prueba social alta y disponibilidad garantizada, sin costo de infraestructura y sin latencia extra. Un algoritmo de recomendación necesita ganarle a ese control, no a una página vacía. Si tu test compara personalización contra ninguna recomendación, mide el valor de tener un bloque, no el valor del algoritmo.
- ¿Cuánto tráfico exige un test de recomendación?
- Bastante, porque el efecto esperado suele ser pequeño y la tasa base de pedido es baja. Con la matemática de este blog, una tienda que convierte 2,2% y quiere detectar una mejora relativa de 8% necesita cerca de 113.296 visitantes por variación. Apuntando a 12% relativo, el requisito baja a cerca de 51.299 por variación, lo que con 50.000 visitas semanales cierra en torno de 15 días. Los tests de recomendación con pocos miles de visitantes por lado casi siempre terminan inconcluyentes.
- ¿El bloque de recomendación retrasa la página y eso afecta al test?
- Sí, y ese es un costo que rara vez entra en la cuenta. La mayor parte de los bloques de recomendación carga desde un servicio externo, después del contenido principal, y añade peticiones y JavaScript a la página. Si la variación con recomendación queda perceptiblemente más lenta, parte de la ganancia de descubrimiento se devuelve en abandono por lentitud, principalmente en conexión móvil. Mide el tiempo de carga por variación como métrica de guarda, y prefiere cargar el bloque de forma que nunca bloquee la renderización del producto principal.