Test A/B vs Multivariado vs Split URL: cuál usar
Test A/B vs multivariado, en la práctica: tabla comparativa, el efecto de interacción, el costo real de muestra y un árbol de decisión.
📚 Este artículo es parte de la guía ¿Qué es un test A/B? La guía completa (2026).
Test A/B, A/B/n, split URL y multivariado resuelven preguntas diferentes. Si tienes un cambio aislado para validar, usa A/B. Si tienes varias ideas en competencia, A/B/n. Si la variación ya existe en una página con URL propia, o el rediseño es demasiado grande para intercambiar por JavaScript, split URL. Si necesitas saber cómo interactúan entre sí dos o más cambios, y tienes tráfico de sobra, multivariado (MVT). La confusión más cara es usar MVT cuando el tráfico no lo sostiene: el test nunca cierra, y pierdes meses sin respuesta.
| Tipo | Qué cambia | Nº de variaciones | Tráfico exigido | Qué revela | Mejor para |
|---|---|---|---|---|---|
| A/B | Un cambio aislado, misma URL | 2 (control + 1) | Bajo a medio | Si el cambio mueve la métrica | El caso estándar, cualquier sitio |
| A/B/n | Varias ideas en competencia, misma URL | 3 o más | Medio a alto (dividido entre todas) | Cuál de las variaciones gana | Cuando hay varias hipótesis buenas y tráfico para sostenerlas todas |
| Split URL | Página completa, URL propia | 2 o más páginas | Bajo a medio | Si la página nueva supera a la antigua | Rediseños grandes, variación que ya existe en otro lugar |
| Multivariado (MVT) | Combinaciones de varios elementos | Producto de las variantes (células) | Alto, crece por multiplicación | El efecto de cada elemento y la interacción entre ellos | Tráfico alto, elementos con interacción esperada |
El resto de este artículo profundiza en cada línea de esta tabla, con el punto que más gente falla: el motivo por el que el multivariado exige tanto tráfico, y cómo calcular eso para tu caso.
A/B, el caso estándar
El test A/B compara el control (A) contra una única variación (B), en la misma URL, con el tráfico dividido al azar. Es el diseño más simple que existe, y por eso es el punto de partida correcto para prácticamente cualquier test.
La fuerza del A/B es la claridad causal. Como solo una cosa cambia entre A y B, cualquier diferencia de conversión solo puede venir de ese cambio (descontado el azar, que la estadística del test mide). No existe ambigüedad sobre “qué causó qué”.
La limitación es la misma moneda por el otro lado: solo aprendes sobre un cambio a la vez. Si tienes cinco buenas ideas para el hero de la página, el A/B simple te obliga a elegir una, probarla, esperar el resultado, y solo entonces probar la siguiente. Para casos así existen el A/B/n y, en situaciones más raras, el multivariado.
A/B/n y split URL: dónde encaja cada uno
A/B/n es el A/B estirado a más de una variación: control A contra B, C, D, y así sucesivamente, todas corriendo al mismo tiempo, todas en la misma URL. Tiene sentido cuando tienes varias hipótesis en competencia sobre el mismo cambio (tres títulos distintos, por ejemplo) y tráfico suficiente para dividir entre todas sin vaciar cada brazo. El trade-off es directo: cada variación extra reduce la porción de tráfico que queda para las demás, así que el test tarda más en cerrar que un A/B de dos puntas.
Split URL resuelve un problema diferente: a veces la variación no es un ajuste de elementos en la misma página, es una página enteramente nueva, con estructura, plantilla o incluso dominio distintos. Forzar eso a convertirse en un intercambio de DOM vía JavaScript es frágil y lento. En el split URL, cada versión vive en su propia dirección, y una redirección (no el script en el navegador) decide qué página ve el visitante. Es el diseño correcto para rediseños completos, para migración de builder de páginas, o cuando la “variación B” ya existe: por ejemplo, una landing page más antigua que quieres comparar contra la actual.
Estadísticamente, el A/B/n y el split URL no cambian la matemática detrás del test A/B: siguen siendo comparaciones de proporciones, una contra la otra. Lo que cambia es dónde vive el contenido y cuántos brazos dividen el tráfico.
Qué es el test multivariado (MVT)
El multivariado prueba varias variables al mismo tiempo, cada una con dos o más variantes, y todas las combinaciones posibles entre ellas. Cada combinación única es una célula.
Un ejemplo simple: quieres probar dos elementos de la página, el título (2 variantes: A y B) y el color del botón (2 variantes: verde y ámbar). Eso genera 2 × 2 = 4 combinaciones, es decir, 4 células:
El resultado de un MVT no es solo “qué célula convirtió más”. Es la descomposición estadística de cuánto contribuyó cada variable por sí sola (el efecto principal del título, el efecto principal del color del botón) y cuánto contribuyeron juntas, más allá de lo que cada una haría por separado (el efecto de interacción). Es esa última parte, la interacción, la que solo el multivariado logra medir de verdad.
El efecto de interacción: el motivo real de que el MVT exista
Si las variables de una página nunca interactuaran, el multivariado sería solo una forma cara de hacer varios A/B al mismo tiempo, sin ganancia real sobre probar cada elemento en secuencia. El motivo de que el MVT exista es la posibilidad de interacción: cuando el efecto de un cambio cambia de signo o de tamaño según lo que esté presente en el otro.
Un ejemplo numérico, con tasas de conversión hipotéticas para ilustrar el mecanismo (no son mediciones reales):
| Combinación | Tasa de conversión |
|---|---|
| Título A + botón verde | 4,0% |
| Título A + botón ámbar | 5,5% |
| Título B + botón verde | 6,0% |
| Título B + botón ámbar | 4,5% |
Fíjate en lo que ocurre: con el botón verde, el título B vence al título A (6,0% contra 4,0%). Pero con el botón ámbar, el título A vence al título B (5,5% contra 4,5%). El “mejor título” depende del botón que esté a su lado. Esa inversión es la interacción.
Ahora imagina que hubieras probado título y botón en secuencia, como dos A/B separados. Fijas el botón que ya está en producción (digamos, verde), pruebas título A contra B, y B gana. Implementas B. Semanas después, pruebas el color del botón con el título B fijo, y el ámbar pierde feo, porque la combinación título B + ámbar es la peor fila de la tabla. Nunca sabrías que título A + ámbar era, en realidad, la segunda mejor combinación disponible. El A/B secuencial no tiene forma de ver esto: siempre prueba una variable con el resto de la página congelado, y la interacción solo aparece cuando ambas varían al mismo tiempo.
Eso no quiere decir que las interacciones sean comunes. En elementos de página que no compiten por la misma atención o por el mismo argumento (por ejemplo, el color de un sello de seguridad en el pie de página y el texto del título en la parte superior), la interacción suele ser pequeña o inexistente, y el A/B secuencial funciona bien. Las interacciones fuertes tienden a aparecer entre elementos que refuerzan o contradicen el mismo mensaje, como título y CTA, o precio y garantía.
El problema de tráfico del multivariado
Aquí está el punto que la mayoría de los equipos de marketing subestima: cada célula del multivariado es, en la práctica, un test A/B completo, y necesita la misma muestra mínima que un A/B simple necesitaría.
La regla de combinaciones es multiplicativa: toma el número de variantes de cada elemento y multiplícalos todos entre sí.
Dos elementos con 2 variantes cada uno: 2 × 2 = 4 células. Tres elementos con 2 variantes cada uno: 2 × 2 × 2 = 8 células. Entra un cuarto elemento y el número se duplica de nuevo. La muestra total del test no es la muestra de una célula dividida entre el número de células: es la muestra de una célula multiplicada por el número de células, porque cada célula, aisladamente, todavía necesita el mismo volumen que cualquier A/B necesitaría para detectar el mismo efecto con la misma confianza.
Vamos a usar un ejemplo trabajado con números reales. Parte de un escenario común: una página que convierte 5%, y quieres detectar una mejora relativa de 10% (de 5% a 5,5%), con 95% de confianza y 80% de poder, el estándar de mercado. El tamaño de muestra por variación (es decir, por célula) para este escenario es 31.234 visitantes.
Para un A/B simple (2 variaciones), eso significa un total de cerca de 62.468 visitantes hasta que el test cierre. Ahora aplica la misma muestra por célula a un multivariado:
| Diseño | Nº de células | Muestra total | Duración a 10 mil visitantes/semana |
|---|---|---|---|
| A/B simple (2 variaciones) | 2 | 62.468 | 44 días |
| Multivariado 2×2 (2 elementos, 2 variantes cada uno) | 4 | 124.936 | 88 días |
| Multivariado 2×2×2 (3 elementos, 2 variantes cada uno) | 8 | 249.872 | Sería necesario ~4x el tráfico semanal del A/B simple solo para mantener la misma duración de 44 días |
(Valores calculados con el mismo motor estadístico de la calculadora de este blog, para baseline de 5%, MDE relativo de 10%, 95% de confianza, 80% de poder, bilateral.)
La muestra no se duplica con 4 células, se cuadruplica en relación con el A/B simple, porque el A/B simple ya usa 2 células (2 × 31.234) y el MVT 2×2 usa 4 (4 × 31.234). Con 8 células, el total pasa de 249 mil visitantes, casi 8 veces el de un A/B común. En un sitio con 10 mil visitantes por semana, el test 2×2 tomaría el doble de tiempo de un A/B simple (88 días contra 44); el 2×2×2 exigiría un tráfico bastante mayor para no arrastrarse durante meses.
Ese es el motivo real de que el multivariado sea raro fuera de sitios con tráfico muy alto: la matemática de combinaciones crece más rápido de lo que sugiere la intuición, y cada célula “barata” aisladamente se convierte en una muestra total cara cuando se multiplica.
Full factorial vs fraccionado (Taguchi): recortando tráfico
Existe una salida parcial para el problema de tráfico: en vez de probar todas las combinaciones (el diseño full factorial, que es lo que describimos hasta aquí), probar un subconjunto ortogonal de ellas. Este diseño, popularizado por el ingeniero Genichi Taguchi en la industria, elige un número menor de combinaciones de forma que aún sea posible estimar el efecto principal de cada elemento, sin pasar por toda la cuadrícula de combinaciones.
La honestidad aquí importa: el diseño fraccionado ahorra tráfico, pero paga el precio en visibilidad. Logra aislar bien los efectos principales (el efecto del título solo, el efecto del botón solo), pero pierde la capacidad de detectar interacciones de orden más alto, exactamente el tipo de efecto que motivó el multivariado en primer lugar. Si la razón por la que estás probando varias variables al mismo tiempo es cazar interacción, un diseño fraccionado que sacrifica la interacción para ahorrar tráfico está, en cierta forma, tirando por la borda el motivo del test.
En la práctica, para la mayoría de los equipos de marketing y producto, el diseño fraccionado es raro fuera de operaciones de CRO grandes con equipo estadístico dedicado. Es más simple, y casi siempre más barato en esfuerzo de implementación, correr full factorial solo cuando el tráfico lo sostiene, o cambiar el multivariado por una secuencia de A/B bien priorizados.
Árbol de decisión: cuál elegir
Resume la decisión en cuatro preguntas: cuánto tráfico mensual tienes, cuántos cambios quieres probar, si tienen interacción esperada entre sí, y cuánto plazo tienes disponible.
Cuándo el multivariado no vale la pena
El veredicto honesto: para la mayoría de los sitios de tráfico medio, el multivariado no vale la pena. No porque el método sea malo, sino porque el costo en tiempo casi siempre supera la ganancia en información.
Considera el ejemplo trabajado arriba: un multivariado 2×2 simple, el diseño de MVT más pequeño que existe, ya duplica la duración del test en relación con un A/B común, con el mismo tráfico. Un 2×2×2, todavía modesto (solo 3 elementos, 2 variantes cada uno), exige casi 8 veces la muestra de un A/B simple. Los sitios que reciben algunos cientos o pocos miles de visitantes por semana simplemente no generan ese volumen en un plazo razonable, y el test se convierte en un proyecto de meses que nunca cierra con confianza.
En la práctica, la mayoría de las “interacciones” que los equipos de marketing quieren capturar (título con botón, imagen con prueba social) puede aproximarse suficientemente bien probando en secuencia, vía A/B/n, las combinaciones con más probabilidad de ganar, con una fracción del tráfico. Pierdes la garantía estadística de haber mapeado todas las interacciones posibles, pero ganas una respuesta en semanas, no en meses, y eso casi siempre compensa.
El multivariado compensa cuando tres cosas coexisten al mismo tiempo: tráfico alto (el suficiente para llenar todas las células en un plazo aceptable), una razón concreta para esperar interacción fuerte entre los elementos, y un plazo que sostenga el test corriendo durante más tiempo que un A/B común. Fuera de esa combinación, prefiere el A/B simple o el A/B/n.
Calculando la muestra por célula en la práctica
La calculadora de abajo calcula el tamaño de muestra de una variación, es decir, de una célula. Ajusta la tasa de conversión actual, el efecto mínimo que quieres detectar y el tráfico semanal disponible, para tu caso real:
Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.
Para transformar ese número en un presupuesto de multivariado, el paso es siempre el mismo: toma la muestra por célula que la calculadora devolvió y multiplícala por el número de células de tu diseño (el producto de las variantes de cada elemento, como se mostró en el ejemplo trabajado arriba). Si el resultado pasa de algunos meses en tu tráfico actual, esa ya es una señal de que vale la pena reconsiderar el diseño, ya sea reduciendo el número de elementos probados, ya sea volviendo a una secuencia de A/B/n.
Haz esto automático en Donnu
Elegir entre A/B, A/B/n, split URL y multivariado es la primera decisión que separa un test que cierra de uno que se arrastra sin respuesta. Y después de elegir, todavía falta dimensionar la muestra correcta para no declarar un ganador demasiado pronto ni dejar el test corriendo más de la cuenta. Donnu se encarga de esa segunda parte: tú defines la hipótesis, Donnu dimensiona el test según tu tráfico real, recolecta datos con un snippet ligero que nunca traba la página, y declara el ganador con estadística bayesiana honesta.
Comienza una prueba gratis de 14 días y arma tu primer experimento con el tipo de test correcto desde el inicio. Para entender la base estadística detrás de cualquiera de estos diseños, mira qué es un test A/B y cómo declarar significancia estadística sin engañarte.
Lee también: ¿Qué es un test A/B? La guía completa · Cómo hacer un test A/B paso a paso · El problema del peeking en tests A/B
Referencias
- Kohavi, R., Tang, D. & Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Material de apoyo en experimentguide.com.
- VWO. Multivariate Testing: The Complete Guide. vwo.com/ab-testing.
- CXL. Multivariate Testing vs A/B Testing: What’s the Difference? cxl.com.
- Nielsen Norman Group. A/B Testing 101. nngroup.com.
- Optimizely. Multivariate Testing. optimizely.com.
Preguntas frecuentes
- ¿Cuál es la diferencia entre test A/B y test multivariado?
- El A/B compara dos versiones completas de una página, una contra la otra. El multivariado (MVT) prueba varios cambios pequeños al mismo tiempo, en todas las combinaciones posibles, para descubrir tanto el efecto de cada uno como el efecto conjunto entre ellos. El MVT exige mucho más tráfico, porque cada combinación se convierte en una célula que necesita la misma muestra que un A/B simple.
- ¿El split URL es lo mismo que un test A/B?
- Es una variación técnica de él. En el A/B clásico, las versiones viven en la misma URL y la herramienta cambia elementos al vuelo. En el split URL, cada versión es una página con dirección propia, y el visitante es redirigido a una de ellas. La lógica estadística es idéntica; lo único que cambia es dónde vive el contenido.
- ¿Cuándo vale la pena ejecutar un test multivariado?
- Cuando tienes tráfico alto (decenas de miles de visitantes por semana), quieres probar dos o más cambios que pueden interactuar entre sí (por ejemplo, título e imagen del hero) y tienes tiempo para dejar el test corriendo durante varias semanas. Fuera de eso, el A/B simple o el A/B/n suelen entregar una respuesta más rápida con el mismo tráfico.
- ¿Por qué el multivariado necesita tanto más tráfico que el A/B?
- Porque cada combinación de elementos se convierte en una célula, y cada célula es, en la práctica, un A/B completo que necesita la misma muestra mínima. Un test con 2 elementos y 2 variantes cada uno genera 4 células; con 3 elementos y 2 variantes, 8 células. La muestra total es la muestra de una célula multiplicada por el número de células, no dividida entre él.
- ¿Qué es el efecto de interacción y por qué importa?
- Es cuando el desempeño de un cambio depende de que otro cambio esté presente. Un título puede ganar con un botón y perder con otro. Los tests A/B secuenciales, hechos uno a la vez, nunca capturan esto, porque cada test corre con el resto de la página fija. Solo probar las combinaciones al mismo tiempo revela la interacción.
- ¿Full factorial o fraccionado: cuál elegir?
- El full factorial prueba todas las combinaciones posibles y mide todas las interacciones, pero cuesta el tráfico completo. El fraccionado (diseño tipo Taguchi) prueba un subconjunto ortogonal de las combinaciones, ahorrando tráfico, a costa de perder visibilidad sobre interacciones de orden más alto. Para la mayoría de los equipos de marketing, el fraccionado rara vez compensa la complejidad: es más simple correr tests A/B secuenciales.
- ¿Se puede usar la calculadora de muestra de A/B para dimensionar un multivariado?
- Sí, con un ajuste. La calculadora de tamaño de muestra devuelve el número de visitantes por variación, es decir, por célula. Para saber el total del multivariado, multiplica ese número por la cantidad de células (el producto del número de variantes de cada elemento).