¿Qué es un test A/B? La guía completa (2026)

Test A/B es el método de comparar dos o más versiones de una página, un correo o un flujo, mostrando cada versión a una fracción aleatoria del público y midiendo cuál genera más conversiones. En lugar de cambiar tu página por corazonada y cruzar los dedos, dejas que el comportamiento de tus propios visitantes decida qué se queda.

Es la herramienta que transformó marketing y producto de opinión en evidencia. Pero existe un abismo entre “correr un test” y “correr un test que da una respuesta confiable”. Esta guía cubre los dos lados: el concepto, el paso a paso y, sobre todo, la estadística que separa un resultado real de un falso positivo, que es la parte que la mayoría de los artículos se salta. Tiene calculadoras en vivo, ejemplos trabajados con números reales y los errores que invalidan la mitad de los tests por ahí.

Qué es un test A/B, de forma directa

Un test A/B (también llamado test de división, o split test) toma una página con una tasa de conversión conocida y prueba una variación de ella contra la versión actual, con tráfico real, al mismo tiempo. La versión original es el control (A). La versión modificada es la variación (B). Cada visitante entra en un sorteo estable y ve A o B; al final, comparas las tasas de conversión y decides si el cambio valió la pena.

Un punto que casi nadie dice con claridad: un test A/B no prueba que B sea mejor. Estima la probabilidad de que B supere a A, dado lo observado. Quien promete certeza absoluta está vendiendo una ilusión. El trabajo estadístico existe justamente para decir cuán confiado puedes estar de que la diferencia que viste no fue suerte.

Los términos que necesitas conocer

• Conversión: la acción que quieres que ocurra (una compra, un registro, un clic, un lead).
• Tasa de conversión: conversiones divididas entre visitantes. 210 compras en 4.200 visitantes es una tasa del 5%.
• Control y variación: la versión actual (A) y la que estás probando (B). Se puede probar más de una variación (A/B/n).
• Métrica primaria: el número que decide el test. Las demás son secundarias o de guarda (guardrail), que monitoreas para no empeorar sin querer.
• Significancia estadística: cuánto es improbable que la diferencia observada haya surgido solo por azar.

De dónde viene el test A/B

La idea es más antigua que internet. En la década de 1920, el estadístico Ronald Fisher formalizó el experimento controlado con grupos aleatorios en la investigación agrícola: la misma lógica de “compara con un control y deja que el azar se distribuya por igual” que usamos hoy. En la misma época, en publicidad, Claude Hopkins ya predicaba anuncios medibles con cupones rastreables. El salto a la web llegó en los años 2000: Google se hizo famosa por probar decenas de tonos de azul en enlaces para descubrir cuál generaba más clics, y herramientas como Optimizely popularizaron el test A/B en el marketing digital.

¿Por qué te importa esto? Porque el método es maduro y está muy bien entendido. Los errores que invalidan un test también se conocen desde hace décadas, lo que significa que se puede evitar cada uno de ellos a propósito, en vez de tropezar con ellos.

Cómo funciona un test A/B, paso a paso

El flujo es siempre el mismo, sea cual sea la herramienta:

1. Hipótesis. Una frase testeable: “cambiar el texto del botón de Comprar a Agregar al carrito va a aumentar los clics, porque reduce el miedo a ir directo al pago”.
2. Variaciones. A = control (la página tal como está), B = variación (el cambio aislado). Cambia una sola cosa a la vez, o no vas a saber qué movió la aguja.
3. División aleatoria. Cada visitante cae en A o B por sorteo, y queda “pegado” a la misma versión en las próximas visitas.
4. Recolección. La herramienta cuenta visitantes y conversiones de cada lado, en vivo.
5. Análisis y decisión. Cuando hay evidencia suficiente, declaras al ganador. Si no la hay, el test es inconcluso, y eso es un resultado legítimo, no un fracaso.

Un test A/B honesto exige tres cosas al mismo tiempo: muestra suficiente, tiempo suficiente y una diferencia estadísticamente sólida. Si falta cualquiera de ellas, el “ganador” puede ser ruido.

Qué se puede testear (y dónde están las ganancias)

Casi todo elemento que influye en la decisión del visitante se puede testear:

• Propuesta de valor y título: la primera frase que la persona lee suele mover más la aguja que el color de cualquier botón.
• CTA (llamada a la acción): texto, color, tamaño, posición y cantidad de botones.
• Formularios: número de campos, etiquetas, división en pasos.
• Prueba social: testimonios, números de clientes, sellos de seguridad.
• Precio y oferta: forma de presentar planes, anclas de precio, garantías.
• Imágenes y video: héroe de la página, demostración, foto de producto.
• Flujo: checkout en una sola página o en pasos, onboarding de un SaaS.

¿Dónde vale la pena empezar? Donde el dinero se está fugando. Un embudo muestra en qué etapa pierdes más gente, y ahí es donde una ganancia porcentual se convierte en más ingresos:

El test A/B es la herramienta equivocada en algunos casos: cuando el volumen es demasiado bajo (el test tardaría meses), cuando la corrección es obvia y sin riesgo (un error, un enlace roto: simplemente arréglalo), o cuando tu pregunta es “por qué” ocurre algo, que se responde con investigación cualitativa (entrevistas, grabación de sesión), no con A/B.

¿A/B, A/B/n, split URL o multivariado?

“Test A/B” se convirtió en un término paraguas, pero hay tipos distintos, cada uno con su uso:

Tipo	Qué es	Cuándo usarlo
A/B	Control contra una variación, misma URL	El caso estándar: un cambio aislado y claro
A/B/n	Control contra varias variaciones (C, D…)	Cuando tienes varias buenas ideas y tráfico de sobra
Split URL	Cada versión es una página con URL propia, dividida por redirección	Rediseños grandes, o cuando la variación ya existe en otra página
Multivariado (MVT)	Prueba combinaciones de varios elementos a la vez	Para encontrar la mejor combinación, solo con tráfico alto (exige mucha muestra)

Empieza siempre por el A/B simple. El multivariado parece poderoso, pero el número de combinaciones se dispara y el tamaño de muestra necesario también.

Cómo escribir una hipótesis testeable

Un test sin hipótesis es una corazonada con barniz de método. Una buena hipótesis conecta una observación con un cambio, con el efecto esperado y con la métrica que va a medirlo. El formato que funciona:

Un ejemplo concreto: “porque el 62% de los carritos se abandonan en la etapa de envío (dato del embudo), creo que mostrar el costo de envío ya en la página del producto va a reducir el abandono, medido por la tasa de finalización de compra”. Fíjate en lo que esa frase te da gratis: la métrica primaria (finalización de compra), la dirección esperada (subir) y el origen (un dato, no una corazonada).

Las hipótesis débiles empiezan con “¿y si hacemos…”. Las hipótesis fuertes empiezan con una evidencia. Y antes de salir a testear todo, prioriza: marcos como PIE (Potencial, Importancia, Facilidad) o ICE (Impacto, Confianza, Esfuerzo) le dan una nota a cada idea, para que ataques primero las de mayor retorno, en vez de testear solo lo fácil de implementar.

La métrica que decide el test

Elige una métrica primaria, la que decide al ganador, y trata el resto como apoyo. Son tres roles:

• Primaria (el OEC, criterio general de evaluación): la conversión que importa. Una sola. Si tienes dos “primarias”, no tienes ninguna.
• Secundarias: ayudan a entender el porqué (clics, tiempo en la página, alcance de etapas), pero no deciden el test.
• De guarda (guardrail): lo que no puede empeorar mientras mejoras la primaria. ¿Subió la conversión pero se disparó la cancelación o la devolución? La guardrail te impide celebrar un desastre.

Una trampa común: elegir la métrica después de ver los datos. Si corres el test y solo entonces buscas qué número “dio victoria”, siempre vas a encontrar uno por azar. Define la primaria antes de mirar el resultado, y no la cambies a mitad de camino.

¿Cuántos visitantes necesitas?

Esta es la pregunta que hunde a la mayoría de los tests. Correrlo con poca gente no da un resultado “menos preciso”: da un resultado engañoso, en el que el ganador es suerte. El tamaño de muestra depende de tres factores:

1. Tasa de conversión actual. Cuanto menor la tasa, mayor la muestra. Detectar una mejora en una página que convierte al 1% exige mucha más gente que en una que convierte al 10%.
2. Efecto mínimo detectable (MDE). ¿Cuál es la menor ganancia que vale la pena descubrir? Detectar +20% es barato; detectar +2% cuesta una muestra enorme.
3. Rigor (confianza y poder). El estándar de mercado es 95% de confianza y 80% de poder. Más rigor, más muestra.

La relación entre el MDE y la muestra no es lineal, es brutal. Cortar a la mitad el efecto que quieres detectar multiplica la muestra por cerca de cuatro:

En vez de memorizar tablas, calcula para tu caso. Ajusta la tasa base, el efecto que quieres detectar y tu tráfico semanal, y mira cuántos visitantes y cuántos días necesita el test:

Tasa de conversión actual%Efecto mínimo detectablerelativo (%)absoluto (pp)Confianza909599%Poder8090%Visitantes por semana (total)Testbilateralunilateral

-Visitantes por variación

-Total (2 variaciones)

-Duración estimada

Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.

¿Quieres solo la herramienta, sin la guía? También vive en la calculadora de tamaño de muestra y en la guía de cuántos visitantes necesita un test A/B.

Duración: cuánto tiempo dejarlo corriendo

Aunque la muestra se alcance antes, corre el test durante al menos una o dos semanas completas. El comportamiento del lunes es distinto al del domingo; quien compra el día de pago no es quien navega el fin de semana. Terminar en tres días “porque ya se logró” captura solo una fracción sesgada de tu audiencia.

Y existe una trampa específica de quien se queda mirando el panel.

El problema del peeking (espiar y detenerse temprano)

Mirar el resultado todos los días y terminar en la primera vez que “dio significancia” parece inteligente, pero destruye la confiabilidad del test. Cada espiada es una nueva oportunidad de que el azar cruce la línea. Un test diseñado para 5% de falso positivo puede acercarse al 25% o 30% si te quedas espiando y deteniéndote en el mejor momento:

Pon el test en marcha sin engañarte

La estadística asume que la recolección está limpia. Algunos cuidados de ejecución separan un test confiable de basura con apariencia de dato:

• Test A/A antes del A/B. Corre dos versiones idénticas una contra la otra. Si “acusan” una diferencia significativa, tu herramienta o tu recolección tiene un problema, y ningún resultado de A/B después de eso va a valer.
• Anti-flicker (el efecto FOOC). En tests en el navegador, la página original puede parpadear un instante antes de que cargue la variación (el “flash of original content”). Esto sesga el test y empeora la experiencia. Una buena herramienta oculta y revela sin parpadear, y sin bloquear la carga.
• Client-side o server-side. En el navegador (client-side) es fácil de instalar y excelente para marketing; en el servidor (server-side) es más robusto, sin flicker, y el estándar para producto y SaaS. Elige según el caso, no según la facilidad.
• Corre las variaciones al mismo tiempo. Nunca compares “esta semana con B” contra “la semana pasada con A”: la estacionalidad y el ruido externo destruyen la comparación. El sorteo simultáneo es lo que aísla tu cambio de todo lo demás.
• Una unidad de aleatorización estable. El mismo visitante debe ver siempre la misma versión. Si alterna entre A y B, su conversión no pertenece a ningún lado y contamina a los dos.

Nada de esto es opcional. Es lo que separa “el número dice que B ganó” de “confío en el número que dice que B ganó”.

La estadística que separa la señal del ruido

Aquí es donde la mayoría de las guías huyen. No necesitas volverte estadístico, pero sí entender cuatro ideas.

Significancia y el valor p

El valor p responde: “si A y B fueran en realidad iguales, ¿cuál es la probabilidad de ver una diferencia tan grande como la que vi, solo por azar?”. Un valor p de 0,03 quiere decir 3% de probabilidad de que ese resultado sea fruto del azar. Por convención, un valor p por debajo de 0,05 (el famoso “95% de confianza”) se trata como significativo. No es magia ni un número sagrado: es un límite de riesgo que el mercado acordó.

Cuidado con la lectura al revés: significancia no es “95% de probabilidad de que B sea mejor”. Es “5% de probabilidad de que esté celebrando una victoria en vano”. Y “sin significancia” casi nunca quiere decir “las versiones son iguales”: quiere decir que faltó muestra para distinguirlas.

Poder, y los errores Tipo I y Tipo II

Todo test puede equivocarse de dos formas. El error Tipo I (falso positivo) es declarar un ganador que no existe, y la confianza del 95% controla esto en un 5%. El error Tipo II (falso negativo) es dejar pasar una mejora real, y el poder controla esto: 80% de poder significa 20% de probabilidad de perder un efecto verdadero. Por eso una muestra pequeña es peligrosa por los dos lados.

La fórmula, sin esconder nada

Para dos proporciones (la tasa de A y la de B), el test clásico calcula un puntaje z, que es la distancia entre las dos tasas medida en “desviaciones estándar del azar”:

Término a término, en español: p_A y p_B son las tasas de conversión de cada versión; n_A y n_B, los visitantes de cada una; p̄ es la tasa combinada de las dos (la estimación de “cómo sería si fueran iguales”). Cuanto mayor el z, más lejos del azar está la diferencia, y el valor p es solo la traducción de ese z a una probabilidad. Es exactamente esa cuenta la que hace por ti la calculadora de abajo.

Declara al ganador: calculadora de significancia

Pega los visitantes y las conversiones de cada versión. La calculadora devuelve las tasas, la mejora relativa, el valor p, el intervalo de confianza de la diferencia y un veredicto honesto:

Control (A)

VisitantesConversiones

Variación (B)

VisitantesConversiones

Confianza90%95%99%

Control (A) · Tasa-

Variación (B) · Tasa-

Mejora relativa-

valor-p-

IC 95% de la diferencia-

Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.

Un ejemplo trabajado, de principio a fin

Vamos a usar los números que ya están en la calculadora. El control (A) tuvo 210 conversiones en 4.200 visitantes; la variación (B), 273 en 4.200.

• Tasa de A: 210 ÷ 4.200 = 5,00%. Tasa de B: 273 ÷ 4.200 = 6,50%.
• Mejora relativa: (6,5 − 5,0) ÷ 5,0 = +30%. Parece excelente, pero la pregunta es: ¿es real?
• Tasa combinada p̄: (210 + 273) ÷ 8.400 = 5,75%.
• Error estándar: √[0,0575 · 0,9425 · (1÷4.200 + 1÷4.200)] ≈ 0,00508.
• Puntaje z: (0,065 − 0,050) ÷ 0,00508 ≈ 2,95.
• Valor p (bilateral) ≈ 0,003.

Con un valor p de 0,003 (muy por debajo de 0,05), el resultado es significativo: B gana. Y el intervalo de confianza del 95% de la diferencia queda alrededor de +0,5 a +2,5 puntos porcentuales, o sea, incluso en el peor escenario plausible B sigue siendo mejor. Fíjate cómo el dibujo visual cuenta la misma historia: las franjas de confianza de A y B casi no se tocan.

¿Frecuentista o bayesiano?

Existen dos escuelas para tomar esta decisión. La frecuentista es la del valor p y el nivel de significancia que acabamos de ver. La bayesiana responde de una forma más directa para quien decide: en vez de un valor p, da la probabilidad de que B sea mejor que A (“B tiene 97% de probabilidad de superar a A”) y la pérdida esperada si eliges mal.

Ninguna es universalmente superior. La bayesiana suele ser más intuitiva y maneja mejor las paradas anticipadas cuando está bien implementada; la frecuentista es el estándar de la industria y de la literatura. Lo que no cambia en ninguna de las dos: sigues necesitando muestra y tiempo suficientes, y no puedes hacer trampa con el peeking. La escuela no arregla un test mal diseñado.

¿Y cuando el resultado es inconcluso?

Este es el desenlace más común de todos, y casi nadie enseña qué hacer con él. “Inconcluso” no es empate ni fracaso: es falta de evidencia. Antes de descartar la idea, revisa tres cosas:

• ¿Faltó muestra o tiempo? Si te detuviste cerca del tamaño calculado, tal vez solo necesites dejarlo correr más. Si te detuviste mucho antes, el test nunca tuvo oportunidad de mostrar nada.
• ¿El efecto real es menor de lo que apuntabas? Una ganancia de +1% puede existir e incluso valer la pena, pero exigir mucha más gente para aparecer. Revisa tu MDE y recalcula la muestra.
• ¿El cambio era demasiado pequeño? Testear una palabra en un sitio de tráfico medio casi siempre da inconcluso. Prefiere cambios mayores, de mayor potencial.

Lo que no hay que hacer: salir a cortar los datos en fracciones (“¡pero en mobile B ganó!”) hasta encontrar un recorte significativo. Eso es pesca de datos, y genera falsos positivos en serie. Si quieres analizar por segmento, define el segmento antes de correr el test, no después.

Un test inconcluso bien documentado vale oro: te dice que esa palanca no mueve la aguja tanto como creías, y te ahorra reimplementar la misma idea dentro de seis meses.

Los errores que invalidan un test (y cómo detectar cada uno)

Error	Señal de alerta	Corrección
Detenerse temprano (peeking)	“Dio significancia el tercer día, voy a terminar”	Define la muestra y la duración antes; decide solo al final
Muestra pequeña	Pocos cientos de visitantes por lado	Calcula la muestra antes y respétala
División desigual (SRM)	A recibió 60% del tráfico, B 40%, sin motivo	Investiga error de redirección, bot o caché antes de confiar
Testear demasiadas cosas juntas	Cambió título, botón, imagen y precio a la vez	Aísla la variable, o usa multivariado diseñado para eso
Correr pocos días	Terminó antes de completar una semana	Corre ciclos completos, nunca solo los “días buenos”
Ignorar la significancia práctica	“Ganó, pero fue +0,1%”	Pregunta si la ganancia paga el esfuerzo de implementarla

El SRM (Sample Ratio Mismatch) merece un destaque especial: si configuraste 50/50 pero el tráfico llegó muy desbalanceado, algo se rompió en la recolección, y ningún número de ese test es confiable, aunque la diferencia parezca hermosa.

¿Cuánto es una “buena” tasa de conversión?

La respuesta honesta: el mejor referente es tu propio historial. Los rangos de mercado sirven solo para calibrar expectativas, y varían mucho según sector, dispositivo y fuente de tráfico. Como referencia aproximada, reportada por relevamientos de e-commerce y SaaS:

Contexto	Rango típico reportado	Observación
E-commerce (visitante → compra)	~1% a 3%	Varía fuerte según categoría y ticket
SaaS (visitante → trial)	~2% a 10%	Depende del canal y la intención
SaaS (trial → pago, self-service)	~15% a 25%	El onboarding pesa mucho
Lead gen (landing → formulario)	~5% a 15%	Los formularios cortos convierten más

Trata estos números como punto de partida, no como meta. Una tienda de artículo caro que convierte al 1% puede ser excelente; un SaaS de bajo esfuerzo que convierte al 2% para trial puede ser malo. Mide el tuyo, y mejora el tuyo.

Herramientas de test A/B (visión neutral)

No existe “la mejor herramienta”, existe la correcta para tu contexto. Las diferencias que importan a la hora de elegir:

Criterio	Por qué importa
Client-side vs. server-side	Client-side es fácil de instalar pero puede causar “parpadeo” (flicker); server-side es robusto para producto/SaaS
Modelo estadístico	Frecuentista vs. bayesiano cambia cómo lees y detienes el test
Impacto en la página	El script no puede bloquear ni retrasar la carga (afecta la conversión y el SEO)
Aislamiento de datos	En multicuenta, los datos de un cliente nunca pueden filtrarse a otro
Curva de instalación	¿Snippet único, integración con GTM, o exige desarrollador?

Donnu A/B se posiciona en este mapa como una opción client-side, bayesiana, de snippet ligero que no bloquea la página, con aislamiento de datos por cuenta. Pero el punto del cuadro es que elijas por criterio, no por marketing, el nuestro incluido.

Hazlo automático con Donnu

Acabas de ver el trabajo que da un test A/B honesto: calcular la muestra, respetar la duración, huir del peeking, revisar el SRM y leer la significancia sin engañarte. Donnu ya hace todo esto por defecto. Tú defines la hipótesis y la meta; Donnu dimensiona el test, recolecta con un snippet que nunca bloquea tu página, declara al ganador con estadística bayesiana honesta y mantiene los datos de cada cuenta aislados. Sin corazonadas, sin p-value theater.

Empieza una prueba gratis de 14 días y corre tu primer experimento hoy. Si quieres profundizar antes, mira los errores que invalidan un test A/B y cuántos visitantes necesita tu test. ¿Prefieres leerlo en portugués? Mira la versión en portugués de esta guía. ¿Prefieres leerlo en inglés? Mira la versión en inglés de esta guía.

Referencias

• Kohavi, R., Tang, D. & Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Material de apoyo en experimentguide.com.
• Miller, E. How Not To Run an A/B Test (el problema del peeking), 2010. evanmiller.org.
• Georgiev, G. Statistical Methods in Online A/B Testing. analytics-toolkit.com.
• Kohavi, R. et al. Seven Rules of Thumb for Web Site Experimenters. KDD, 2014.
• VWO. The Complete Guide to A/B Testing. vwo.com/ab-testing.