Cómo Hacer un Test A/B Paso a Paso (con Calculadora)

Ejecutar un test A/B “de verdad” es: encontrar algo que valga la pena cambiar, escribir una hipótesis comprobable, dimensionar la muestra antes de empezar, configurar la división de tráfico sin sesgo, dejarlo correr el tiempo necesario sin espiar ni detenerte antes de tiempo, y solo entonces leer el resultado con el rigor que exige la estadística. Saltarte cualquiera de estas etapas no hace que el test sea “más rápido”, hace que el resultado no sea confiable, aunque el panel muestre un número bonito.

Esta guía recorre las ocho etapas en el orden en que realmente ocurren, con una calculadora de muestra y una de significancia integradas, y dos ejemplos resueltos con números reales para que sigas la cuenta de principio a fin. Para el concepto desde cero, consulta qué es un test A/B; para la matemática detrás de cada etapa, consulta la guía de significancia estadística.

Antes de empezar: ¿tienes tráfico suficiente?

No toda situación pide un test A/B. Si tu volumen es bajo, unos pocos cientos de visitantes al mes, un test bien diseñado puede tardar meses en cerrar, y probablemente prefieras cambiar directamente y monitorear. Si la corrección es obvia y sin riesgo, un enlace roto, un error de tipeo, simplemente corrígelo; nadie necesita prueba estadística de que arreglar un bug es bueno. Y si tu pregunta real es por qué algo sucede, y no si un cambio ayuda, eso pide investigación cualitativa (entrevistas, grabación de sesión), no un test cuantitativo.

Si ninguno de estos casos es el tuyo, la siguiente pregunta es simple: ¿tu tráfico sostiene el tamaño de efecto que quieres detectar? Una página con 800 visitas al mes y 3% de conversión va a tardar mucho en confirmar una ganancia modesta de +10%. Sin embargo, sí puede confirmar un cambio audaz de +40% en un plazo razonable. El tráfico bajo no te saca del juego, solo te dice qué tan audaz debe ser el cambio para caber en el tiempo que tienes.

También vale la pena elegir el formato correcto antes de salir a probar, porque eso cambia la cuenta de la muestra:

Formato	Qué es	Cuándo usarlo
A/B	Control contra una variación, misma URL	El caso estándar: un cambio aislado y claro
A/B/n	Control contra varias variaciones (C, D…)	Varias ideas fuertes y tráfico de sobra
Split URL	Cada versión es una página propia, dividida por redirección	Rediseños grandes, o la variación ya existe en otra página
Multivariado (MVT)	Prueba combinaciones de varios elementos juntos	Encontrar la mejor combinación, solo con tráfico muy alto

Empieza casi siempre por el A/B simple. El multivariado parece más eficiente, pero el número de combinaciones, y la muestra necesaria para separar cada una, crece demasiado rápido para la mayoría de los sitios.

Paso 1: encuentra qué vale la pena probar

No todos los elementos de una página merecen el mismo esfuerzo de prueba. Los lugares de mayor apalancamiento suelen ser la propuesta de valor y el título, el botón principal de acción, la longitud y la fricción del formulario, dónde aparece la prueba social, y cómo se presenta el precio. Un embudo con un punto claro de mayor pérdida es el mejor lugar para empezar: una ganancia de unos pocos puntos porcentuales en la fuga más grande del embudo vale más que la misma ganancia aplicada donde pasa poco tráfico.

Con una lista corta de ideas en mano, prioriza en lugar de probar lo que sea más fácil de construir. Dos frameworks comunes:

Framework	Criterios	Enfoque
ICE	Impacto, Confianza, Esfuerzo (nota de 1 a 10 cada uno)	Rankear ideas por el retorno esperado sobre el esfuerzo
PIE	Potencial, Importancia, Facilidad	Pesa más el tráfico y la atención que la página ya recibe

Ninguno de los dos es ciencia exacta. El valor de cualquiera de ellos es obligarte a escribir por qué una idea vale la pena probarse antes de que gastes tiempo construyéndola.

Paso 2: escribe una hipótesis comprobable

Un test sin hipótesis es una suposición disfrazada de método. Una hipótesis fuerte conecta una observación con un cambio, con un efecto esperado y con la métrica que lo va a medir:

Un ejemplo concreto: “porque el 58% de los visitantes abandona el checkout en la etapa de pago (dato del embudo), creo que agregar un sello de seguridad cerca del botón de pagar va a reducir el abandono, medido por la tasa de finalización de compra.” Fíjate en lo que esa frase ya entrega de gratis: la métrica primaria, la dirección esperada y el origen de la corazonada, un dato, no una sensación. Las hipótesis que empiezan con “¿y si probáramos…” tienden a ser débiles; las hipótesis que empiezan con un número o una observación tienden a ser fuertes.

Si todavía no tienes una hipótesis escrita, vale la pena tomarte el tiempo de estructurarla bien antes de seguir. Cubrimos la plantilla con más ejemplos y las trampas más comunes en la guía dedicada de cómo escribir una hipótesis de test A/B.

Paso 3: elige tus métricas

Elige una métrica primaria, el número que decide el test. Todo lo demás cumple un papel de apoyo:

Rol	Qué hace	Ejemplo
Primaria (OEC)	Decide al ganador, debe ser una sola	Tasa de finalización de compra
Secundaria	Ayuda a explicar el por qué, no decide	Clics en el CTA, tiempo en la página
Guardrail	No puede empeorar mientras la primaria mejora	Tasa de cancelación, reembolso

Un rediseño de checkout que aumenta la conversión pero dispara los reembolsos no es una victoria; la métrica guardrail existe justamente para detectar esto antes de que celebres demasiado pronto. Y elegir la métrica primaria después de mirar los datos es una trampa clásica: si corres el test y solo entonces sales a buscar qué número “ganó”, siempre vas a encontrar uno por casualidad. Fija esto antes del lanzamiento.

Paso 4: dimensiona el test

Esta es la etapa que decide si tu resultado va a significar algo. El tamaño de muestra depende de tres entradas: tu tasa de conversión actual, el Efecto Mínimo Detectable (la menor ganancia que vale la pena descubrir), y el rigor elegido (95% de confianza y 80% de poder son el estándar del mercado). La relación entre el efecto y la muestra no es lineal, es empinada: reducir a la mitad el efecto que quieres detectar multiplica la muestra necesaria por unas cuatro veces, y por eso mismo probar una palabra en un sitio de tráfico medio rara vez cierra con un resultado limpio.

Completa con tus propios números y mira los visitantes por variación y la duración estimada en vivo:

Tasa de conversión actual%Efecto mínimo detectablerelativo (%)absoluto (pp)Confianza909599%Poder8090%Visitantes por semana (total)Testbilateralunilateral

-Visitantes por variación

-Total (2 variaciones)

-Duración estimada

Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.

Para la matemática detrás de esta calculadora, consulta la sección de tamaño de muestra de la guía de significancia estadística, o usa directamente la calculadora de tamaño de muestra.

Un ejemplo resuelto

Digamos que tu página convierte hoy al 4%, y quieres poder detectar una ganancia relativa de +15% (es decir, acercarte al 4,6%), con el estándar de 95% de confianza y 80% de poder, test de dos colas. Corriendo esos números en la calculadora de arriba, el tamaño de muestra necesario es de 17.943 visitantes por variación.

Si tu sitio recibe cerca de 12.000 visitas por semana en total, divididas entre las dos variaciones, la duración estimada para alcanzar esa muestra es de 21 días, tres semanas completas. Es ese número, y no una sensación de “ya se puede ver”, lo que debería decidir cuándo miras el resultado por primera vez.

Paso 5: configura correctamente

La estadística parte del principio de que la recolección es limpia. Algunos cuidados de ejecución separan un test confiable de un test que solo parece confiable:

• Corre un test A/A antes. Pon dos versiones idénticas una contra la otra. Si “detectan” una diferencia significativa, tu herramienta o tu recolección tiene un problema, y ningún resultado de A/B después de eso debería tomarse en serio hasta corregirlo.
• División 50/50 y estable. El mismo visitante debe ver siempre la misma versión. Si alterna entre A y B en visitas distintas, su conversión no pertenece a ninguno de los dos grupos y contamina ambos.
• Cuidado con el anti-flicker (efecto FOOC). En tests en el navegador, la página original puede parpadear por una fracción de segundo antes de que cargue la variación (“flash of original content”), lo que sesga el resultado y empeora la experiencia. Una herramienta bien construida oculta y revela sin bloquear la carga de la página.
• Client-side o server-side. En el navegador es fácil de instalar y funciona bien para páginas de marketing; en el servidor es más robusto, no tiene flicker, y es el estándar para producto y SaaS. Elige según el caso de uso, no solo por la facilidad de instalación.
• Corre las variaciones al mismo tiempo. Nunca compares “esta semana con B” contra “la semana pasada con A”. La estacionalidad y el ruido externo contaminan la comparación. El sorteo simultáneo es lo que aísla tu cambio de todo lo demás que está pasando en el mundo.

Paso 6: déjalo correr, y no espíes para detenerte antes de tiempo

Mirar el panel todos los días y terminar en cuanto aparece “significativo” parece eficiente, pero destruye silenciosamente la confiabilidad del test. Cada mirada extra es una oportunidad más para que el ruido aleatorio cruce la línea de significancia. Un test diseñado para un 5% de falso positivo puede subir hasta 25% a 30% si te quedas espiando y te detienes la primera vez que aparece una victoria:

Para el desarrollo completo de este problema, con más ejemplos y las alternativas de test secuencial, consulta la guía dedicada del problema del peeking.

Además, corre el test durante al menos una a dos semanas completas, aunque alcances la muestra calculada antes de eso. El comportamiento de lunes no es el comportamiento de domingo, y quien compra el día de pago no es quien solo está navegando el fin de semana. Terminar en tres días “porque ya parece listo” captura solo una porción sesgada de tu audiencia real.

Paso 7: lee los resultados sin engañarte

Un valor p por debajo de 0,05 significa que hay menos de un 5% de probabilidad de que aparezca una diferencia de ese tamaño si las versiones fueran, en realidad, idénticas. No significa “95% de probabilidad de que B sea mejor”. Un intervalo de confianza suele ser más útil en la práctica: muestra el rango plausible de la ganancia, y si ese rango cruza el cero, el resultado todavía no es confiable, por bonito que parezca el número bruto.

Separa también la significancia estadística de la significancia práctica. Un valor p de 0,02 asociado a una ganancia de +0,1 punto porcentual es técnicamente real y probablemente no vale el costo de ingeniería de implementarlo. Decide, antes del test, qué tamaño de ganancia justificaría realmente poner el cambio en producción.

Pega tus propios números en la calculadora y mira las tasas, la ganancia relativa, el valor p, el intervalo de confianza de la diferencia y un veredicto honesto:

Control (A)

VisitantesConversiones

Variación (B)

VisitantesConversiones

Confianza90%95%99%

Control (A) · Tasa-

Variación (B) · Tasa-

Mejora relativa-

valor-p-

IC 95% de la diferencia-

Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.

Un ejemplo resuelto, con los números del test que dimensionamos arriba

Siguiendo el test del Paso 4 (21 días, 6.000 visitantes por variación por semana), imagina que al final de las tres semanas el control (A) cerró con 240 conversiones en 6.000 visitantes, y la variación (B), con 288 en 6.000.

• Tasa de A: 240 ÷ 6.000 = 4,0%. Tasa de B: 288 ÷ 6.000 = 4,8%.
• Ganancia relativa: (4,8 − 4,0) ÷ 4,0 = +20%, por encima del +15% para el que el test fue dimensionado.
• Puntuación z ≈ 2,14.
• Valor p (bilateral) ≈ 0,033.
• Intervalo de confianza del 95% de la diferencia: de aproximadamente +0,07 a +1,53 punto porcentual.

Con un valor p de 0,033 (por debajo de 0,05) y un intervalo de confianza que no cruza el cero, el resultado es significativo: B gana, incluso en el escenario más conservador del intervalo. Si el intervalo hubiera quedado, por ejemplo, entre −0,3 y +1,9 punto porcentual, el resultado sería inconcluso, a pesar de que la tasa bruta de B también pareciera mayor. Por eso mirar solo el promedio engaña.

Si tu resultado sale no significativo, eso es un desenlace legítimo y común, no un fracaso. Revisa si te detuviste antes de alcanzar la muestra calculada, si el efecto real puede ser menor que el MDE que buscabas, o si el cambio en sí era demasiado pequeño para mover una métrica con ese volumen de tráfico. Lo que no vale es ponerte a fraccionar los datos en segmentos en busca de un recorte que “diera victoria”: eso es pesca de datos, y fabrica falsos positivos en serie.

Paso 8: implementa al ganador, documenta e itera

Cuando una variación gana con limpieza, ponla en producción, pero considera una rampa gradual para cambios de alto riesgo en lugar de pasar al 100% del tráfico de una sola vez, para poder detectar cualquier métrica guardrail que se deteriore cuando toda la audiencia empiece a ver el cambio. Documenta qué se probó, por qué, y qué pasó, victoria, derrota o inconcluso, en un registro compartido.

Ese registro se convierte en memoria institucional: evita que la misma idea se vuelva a probar a ciegas dentro de seis meses por alguien que lo olvidó, y transforma una secuencia de tests aislados en un programa de experimentación que realmente acumula aprendizaje a lo largo del tiempo.

Hazlo automático con Donnu

Dimensionar el test, evitar el peeking, cuidar un rollout sin flicker y leer la significancia con honestidad: esa es la disciplina completa que exige un test A/B de verdad, y es trabajo manual en cada una de las ocho etapas. Donnu construye esto por defecto: tú defines la hipótesis y la métrica objetivo, Donnu dimensiona el test, recolecta los datos con un snippet que nunca bloquea tu página, y declara al ganador con estadística honesta, sin espacio para que el peeking manual influya en la decisión.

Empieza una prueba gratis de 14 días y corre tu próximo experimento sobre una base que ya acierta la mecánica. Si quieres repasar la base estadística antes, consulta la guía de significancia estadística o la calculadora de significancia.

Lee también

• Qué es un test A/B: la guía completa
• Cómo escribir una hipótesis de test A/B
• El problema del peeking en test A/B
• Significancia estadística en test A/B

¿Prefieres leerlo en inglés? Consulta la versión en inglés de esta guía (Read in English).

Referencias

• Kohavi, R., Tang, D. & Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Material de apoyo en experimentguide.com.
• Miller, E. How Not To Run an A/B Test (el problema del peeking), 2010. evanmiller.org.
• Kohavi, R. et al. Seven Rules of Thumb for Web Site Experimenters. KDD, 2014.
• VWO. The Complete Guide to A/B Testing. vwo.com/ab-testing.
• CXL. A/B Testing Guide. cxl.com.