Test A/B con poco tráfico: ¿puedes testear tu sitio?

Esta es la calculadora del diagnóstico, no la de planificar un test concreto. Si ya sabes qué efecto buscas y quieres saber cuántos días tarda, usa la calculadora de duración de test A/B. Si quieres el menor efecto detectable a partir de una muestra que ya existe, usa la calculadora de MDE. Si la pregunta es cuántos tests caben en tu año, usa la calculadora de velocidad de tests. Aquí la pregunta es anterior a todas ellas y es la que frena a los equipos pequeños: con el tráfico que tengo, ¿puedo testear algo?

Cómo usarla

1. Indica los visitantes por mes que pasan por el flujo que quieres testear (no el tráfico de todo el sitio: solo quien ve la página del test).
2. Pon tu tasa de conversión actual en ese flujo. Es el factor que más mueve el resultado, más que el tráfico.
3. Di cuántas semanas aceptas correr un solo test. Seis semanas es un límite honesto para la mayoría de los equipos; doce es lo máximo que suele sobrevivir a la estacionalidad y a los cambios del sitio.
4. Ajusta el número de variaciones (2 = A/B) y la ganancia relativa que te gustaría detectar.
5. Elige el rigor. El estándar (95% de confianza, 80% de poder) es la convención; relajar a 90% y 70% reduce la muestra y aumenta el riesgo de error, algo que puede valer la pena en contexto exploratorio.
6. Lee el veredicto y el cuadro de escenarios: para ganancias de +10% a +50% muestra cuánta muestra exige cada una y si cabe en tu ventana.

Cómo funciona: la cuenta por detrás

La herramienta encadena dos cálculos, ambos en tu navegador. El primero convierte tu ventana en muestra disponible; el segundo convierte esa muestra en el menor efecto que consigue separar del azar.

Donde p es tu tasa actual, n la muestra por variación, z_α el valor crítico de la confianza (1,96 al 95%, bilateral) y z_β el del poder (0,84 al 80%). El camino de vuelta, cuánta muestra exige una ganancia concreta, usa la misma aproximación normal de dos proporciones que nuestra calculadora de tamaño de muestra, así que los números de las dos páginas concuerdan.

Ejemplo trabajado (reproduce el resultado por defecto)

Con los valores que ya vienen cargados: 8000 visitantes/mes, conversión del 2%, ventana de 6 semanas, 2 variaciones, objetivo de +20% y rigor estándar.

• Tráfico diario: 8000 / 30 = 266,7 visitantes por día.
• Ventana: 6 × 7 = 42 días, o sea 42 × 266,7 = 11.200 visitantes en total.
• Muestra por variación: 11.200 / 2 = 5600.
• Menor ganancia detectable: (1,96 + 0,84) × √(2 × 0,02 × 0,98 / 5600) = 2,80 × 0,00265 = 0,0074, es decir 0,74 puntos porcentuales.
• En relativo: 0,0074 / 0,02 = +37,1%. La variación tendría que pasar del 2% al 2,74% para que el test lo acuse.
• Veredicto: ajustado. Solo un cambio radical produce una ganancia de ese tamaño.
• El objetivo de +20% exigiría 21.109 visitantes por variación, 42.218 en total, o 159 días (22,7 semanas). No cabe en 6 semanas: harían falta 30.156 visitantes al mes, cerca de 3,8 veces tu tráfico actual.

El cuadro de escenarios cierra el razonamiento: con estos números solo el escenario de +50% cabe en la ventana (3826 por variación, 4,1 semanas). El de +30% pide 10,6 semanas, el de +20% pide 22,7 y el de +10% pide 86,6 semanas, más de un año y medio. Es exactamente lo que la herramienta muestra al abrir la página.

Cómo leer el veredicto

El número que importa es la menor ganancia detectable en relativo, porque dice qué tipo de cambio vale la pena testear en tu sitio:

• Hasta +10%: cómodo. Estás en el rango donde los tests normales de CRO dan resultado, y puedes testear hipótesis de refinamiento.
• De +10% a +25%: se puede testear, pero solo cambios estructurales. Testea la oferta, la propuesta de valor, el layout entero de la página, no el color del botón.
• De +25% a +50%: ajustado. Una ganancia así existe, pero es rara. Piensa en cambiar la métrica por una micro conversión más frecuente antes de quemar seis semanas.
• Por encima de +50%: inviable en la conversión final. Testear así es comprar un resultado sin conclusión con semanas de tu calendario. Cambia de enfoque.

Una advertencia importante: nunca uses un test subdimensionado para concluir que la variación no funciona. Poder bajo significa que el test falla en detectar efectos reales, así que un resultado sin significancia no prueba la ausencia de efecto. Para ver el poder del test que ya corriste, usa la calculadora de poder estadístico.

El plan B para sitios de poco tráfico

Cuando el veredicto es ajustado o inviable hay salidas honestas. Todas cambian precisión por velocidad de aprendizaje, y ninguna pasa por detener el test cuando se ve bonito.

• Sube de métrica. Mide el clic en el CTA principal, el inicio de checkout o la vista de precio. La base es mucho mayor (20%, 30%, 40%), así que la muestra exigida se desploma. El riesgo es optimizar una métrica que no tira de los ingresos, así que elige una micro conversión que ya sepas correlacionada con la compra.
• Testea cambios grandes. Página entera contra página entera, oferta contra oferta. Un efecto grande es el único que aparece con muestra pequeña.
• Junta páginas parecidas. Si tienes diez fichas de producto con la misma plantilla, testea el cambio en la plantilla y suma el tráfico de las diez.
• Alarga la ventana con cuidado. Doce semanas todavía es defendible; seis meses no, porque tu sitio, tu precio y tu tráfico cambian por el camino y contaminan la comparación.
• Usa lectura bayesiana. No crea información que no existe, pero da una respuesta más útil para decidir con poca muestra: la probabilidad de que la variación sea mejor y la pérdida esperada si te equivocas. Mira la calculadora bayesiana.
• Complementa con investigación cualitativa. Grabaciones de sesión, mapas de calor, cinco entrevistas y un test de usabilidad cuestan poco y sacan a la luz problemas obvios que ningún test A/B necesitaba probar.

El contexto completo de esta estrategia está en la guía CRO para sitios de bajo tráfico, y la cuenta de cuántos visitantes exige un test está en cuántos visitantes necesita un test A/B.

Límites de esta calculadora

La cuenta asume una métrica binaria (convirtió o no), tráfico estable a lo largo de la ventana, un reparto equilibrado entre las variaciones y visitantes independientes entre sí. No modela estacionalidad fuerte, campañas que cambian el mix de tráfico a mitad del test, efecto novedad, ni el tiempo entre la decisión y el desarrollo de la siguiente variación. La menor ganancia detectable usa la aproximación normal con varianza evaluada en la tasa base, la convención de mercado para el MDE: con una tasa muy baja y una muestra muy pequeña, trata el resultado como orden de magnitud, no como número exacto.

Preguntas frecuentes

¿Se puede hacer un test A/B con poco tráfico?

Se puede, pero solo para efectos grandes. Con poco tráfico la muestra de tu ventana es pequeña, y una muestra pequeña solo distingue del ruido las diferencias grandes. Con 8000 visitantes al mes, 2% de conversión y una ventana de 6 semanas, la menor ganancia detectable ronda el +37% relativo: los cambios de detalle (color del botón, microcopy) nunca van a aparecer, pero un cambio de oferta o de propuesta de valor sí puede. La calculadora muestra ese techo para tus propios números.

¿Cuál es el tráfico mínimo para un test A/B?

No existe un número universal, porque lo que manda es la combinación de tráfico, tasa de conversión y tamaño del efecto. Una referencia práctica: para detectar +10% relativo sobre una base de 2% en 6 semanas necesitarías unos 115.000 visitantes al mes en el flujo testeado. Si tu tasa base es mayor (5% o 10%), la misma ganancia relativa cuesta mucha menos muestra. Corre la calculadora antes de dar por hecho que no puedes testear.

¿Qué hago cuando no hay tráfico suficiente para testear?

Sube de métrica y cambia el tamaño de la apuesta. Mide una micro conversión más frecuente (clic en el CTA principal, inicio de checkout, vista de precio), que tiene una base mucho mayor y cierra la muestra mucho antes. Testea cambios radicales en lugar de detalles. Junta páginas parecidas en un solo test. Usa investigación cualitativa, grabaciones de sesión y heurística para lo que no puedas probar de forma cuantitativa. Y resiste la tentación de correr un test subdimensionado: casi siempre termina sin conclusión.

¿Puedo bajar la confianza del 95% al 90% para poder testear?

Puedes, y el selector de rigor te deja simularlo. Bajar a 90% de confianza y 70% de poder reduce bastante la muestra necesaria, a cambio de más falsos positivos y más falsos negativos. Es un intercambio defendible en contexto exploratorio, cuando implementar la variación ganadora es barato y aceptas revisar la decisión más adelante. No lo es cuando la decisión es cara o difícil de revertir.

¿En qué se diferencia de la calculadora de duración de test A/B?

La de duración parte de un efecto que ya elegiste y responde cuántos días tarda. Esta parte de la ventana que aceptas esperar y responde qué cabe dentro: cuál es la menor ganancia visible, si la ganancia que quieres entra y cuánto tráfico faltaría. Es la herramienta de diagnóstico para quien sospecha que su sitio es demasiado pequeño para testear, con el veredicto y el plan B.

Sigue

Si el veredicto fue positivo, planifica el test con la calculadora de tamaño de muestra y cierra el resultado con la calculadora de significancia estadística. Si fue negativo, empieza por la guía qué es un test A/B para entender qué puede y qué no puede probar la estadística con el tráfico que tienes hoy.