Calculadora de tamaño de muestra para test A/B

Cómo usarla

1. Ingresa tu tasa de conversión actual (la del control, en %).
2. Elige el efecto mínimo detectable: la menor ganancia que aún cambiaría tu decisión, en relativo (%) o absoluto (puntos).
3. Deja confianza 95% y poder 80% (los estándares del mercado) o ajusta si sabes lo que haces.
4. Ingresa tu tráfico semanal total para ver la duración estimada.
5. Lee el resultado: visitantes por variación, total para dos variaciones y días hasta completar.

Cómo funciona: la fórmula

La calculadora usa la aproximación normal de dos proporciones, el mismo método detrás de la mayoría de las herramientas serias de test A/B. El tamaño por variación es:

Donde p₁ es la tasa base, p₂ es la tasa objetivo (base más el MDE), p̄ es el promedio de las dos, z_α es el valor crítico de la confianza (1,96 para 95% bilateral) y z_β es el del poder (0,84 para 80%).

Ejemplo trabajado (reproduce el resultado por defecto)

Con los valores ya cargados: tasa base 5%, MDE +10% relativo (objetivo de 5,5%), confianza 95% y poder 80%, bilateral. La diferencia absoluta es 0,5 punto (0,055 − 0,05). Sustituyendo en la fórmula, el numerador da cerca de 0,7808 y el denominador 0,000025, entonces:

n ≈ 0,7808 / 0,000025 = 31.234 visitantes por variación, o 62.468 en total para dos versiones. Con 10.000 visitantes por semana (cerca de 1.429 por día), completar los 62.468 lleva 44 días. Es exactamente lo que muestra la herramienta arriba al abrir la página.

Cómo interpretarla y dónde puede engañar

El número por variación es la meta que fijas antes de empezar y no cambia a mitad de camino. La regla de oro: cuanto menor el efecto que quieres detectar, mucho mayor la muestra. Por eso vale ser honesto con el MDE: prometer detectar +2% relativo cuesta una muestra que la mayoría de los sitios no tiene en meses.

Límites a tener en cuenta: la cuenta asume tráfico estable y una métrica binaria (convirtió o no). No cubre ingreso por visitante (mayor varianza, necesita más muestra), estacionalidad fuerte, ni varias variaciones al mismo tiempo. Si tu tasa base es muy baja (menos de 1%) o tu tráfico es pequeño, mira antes si se puede testear con la calculadora de significancia y la guía de cuántos visitantes necesita un test A/B.

Buenas prácticas al dimensionar

Antes de encender el test, deja tres cosas fijadas: la muestra por variación, el efecto mínimo que aceptas y el plazo. Después de eso, sigue estas reglas simples.

• Prefiere el menor MDE que aún cambiaría tu decisión. Un MDE inflado esconde ganancias reales y te hace terminar demasiado pronto.
• Corre ciclos semanales completos para capturar la diferencia de comportamiento entre días hábiles y fin de semana.
• Una métrica principal por test. Perseguir varias al mismo tiempo multiplica el riesgo de falso positivo.
• Si la muestra necesaria es mayor que tu tráfico de un mes entero, aumenta el efecto buscado o junta más tráfico antes de empezar.

Preguntas frecuentes

¿Cuántos visitantes necesita un test A/B?

Depende de tres cosas: tu tasa de conversión actual, el efecto mínimo que quieres detectar y el nivel de confianza/poder. Cuanto menor la tasa base y menor el efecto buscado, mayor la muestra. Para una tasa de 5% detectando +10% relativo, con 95% de confianza y 80% de poder, son cerca de 31 mil visitantes por variación.

¿Qué es el efecto mínimo detectable (MDE)?

Es la menor ganancia que vale la pena descubrir. En relativo (+10%) o absoluto (+2 puntos). Es lo que más mueve el tamaño de la muestra: detectar +2% relativo cuesta una muestra enorme, detectar +20% es mucho más barato. Elige el menor efecto que aún cambiaría tu decisión.

¿Por qué confianza 95% y poder 80%?

Son las convenciones del mercado. Confianza 95% significa aceptar 5% de probabilidad de falso positivo. Poder 80% significa 80% de probabilidad de detectar el efecto si existe. Subir cualquiera de los dos aumenta la muestra necesaria.

¿Puedo parar el test apenas alcance la muestra?

Sí, si fijaste la muestra y el plazo antes de empezar. El error común es el contrario: seguir espiando el resultado y parar en la primera vez que dé significancia, lo que infla el falso positivo (el problema del peeking). Define la muestra aquí, corre hasta completarla y solo entonces lee el veredicto.

¿La calculadora sirve para un test con más de dos variaciones?

El número por variación sigue valiendo, pero el tiempo total crece porque el tráfico se divide entre más grupos. Para planificar la duración con 3 o más variaciones, usa la calculadora de duración de test A/B.

Continúa

¿Dimensionaste el test? Córrelo hasta completar la muestra y luego revisa el resultado con la calculadora de significancia estadística. Para planificar el calendario con más de dos variaciones, usa la calculadora de duración de test A/B. El contexto completo está en la guía qué es un test A/B.