Cuántos tests A/B por mes aguanta tu tráfico

Esta calculadora es sobre capacidad, no sobre un test solo. Si quieres saber cuánto tiempo tardará UN test, usa la calculadora de duración de test A/B. Si quieres la muestra que necesita cada test, usa la calculadora de tamaño de muestra. Aquí la pregunta es de roadmap: cuántas ideas puedes validar por mes y por año con el tráfico que tienes.

Cómo usarla

1. Ingresa los visitantes por mes del flujo que testeas y tu tasa de conversión actual.
2. Elige el efecto mínimo detectable: la menor ganancia que aún cambiaría tu decisión, en relativo (%) o absoluto (puntos).
3. Indica cuántas variaciones tiene un test típico (2 = A/B; 3 = A/B/C, contando el control).
4. Deja la duración mínima en 14 días (un ciclo semanal completo) o ajústala a tu realidad.
5. Lee la capacidad: tests por mes, tests por año y el plazo de un test. La línea de abajo dice qué te está limitando, el tráfico o el piso de duración.

Cómo funciona: la cuenta por detrás

La calculadora encadena la matemática de tamaño de muestra con tu realidad de tráfico, todo corriendo en tu navegador:

La muestra por variación viene de la aproximación normal de dos proporciones (95% de confianza, 80% de poder, bilateral), la misma de nuestra calculadora de tamaño de muestra. El máximo entre tráfico y piso garantiza que ningún test corra menos que un ciclo semanal, aun con tráfico de sobra.

Ejemplo trabajado (reproduce el resultado por defecto)

Con los valores que vienen precargados: 100.000 visitantes/mes, conversión 5%, MDE +10% relativo, 2 variaciones y piso de 14 días.

• Muestra por variación: 31.234 visitantes (5% de base detectando +10% relativo, 95%/80%).
• Muestra total del test: 31.234 × 2 = 62.468.
• Tráfico diario: 100.000 / 30 = 3.333/día.
• Días por tráfico: 62.468 / 3.333 = 18,7, redondeando hacia arriba 19 días.
• Días por test: máximo(19, 14) = 19 (manda el tráfico, está por encima del piso).
• Tests por mes: 30 / 19 = 1,6. Tests por año: 1,6 × 12 ≈ 19.

Es exactamente lo que la herramienta muestra arriba cuando abres la página: cerca de 1,6 tests por mes, 19 por año y 19 días por test, limitado por el tráfico.

Cómo interpretarla y dónde engaña

La capacidad es el techo realista de tu programa, no una meta a alcanzar a cualquier costo. Sirve para dos decisiones honestas: dimensionar el roadmap (caben 19 tests en el año, así que prioriza las 19 mejores hipótesis) y ver el cuello de botella (si el límite es el tráfico, más variaciones o un MDE menor solo empeoran; si el límite es el calendario, tienes margen para ideas más audaces).

Límites a tener en cuenta: la cuenta asume tráfico estable, una métrica binaria (convirtió o no) y tests corridos de a uno en el mismo flujo. No modela tests simultáneos en páginas distintas (que suman capacidad), estacionalidad fuerte, ni el tiempo de análisis y desarrollo entre tests (en la práctica, deja margen). Si tu tasa base es muy baja o el tráfico es pequeño, confirma antes que cada test pueda ganar con la calculadora de significancia y lee qué es un test A/B.

Buenas prácticas para acelerar sin trampas

Velocidad de tests no es correr cualquier cosa más rápido, es validar más hipótesis buenas por año. Algunas reglas aumentan la capacidad sin inflar el falso positivo.

• Testea primero en las páginas de más tráfico. Es donde la muestra se cierra rápido y donde la ganancia vale más.
• Prefiere pocas variaciones por test. A/B termina antes que A/B/C/D y cabe más en el calendario.
• Busca el menor MDE que aún cambiaría tu decisión, pero sé honesto: un MDE optimista cierra rápido y solo te engaña a ti.
• No detengas el test al ver significancia temprana (peeking). Fija el plazo y respeta el piso de duración.
• Corre tests en flujos distintos al mismo tiempo cuando no se superponen: cada flujo tiene su propia capacidad.

Preguntas frecuentes

¿Cuántos tests A/B se pueden correr por mes?

Depende de cuánta muestra necesita cada test y de cuánto tráfico tienes. Cada test consume una muestra (que sube cuando tu tasa base es baja, el efecto buscado es pequeño o hay más variaciones); tu tráfico diario determina en cuántos días esa muestra se cierra. Divide los días del mes por el plazo de un test y tienes la capacidad. Con 100 mil visitantes/mes, 5% de conversión y MDE de +10% relativo, salen cerca de 1,6 tests por mes.

¿Por qué mi velocidad de tests es tan baja?

Casi siempre es falta de tráfico o un efecto buscado demasiado pequeño. Detectar +2% relativo cuesta una muestra enorme; detectar +10% cuesta mucho menos. Si la capacidad decepciona, sube el MDE (busca ganancias mayores), enfoca los tests en las páginas de más tráfico o concentra el tráfico en menos variaciones. Testear en un sitio de bajo tráfico exige elecciones más agresivas.

¿Correr más variaciones reduce cuántos tests puedo hacer?

Sí. La muestra por variación se mantiene igual, pero el total del test es esa muestra por el número de variaciones. Un test A/B/C (3 variaciones) consume 50% más tráfico que un A/B, así que cada test tarda más y caben menos por mes. Es el trade-off entre testear muchas ideas de una vez y correr más tests a lo largo del año.

¿Por qué existe una duración mínima por test?

Para capturar al menos un ciclo semanal completo: el comportamiento cambia entre días laborables y fin de semana. Aunque tu tráfico cierre la muestra en 3 días, terminar antes de dos semanas expone el resultado al ruido de estacionalidad corta. El piso por defecto de 14 días es la convención de mercado; la calculadora usa el mayor entre el plazo por tráfico y ese piso.

¿En qué se diferencia de la calculadora de duración de test A/B?

La de duración responde cuánto tiempo tardará UN test. Esta responde cuántos tests caben en tu mes y en tu año, es decir, la capacidad de tu programa. Usa la de duración para planificar un test específico y esta para planificar el roadmap: cuántas ideas puedes validar por trimestre con el tráfico que tienes.

Continúa

Sabiendo la capacidad, planifica cada test con la calculadora de duración de test A/B y confirma los ganadores con la calculadora de significancia estadística. Para saber cuánto vale esa cadencia en dinero, usa la calculadora de ROI de experimentación. El contexto completo está en qué es un test A/B.