Verificador de SRM para test A/B

Esta es la primera verificación de salud de tu test, hecha antes de la conversión. El SRM (sample ratio mismatch) es la división de tráfico llegando torcida: pediste 50/50 y recibiste 52/48. Cuando eso pasa con volumen, no es azar, es un defecto en el motor de asignación que sesga todo. Corre este verificador antes de mirar quién ganó; si acusa, el resultado de conversión no vale. Para el veredicto de conversión en sí, usa después la calculadora de significancia estadística.

Cómo usarlo

1. Ingresa los visitantes observados de cada variación (el número real que cayó en cada brazo, no las conversiones).
2. Ajusta la asignación esperada con el peso de tu split: 1 y 1 para 50/50, 9 y 1 para 90/10.
3. ¿Necesitas más de dos variaciones? Haz clic en añadir variación e ingresa la asignación de cada una.
4. Lee el veredicto: división dentro de lo esperado, o SRM detectado.
5. Revisa el chi-cuadrado, los grados de libertad y el valor-p, además de la tabla con el esperado y el porcentaje real de cada brazo.

Cómo funciona: la fórmula

El verificador usa el test de chi-cuadrado de bondad de ajuste, el mismo método que las herramientas serias de experimentación aplican para el guardrail de SRM. Compara cuántos visitantes llegaron (observado) con cuántos deberían haber llegado por tu división (esperado):

Donde O_i es el observado de cada variación, E_i es el esperado (el total multiplicado por el peso relativo de esa variación) y la suma corre por todas las variaciones. Los grados de libertad son el número de variaciones menos 1. El valor-p sale de la distribución chi-cuadrado: es la probabilidad de ver una diferencia tan grande como la tuya por puro azar, si la división fuera correcta.

Ejemplo trabajado (reproduce el resultado por defecto)

Con los valores ya cargados: A con 5.200 visitantes y B con 4.800, asignación esperada 50/50. El total es 10.000, así que el esperado es 5.000 por variación. La cuenta:

χ² = (5200 − 5000)² / 5000 + (4800 − 5000)² / 5000 = 40000/5000 + 40000/5000 = 8 + 8 = 16.

Con 2 variaciones, es 1 grado de libertad. Un χ² de 16 con 1 grado de libertad da un valor-p de cerca de 0,00006, muy por debajo del umbral de 0,01. Veredicto: SRM detectado. Una división de 52/48 parece inofensiva a simple vista, pero con 10 mil visitantes es demasiado rara para ser azar. Es exactamente lo que muestra la herramienta arriba al abrir la página.

Cómo interpretarlo y dónde puede engañar

El veredicto es binario a propósito: división sana o SRM. Un valor-p por encima de 0,01 significa que la diferencia cabe en el azar, tu split está bien y puedes avanzar a la lectura de conversión. Un valor-p por debajo de 0,01 es señal roja: para, el test está sesgado. Nota que el SRM no mide conversión alguna, solo mira la cuenta de quién entró en cada brazo. Un test puede tener SRM y aun así mostrar una variación ganando, y ahí es justo donde el SRM te salva de festejar un falso positivo.

Límites a tener en cuenta: el test necesita volumen para ser sensible, con unos cientos de visitantes casi nunca acusa nada. La asignación esperada tiene que reflejar lo que configuraste de verdad, no lo que imaginas. Y el SRM dice que existe un problema, no cuál es: la causa (redirección, caché, bots, etiqueta) la investigas a mano. Después de descartar el SRM, sigue a la calculadora de significancia y revisa las trampas en la guía de errores que invalidan un test A/B.

Buenas prácticas con el guardrail de SRM

El SRM es una verificación de rutina, no un examen que corres solo cuando sospechas. Trátalo como el primer ítem de la lectura de todo test.

• Corre el verificador antes de mirar la conversión, siempre. Es el guardrail que separa un resultado real de un sesgo de recolección.
• Si acusa SRM, no corrijas el dato: corrige la causa, descarta el período sesgado y reinicia el test.
• Compara la cuenta de visitantes, no la de conversiones. El SRM es sobre quién entró en cada brazo.
• Sospecha primero de redirecciones y caché: son la forma más común de perder visitantes de una variación.

Preguntas frecuentes

¿Qué es el SRM (sample ratio mismatch)?

El SRM es cuando la división de visitantes entre las variaciones no coincide con la división que configuraste. Si pediste 50/50 y llegó 52/48 con mucho tráfico, algo en el motor de asignación está mal (una redirección, caché, bots, una etiqueta que dispara a destiempo). El verificador mide esa diferencia con un test de chi-cuadrado: si es demasiado grande para ser azar, es SRM y el test está comprometido.

¿Por qué el SRM invalida mi test A/B?

Porque rompe el supuesto básico del experimento: que los grupos son iguales salvo por el cambio que probaste. Si la división está torcida, los grupos probablemente difieren en algo más (dispositivo, origen, momento), y cualquier diferencia de conversión puede ser ese sesgo y no tu variación. Leer un ganador con SRM activo es leer ruido. Corrige la causa y vuelve a correr.

¿Qué valor-p indica SRM?

La convención de mercado es dar la alarma cuando el valor-p cae por debajo de 0,01 (1%). El umbral es más estricto que el 5% de un test de conversión a propósito: el SRM es una verificación de guardrail que corres siempre, así que un umbral bajo evita falsas alarmas. Un valor-p por encima de 0,01 significa que la diferencia observada cabe en el azar y la división está sana.

¿Uso el verificador con una división distinta a 50/50?

Sí. Ajusta la asignación esperada de cada variación con el peso relativo de tu split: 1 y 1 para 50/50, 9 y 1 para un ramp de 90/10, 1 y 1 y 1 para 33/33/33. El test compara lo que configuraste con lo que de hecho llegó, sea cual sea la proporción objetivo.

¿Sirve para tests con más de dos variaciones?

Sirve. Agrega una variación por cada brazo del test (A/B/n) e ingresa la asignación esperada de cada uno. El chi-cuadrado gana más grados de libertad y el veredicto se mantiene igual: división dentro de lo esperado, o SRM detectado.

¿Qué hago cuando el verificador acusa SRM?

No leas la conversión todavía. Investiga las causas comunes: una redirección que pierde parte de una variación, una etiqueta o snippet cargando en momentos distintos, caché sirviendo una versión fija, bots concentrados en un brazo, o un filtro de analytics asimétrico. Corrige la causa raíz, descarta los datos sesgados y reinicia el test con la división sana.

Continúa

¿División sana? Sigue al veredicto de conversión en la calculadora de significancia estadística y planifica el próximo test con la calculadora de tamaño de muestra. El contexto completo está en la guía qué es un test A/B.