Test de Equivalencia: cómo probar que no empeoró

Un test A/B sin significancia estadística no prueba que las dos versiones empataron, prueba solamente que el test no consiguió distinguirlas. Para afirmar que la variante no empeoró hace falta un test de equivalencia: en el ejemplo trabajado de este artículo, dos tests con el mismo veredicto de no significancia (valor p de 0,5946 y de 0,8395) llegan a conclusiones opuestas, porque uno prueba equivalencia dentro de medio punto porcentual y el otro deja abierta la posibilidad de una pérdida de más de medio punto. Esta guía muestra cómo elegir el margen, cómo leer el intervalo correcto y cuánto tráfico cuesta probar un empate. Forma parte de nuestra guía completa de test A/B y es el complemento directo de las métricas de guardrail, que solo tienen sentido cuando existe una forma rigurosa de decir “no empeoró”.

La carga de la prueba está en el lugar equivocado

El test A/B tradicional fue diseñado para responder a una pregunta: existe diferencia? La hipótesis nula es que no existe, y el experimento solo la tumba cuando la evidencia a favor de la diferencia es lo bastante fuerte. Walker y Nowacki describen esa estructura sin rodeos: la carga de la prueba recae sobre la hipótesis de investigación, y esta solo se establece cuando hay evidencia suficiente a su favor. Cuando esa evidencia no aparece, la conclusión correcta es únicamente que la igualdad no pudo descartarse.

El problema empieza cuando la pregunta del negocio es la inversa. Nadie pregunta “el nuevo checkout convierte diferente?” cuando el objetivo es cambiar un checkout caro por uno barato. La pregunta real es “el nuevo checkout convierte peor?”, y la respuesta deseada es un no. En ese momento el test tradicional responde a la pregunta equivocada, y el valor p alto se lee como prueba de empate, cosa que nunca fue.

tipo de estudio	hipótesis nula	hipótesis de investigación
comparativo tradicional	no existe diferencia entre las opciones	existe diferencia entre las opciones
equivalencia	las opciones no son equivalentes	la nueva opción es equivalente a la actual
no inferioridad	la nueva opción es inferior a la actual	la nueva opción no es inferior a la actual

La tabla es la traducción directa del cuadro de hipótesis de Walker y Nowacki. Fíjate en que la equivalencia no es el comparativo tradicional con otro nombre: es ese mismo esquema puesto del revés. La nula pasa a ser la no equivalencia, y es ella la que necesita ser tumbada por los datos.

Dos lecturas del mismo “no dio diferencia”

El caso trabajado de este artículo compara dos versiones de una página con conversión de referencia del 4 por ciento. El primer test se ejecutó grande, el segundo pequeño, y los dos terminaron sin significancia estadística.

Test grande. 60.000 visitantes por variante, 2.400 conversiones en el control (4,0000 por ciento) y 2.364 en la variante (3,9400 por ciento). El test z de dos proporciones devuelve z igual a menos 0,5322 y valor p de 0,5946. El intervalo del 95 por ciento de la diferencia va de menos 0,2809 a más 0,1609 puntos porcentuales.

Test pequeño. 8.000 visitantes por variante, 320 conversiones en el control (4,0000 por ciento) y 315 en la variante (3,9375 por ciento). La z es menos 0,2025 y el valor p es 0,8395. El intervalo del 95 por ciento va de menos 0,6675 a más 0,5425 puntos porcentuales.

Por la lectura tradicional, los dos casos son idénticos: ninguna diferencia detectada. Fíjate, sin embargo, en que el test pequeño tiene el valor p mayor, ese que la costumbre lee como “más parecido”. Es exactamente al revés. El intervalo del test pequeño es más del triple de ancho, y deja abierta la posibilidad de que la variante esté perdiendo dos tercios de punto porcentual, lo que sobre una base del 4 por ciento es una caída relativa de casi el 17 por ciento.

Control (A)

VisitantesConversiones

Variación (B)

VisitantesConversiones

Confianza90%95%99%

Control (A) · Tasa-

Variación (B) · Tasa-

Mejora relativa-

valor-p-

IC 95% de la diferencia-

Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.

Pega los dos pares de arriba en la calculadora para reproducir los valores p y los intervalos del 95 por ciento. Es la misma implementación usada en los números de este artículo, así que la comprobación es directa.

El test de equivalencia por el procedimiento TOST

El camino más usado para testear equivalencia es el procedimiento de los dos tests unilaterales, el TOST, propuesto por Schuirmann. La regla operativa es simple y cabe en una frase, en la formulación de Walker y Nowacki: la equivalencia queda establecida al nivel alfa cuando el intervalo de confianza de 1 menos 2 alfa para la diferencia está enteramente contenido en el intervalo de menos delta a más delta.

El detalle que casi todo el mundo falla es el nivel del intervalo. Con alfa de 0,05, el intervalo correcto es el del 90 por ciento, no el del 95. La razón es que el procedimiento equivale a ejecutar dos tests unilaterales del 5 por ciento, uno contra cada borde del margen, y dos tests unilaterales del 5 por ciento describen justamente un intervalo del 90 por ciento. Hoenig y Heisey describen el mismo resultado a partir de Schuirmann, y añaden que el enfoque es siempre un poco conservador.

Como toda calculadora de significancia reporta el intervalo del 95 por ciento, convertir es trivial: divide la mitad de la anchura del intervalo del 95 por ciento entre 1,96 para obtener el error estándar, y multiplica por 1,645 para obtener la mitad de la anchura del intervalo del 90 por ciento.

En el test pequeño, la mitad de la anchura del intervalo del 95 por ciento es 0,6050 puntos porcentuales. Dividida entre 1,96 da un error estándar de 0,3087 puntos. Multiplicado por 1,645 da 0,5077, así que el intervalo del 90 por ciento va de menos 0,5702 a más 0,4452 puntos porcentuales. No cabe dentro de menos 0,5 a más 0,5: la equivalencia no fue probada.

En el test grande, el mismo camino lleva a un error estándar de 0,1127 puntos y a un intervalo del 90 por ciento de menos 0,2454 a más 0,1254 puntos porcentuales, enteramente dentro del margen. La equivalencia está probada al nivel del 5 por ciento.

Quien prefiera un valor p al intervalo tiene una salida, también descrita por Walker y Nowacki: como el test equivale a dos unilaterales, el valor p de la equivalencia es el mayor de los dos valores p unilaterales. En el test grande, las dos z contra los bordes son 3,9031 y 4,9676, y el valor p del TOST es 0,000047. En el test pequeño, las z son 1,4173 y 1,8223, y el valor p del TOST es 0,0782, por encima de 0,05: nada probado. La recomendación de los autores es reportar las dos cosas, intervalo y valor p.

El margen es la decisión que importa

Walker y Nowacki llaman a la determinación del margen el paso más crítico del procedimiento, y el motivo es aritmético antes que conceptual: el margen entra al cuadrado en el denominador de la muestra. Un margen menor significa una zona de equivalencia más estrecha, más difícil de probar y mucho más cara.

Dos reglas de los autores valen literalmente para experimentación de producto. La primera: el margen tiene que fijarse antes de recoger los datos, o el control del error tipo I se va al traste. La segunda: el margen es la mayor pérdida que se acepta a cambio de los beneficios no relacionados con la eficacia. En ensayos clínicos esos beneficios son menos efectos secundarios o menor coste. En producto son lo mismo con otro nombre: una página más rápida, un stack más barato de mantener, una dependencia menos.

Los autores también registran un dato incómodo sobre la práctica: en una revisión de 162 informes de estudios de equivalencia y no inferioridad publicados en 2003 y 2004, cerca del 80 por ciento no justificaron la elección del margen y el 28 por ciento no lo tuvieron en cuenta en el cálculo de muestra. La traducción a nuestro contexto es directa: escribir “queremos garantizar que no empeora” en el documento de planificación no es definir un margen. Definir el margen es escribir el número y su motivo.

Cuánto cuesta probar que empataron

La cuenta de muestra para el TOST con diferencia verdadera igual a cero sigue la fórmula estándar, con el margen en el lugar del efecto mínimo detectable y con el percentil de 1 menos beta sobre 2 en lugar del de 1 menos beta:

// N por variante para probar equivalencia (diferencia verdadera cero)
// zA = percentil de 1 - alfa; zB = percentil de 1 - beta/2
function nEquiv(p, delta, alpha = 0.05, power = 0.8) {
  const zA = normInv(1 - alpha);          // 1,6449 para alfa 0,05
  const zB = normInv(1 - (1 - power) / 2); // 1,2816 para poder 0,8
  return Math.ceil((2 * p * (1 - p) * (zA + zB) ** 2) / delta ** 2);
}

Con base del 4 por ciento, alfa de 0,05 y poder del 80 por ciento, la tabla queda así:

margen de equivalencia	N por variante	tráfico total	días a 60.000 visitantes por semana
0,10 pp	657.704	1.315.408	154
0,20 pp	164.426	328.852	39
0,30 pp	73.079	146.158	18
0,50 pp	26.309	52.618	7
0,75 pp	11.693	23.386	3
1,00 pp	6.578	13.156	2

La no linealidad es el punto a llevarse: como el margen entra al cuadrado, apretar el margen a la mitad multiplica la muestra por cuatro. Pasar de 1 punto a 0,1 puntos multiplica por cien. Por eso la conversación sobre el margen tiene que ser honesta desde el principio: un margen demasiado estrecho no vuelve el test más riguroso, vuelve el test imposible.

El test pequeño del ejemplo tenía 8.000 visitantes por variante. Para probar equivalencia dentro de medio punto porcentual harían falta 26.309, más del triple. No fracasó por mala suerte: nació demasiado pequeño para la pregunta que querían hacerle.

Una comprobación contra la literatura

Vale la pena mostrar que esta aritmética no es casera. Walker y Nowacki publican una tabla de muestras calculadas en el software PASS para un escenario con eficacias verdaderas del 28 y del 33 por ciento, poder de 0,80 y alfa de 0,05. Ejecutando la misma fórmula cerrada, con la diferencia verdadera de 5 puntos entrando en la cuenta, los números coinciden:

margen	PASS (Walker y Nowacki)	fórmula cerrada de este artículo
0,06	26.185	26.134
0,07	6.547	6.534
0,08	2.910	2.904
0,09	1.637	1.634
0,10	1.048	1.046
0,11	728	726
0,12	535	534

La diferencia queda por debajo del 0,3 por ciento en todas las filas, que es lo esperado para convenciones ligeramente distintas de varianza. Lo más importante que muestra la tabla no es la coincidencia numérica, es la forma de la curva: entre un margen de 6 puntos y uno de 12 puntos, la muestra necesaria cae por un factor de casi 50.

No inferioridad: cuando solo importa un lado

Buena parte de los casos de producto no necesita equivalencia por los dos lados. Si la variante sube la conversión, nadie se queja. Lo que no puede pasar es que caiga. Esa es la estructura de la no inferioridad, y la regla también es de una línea: la no inferioridad queda establecida al nivel alfa cuando el límite inferior del intervalo de 1 menos 2 alfa queda por encima de menos delta.

En el test pequeño, el límite inferior del intervalo del 90 por ciento es menos 0,5702 puntos, por debajo de menos 0,5: ni siquiera la no inferioridad se sostiene. En el test grande, el límite inferior es menos 0,2454, cómodamente por encima del margen, así que la variante es no inferior al control dentro de medio punto porcentual.

pregunta del negocio	test correcto	criterio con margen delta
la variante cambia la conversión?	comparativo tradicional	el intervalo del 95 por ciento excluye el cero
la variante es prácticamente igual?	equivalencia (TOST)	el intervalo del 90 por ciento cabe entre -delta y +delta
la variante al menos no empeora?	no inferioridad	el límite inferior del intervalo del 90 por ciento queda por encima de -delta

Esa es la lectura que falta en la mayoría de los programas de experimentación: toda métrica de guardrail es, en la práctica, un test de no inferioridad disfrazado. Cuando el equipo declara que “el guardrail no acusó nada” solo porque el valor p quedó alto, está usando el test con la carga de la prueba invertida, exactamente el error que describen Walker y Nowacki.

Cómo encaja esto en el diseño del test

Tres decisiones tienen que estar en el plan de análisis preregistrado, antes de cualquier dato:

1. Qué métrica es de superioridad y cuál es de no inferioridad. La métrica primaria suele ser de superioridad; los guardrails, de no inferioridad. Mezclar las dos lecturas después del resultado es elegir la regla que favorece la conclusión deseada.
2. El margen de cada métrica de guardrail, con justificación. “Aceptamos hasta 0,3 puntos porcentuales de caída en la conversión del checkout a cambio de 400 milisegundos menos de carga” es un margen. “No puede empeorar” no lo es.
3. El tamaño de muestra calculado con el margen. Si la muestra planificada no sostiene el margen elegido, una de las dos tiene que cambiar antes de que empiece el test, no después.

El efecto mínimo detectable y el margen de equivalencia son primos: los dos traducen una decisión de negocio en un número que entra al cuadrado en el denominador de la muestra. La diferencia es la dirección de la pregunta. El MDE es la menor ganancia que vale la pena detectar; el margen es la mayor pérdida que se acepta ignorar.

Errores comunes

• Leer un valor p alto como prueba de empate. Es el error central, y empeora cuanto más pequeño es el test, porque los tests pequeños producen valores p altos con facilidad.
• Usar el intervalo del 95 por ciento en el TOST. Con alfa de 0,05, el intervalo correcto es el del 90 por ciento. Usar el del 95 vuelve el test más conservador de lo declarado y tumba equivalencias verdaderas.
• Elegir el margen después de ver el resultado. El margen definido después de los datos siempre cabe en el intervalo observado. Eso no es análisis, es decoración.
• Aplicar el mismo margen a métricas de peso diferente. Medio punto porcentual de caída en la conversión del checkout y medio punto en la tasa de clic de un banner secundario no cuestan lo mismo.
• Confundir equivalencia con no inferioridad en los guardrails. Exigir equivalencia por los dos lados en un guardrail cobra tráfico de más para probar algo que nadie necesitaba probar: que la variante tampoco mejoró demasiado.
• Olvidar que el margen es una promesa. Declarar equivalencia dentro de medio punto porcentual es afirmar que perder medio punto está pactado. Si la dirección no firmaría esa frase, el margen está mal.

Hazlo automático en Donnu

La pregunta “empeoró?” aparece en todo test que cambia infraestructura, recorta un campo de formulario o simplifica una página, y se responde sistemáticamente con la herramienta equivocada: el valor p del test de superioridad.

En Donnu, cada experimento lleva la métrica primaria y las métricas de guardrail declaradas por separado, con el margen de cada guardrail definido en el momento del diseño y no en la lectura del resultado, y el informe muestra el intervalo de la diferencia junto al margen en lugar de reducirlo todo a un sello de significancia. Para comprobar cualquier cuenta a mano, la calculadora de significancia devuelve el intervalo del 95 por ciento de cualquier par de grupos (basta la conversión descrita arriba para llegar al del 90 por ciento), la calculadora de intervalo de confianza trabaja la precisión de una tasa aislada y la calculadora de tamaño de muestra dimensiona el test antes de que empiece.

Referencias

• Walker, E. y Nowacki, A. S. Understanding Equivalence and Noninferiority Testing. Journal of General Internal Medicine, volumen 26, número 2, páginas 192 a 196, 2011. Fuente del cuadro de hipótesis de los tres tipos de estudio, de la definición del margen de equivalencia como la máxima diferencia clínicamente aceptable a cambio de los beneficios secundarios, de la regla del TOST (equivalencia establecida al nivel alfa cuando el intervalo de 1 menos 2 alfa está contenido en menos delta a más delta), de la regla de no inferioridad por el límite inferior del mismo intervalo, del valor p del TOST como el mayor de los dos valores p unilaterales, de la exigencia de fijar el margen antes de la recogida, de la tabla de muestras calculada en PASS para eficacias de 0,28 y 0,33 y del recuento de Le Henanff con 162 informes en los que cerca del 80 por ciento no justificaron el margen y el 28 por ciento no lo consideraron en el cálculo de muestra. pmc.ncbi.nlm.nih.gov.
• Hoenig, J. M. y Heisey, D. M. The Abuse of Power: The Pervasive Fallacy of Power Calculations for Data Analysis. The American Statistician, volumen 55, número 1, páginas 19 a 24, febrero de 2001. Fuente de la sección 4 sobre test de equivalencia: la inversión de la carga de la prueba (no basta con fallar en mostrar una diferencia, hay que quedar razonablemente seguro de que una diferencia grande no existe), la formulación de la nula como que el efecto absoluto sea mayor o igual que delta, el resultado de Schuirmann de que un intervalo de 1 menos 2 alfa enteramente contenido entre menos delta y más delta rechaza la no equivalencia al nivel alfa, y la observación de que el enfoque es siempre un poco conservador. stat-help.com.
• Lakens, D. Equivalence Tests: A Practical Primer for t Tests, Correlations, and Meta-Analyses. Social Psychological and Personality Science, volumen 8, número 4, páginas 355 a 362, 2017. Fuente de la tesis de que es estadísticamente imposible sostener que un efecto verdadero es exactamente cero, y de lo que sí es posible en su lugar: rechazar efectos lo bastante grandes como para ser considerados relevantes, definiendo los bordes a partir del menor efecto de interés. pmc.ncbi.nlm.nih.gov.
• Schuirmann, D. J. A comparison of the two one-sided tests procedure and the power approach for assessing the equivalence of average bioavailability. Journal of Pharmacokinetics and Biopharmaceutics, volumen 15, páginas 657 a 680, 1987. Artículo original del procedimiento TOST, citado aquí por el relato de Walker y Nowacki y de Hoenig y Heisey, que describen su contenido y sus resultados. link.springer.com.

Lee también: Métricas de guardrail · Efecto mínimo detectable · Plan de análisis preregistrado · Significancia estadística en test A/B · Calculadora de significancia · Leia em português