Parada por Futilidad: cuándo apagar un test A/B
La parada por futilidad usa el poder condicional para apagar un test A/B que no va a concluir. Cómo calcularlo, dónde poner el umbral y el coste del error.
📚 Este artículo es parte de la guía Significancia Estadística en Tests A/B: La Guía.
Un test A/B que ya ha consumido la mitad del tráfico planificado y está empatado normalmente no va a darse la vuelta: en el caso trabajado de este artículo, el poder condicional a mitad de camino es del 29,2 por ciento suponiendo que el efecto planificado aparezca en el tramo restante, y de solo el 1,1 por ciento si la tendencia observada continúa. Apagar ese test devuelve 82.376 visitantes y 14 días de calendario a la siguiente hipótesis. Esta guía muestra la parada por futilidad de punta a punta: cómo calcular el poder condicional, dónde poner el umbral, cuánto poder cuesta la decisión y por qué la evidencia recomienda cautela. Forma parte de nuestra guía completa de test A/B y es el complemento del test secuencial, que trata la otra mitad del problema: parar pronto cuando el resultado es bueno.
Dos paradas anticipadas, dos problemas diferentes
Parar pronto por victoria es el asunto de todo material sobre peeking: mirar el resultado varias veces y parar la primera vez que el valor p cruza 0,05 infla el falso positivo, y por eso existen los métodos secuenciales.
Parar pronto por futilidad es el problema especular, y es más fácil en un aspecto y más difícil en otro. Más fácil porque no hay riesgo de falso positivo: nadie está declarando ganador. La FDA lo registra de forma explícita al tratar los diseños secuenciales: añadir directrices de futilidad no obligatorias a un estudio de muestra fija, o a uno con fronteras secuenciales adecuadas para eficacia, no aumenta la probabilidad de error tipo I y a menudo es apropiado.
Más difícil porque el coste aparece del otro lado: cada parada por futilidad es una oportunidad más de abandonar un efecto verdadero. El error tipo II sube, y la decisión solo es defendible cuando ese aumento está cuantificado y aceptado antes de que empiece el test.
Poder condicional: la cuenta que sostiene la decisión
La cantidad que responde a “vale la pena continuar?” es el poder condicional. Zhang y Clarke lo definen: es la probabilidad de que el análisis final rechace la hipótesis nula, dados los datos observados en el análisis interino y un supuesto sobre el efecto. El complemento, 1 menos el poder condicional, se llama índice de futilidad desde Ware, Muller y Braunwald.
La cuenta usa el B-value, herramienta de monitorización formalizada por Lan y Wittes. Siendo t la fracción de información (la parte de la muestra planificada ya recogida) y z el valor del estadístico de test en ese momento:
// Poder condicional en la fraccion de informacion t (Zhang y Clarke, 2009)
// zAlpha: umbral de victoria (1,9600 en el bilateral del 5%)
// drift: efecto supuesto en el tramo restante, en la escala del z final
function poderCondicional(z, t, drift, zAlpha = 1.959964) {
const numerador = z * Math.sqrt(t) + drift * (1 - t) - zAlpha;
return normCdf(numerador / Math.sqrt(1 - t));
}
// drift del efecto PLANIFICADO = zAlpha + zBeta = 1,9600 + 0,8416 = 2,8016
// drift de la TENDENCIA ACTUAL = z / Math.sqrt(t)Una adaptación tiene que quedar declarada: Zhang y Clarke desarrollan el método para un test unilateral, con el percentil de 1 menos alfa en lugar de zAlpha. Aquí zAlpha es el umbral bilateral de 1,9600, porque es el umbral de victoria del test A/B estándar de este blog. La fórmula es la misma; lo que cambia es la regla de victoria contra la que se proyecta el poder condicional.
La elección del drift es la decisión conceptual del método, y lo cambia todo. Suponer que el efecto planificado va a aparecer en el tramo restante es el supuesto optimista, y es el estándar en la literatura clínica. Suponer que la tendencia observada continúa es el supuesto realista, y produce números bastante menores. Zhang y Clarke explican por qué el primer camino tarda tanto en acusar futilidad: en tiempos iniciales, el poder condicional pondera implícitamente más los datos futuros supuestos bajo la alternativa planificada que los datos ya acumulados, así que cae despacio desde el valor de diseño hasta por debajo del umbral.
El test trabajado
El diseño: base de conversión del 3 por ciento, efecto mínimo detectable de más 8 por ciento relativo, 95 por ciento de confianza y 80 por ciento de poder. Eso pide 82.376 visitantes por variante, 164.752 en total, lo que a 40.000 visitantes por semana da 29 días.
A mitad de camino, con 41.188 visitantes por variante, el marcador está en 1.236 conversiones en el control (3,0009 por ciento) contra 1.248 en la variante (3,0300 por ciento).
Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.
Pegando esos números en la calculadora: z de 0,2445 y valor p de 0,8069. El poder condicional a mitad de camino queda así:
- Suponiendo el efecto planificado en el tramo restante: 0,2924. Es decir, aunque la variante pase a entregar exactamente el 8 por ciento prometido de aquí al final, la probabilidad de que el test termine significativo es del 29 por ciento.
- Suponiendo la continuidad de la tendencia observada: 0,0112. Si el comportamiento de las próximas semanas se parece al de las anteriores, la probabilidad de victoria es de aproximadamente una entre noventa.
La distancia entre los dos números es la conversación que el equipo necesita tener. El primero pregunta “y si la hipótesis es correcta y la primera mitad fue mala suerte?”. El segundo pregunta “y si lo que estamos viendo es la realidad?”. Ninguno de los dos está equivocado; describen escenarios diferentes, y por eso el método pide que el umbral se elija antes, junto con el supuesto de drift.
Las tablas de decisión
Con el diseño fijado (base del 3 por ciento, más 8 por ciento relativo, 95 por ciento y 80 por ciento), el poder condicional depende solo de dos cosas: dónde está el test y cuál es la z del momento. Suponiendo el efecto planificado en el tramo restante:
| z en el análisis interino | 25 por ciento del camino | mitad del camino | 75 por ciento del camino |
|---|---|---|---|
| -1,0 | 0,3393 | 0,0367 | 0,0000 |
| -0,5 | 0,4500 | 0,0984 | 0,0004 |
| 0,0 | 0,5648 | 0,2145 | 0,0059 |
| +0,5 | 0,6743 | 0,3856 | 0,0492 |
| +1,0 | 0,7705 | 0,5829 | 0,2156 |
| +1,5 | 0,8483 | 0,7609 | 0,5315 |
Suponiendo, en cambio, que la tendencia observada continúa:
| z en el análisis interino | 25 por ciento del camino | mitad del camino | 75 por ciento del camino |
|---|---|---|---|
| -1,0 | 0,0000 | 0,0000 | 0,0000 |
| -0,5 | 0,0003 | 0,0001 | 0,0000 |
| 0,0 | 0,0118 | 0,0028 | 0,0000 |
| +0,5 | 0,1338 | 0,0382 | 0,0028 |
| +1,0 | 0,5184 | 0,2201 | 0,0536 |
| +1,5 | 0,8851 | 0,5903 | 0,3243 |
Dos lecturas saltan de las dos tablas. Primera: en el primer cuarto, casi nada es futilidad bajo el supuesto planificado. Una z de menos 1,0 (variante perdiendo) todavía devuelve un 34 por ciento de poder condicional, porque tres cuartos del experimento están aún por venir. Es el efecto que describen Zhang y Clarke, y es la razón por la que los análisis de futilidad muy tempranos raramente valen la pena.
Segunda: a partir del 75 por ciento del camino, el veredicto es casi binario. Con z por debajo de 1,0 a esa altura, el poder condicional ya está en el 21 por ciento o menos incluso bajo el supuesto optimista. Solo que a esa altura queda el 25 por ciento del tráfico, así que el ahorro es pequeño y el riesgo de equivocarse continúa.
El punto útil es el de mitad de camino. Invirtiendo la fórmula, se puede publicar la frontera directamente en z, que es el número que el equipo ve en el panel:
| umbral de poder condicional | para si la z es menor que (25 por ciento) | para si la z es menor que (mitad) | para si la z es menor que (75 por ciento) |
|---|---|---|---|
| 0,10 | -2,5022 | -0,4908 | +0,7145 |
| 0,20 | -1,7402 | -0,0508 | +0,9685 |
| 0,30 | -1,1907 | +0,2664 | +1,1517 |
El caso trabajado tenía z de 0,2445 a mitad de camino, justo por debajo de la frontera de 0,2664 que corresponde a un umbral del 30 por ciento, y bastante por encima de la frontera de menos 0,4908 que corresponde al umbral conservador del 10 por ciento. Es decir: con la regla laxa el test muere, con la regla conservadora continúa. La regla tiene que estar elegida antes, y no después de ver ese número.
El precio de la parada por futilidad, en poder
La futilidad no sale gratis, y el precio se conoce. Zhang y Clarke citan el resultado de Lan, Simon y Halperin: con monitorización continua y regla de parada cuando el poder condicional queda por debajo de gamma, el error tipo II total queda acotado por beta dividido entre 1 menos gamma.
| umbral gamma | error tipo II máximo (partiendo del 20 por ciento) | poder final mínimo | inflación relativa del error tipo II |
|---|---|---|---|
| 0,10 | 22,22 por ciento | 77,78 por ciento | 11,11 por ciento |
| 0,20 | 25,00 por ciento | 75,00 por ciento | 25,00 por ciento |
| 0,30 | 28,57 por ciento | 71,43 por ciento | 42,86 por ciento |
| 0,50 | 40,00 por ciento | 60,00 por ciento | 100,00 por ciento |
Por eso la literatura llama conservador al umbral de 0,1: cuesta como mucho un 11,11 por ciento de inflación en el error tipo II, lo que en la práctica es casi nada, pero a cambio casi nunca se dispara. Subir a 0,3 duplica la agresividad y cobra un 42,86 por ciento de inflación. Zhang y Clarke recomiendan mantener gamma por debajo de 0,5 y citan evidencia numérica de que las fronteras agresivas hacen que los dos errores, tipo I y tipo II, se alejen sustancialmente de los niveles nominales.
Lo que la parada devuelve
El otro lado de la cuenta es lo que gana el equipo. En el diseño trabajado, el test entero consume 164.752 visitantes y 29 días:
| momento de la parada | tráfico ya gastado | tráfico devuelto | días devueltos |
|---|---|---|---|
| 25 por ciento del camino | 41.188 | 123.564 | 21 |
| mitad del camino | 82.376 | 82.376 | 14 |
| 75 por ciento del camino | 123.564 | 41.188 | 7 |
Dos semanas de tráfico devueltas equivalen a la mitad de otro experimento completo en el mismo flujo. En un programa que ejecuta un test cada vez, eso es el techo de velocidad moviéndose: no es ahorro de coste, es una hipótesis más testeada por trimestre.
La evidencia recomienda cautela
Aquí entra el contrapunto honesto, y viene de datos, no de opinión. Jitlal, Khan, Lee y Hackshaw reanalizaron retrospectivamente diez estudios aleatorizados de cáncer que alcanzaron el tamaño de muestra planificado, aplicando análisis de futilidad al 25, 50 y 75 por ciento de los eventos observados. El resultado tiene los dos lados.
Del lado favorable: después del 50 por ciento del número objetivo de eventos, tres de los cinco estudios sin beneficio podrían haber parado pronto, con poder condicional del 15 por ciento o menos. En dos de ellos la duración caería entre 4 y 24 meses, con un ahorro de entre 44 mil y 231 mil libras (el tercero ya había cerrado el reclutamiento, así que no habría ahorro).
Del lado desfavorable, y es lo que más importa: dos de los cuatro estudios con efecto de tratamiento moderado también podrían haberse parado en algún momento, aunque terminaron mostrando beneficio real. La conclusión de los autores es la que debe orientar la política del programa: la futilidad debe usarse con más frecuencia, porque evita exponer a participantes futuros a un tratamiento ineficaz, pero, sin evidencia muy buena de futilidad, suele ser mejor continuar hasta el final planificado.
La traducción a la experimentación de producto es directa. El coste de equivocarse aquí no es ético, es de portafolio: matar pronto un test que iba a ganar significa archivar una buena hipótesis con el sello de testeada, y difícilmente vuelve a la cola.
Regla obligatoria contra regla directriz
La FDA separa dos tipos de regla de futilidad, y la distinción importa también fuera del contexto clínico:
- No obligatoria (directriz). El criterio es una guía; la decisión final considera el conjunto de los resultados interinos. No aumenta el error tipo I, y es el formato que la agencia describe como frecuentemente apropiado.
- Obligatoria. El estudio debe parar siempre que se alcanza el criterio. Trae ventajas en el análisis de eficacia, como un umbral relajado para declarar efecto, pero el control del error tipo I solo vale si la regla se sigue. Un estudio que continúa después de cruzar una frontera obligatoria tiende a considerarse sin evidencia de eficacia, sea cual sea el resultado final.
Para un programa de experimentación de producto, la regla directriz es casi siempre la elección correcta: le da al equipo el derecho de continuar cuando el contexto lo justifica (un festivo atípico en medio del test, una campaña que cambió el mix de tráfico), sin coste estadístico. Lo que exige es honestidad sobre que el criterio se escribió antes.
Vale registrar el orden de magnitud de la ganancia que trae el análisis interino, también según la FDA: un diseño secuencial con un único análisis interino y una frontera de parada por eficacia comúnmente usada reduce el tamaño de muestra esperado en cerca del 15 por ciento respecto a un estudio de muestra fija comparable. Es una ganancia real y modesta, no una revolución, y sirve de referencia para calibrar expectativas.
Cómo poner esto en el plan
Cuatro líneas en el plan de análisis preregistrado lo resuelven:
- Cuántos análisis interinos y cuándo, en fracción de información (por ejemplo, uno único a la mitad). Fijarlos por fracción, no por fecha, evita que el calendario decida la estadística.
- El supuesto de drift: efecto planificado o tendencia observada. Publicar los dos en el informe y decidir por uno.
- El umbral gamma y la inflación de error tipo II que implica, escrita en número.
- Si la regla es directriz u obligatoria y quién tiene autoridad para no seguirla.
Una observación sobre disciplina: el análisis interino de futilidad no es licencia para mirar el valor p todos los días. La frontera de futilidad es sobre poder condicional, es unidireccional y está declarada previamente. Quedarse espiando el resultado a la búsqueda de una victoria sigue siendo peeking, con el coste de falso positivo de siempre.
Errores comunes
- Parar por futilidad sin regla escrita. Sin umbral declarado antes, “este test no va a dar en nada” es una opinión con apariencia de cuenta.
- Analizar la futilidad demasiado pronto. En el primer cuarto, bajo el supuesto planificado, casi nada cruza la frontera, y el análisis solo gasta reunión.
- Usar solo el supuesto optimista. Responde a “y si la hipótesis es correcta?”, no a “qué están diciendo los datos?”. Las dos cuentas caben en el mismo informe.
- Confundir futilidad con empate probado. Un poder condicional bajo dice que el test no va a concluir; para afirmar que las versiones son equivalentes existe un procedimiento propio, el test de equivalencia.
- Ignorar el coste en poder. Todo umbral tiene una inflación de error tipo II asociada, y es calculable.
- Tratar una hipótesis muerta por futilidad como hipótesis refutada. El test paró por falta de tráfico para decidir, no por prueba de ausencia de efecto. Si la hipótesis sigue siendo buena, el camino es rediseñar el test, no archivarla.
Hazlo automático en Donnu
La decisión de apagar un test que no va a concluir suele tomarse tarde, y por cansancio, porque el panel solo muestra el valor p del momento y el valor p no responde a la pregunta “vale la pena continuar?”.
En Donnu, todo experimento nace con la muestra planificada y la fracción de información visible en el panel, así que el análisis interino ocurre en el punto pactado en lugar de ocurrir cuando alguien se acuerda, y el informe muestra la distancia que falta en lugar de solo el veredicto actual. Para rehacer las cuentas a mano, la calculadora de significancia devuelve la z de cualquier corte interino, la calculadora de duración convierte la muestra que falta en días de calendario y la calculadora de cuántos tests por mes muestra lo que el tráfico devuelto compra en hipótesis testeadas.
Referencias
- Zhang, Y. y Clarke, W. R. An Adaptive Futility Monitoring Method with Time-Varying Conditional Power Boundary. Department of Biostatistics, University of Iowa, 9 de marzo de 2009. Fuente de la definición de poder condicional como la probabilidad de que el análisis final rechace la nula dados los datos interinos y un efecto supuesto; de la fórmula cerrada del poder condicional a partir del B-value del movimiento browniano (Lan y Wittes, 1988); del registro de que 1 menos el poder condicional es el índice de futilidad de Ware, Muller y Braunwald (1985); de la convención de umbral gamma entre 0 y 0,5 y de la práctica común de parar cuando el poder condicional queda por debajo de 0,1; de la explicación de por qué el poder condicional cae despacio en tiempos iniciales (el cálculo pondera más los datos futuros supuestos bajo la alternativa planificada); del límite de error tipo II de beta sobre 1 menos gamma debido a Lan, Simon y Halperin (1982), con el ejemplo de inflación de menos del 11,1 por ciento para gamma de 0,1; y de la evidencia numérica de Chang y Chuang-Stein de que las fronteras agresivas alejan sustancialmente los dos errores de los niveles nominales. public-health.uiowa.edu.
- U.S. Food and Drug Administration. Adaptive Designs for Clinical Trials of Drugs and Biologics: Guidance for Industry. CDER y CBER, noviembre de 2019. Fuente de la distinción entre reglas de futilidad no obligatorias y obligatorias; de la afirmación de que añadir directrices de futilidad no obligatorias a un estudio de muestra fija, o a uno con fronteras secuenciales adecuadas para eficacia, no aumenta la probabilidad de error tipo I y a menudo es apropiado; de la salvedad de que el control del error tipo I bajo reglas obligatorias solo vale si se siguen, y de que un estudio que continúa después de cruzar una frontera obligatoria tiende a considerarse sin evidencia de eficacia; y de la estimación de que un diseño secuencial con un único análisis interino y frontera de eficacia comúnmente usada reduce el tamaño de muestra esperado en cerca del 15 por ciento respecto al estudio de muestra fija comparable. fda.gov.
- Jitlal, M., Khan, I., Lee, S. M. y Hackshaw, A. Stopping clinical trials early for futility: retrospective analysis of several randomised clinical studies. British Journal of Cancer, volumen 107, páginas 910 a 917, 2012. Fuente del reanálisis de diez estudios aleatorizados de cáncer que alcanzaron el tamaño de muestra planificado, con análisis de futilidad aplicados al 25, 50 y 75 por ciento de los eventos o de los pacientes reclutados; del resultado de que, después del 50 por ciento del número objetivo de eventos, tres de los cinco estudios sin beneficio podrían haber parado pronto con poder condicional del 15 por ciento o menos; de la reducción de duración de 4 a 24 meses en dos estudios, con ahorro de 44 mil a 231 mil libras; del hallazgo preocupante de que dos de los cuatro estudios con efecto moderado también podrían haber sido interrumpidos pese a haber mostrado beneficio al final; y de la conclusión de que, sin evidencia muy buena de futilidad, suele ser mejor continuar hasta el final planificado. nature.com.
- Walker, E. y Nowacki, A. S. Understanding Equivalence and Noninferiority Testing. Journal of General Internal Medicine, volumen 26, número 2, páginas 192 a 196, 2011. Fuente de la distinción entre no conseguir demostrar una diferencia y demostrar equivalencia, usada aquí para separar la parada por futilidad de la conclusión de empate. pmc.ncbi.nlm.nih.gov.
Lee también: Test secuencial explicado · El problema del peeking · Test de equivalencia · Plan de análisis preregistrado · Calculadora de duración · Leia em português
Preguntas frecuentes
- ¿Qué es la parada por futilidad en un test A/B?
- Es apagar el test antes del final cuando la probabilidad de que termine con significancia se ha vuelto demasiado pequeña como para justificar el tráfico restante. La decisión es distinta de parar por victoria: aquí nadie declara ganador, solo se acepta que la pregunta no va a responderse con el diseño actual. La cuenta que sostiene la decisión se llama poder condicional.
- ¿Qué es el poder condicional?
- Es la probabilidad de que el test termine rechazando la hipótesis nula, dado lo que ya se observó hasta el momento del análisis interino y un supuesto sobre el efecto en el tramo restante. Zhang y Clarke lo definen exactamente así y registran que la cantidad complementaria, 1 menos el poder condicional, se llama índice de futilidad desde Ware, Muller y Braunwald. La cuenta usa el B-value del movimiento browniano, formalizado por Lan y Wittes.
- ¿Qué umbral de poder condicional usar para parar?
- La elección es subjetiva y tiene un precio declarado. Según Zhang y Clarke, la práctica común entre investigadores es parar cuando el poder condicional calculado sobre el efecto originalmente planificado cae por debajo de 0,1, y esa regla es conservadora: difícilmente recomienda la parada. Lan, Simon y Halperin mostraron que, con monitorización continua y umbral gamma, el error tipo II queda acotado por beta dividido entre 1 menos gamma, lo que con gamma de 0,1 significa una inflación de como mucho el 11,11 por ciento.
- ¿Parar por futilidad estropea la estadística del test?
- No, si la regla es del tipo no obligatoria. La FDA registra que añadir reglas de futilidad no obligatorias a un estudio de muestra fija, o a un estudio con fronteras secuenciales adecuadas para eficacia, no aumenta la probabilidad de error tipo I y a menudo es apropiado. Lo que la futilidad cuesta es poder, no tasa de falso positivo: la probabilidad de perder un efecto verdadero sube, y esa es la cuenta que tiene que estar declarada antes.
- ¿Cuál es la diferencia entre regla obligatoria y no obligatoria?
- La no obligatoria es una directriz: puede seguirse o no según el conjunto de los resultados interinos. La obligatoria exige que el estudio pare siempre que se alcance el criterio. Según la FDA, las reglas obligatorias traen alguna ventaja en el análisis de eficacia, pero el control del error tipo I solo vale si se siguen, y un estudio que continúa después de cruzar una frontera obligatoria tiende a considerarse sin evidencia de eficacia, con independencia del resultado final.
- ¿La parada por futilidad puede matar un test que iba a ganar?
- Puede, y hay evidencia empírica de ello. Jitlal, Khan, Lee y Hackshaw reanalizaron diez estudios aleatorizados de cáncer y encontraron los dos lados: la mitad de los estudios sin beneficio podría haber parado pronto con poder condicional bajo, ahorrando meses y decenas de miles de libras, pero dos de los cuatro estudios con efecto moderado también habrían sido interrumpidos en algún punto, pese a haber terminado mostrando beneficio. La conclusión de los autores es directa: sin evidencia muy buena de futilidad, suele ser mejor llegar hasta el final planificado.