Plan de Análisis Preregistrado en Test A/B
Decidir después de ver el dato infla el falso positivo incluso sin mala fe. El plan de análisis preregistrado y la aritmética de cada bifurcación.
📚 Este artículo es parte de la guía Significancia Estadística en Tests A/B: La Guía.
Un plan de análisis preregistrado es la lista de decisiones que fijas antes de que empiece el experimento, justamente porque después podrían elegirse en función del resultado. No existe para contener a gente malintencionada: existe porque analistas honestos, mirando un dato real, toman decisiones razonables que habrían sido otras si el dato hubiera salido diferente, y esa contingencia por sí sola ya rompe la interpretación del valor p. Esta guía cubre el mecanismo del problema, un ejemplo trabajado en el que un test sin efecto produce un segmento aparentemente ganador, la aritmética de cuánto cuesta cada bifurcación en falso positivo y en muestra, y un plan de análisis copiable con los campos que tienen que estar cerrados antes de que entre el primer visitante. Forma parte de nuestra guía completa de test A/B y es el hermano de diseño de el problema del peeking.
El jardín de senderos que se bifurcan
La imagen es de Gelman y Loken, en un artículo de 2013 cuyo subtítulo ya entrega la tesis: por qué las comparaciones múltiples pueden ser un problema incluso cuando no hubo pesca ni p-hacking y la hipótesis de investigación se formuló de antemano.
Los autores explican que pasaron a considerar infeliz el término “pesca”, porque evoca la imagen de alguien intentando comparación tras comparación hasta pescar algo. No tienen razones para creer que eso ocurra con frecuencia. La historia real, dicen, es que el analista hace un análisis razonable dadas sus premisas y su dato, pero si el dato hubiera salido diferente podría haber hecho otros análisis igualmente razonables en aquellas circunstancias.
La consecuencia técnica es el corazón del asunto: aunque el análisis elegido sea una función determinista del dato observado, eso no elimina el problema de comparaciones múltiples, porque los valores p se basan en lo que habría pasado bajo otros conjuntos de datos posibles. El valor p responde a una pregunta sobre repeticiones hipotéticas. Si en repeticiones diferentes habrías hecho análisis diferentes, el valor p que calculaste no responde a la pregunta que crees que responde.
Gelman y Loken dan un ejemplo concreto de bifurcación que aparece todo el tiempo en un test A/B. Con frecuencia el análisis se hace sobre dos grupos o dos condiciones. Cuando el resultado es estadísticamente significativo en general, eso puede reportarse. Cuando es significativo solo en uno de los grupos y no en el otro, eso también puede reportarse como evidencia. Y si la diferencia entre los grupos, la interacción, es significativa, eso también funciona. Los tres parecen consistentes con la hipótesis de investigación, pero son análisis diferentes, caminos diferentes que se podían tomar.
Ejemplo trabajado: el segmento que ganó solo
Un test de checkout corre durante dos semanas con 40.000 visitantes por brazo. Antes de cualquier corte, el resultado general:
Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.
| Resultado general | Visitantes | Conversiones | Tasa |
|---|---|---|---|
| Control | 40.000 | 2.000 | 5,000 por ciento |
| Tratamiento | 40.000 | 2.060 | 5,150 por ciento |
En pantalla, la calculadora muestra tasas de 5,00 y 5,15 por ciento, lift de más 3,0 por ciento, valor p de 0,3338, intervalo de menos 0,2 a más 0,5 punto porcentual y el veredicto de que todavía no hay significancia. En precisión completa, e incluyendo el puntaje z, que la interfaz no muestra: más 0,150 punto porcentual, más 3,000 por ciento relativo, z = 0,966, valor p de 0,3338, intervalo del 95 por ciento de menos 0,154 a más 0,454 punto porcentual. Nada. El intervalo cubre el cero con holgura.
Entonces alguien abre por dispositivo. Son cuatro segmentos, y los recuentos suman exactamente el total de arriba:
| Segmento | Control | Tratamiento | Lift relativo | z | Valor p |
|---|---|---|---|---|---|
| Móvil | 12.000 / 540 (4,500 por ciento) | 12.000 / 624 (5,200 por ciento) | más 15,556 por ciento | 2,524 | 0,0116 |
| Escritorio | 20.000 / 1.100 (5,500 por ciento) | 20.000 / 1.070 (5,350 por ciento) | menos 2,727 por ciento | menos 0,662 | 0,5078 |
| Tablet | 4.000 / 200 (5,000 por ciento) | 4.000 / 206 (5,150 por ciento) | más 3,000 por ciento | 0,306 | 0,7599 |
| App | 4.000 / 160 (4,000 por ciento) | 4.000 / 160 (4,000 por ciento) | 0,000 por ciento | 0,000 | 1,0000 |
El segmento móvil aparece con más 15,556 por ciento y valor p de 0,0116. Es exactamente el tipo de número que se convierte en decisión de roadmap en la reunión del lunes.
Ahora la aritmética que tiene que acompañar a ese número. Si los cuatro segmentos estuvieran declarados antes del test, el umbral corregido para cuatro comparaciones sería 0,05 dividido por 4, es decir 0,0125. El móvil pasaría raspando: 0,0116 es menor que 0,0125.
Pero cuatro nunca fue el número de caminos disponibles. Si, además de dispositivo, el panel permitía abrir por métrica secundaria, y había cinco métricas en pantalla, el espacio de comparaciones que podrían haber llamado la atención es de 20. El umbral corregido cae a 0,0025, y el móvil deja de pasar por un margen amplio. El valor p de 0,0116 no cambió; lo que cambió fue contar honestamente cuántas puertas estaban abiertas.
La cuenta es directa: con tests independientes al nivel del 5 por ciento, la probabilidad de al menos un falso positivo vale 1 menos 0,95 elevado al número de tests.
| Comparaciones disponibles | Probabilidad de al menos un falso positivo | Umbral corregido | z crítico correspondiente |
|---|---|---|---|
| 1 | 5,0 por ciento | 0,05000 | 1,960 |
| 2 | 9,8 por ciento | 0,02500 | 2,241 |
| 4 | 18,5 por ciento | 0,01250 | 2,498 |
| 5 | 22,6 por ciento | 0,01000 | 2,576 |
| 10 | 40,1 por ciento | 0,00500 | 2,807 |
| 20 | 64,2 por ciento | 0,00250 | 3,023 |
Kohavi, Deng, Longbotham y Xu describen el mismo fenómeno a la escala de una plataforma grande: como se ejecutan miles de experimentos al año, una tasa de falso positivo de 0,05 implica cientos de resultados falsos positivos para una métrica dada, y eso se agrava cuando se usan varias métricas no correlacionadas.
El prior importa tanto como el valor p
Existe una segunda capa, y es la que explica por qué un hallazgo posterior merece mucha más desconfianza que un hallazgo predeclarado, incluso con el mismo valor p.
Los mismos autores lo formalizan con la regla de Bayes. Siendo el nivel de significancia, el error Tipo II y la probabilidad a priori de que la hipótesis alternativa sea verdadera, la probabilidad de que un resultado estadísticamente significativo sea de hecho verdadero vale el producto de la potencia por el prior, dividido por la suma de ese producto con el producto del nivel de significancia por el complemento del prior.
Con un nivel del 5 por ciento y una potencia del 80 por ciento, la tabla queda así:
| Probabilidad a priori de que la idea funcione | Probabilidad de que el resultado significativo sea verdadero |
|---|---|
| 33,33 por ciento | 88,9 por ciento |
| 20,00 por ciento | 80,0 por ciento |
| 10,00 por ciento | 64,0 por ciento |
| 5,00 por ciento | 45,7 por ciento |
| 2,00 por ciento | 24,6 por ciento |
| 0,20 por ciento | 3,1 por ciento |
Las dos puntas de esa tabla son de los propios autores: usan un prior de éxito de 1 entre 3, que es el promedio que reportan en varios experimentos de Microsoft, y llegan al 89 por ciento; y observan que, si los resultados de ruptura son uno entre 500, la probabilidad posterior cae al 3,1 por ciento.
La implicación práctica es dura y simple. Una hipótesis declarada antes, derivada de datos anteriores y de razonamiento sobre el producto, tiene un prior decente. Una hipótesis que nació de mirar la tabla de segmentos y notar que el móvil subió tiene un prior bajo por construcción, porque se seleccionó justamente por ser el mayor número de la pantalla. Mismo valor p, credibilidad muy diferente.
El plan de análisis: lo que tiene que estar cerrado antes
El plan de análisis es corto. Si ocupa más de una página, probablemente se convirtió en documento de proceso en vez de traba de decisión. Estos son los campos que importan, y el motivo de que cada uno esté en la lista es que es elegible después del hecho:
| Campo del plan | Qué fijar | Qué pasa si queda abierto |
|---|---|---|
| Hipótesis | Una frase con mecanismo, no con deseo | Se convierte en cualquier cosa que el dato sostenga |
| Métrica primaria | Exactamente una, con la unidad del denominador | La métrica que subió se convierte en la métrica primaria |
| Unidad de sorteo | Usuario, sesión, cuenta, región | Ver unidad de sorteo en test A/B |
| Efecto mínimo detectable | En puntos o en relativo, con el origen del número | El resultado se acomoda a cualquier tamaño de efecto |
| Tamaño de muestra y duración | Calculados a partir del efecto mínimo, con fecha objetivo | Se convierte en parada por conveniencia, ver peeking |
| Regla de parada | Fecha o muestra, una sola | Cada mirada es una oportunidad más de parar en el pico |
| Nivel de significancia | Ya corregido por el número de comparaciones planeadas | La corrección nunca ocurre |
| Segmentos | Lista cerrada, con corrección aplicada | El rastreo se convierte en descubrimiento |
| Métricas secundarias y de guardrail | Lista cerrada, ver métricas de guardrail | La métrica mala desaparece del informe |
| Criterio de decisión | Qué hace lanzar, qué hace descartar, qué hace repetir | La decisión se justifica después |
Una prueba de sanidad útil para el plan: pide a alguien que no escribió el documento que simule dos desenlaces opuestos y diga, leyendo solo el plan, qué decisión sale en cada caso. Si la respuesta en alguno de los dos es “depende”, el plan todavía tiene una bifurcación abierta.
Preregistrar cuesta muestra, y el coste es real
No vale fingir que el rigor sale gratis. Si el plan declara honestamente cuatro comparaciones, el nivel de significancia de cada una tiene que bajar, y el tamaño de muestra sube con él. Con una base de conversión del 5 por ciento, un efecto mínimo detectable del 10 por ciento relativo y una potencia del 80 por ciento:
| Nivel de significancia | Contexto | Muestra por variación |
|---|---|---|
| 0,0500 | una única comparación declarada | 31.234 |
| 0,0125 | cuatro comparaciones declaradas | 44.375 |
| 0,0025 | veinte comparaciones declaradas | 59.444 |
Veinte comparaciones cuestan casi el doble de muestra que una. Es incómodo, y es exactamente el punto: ese coste ya existía antes del plan, solo que se estaba pagando en decisiones equivocadas en vez de en visitantes. Si el número de la derecha es inviable para tu tráfico, la salida correcta es recortar comparaciones en el plan, no dejarlas implícitas.
Qué hacer con lo que encontraste después
Nada de esto exige tirar a la basura el segmento móvil del ejemplo. Exige cambiarle la etiqueta.
Gelman y Loken son explícitos al decir que no quieren que las exigencias de pureza estadística limiten la ciencia, y que los análisis más valiosos con frecuencia solo surgen de un proceso iterativo que involucra los datos. La salida que proponen es la estructura en dos partes: un primer experimento exploratorio, todavía apoyado en teoría, y un segundo puramente confirmatorio, con protocolo propio preregistrado.
Lo ilustran con un caso instructivo de Nosek, Spies y Motyl, relatado en el artículo: los investigadores encontraron una relación grande y estadísticamente significativa, pero en vez de parar ahí y publicar, reunieron una muestra nueva y grande e hicieron una replicación con protocolo y análisis predeterminados. Según sus estimaciones basadas en el resultado inicial significativo, la replicación tenía más del 99 por ciento de potencia. Aun así la replicación falló, con un valor p de 0,59.
En el vocabulario de la experimentación online, Kohavi, Deng, Longbotham y Xu dicen lo mismo en una línea: los resultados con significancia estadística en el límite deben verse como provisionales y volver a ejecutarse para replicar. Es la misma disciplina de la ronda de confirmación de la ley de Twyman, y el mismo remedio contra la maldición del ganador.
En la práctica, tres destinos posibles para un hallazgo posterior:
- Se convierte en tema de un test nuevo. El segmento móvil se gana un experimento propio, preregistrado, con muestra dimensionada solo para él.
- Se convierte en nota del informe, sin decisión. Registrado como observación exploratoria, sin un valor p presentado como prueba.
- Desaparece. Si nadie cree que valga un test dedicado, tampoco valía una decisión.
Un cuidado extra: los mismos autores recuerdan que es mucho más fácil mejorar métricas de un segmento pequeño, y que el efecto necesita diluirse por el tamaño del segmento. Una mejora del 10 por ciento en un segmento que representa el 1 por ciento del total tiene un impacto general de aproximadamente el 0,1 por ciento. Antes de celebrar el móvil, vale la pena ver cuánto del total representa, como se discute en análisis por disparo y dilución.
Errores comunes
- Llamar preregistro a un documento escrito después de que salió la primera lectura. Si el plan se guardó con el experimento ya corriendo, no traba nada.
- Declarar tres métricas primarias. Tres métricas primarias son cero métricas primarias, y la que suba se convierte en la elegida.
- Corregir solo las comparaciones que se hicieron. Lo que cuenta es el espacio de comparaciones que estaba disponible, que es el argumento central de Gelman y Loken.
- Preregistrar y después cambiar sin registrar el cambio. Los cambios de plan ocurren y a veces son correctos; lo que no puede es que ocurran en silencio.
- Creer que el plan hace innecesaria la comprobación de salud. Un plan cerrado no protege contra un reparto desigual de tráfico, ver cómo detectar SRM en tu test.
- Confundir plan con burocracia. Si el documento no cambia ninguna decisión posible, no es un plan, es un formulario.
Hazlo automático con Donnu
El punto frágil no es escribir el plan, es que el plan y el informe vivan en lugares diferentes, de modo que nadie se da cuenta cuando el segundo contradice al primero.
En Donnu, la métrica primaria, el efecto mínimo detectable, la muestra objetivo, la regla de parada y la lista de segmentos forman parte de la creación del experimento, no de un documento paralelo. El informe muestra lo que se declaró al lado de lo que se observó, y cualquier corte fuera de la lista declarada aparece marcado como exploratorio, con el umbral corregido explícito en vez de un valor p suelto. Para rehacer las cuentas por fuera, la calculadora de valor p, la calculadora de tamaño de muestra y la calculadora de significancia para varias variantes aceptan los números brutos.
Referencias
- Gelman, A. y Loken, E. The garden of forking paths: Why multiple comparisons can be a problem, even when there is no “fishing expedition” or “p-hacking” and the research hypothesis was posited ahead of time. Columbia University, 14 de noviembre de 2013. Fuente de la tesis de que los grados de libertad del investigador crean un problema de comparaciones múltiples incluso cuando solo se hace un análisis, de la salvedad de que el término pesca es infeliz porque los autores no tienen razones para creer que los analistas prueban comparación tras comparación, de la formulación de que un análisis razonable dado el dato observado habría sido otro si el dato hubiera salido diferente, de la afirmación de que incluso un análisis determinista en el dato observado no elimina el problema porque los valores p se basan en lo que habría pasado bajo otros conjuntos de datos posibles, del ejemplo de las tres bifurcaciones (significativo en el total, significativo en un grupo, interacción significativa) todas consistentes con la misma hipótesis, de la recomendación de la estructura en dos partes con un estudio exploratorio seguido de uno confirmatorio preregistrado, de la salvedad de que los autores no quieren limitar la ciencia y reconocen el valor del proceso iterativo con los datos, y del relato del caso de Nosek, Spies y Motyl en el que una replicación con más del 99 por ciento de potencia estimada falló con un valor p de 0,59. stat.columbia.edu.
- Kohavi, R., Deng, A., Longbotham, R. y Xu, Y. Seven Rules of Thumb for Web Site Experimenters. KDD 2014. Fuente de la observación de que ejecutar miles de experimentos al año con una tasa de falso positivo de 0,05 implica cientos de falsos positivos para una métrica dada, agravada por métricas no correlacionadas, de la recomendación de tratar los resultados con significancia en el límite como provisionales y volver a ejecutarlos para replicar, de la formalización por regla de Bayes de la probabilidad de que un resultado significativo sea verdadero en función de la potencia, del nivel de significancia y del prior, de los dos valores citados (89 por ciento con un prior de 1 entre 3, que los autores reportan como promedio en varios experimentos de Microsoft, y 3,1 por ciento con un prior de 1 entre 500), y de la regla de diluir la mejora por el tamaño del segmento, con el ejemplo del 10 por ciento en un segmento del 1 por ciento valiendo cerca del 0,1 por ciento en el total. exp-platform.com.
- Deng, A., Knoblich, U. y Lu, J. Applying the Delta Method in Metric Analytics: A Practical Guide with Novel Ideas. KDD 2018. Referencia sobre unidad de aleatorización y unidad de análisis, usada aquí para justificar por qué la unidad tiene que estar en el plan antes de que empiece el experimento. arxiv.org/abs/1803.06336.
- Kohavi, R., Tang, D. y Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Referencia general sobre diseño de experimentos, elección del OEC y disciplina de decisión. Material complementario en experimentguide.com.
Lee también: El problema del peeking · Ley de Twyman y la ronda de confirmación · Maldición del ganador · Eligiendo la métrica primaria · Test A/B/n con varias variantes · Calculadora de valor p · Leia em português
Preguntas frecuentes
- ¿Qué es un plan de análisis preregistrado?
- Es el documento que fija, antes de que empiece el experimento, todas las decisiones de análisis que después podrían elegirse en función del resultado: métrica primaria, efecto mínimo detectable, tamaño de muestra, regla de parada, nivel de significancia, lista cerrada de segmentos y de métricas secundarias, métricas de guardrail y criterio de decisión. El punto no es la burocracia, es quitar la libertad de elegir el camino de análisis después de ver adónde lleva.
- ¿Por qué necesito un plan si yo no hago p-hacking?
- Porque el problema no exige mala fe. Gelman y Loken lo llaman el jardín de senderos que se bifurcan: el investigador puede hacer un análisis perfectamente razonable dado lo que vio, pero si el dato hubiera salido diferente habría hecho otros análisis igualmente razonables. Son directos al decir que, incluso cuando el análisis elegido es una función determinista del dato observado, eso no elimina el problema de comparaciones múltiples, porque los valores p se basan en lo que habría pasado bajo otros conjuntos de datos posibles.
- ¿Cuánto infla la multiplicidad el falso positivo?
- Con tests independientes al nivel del 5 por ciento, la probabilidad de al menos un falso positivo es 1 menos 0,95 elevado al número de tests. Da 9,8 por ciento con 2 tests, 22,6 por ciento con 5, 40,1 por ciento con 10 y 64,2 por ciento con 20. Kohavi, Deng, Longbotham y Xu registran el mismo problema a escala industrial: ejecutando miles de experimentos al año, una tasa de falso positivo de 0,05 implica cientos de resultados falsos positivos para una métrica dada, y eso empeora cuando se usan varias métricas no correlacionadas.
- ¿Qué hacer con un resultado interesante encontrado después del test?
- Tratarlo como hipótesis, no como hallazgo. Gelman y Loken recomiendan la estructura en dos partes: un primer experimento exploratorio, todavía apoyado en teoría, y un segundo puramente confirmatorio con protocolo propio preregistrado. En el mundo de la experimentación online, Kohavi, Deng, Longbotham y Xu dicen el equivalente de forma más corta: los resultados con significancia estadística en el límite deben verse como provisionales y volver a ejecutarse para replicar.
- ¿El plan de análisis limita la exploración de los datos?
- No, separa exploración de confirmación. Gelman y Loken son explícitos al decir que no quieren que las exigencias de pureza estadística limiten la ciencia, y que los análisis más valiosos surgen con frecuencia de un proceso iterativo con los datos. Lo que hace el plan es impedir que un análisis exploratorio se presente con la etiqueta estadística de un análisis confirmatorio. Explorar sigue siendo libre; lo que necesita preregistro es la afirmación de que algo quedó probado.
- ¿Preregistrar cuesta muestra?
- Cuesta, cuando el plan asume honestamente cuántos tests se van a hacer. Con una base del 5 por ciento y un efecto mínimo detectable del 10 por ciento relativo, un único test al 95 por ciento de confianza y 80 por ciento de potencia pide 31.234 visitantes por variación. Corrigiendo para 4 comparaciones, el nivel cae a 0,0125 y la exigencia sube a 44.375; para 20 comparaciones, el nivel cae a 0,0025 y la exigencia llega a 59.444. Ese coste ya existía antes, solo que no se estaba pagando.