El problema del peeking en tests A/B (y cómo evitarlo)
Mirar el test todos los días y detenerte en la primera señal de victoria infla el falso positivo. La matemática del peeking y cómo evitarlo.
📚 Este artículo es parte de la guía Significancia Estadística en Tests A/B: La Guía.
El problema del peeking ocurre cuando revisas el resultado de un test A/B repetidas veces y te detienes en cuanto parece un ganador: cada nueva mirada es una nueva oportunidad para que el azar, por sí solo, cruce tu umbral de significancia, así que un test construido para un 5% de falso positivo puede entregar, en silencio, una tasa de error varias veces mayor. Es, sin exagerar, la forma más común en que un resultado de test A/B que parece honesto termina siendo, en realidad, incorrecto, y esto queda completamente invisible en el valor-p reportado, porque ese valor-p fue calculado como si hubieras mirado una sola vez.
Esta guía profundiza en un error específico ya mencionado de pasada en nuestra guía de significancia estadística en tests A/B: qué le hace realmente el peeking a tu tasa de error, la matemática detrás de esto, un ejemplo trabajado y el puñado de reglas de parada que resisten el escrutinio.
Qué significa realmente “peeking”
Peeking es revisar el panel de tu test antes de que alcance la muestra o duración planeada, y dejar que lo que ves influya en la decisión de seguir o parar. Mirar, por sí solo, es inofensivo. El daño viene de combinar mirar con una regla de parada implícita que casi nadie verbaliza: “dejo el test corriendo hasta que el resultado parezca significativo, entonces paro”.
Esa regla parece razonable. Es exactamente lo que rompe la garantía detrás de tu valor-p. Un umbral de valor-p de 0,05 promete una tasa de falso positivo del 5% bajo una condición muy específica: que decidiste el tamaño de muestra con antelación y miraste el resultado exactamente una vez, al final. En el momento en que miras más de una vez y dejas que un resultado “significativo” precoz termine el test, ya no estás corriendo el test que produce esa garantía del 5%, estás corriendo otro procedimiento, con una tasa de error mucho mayor, que solo por casualidad imprime un número parecido.
Por qué las miradas repetidas inflan el falso positivo
Imagina un test genuinamente empatado, en el que A y B tienen la misma tasa de conversión real. Por el ruido aleatorio de quién convierte y quién no, la diferencia observada entre A y B oscila alrededor de cero conforme llegan más visitantes, a veces inclinándose hacia “B está ganando”, a veces hacia “A está ganando”. En un único tamaño de muestra decidido con antelación, existe una probabilidad fija del 5% de que esa oscilación aleatoria haya cruzado la línea de significancia justo en ese momento. Esa es la promesa que hace un valor-p.
Pero si revisas cada 100 visitantes y paras en cuanto se cruza la línea, ya no estás preguntando “¿cruzó la línea en este momento específico?”. Estás preguntando “¿cruzó la línea en cualquiera de estos varios momentos?”. Y una línea que oscila y se revisa decenas de veces tiene muchas más probabilidades de tocar de refilón un umbral que una que se revisa una sola vez, aunque el proceso subyacente (dos grupos genuinamente iguales) nunca haya cambiado.
Cuánto infla esto realmente la tasa de error
Esto no es una advertencia vaga, ya se ha cuantificado. En su análisis de 2010, ampliamente citado, el estadístico Evan Miller mostró que monitorear continuamente un test y detenerse en cuanto cruza un umbral nominal del 5% puede llevar la tasa real de falso positivo a cerca del 26%, más de cinco veces el número mostrado en el panel (Miller, 2010). La relación entre el número de miradas y la tasa de error inflada tiene aproximadamente esta forma:
La versión intuitiva que usa Miller vale la pena recordar por sí sola: si espías un test en curso diez veces y paras en el primer resultado significativo, lo que crees que es un nivel de significancia del 1% es, en la práctica, más cercano al 5%. El número nominal en tu pantalla y el número que realmente describe tu riesgo de victoria falsa pueden estar cinco veces distantes entre sí.
Un ejemplo trabajado: cómo luce una mirada “de suerte”
Digamos que estás corriendo un test de rediseño del checkout con una tasa de conversión real e inmutable del 4% en ambos lados, es decir, cualquier diferencia observada es puro ruido. Decides revisar el panel todos los días en vez de esperar la ventana de dos semanas planeada. En el día 6, ya recolectaste 900 visitantes por variación: 29 conversiones en A (3,2%) y 46 en B (5,1%). Pega esos números en la calculadora de abajo.
Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.
En un conjunto de datos así, el observador que espía todos los días ve un valor-p cerca o debajo de 0,05 y para, satisfecho. Pero como A y B se construyeron idénticos en este escenario, esa “victoria” no es real, es exactamente el tipo de oscilación aleatoria que la curva de inflación de arriba predice que va a aparecer en una tasa bastante mayor al 5% cuando revisas todos los días y paras en el primer resultado favorable. Dos semanas después, con la muestra completa planeada, esa diferencia probablemente habría vuelto a estar cerca de cero, pero el observador que espió nunca llegó ahí, ya había lanzado un cambio que no hace nada.
Por qué esto no es exclusivo de la estadística frecuentista
Es tentador concluir que la solución es simplemente “cambiar a estadística bayesiana”, ya que las herramientas bayesianas te dejan mirar una probabilidad posterior en cualquier momento sin que eso sea matemáticamente inválido. Esa parte es cierta y es una ventaja real. Lo que no se sigue es que el test bayesiano sea inmune al efecto práctico del peeking. Un posterior bayesiano calculado con N=100 siempre es un resumen correctamente calibrado de la evidencia hasta ese punto, eso es genuino. Pero una regla de decisión del tipo “sigo revisando P(B gana a A) y paro la primera vez que cruce el 95%” sigue siendo un procedimiento de parada opcional, y la parada opcional infla tu tasa de error real sin importar qué marco calculó el número en el que paraste. Nuestra guía de test A/B bayesiano cubre exactamente esta sutileza, incluidas las reglas de parada que sí resisten en un flujo bayesiano.
Reglas de parada que realmente resisten
| Enfoque | Cómo funciona | Contrapartida |
|---|---|---|
| Horizonte fijo | Calcula la muestra y la duración antes de empezar, a partir de la tasa base, el MDE, la significancia y la potencia; decide solo en ese punto | Más simple, sin matemática extra, exige paciencia y ninguna mirada anticipada sobre la decisión |
| Test secuencial / inferencia siempre válida | Métodos estadísticos hechos para “gastar” tu presupuesto de error a lo largo de varias miradas, así que puedes revisar con frecuencia y parar antes sin inflar el falso positivo | Exige una herramienta hecha para esto; no es lo mismo que revisar un valor-p simple repetidas veces |
| Umbral bayesiano + N mínimo | Comprométete de antemano con un umbral de P(B gana a A) (ej.: 95%) combinado con una muestra mínima, en vez de solo el umbral | Reduce pero no elimina el riesgo de parada opcional si el N mínimo es demasiado bajo |
| Diseño secuencial en grupo | Planea un número pequeño y fijo de miradas intermedias con antelación, cada una con una barra de significancia más estricta (alpha-spending), para que el presupuesto total de error se mantenga en el 5% | Común en ensayos clínicos; exige el calendario fijado antes de que empiece el test, no improvisado |
De estas, el horizonte fijo es la que cualquier equipo puede adoptar hoy sin software nuevo: decide la muestra y la duración antes del lanzamiento, usando la misma calculadora de tamaño de muestra que alimenta nuestra guía de significancia estadística, y trata el panel intermedio como informativo, nunca como disparador de decisión.
Cómo el peeking se infiltra incluso en equipos disciplinados
Casi nadie sale a espiar a propósito de forma deshonesta. Suele llegar disfrazado de comportamiento razonable. Un stakeholder pregunta “¿cómo va el test del nuevo checkout?” al tercer día, y alguien abre el panel para responder, lo cual es inofensivo en sí mismo, hasta que el número parece bueno y la conversación se convierte en “¿no sería mejor lanzarlo ya?”. Un panel que se actualiza solo y muestra un valor-p en vivo ya es una invitación: la herramienta no distingue entre “tengo curiosidad” y “estoy decidiendo”, pero quien mira muchas veces confunde ambas cosas bajo presión de tiempo.
Dos patrones organizacionales empeoran esto. El primero es premiar la velocidad por encima del rigor: un equipo bajo presión para mostrar victorias semanales tiene todo el incentivo para terminar un test antes de tiempo en cuanto el número cruza la línea, porque un resultado “significativo” hoy queda mejor en un informe que “todavía corriendo”. El segundo es no registrar la regla de parada en ningún lugar antes de que empiece el test. Si nadie puede señalar un documento que diga “decidimos con antelación correr esto durante dos semanas y 8.400 visitantes”, no existe ningún freno que impida al equipo renegociar en silencio la línea de meta en cuanto los datos parezcan favorables, ni forma de saber, después, si eso ocurrió.
La corrección no es más fuerza de voluntad, es dejar visible y difícil de renegociar el punto acordado de antemano: escribe la muestra planeada y la fecha de cierre en el briefing del experimento antes del lanzamiento, y trata cualquier “¡ya dio significancia!” precoz como una anotación para después, no como una decisión.
Qué puedes hacer con seguridad antes de que termine el test
No mirar nada hasta el final no es realista, ni necesario. Lo que importa es separar monitorear de decidir:
- Sigue de cerca las métricas de resguardo con libertad. Si los errores de checkout se disparan o el tiempo de carga se desploma, eso es un problema de ingeniería u operación, detén el test por ese motivo, no porque la métrica de conversión parezca buena o mala.
- Presta atención al SRM (división desigual del tráfico). Si tu división prevista de 50/50 está llegando a 60/40 sin explicación, algo se rompió en la aleatorización y ningún resultado de ese test será confiable, sin importar el momento.
- Nunca dejes que la significancia aparente de la métrica primaria cambie tu fecha de parada. Esta es la única regla que, si se rompe, recrea por completo el problema de esta guía.
- Si de verdad necesitas mirar con frecuencia y actuar sobre eso, usa un método secuencial hecho para eso, no un valor-p simple revisado repetidas veces.
Hazlo automático en Donnu
El peeking es un problema de disciplina disfrazado de problema estadístico: la corrección no cuesta nada más que paciencia, y aun así es el error que invalida más tests A/B en silencio que casi cualquier otro. Donnu calcula tu muestra y duración con antelación y mantiene la decisión fija en ese punto, así que el panel sigue siendo honesto aunque lo revises cada hora por curiosidad.
Comienza una prueba gratuita de 14 días y corre tu próximo test sobre números en los que puedes confiar. Para el panorama estadístico completo, mira nuestra guía de significancia estadística en tests A/B, y para el lado bayesiano de esta misma pregunta, mira nuestra guía de test A/B bayesiano.
Referencias
- Miller, E. How Not To Run an A/B Test. 2010. evanmiller.org.
- Johari, R., Pekelis, L. & Walsh, D.J. Always Valid Inference: Bringing Sequential Analysis to A/B Testing. arXiv:1512.04922. arxiv.org.
- Kohavi, R., Tang, D. & Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Material de apoyo en experimentguide.com.
- Georgiev, G. Statistical Methods in Online A/B Testing. analytics-toolkit.com.
Preguntas frecuentes
- ¿Qué es el problema del peeking en un test A/B?
- Es el hábito de mirar el resultado de un test en curso repetidas veces y detenerte apenas parece significativo. Cada nueva mirada es una nueva oportunidad para que el azar, por sí solo, cruce el umbral de significancia, así que un test diseñado para un 5% de falso positivo puede terminar con una tasa real de error varias veces mayor.
- ¿Cuánto infla realmente el peeking el falso positivo?
- Depende de cuántas veces mires. Monitorear continuamente un test y detenerte en la primera victoria aparente puede llevar un nivel nominal del 5% a cerca del 26% de falso positivo real, según el análisis de Evan Miller de 2010, ampliamente citado. Incluso unas cinco miradas programadas ya empujan la tasa real a la franja del 12% al 15%, un resultado documentado en la literatura clásica de tests de significancia repetida (Armitage, McPherson & Rowe, 1969).
- ¿Es el test bayesiano inmune al problema del peeking?
- No, no del todo. Un posterior bayesiano es un resumen válido de la evidencia en cualquier tamaño de muestra, lo cual es una ventaja real. Pero si tu regla de parada es "sigo revisando P(B gana a A) y me detengo la primera vez que parezca bueno", ese comportamiento de parada opcional igual infla tu tasa de error práctica, en cualquiera de las escuelas. Nuestra guía de test bayesiano cubre esta sutileza por completo.
- ¿Puedo mirar el resultado de mi test antes de que termine?
- Sí, mirar no es el problema, detenerte según lo que ves antes de llegar a la muestra o la duración planeada sí lo es. Puedes monitorear métricas de resguardo (un checkout que se rompe, por ejemplo) sin tocar tu regla de decisión, siempre que solo declares ganador o perdedor en el punto predefinido, o uses un método de test secuencial hecho para permitir una parada anticipada con validez.
- ¿Cuál es la forma más simple de resolver el problema del peeking?
- Decide el tamaño de muestra y la duración del test antes de empezar, con base en tu tasa de conversión actual y el efecto mínimo que importa detectar, y solo toma la decisión de mantener o descartar cuando llegues a ese número. No cuesta nada y elimina el problema por completo, al precio de un poco de paciencia.