Sesgo de Instrumentación: cuando la medición es el bug
Cuando la variante cambia la forma en que se recoge el dato, el test A/B mide el instrumento. Cómo reconocer, aislar y corregir ese sesgo.
📚 Este artículo es parte de la guía Significancia Estadística en Tests A/B: La Guía.
Un test A/B compara dos experiencias, pero solo ve lo que la telemetría consiguió registrar. Cuando la variante cambia la forma en que se recoge el dato, y no solo lo que el usuario hizo, el experimento pasa a medir el instrumento. El resultado es una diferencia perfectamente significativa, con valor-p pequeño e intervalo estrecho, correspondiente a un efecto real de cero. Esta guía cubre por qué el sesgo de instrumentación supera todas las comprobaciones estadísticas, un ejemplo trabajado en el que una mejora aparente del 4,26 por ciento viene enteramente de pérdida de señal, los cuatro modos de fallo que aparecen en la práctica, y el diseño de cuatro brazos que separa el efecto de la medición. Forma parte de nuestra guía completa de test A/B y dialoga con errores comunes en tests A/B.
La medición no es neutral
Existe una suposición escondida en todo panel de experimento: la de que la tubería que lleva el comportamiento hasta el número es la misma en ambos brazos. Casi siempre lo es. Cuando no lo es, nada en el aparato estadístico avisa.
El motivo es simple. El valor-p mide cuán improbables son los datos observados bajo la hipótesis nula, dado que los datos miden lo que crees que miden. No lleva ninguna información sobre la validez de la medición. Un defecto de telemetría que infla el tratamiento produce un valor-p pequeño con total confianza, y un intervalo de confianza estrecho alrededor de un número que no describe el mundo.
Ejemplo trabajado: más 4,26 por ciento de nada
Un equipo prueba abrir un enlace de destino en una ventana nueva. La tasa de clic verdadera es del 12,000 por ciento en ambos brazos, porque el cambio no afecta la decisión de hacer clic, solo lo que ocurre después del clic. Son 60.000 usuarios por variante.
El clic se registra mediante una petición asíncrona de una imagen de 1 por 1 píxel, el mecanismo estándar de la industria y conocidamente sujeto a pérdidas: cuando la navegación abandona la página antes de que la petición se complete, el evento simplemente no llega. En el control, la navegación en el mismo sitio mata el 6 por ciento de las señales. En el tratamiento, la ventana nueva mantiene viva la página original y la pérdida cae al 2 por ciento.
Pega los números en la calculadora:
Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.
| Lo que registró la base de datos | Usuarios | Clics medidos | Tasa medida |
|---|---|---|---|
| A, control, pierde 6 por ciento | 60.000 | 6.768 | 11,280 por ciento |
| B, ventana nueva, pierde 2 por ciento | 60.000 | 7.056 | 11,760 por ciento |
La calculadora devuelve más 0,480 puntos porcentuales, más 4,26 por ciento relativo, z = 2,604, valor-p 0,00921, con intervalo del 95 por ciento de más 0,119 a más 0,841 puntos porcentuales. Significativo al 99 por ciento de confianza.
Y la verdad era esta:
| Lo que de hecho ocurrió | Usuarios | Clics reales | Tasa real |
|---|---|---|---|
| A, control | 60.000 | 7.200 | 12,000 por ciento |
| B, ventana nueva | 60.000 | 7.200 | 12,000 por ciento |
La calculadora devuelve más 0,000 puntos porcentuales, valor-p 1,00000, con intervalo de menos 0,368 a más 0,368 puntos porcentuales. Efecto verdadero exactamente cero, resultado medido significativo al 99 por ciento. Ninguna cantidad de muestra adicional corregiría esto: duplicar el test solo estrecharía el intervalo alrededor del 4,26 por ciento inexistente.
Este no es un escenario hipotético. Kohavi relata el caso real en el artículo de resultados inesperados publicado en SIGKDD Explorations. La señal de alarma no fue el resultado principal, fue una métrica que no debería haberse movido: el porcentaje de usuarios que hacían clic en el enlace apareció significativamente mayor en el tratamiento. Como hacer clic en el enlace es el punto de disparo del experimento, y antes de ese punto los dos brazos son idénticos, aquella diferencia era imposible por construcción. El equipo segmentó los datos por navegador, encontró una variación altamente significativa del efecto por familia de navegador, y llegó a la explicación: abrir el destino en una ventana nueva mejoró mucho la fiabilidad de la señal en navegadores distintos de Internet Explorer. Después de la corrección la funcionalidad siguió siendo positiva, pero bastante menos de lo que afirmaba el resultado inicial.
Los cuatro modos de fallo
| Modo | Qué ocurre | Señal que lo delata |
|---|---|---|
| Pérdida desigual de señal | Un brazo registra mejor que el otro | Métrica previa al disparo difiere entre brazos |
| Robot concentrado | El tráfico automatizado cae siempre en la misma variante | Recuento por usuario con cola absurda |
| Penalización asimétrica | Un brazo paga redirección, latencia o etapa extra | El tiempo de carga difiere entre brazos |
| Exposición mal controlada | Poblaciones diferentes entran en cada brazo | La composición por país, navegador o dispositivo difiere |
Los dos últimos merecen detalle, porque no parecen problemas de medición a primera vista.
Robots: cuando el ruido se vuelve sesgo
La intuición común es que el robot siempre contamina el experimento. La realidad es más precisa y más útil. Crook, Frasca, Kohavi y Longbotham plantean la regla así en el artículo de KDD 2009: en experimentación, la preocupación es eliminar los robots que causan sesgo. Si el tráfico de un robot se distribuye entre las variantes de forma no sesgada, añade ruido a los datos y reduce la potencia del experimento, pero no invalida los resultados. Los robots que aparecen como varios usuarios distintos, por resetear cookies o correr desde varias máquinas, tampoco introducen sesgo.
El caso peligroso es el robot que actúa como un único usuario y genera tráfico de forma consistente hacia una sola variante. En palabras de los autores, si un robot consistentemente asignado a la variante A genera un número excesivo de clics, puede hacer que A tenga una tasa de clic estadísticamente mayor que B aunque B sea la preferida por los humanos.
La escala de esto sorprende. En el mismo artículo, los autores relatan un experimento en el portal MSN en el que un cambio pequeño y localizado en un único módulo produjo diferencias estadísticamente significativas en la tasa de clic de varias áreas no relacionadas de la página. La causa eran robots que aceptaban cookies y ejecutaban JavaScript, disparando eventos de clic a cerca de 100 por minuto durante 2,5 horas. Son 15.000 clics venidos de un solo origen. Contra un brazo de 60.000 usuarios con aproximadamente 7.000 clics legítimos, eso triplica la métrica.
Los autores añaden un detalle que complica la limpieza: cuando un robot corre en una máquina también usada por una persona, los dos comparten la misma cookie. Si la identidad del usuario está guardada en una cookie, lo cual es muy común, el usuario aparece como si tuviera dos personalidades, actuando como humano en algunos momentos y como robot en otros.
Penalización asimétrica y exposición
La redirección es el ejemplo canónico de penalización que recae sobre un solo brazo. Kohavi enumera tres razones por las cuales la versión con redirección queda por detrás: los usuarios del tratamiento sufren una redirección extra, que parece rápida en laboratorio pero puede costar cientos de milisegundos en la vida real, y las ralentizaciones de esa escala tienen un impacto significativo en las métricas; distintos robots tratan las redirecciones de formas distintas, lo que introduce sesgos sutiles y hace que hasta los tests A/A fallen; y la redirección es asimétrica, porque la página de destino puede guardarse en favoritos, pasarse adelante o indexarse, y en la mayoría de las implementaciones la página de tratamiento no comprueba si ese usuario realmente debería estar ahí, lo que genera contaminación.
El control de exposición es el pariente cercano. Kohavi relata dos casos: la página inicial estadounidense de MSN redirigía a visitantes de ciertos países hacia versiones locales, y la nueva versión probada aún no tenía esa comprobación implementada, así que la población de usuarios con direcciones fuera de Estados Unidos quedó mucho mayor en el tratamiento que en el control. En otro caso, una configuración equivocada en Bing hacía que todos los usuarios de Microsoft vieran siempre el control. En ninguno de los dos el problema aparece como error; aparece como resultado.
El diseño de cuatro brazos que aísla la instrumentación
Cuando no se puede eliminar la asimetría, se puede medirla. Kohavi describe el diseño: correr A, B, A prima y B prima, en el que A prima y B prima pasan por la misma redirección o por el mismo camino de medición.
- A prima contra B prima es la comparación justa del efecto del producto, porque ambos pagaron la misma penalización.
- A contra A prima mide exactamente cuánto costó el mecanismo en las métricas clave, ya que el contenido es idéntico y solo difiere el camino.
El coste es tráfico dividido en cuatro en lugar de dos, lo que reduce la potencia del diseño y alarga el plazo. Vale la pena cuando la decisión es cara y el mecanismo es sospechoso, y es una extensión natural de la disciplina de test A/A y validación de plataforma.
Checklist antes de confiar en un resultado
- ¿Cuadran las métricas previas al disparo? Recuento de usuarios expuestos, tasa de disparo y cualquier métrica anterior al punto del cambio. Una diferencia aquí es un defecto, no un hallazgo.
- ¿El reparto de tráfico cuadra con lo planificado? El procedimiento de reparto desigual de tráfico detecta buena parte de estos problemas antes de cualquier análisis.
- ¿El tiempo de carga es igual entre los brazos? Si un brazo es más lento, parte del efecto es velocidad y no producto.
- ¿La composición de la población cuadra? Segmenta por país, navegador y dispositivo. Una gran diferencia de composición apunta a un control de exposición roto.
- ¿El efecto se concentra en un navegador o dispositivo? El efecto de producto suele ser difuso; el efecto de instrumentación suele concentrarse exactamente donde el mecanismo de captura difiere.
- ¿Existe una cola absurda en el recuento por usuario? Un usuario con cientos de eventos en un periodo corto es un robot o una monitorización, no un cliente.
- ¿Algún sistema automatizado toca ese flujo? Kohavi relata un caso en el que la monitorización de disponibilidad pedía la página y simulaba un clic en el botón de compra, y con el nuevo diseño el clic fallaba y el sistema lo intentaba de nuevo varias veces, hundiendo la tasa de clic del tratamiento. La señal fue el número de páginas vistas por usuario significativamente mayor en el tratamiento.
Errores comunes
- Tratar una métrica previa al disparo desbalanceada como una curiosidad. Es la evidencia más barata que existe de que algo está mal, y se ignora con frecuencia porque no es la métrica principal.
- Excluir todo robot por precaución. Un filtro agresivo de robots también elimina humanos y puede introducir el sesgo que se quería evitar. El objetivo es el robot concentrado en un brazo, no el volumen de robots.
- Comparar la velocidad solo cuando el resultado desagrada. Si el tiempo de carga entra en el análisis únicamente cuando el test pierde, has creado un filtro que solo corrige en una dirección.
- Confiar en una victoria grande sin comprobar la instrumentación. Cuanto mayor es el resultado, mayor es la probabilidad de que sea un defecto. Una victoria excepcional pide una comprobación de medición antes de la celebración, un principio que vale también para las métricas de guardrail.
Hazlo automático en Donnu
Nada de esto es difícil de entender. Es difícil de recordar, cada vez, con el buen resultado ya en pantalla y la reunión agendada.
En Donnu, las comprobaciones que delatan la medición corren antes de que aparezca el resultado, y no después de que alguien sospeche: comparación de métricas previas al disparo entre los brazos, comprobación de la proporción de tráfico, tiempo de carga por variante y composición de la población por navegador, dispositivo y origen. Cuando alguna de ellas se enciende, el informe muestra la alerta por encima del resultado principal, porque el orden en que aparece la información cambia la decisión que se toma. Si prefieres comprobar los números a mano, la calculadora de valor-p acepta los recuentos brutos de cualquiera de los cortes.
Referencias
- Kohavi, R. Unexpected Results in Online Controlled Experiments. SIGKDD Explorations, 12(2), 2010. Fuente del caso del enlace en ventana nueva, incluyendo el porcentaje de usuarios que hacían clic apareciendo significativamente mayor en el tratamiento pese a que el clic es el punto de disparo, la variación altamente significativa del efecto por familia de navegador, la explicación de que los clics se miden mediante una imagen de 1 por 1 píxel pedida de forma asíncrona y que el mecanismo está sujeto a pérdidas, y la conclusión de que el valor de la funcionalidad siguió siendo positivo pero menor después de la corrección. También fuente de las tres razones por las cuales la redirección perjudica a un brazo, de la recomendación de un mecanismo en el servidor y del diseño con brazos redirigidos, y de los casos de control de exposición en MSN y en Bing y del sistema de monitorización que simulaba clics de compra. kdd.org.
- Crook, T., Frasca, B., Kohavi, R. y Longbotham, R. Seven Pitfalls to Avoid when Running Controlled Experiments on the Web. KDD 2009. Fuente de la regla de que un robot distribuido de forma no sesgada añade ruido y reduce la potencia sin invalidar resultados mientras que un robot consistentemente asignado a una variante crea un sesgo significativo, del experimento en el portal MSN en el que robots que aceptaban cookies y ejecutaban JavaScript dispararon eventos de clic a cerca de 100 por minuto durante 2,5 horas, y de la observación de que un robot y un humano que comparten máquina comparten cookie. exp-platform.com.
- Kohavi, R., Deng, A., Longbotham, R. y Xu, Y. Seven Rules of Thumb for Web Site Experimenters. KDD 2014. Fuente del principio de que los diseños complejos esconden defectos, con el caso de la comprobación de elegibilidad cuyo defecto eliminaba del experimento a quien ya había visto la funcionalidad, y de la observación de que el tiempo de carga tiene un impacto significativo en métricas clave. exp-platform.com.
- Kohavi, R., Tang, D. y Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Capítulos sobre fiabilidad de experimentos, telemetría y diagnóstico de resultados sospechosos. Material complementario en experimentguide.com.
Lee también: Errores que invalidan un test A/B · Test A/A y validación · Reparto desigual de tráfico · Métricas de guardrail · Calculadora de valor-p · Leia em português · Read in English
Preguntas frecuentes
- ¿Qué es el sesgo de instrumentación en un test A/B?
- Es cuando la variante altera no el comportamiento del usuario, sino la forma en que ese comportamiento se registra. El resultado es una diferencia real en los datos e inexistente en la realidad. Kohavi describe un caso exacto de esto: al abrir un enlace en una ventana nueva, la fiabilidad de la señal de clic mejoró en navegadores distintos de Internet Explorer, porque los clics se miden mediante una petición asíncrona de una imagen de 1 por 1 píxel, un mecanismo conocidamente sujeto a pérdidas. La funcionalidad siguió siendo positiva después de la corrección, pero bastante menos de lo que decía el número inicial.
- ¿Cómo diferenciar el sesgo de instrumentación de un efecto real?
- La comprobación más fuerte es el punto de disparo. Antes del punto en que las variantes pasan a ser diferentes, los dos brazos ven exactamente lo mismo, así que ninguna métrica previa al disparo debería diferir de forma estadísticamente significativa. Cuando difiere, eso es imposible por construcción y la causa es la medición, no el comportamiento. Así se descubrió el caso del enlace en ventana nueva: el porcentaje de usuarios que hacían clic en el enlace apareció significativamente mayor en el tratamiento, lo que no podía ocurrir.
- ¿Un robot siempre estropea el resultado del test?
- No. Crook, Frasca, Kohavi y Longbotham hacen esa distinción con cuidado en el artículo de KDD 2009: si el tráfico de robot se distribuye entre las variantes de forma no sesgada, añade ruido y reduce la potencia del experimento, pero no invalida el resultado. Un robot que resetea la cookie o corre desde varias máquinas aparece como varios usuarios distintos y tampoco genera sesgo. El caso peligroso es el robot que actúa como un único usuario y genera tráfico de forma consistente hacia una sola variante, porque ahí puede hacer que esa variante sea estadísticamente mejor sin que ningún humano haya preferido nada.
- ¿Por qué la redirección es un problema en un test A/B?
- Porque penaliza a un solo brazo. Kohavi enumera tres razones: los usuarios del tratamiento sufren una redirección extra que puede costar cientos de milisegundos, distintos robots tratan las redirecciones de formas distintas e introducen un sesgo sutil, y la redirección es asimétrica, ya que la página de destino puede guardarse en favoritos, compartirse o indexarse sin que nadie compruebe si ese usuario debería estar en el tratamiento. La recomendación es preferir un mecanismo en el servidor y, cuando no sea posible, garantizar que ambos brazos paguen la misma penalización.
- ¿Qué es un test A/A con brazos redirigidos?
- Es el diseño que aísla la instrumentación del efecto. Corres cuatro brazos: A y B normales, más A prima y B prima que pasan por la misma redirección o por el mismo camino de medición. La comparación entre A prima y B prima es justa, porque ambos pagaron la misma penalización, y la diferencia entre A y A prima mide exactamente cuánto costó el mecanismo de medición en las métricas clave. Kohavi relata usar ese diseño cuando no es posible eliminar la redirección.