Intervalo de Credibilidad vs Confianza: la Diferencia Real
Intervalo de credibilidad vs intervalo de confianza: la diferencia real entre la lectura bayesiana y la frecuentista, con ejemplo numérico completo.
📚 Este artículo es parte de la guía Significancia Estadística en Tests A/B: La Guía.
Un intervalo de confianza frecuentista del 95% y un intervalo de credibilidad bayesiano del 95% suelen salir con números casi idénticos, y aun así responden preguntas completamente distintas. El primero describe el comportamiento de un método repetido infinitas veces; el segundo describe la probabilidad real del valor verdadero, dado lo que observaste. La frase que casi todo el mundo usa (“hay un 95% de probabilidad de que la tasa real esté aquí dentro”) solo es verdadera para el segundo. Aplicada al primero, es un error de interpretación tan común que estudios con investigadores entrenados encuentran ese engaño en la mayoría de las respuestas. Esta guía muestra la diferencia real, con un ejemplo numérico calculado por los dos motores estadísticos que ya corren en este blog, el frecuentista y el bayesiano, lado a lado, para el mismo par de números.
Qué responde cada intervalo, en realidad
La confusión nace de una coincidencia cruel: los dos intervalos suelen ocupar la misma franja de números, pero la pregunta que cada uno responde es otra.
El intervalo de confianza frecuentista responde: “si repitiera este experimento un número enorme de veces, tomando una nueva muestra cada vez y calculando un nuevo intervalo del mismo modo, el 95% de esos intervalos contendría el valor real.” La afirmación de confianza es sobre el procedimiento, no sobre el intervalo específico que tienes en la pantalla ahora. Una vez calculado, ese intervalo particular ya contiene el valor real o no lo contiene, no queda ninguna probabilidad para repartir dentro de él. La tasa de conversión verdadera no es una variable aleatoria en la visión frecuentista, es un número fijo (solo que desconocido); lo aleatorio es el propio intervalo, porque cambia de muestra en muestra.
El intervalo de credibilidad bayesiano responde: “dados los datos que observé y la creencia previa (prior) con la que empecé, hay un 95% de probabilidad de que el valor real esté dentro de este intervalo.” Aquí la tasa de conversión verdadera se trata como incierta, y esa incertidumbre se modela como una distribución de probabilidad (la posterior). El intervalo de credibilidad es, literalmente, la región de esa distribución que concentra el 95% de la masa de probabilidad. Es esa la lectura que la mayoría de las personas, sin querer, ya le atribuye al intervalo de confianza clásico.
Por qué esta confusión es tan común
La raíz histórica es simple: los dos intervalos fueron diseñados por escuelas distintas de la estadística (la frecuentista, de Jerzy Neyman, en los años 1930; la bayesiana, que usa el teorema de Bayes para actualizar creencias), pero el nombre coloquial que las personas le dan al resultado es casi siempre la versión bayesiana, incluso cuando el cálculo detrás es frecuentista. Decir “estoy 95% seguro de que el valor está aquí” suena natural para cualquier persona, solo que esa frase únicamente es lógicamente correcta para el intervalo de credibilidad.
Esto no es una exageración didáctica. Hoekstra, Morey, Rouder y Wagenmakers pidieron a 120 investigadores y 442 estudiantes de psicología que evaluaran seis afirmaciones sobre un intervalo de confianza, todas falsas por construcción. Tanto investigadores como estudiantes coincidieron, en promedio, con más de tres de las seis afirmaciones equivocadas, incluyendo la más común: “hay un 95% de probabilidad de que el valor real esté dentro de este intervalo específico”. Según los autores, el engaño fue tan frecuente entre estadísticos experimentados como entre principiantes.
La segunda razón es numérica, y es el corazón de este artículo: en muchos casos prácticos, sobre todo con un prior bayesiano débil y una muestra razonable, los dos intervalos salen con valores casi idénticos. Cuando los números coinciden, es fácil asumir (equivocadamente) que el significado también coincide. La siguiente sección muestra exactamente esa coincidencia, con datos reales.
Un ejemplo lado a lado, con números reales
Para no dejar la diferencia en lo abstracto, vamos a usar el mismo par de números de nuestra guía de significancia estadística: el control (A) tuvo 210 conversiones en 4.200 visitantes; la variación (B), 273 en 4.200. Los dos bloques de abajo salieron de los dos motores que ya corren en las calculadoras de este blog, el significance() frecuentista y el bayesianAbTest() bayesiano (posterior Beta con prior uniforme Beta(1,1)), sin ningún número redondeado al oído.
Tasa de cada versión: los dos intervalos, lado a lado
| Versión | Tasa observada | IC de confianza (Wilson, 95%) | Intervalo de credibilidad (95%) |
|---|---|---|---|
| A (control) | 5,00% | 4,38% a 5,70% | 4,38% a 5,70% |
| B (variación) | 6,50% | 5,79% a 7,29% | 5,79% a 7,29% |
Fíjate: los dos intervalos de A prácticamente coinciden (la diferencia aparece solo en la cuarta cifra decimal), y lo mismo vale para B. Esto sucede porque el prior bayesiano usado aquí es el uniforme Beta(1,1), el más débil posible, y la muestra de 4.200 visitantes por lado es lo bastante grande como para que la evidencia domine cualquier influencia del prior. Aun así, la pregunta que responde cada intervalo de esta tabla sigue siendo otra: el de confianza habla sobre el método; el de credibilidad habla sobre la probabilidad real de que la tasa de B esté entre 5,79% y 7,29%, dado que observaste 273 conversiones en 4.200 visitantes.
La diferencia entre A y B: donde los dos motores divergen de verdad
Donde termina la coincidencia numérica es en la pregunta “¿B es mejor que A?”. Al correr el motor frecuentista sobre la diferencia entre las dos tasas, el resultado es un puntaje z de 2,95, un valor p de 0,0031 (bilateral) y un intervalo de confianza de la diferencia de +0,50 a +2,50 puntos porcentuales, un resultado significativo (por debajo de 0,05). Esa cuenta responde: “si A y B fueran de hecho iguales, la probabilidad de ver una diferencia de este tamaño solo por azar sería del 0,31%.”
Al correr el motor bayesiano sobre el mismo par de números, la respuesta cambia de forma: la probabilidad de que B realmente supere a A es del 99,8%, la mejora relativa de las medias posteriores es del +29,9%, y el riesgo esperado de decidirse por B (la pérdida esperada en caso de que A fuera, en realidad, mejor) es de apenas 0,00 punto porcentual (la cuenta exacta da 0,0002 pp, redondeada hacia abajo por la calculadora), contra 1,50 punto porcentual de riesgo al decidirse por A. Esa cuenta responde directamente a la pregunta que la mayoría de los gestores realmente hace: “¿cuál es la probabilidad de que yo esté en lo correcto eligiendo B, y cuánto arriesgo si me equivoco?”.
Compruébalo tú mismo con los mismos números (210 conversiones en 4.200 visitantes para A; 273 en 4.200 para B). Primero, la lectura frecuentista:
Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.
Ahora el mismo par de números, en la lectura bayesiana:
Modelo Beta-Binomial con prior uniforme Beta(1,1) e intervalo de credibilidad del 95%. Cálculo determinístico, recalcula en vivo.
Nota que los dos bloques coinciden sobre el hecho central (B es mejor, con holgura), pero solo el segundo devuelve una frase que suena como “hay un 99,8% de probabilidad de que B sea mejor que A”. El primero nunca va a devolver esa frase, aunque el valor p parezca invitar a leerla así.
Dónde importa esta diferencia en la práctica
Para la mayoría de las decisiones del día a día, la distancia entre los dos conceptos es académica: ambos coinciden sobre la dirección del efecto, y el equipo sigue adelante. Pero existen tres situaciones concretas en las que la diferencia deja de ser semántica y se convierte en un riesgo real de comunicación:
- Reportar el resultado a alguien que no es técnico. Un estadístico sabe que “95% de confianza” no es una probabilidad sobre el valor real, pero un gestor, un inversionista o un cliente casi siempre lo va a interpretar así, porque es la lectura más natural en español. Si la pieza que estás usando es frecuentista, comunicarla como si fuera bayesiana promete una certeza que la cuenta no sostiene.
- Comparar el riesgo de dos decisiones. “B tiene un 99,8% de probabilidad de ser mejor, y el riesgo de equivocarse eligiendo B es de apenas 0,0002 punto porcentual (redondeado, 0,00 pp en la calculadora)” es una frase accionable, que ya incluye el tamaño del error posible. La traducción frecuentista equivalente (“el valor p es 0,0031”) exige un paso extra de interpretación que la mayoría de los equipos se salta, o hace mal.
- Explicar por qué un test quedó inconcluso. Un intervalo de confianza demasiado amplio es fácil de describir como “no sabemos”, pero un intervalo de credibilidad amplio permite ir más allá: se puede decir, por ejemplo, “hay un 62% de probabilidad de que B sea mejor, pero todavía no suficiente para decidir con seguridad”, una afirmación de grado que el valor p por sí solo no entrega.
| Lo que quieres decir | ¿Puedes decirlo con IC de confianza? | ¿Puedes decirlo con intervalo de credibilidad? |
|---|---|---|
| “Hay un 95% de probabilidad de que el valor real esté aquí dentro” | No. Es la lectura equivocada más común, según Hoekstra et al. (2014) | Sí, es exactamente esa la definición |
| “Si repitiera este test muchas veces, el 95% de los intervalos calculados así contendrían el valor real” | Sí, es la definición correcta | No es la pregunta que responde este intervalo |
| “B tiene X% de probabilidad de ser mejor que A” | No directamente (exige transformar el valor p, algo que la mayoría no hace bien) | Sí, es el resultado directo del modelo |
| “El riesgo esperado de elegir mal es de Y puntos porcentuales” | No forma parte del cálculo | Sí, es la pérdida esperada (expected loss) |
Una diferencia técnica más: de dónde sale cada intervalo
Vale la pena registrar de dónde sale cada número, porque eso explica por qué la coincidencia del ejemplo anterior no está garantizada en todos los escenarios. El intervalo de confianza Wilson usado en esta página se construye a partir de la curva normal que aproxima la distribución binomial, sin ninguna creencia previa involucrada, solo el conteo de conversiones y visitantes. El intervalo de credibilidad sale de una posterior Beta(1 + conversiones, 1 + no conversiones), obtenida al combinar el prior uniforme Beta(1,1) con los mismos datos observados, y luego recortada en los percentiles 2,5% y 97,5% de esa distribución (el recorte llamado equal-tailed, el más común y el que usa la calculadora bayesiana de este blog). Existe una segunda forma de recortar el intervalo de credibilidad, el HPD (highest posterior density, o región de mayor densidad posterior), que busca el intervalo más pequeño posible que todavía contenga el 95% de la masa; para una posterior simétrica como la de este ejemplo, los dos recortes prácticamente coinciden, pero para una posterior bien asimétrica (pocos datos, tasa cerca del 0% o del 100%) pueden divergir de forma visible. El prior débil y la muestra grande de nuestro ejemplo son exactamente la condición en la que el intervalo de confianza y el de credibilidad convergen numéricamente; con un prior más fuerte o una muestra pequeña, los dos números pueden alejarse bastante más el uno del otro, aunque la interpretación de cada uno siga siendo exactamente la misma.
El IC y el intervalo de credibilidad no son la misma regla con otro nombre
Vale la pena cerrar un malentendido hermano de este: ninguno de los dos es “más riguroso” que el otro por definición. La guía de significancia estadística ya muestra la fórmula del test z y el intervalo de confianza de la diferencia; la guía de priors bayesianos muestra cómo la elección del prior moldea la posterior que genera el intervalo de credibilidad. Las dos cuentas parten de datos reales y llegan a veredictos defendibles, cada una dentro de la lógica de su propia escuela. El error no es elegir la frecuentista o la bayesiana, es hablar la frase de una mientras se piensa en el significado de la otra, que es exactamente lo que la mayoría de las personas hace sin darse cuenta.
Hazlo automático en Donnu
Acabas de ver por qué “95% de confianza” y “95% de probabilidad de que el valor real esté aquí” no son la misma frase, incluso cuando los números parecen idénticos. Ese es el tipo de detalle que se convierte en un malentendido costoso en una reunión de resultados: alguien le promete a un stakeholder una certeza que el intervalo de confianza nunca ofreció. Donnu resuelve esto de raíz porque ya corre sobre un motor bayesiano nativo: el veredicto que recibes ya viene en la forma de la pregunta que todo el mundo realmente hace (“¿cuál es la probabilidad de que B sea mejor, y cuánto arriesgo si elijo mal?”), sin que tu equipo tenga que traducir un valor p en una frase que no sostiene.
Empieza una prueba gratis de 14 días y lee también la guía completa de significancia estadística, la guía de priors bayesianos y el muestreo de Thompson explicado, que usa esa misma posterior bayesiana para decidir tráfico en tiempo real. ¿Prefieres calcular aparte? Usa la calculadora de intervalo de confianza o la calculadora bayesiana de test A/B de este blog.
Referencias
- Hoekstra, R., Morey, R. D., Rouder, J. N. & Wagenmakers, E.-J. Robust misinterpretation of confidence intervals. Psychonomic Bulletin & Review, 21(5), 1157-1164, 2014. pubmed.ncbi.nlm.nih.gov/24420726.
- Morey, R. D., Hoekstra, R., Rouder, J. N., Lee, M. D. & Wagenmakers, E.-J. The fallacy of placing confidence in confidence intervals. Psychonomic Bulletin & Review, 23, 103-123, 2016. pubmed.ncbi.nlm.nih.gov/26450628.
- GrowthBook. How to interpret a confidence interval, step by step. growthbook.io/insights/how-interpret-confidence-interval-step-by-step.
Preguntas frecuentes
- ¿El intervalo de confianza y el intervalo de credibilidad dan el mismo número?
- Con frecuencia sí, o muy cerca de eso, cuando el prior bayesiano es débil (como el uniforme Beta(1,1)) y la muestra es razonablemente grande: las dos cuentas convergen hacia valores numéricos casi idénticos. Lo que cambia por completo es qué tiene permitido significar ese número. Es exactamente esa coincidencia numérica la que alimenta la confusión entre los dos conceptos.
- ¿Puedo decir que "hay un 95% de probabilidad de que la tasa real esté dentro del intervalo de confianza"?
- No, formalmente. Esa es la interpretación bayesiana, y pertenece al intervalo de credibilidad, no al intervalo de confianza frecuentista. El intervalo de confianza ya fue calculado; la tasa real o está dentro de él o no está, ya no queda ninguna probabilidad involucrada en ese intervalo específico. La frase "95% de confianza" describe el método usado para construir el intervalo, no el intervalo en sí.
- ¿Por qué importa esta diferencia si los números suelen parecerse?
- Porque la decisión de negocio muchas veces depende de una afirmación probabilística directa ("¿cuál es la probabilidad de que este cambio sea real?"), y solo el intervalo de credibilidad responde eso con honestidad. Usar el lenguaje equivocado con un stakeholder puede hacer parecer que estás más (o menos) seguro del resultado de lo que la matemática realmente sostiene.
- ¿El intervalo de credibilidad depende del prior elegido?
- Sí, esa es la principal diferencia estructural entre los dos. El intervalo de confianza no usa ningún prior, solo los datos observados. El intervalo de credibilidad combina los datos con una creencia previa (el prior); con un prior débil y uniforme, como el Beta(1,1) usado en este blog, esa influencia es pequeña y desaparece rápido a medida que la muestra crece, pero con un prior fuerte la diferencia numérica entre los dos intervalos puede volverse bastante mayor.
- ¿Cuál de los dos debo usar en mi test A/B?
- Los dos son defendibles, y no compiten entre sí: el intervalo de confianza es el estándar de la literatura clásica y de los reportes formales; el intervalo de credibilidad tiende a comunicar mejor con quien decide, porque responde exactamente a la pregunta que la mayoría de las personas ya asume estar recibiendo. El error no es elegir uno de los dos, es hablar el lenguaje de uno mientras se piensa en el significado del otro.