Priors Bayesianos: informativos vs. no informativos
Prior bayesiano explicado con números reales: informativos vs. no informativos, cómo cambian la posterior y cuándo usar cada uno.
📚 Este artículo es parte de la guía Significancia Estadística en Tests A/B: La Guía.
Todo cálculo bayesiano empieza con una elección que la mayoría de los artículos sobre el tema pasa por alto: qué creencia tenías antes de ver los datos de tu test. Esa creencia es el prior, y no es un detalle técnico de nota al pie, es la pieza que decide cuán rápido (o cuán lento) tu estimación de tasa de conversión reacciona al tráfico que llega. Esta guía es una profundización estadística de nuestra guía de multi-armed bandits vs. test A/B, la pieza que ya explicó por qué el Thompson Sampling (el algoritmo bayesiano más común en bandits de producción) depende exactamente de este mecanismo de prior y posterior para decidir, visita a visita, hacia dónde enviar el tráfico.
Aquí el foco es solo el prior: qué es, la diferencia práctica entre un prior no informativo y uno informativo, cómo cada uno cambia matemáticamente la posterior calculada y, sobre todo, cuándo vale la pena usar cada tipo. Todo con números calculados de verdad, no descritos de oído.
Qué es un prior, sin rodeos
En la inferencia bayesiana, nunca partes de cero absoluto. Antes de mirar un solo visitante de tu test, ya tienes, implícita o explícitamente, alguna creencia sobre el rango probable de la tasa de conversión. El prior es esa creencia, formalizada como una distribución de probabilidad sobre los valores posibles de la tasa.
Para tasas de conversión (un número entre 0% y 100%), la distribución Beta es la elección estándar, porque es conjugada con el modelo Binomial que describe conversiones y no conversiones: cuando actualizas un prior Beta con datos binomiales, la posterior también sale en forma de Beta, con una fórmula simple y exacta, sin necesitar simulación. La regla de actualización es:
Es decir: sumas las conversiones observadas al parámetro alfa y las no conversiones al parámetro beta, y listo, tienes la nueva distribución de creencia. Es la misma cuenta que sostiene la calculadora bayesiana de este blog y el Thompson Sampling usado en bandits.
Prior no informativo vs. prior informativo
La elección del prior se resume, en la práctica, a una pregunta: ¿cuánto peso debería tener esa creencia previa frente a los datos que están llegando ahora?
Prior no informativo (débil): el ejemplo clásico es el Beta(1,1), también llamado prior uniforme. Asigna la misma densidad de probabilidad a cualquier tasa de conversión entre 0% y 100%, es decir, no favorece ningún valor específico antes de ver el dato. Es equivalente, en términos de peso, a haber observado solo una conversión y una no conversión antes de empezar, prácticamente nada. Este prior deja que “los datos hablen solos”: la posterior converge hacia la tasa observada muy rápidamente.
Prior informativo (fuerte): un ejemplo práctico sería el Beta(20,180). La media de ese prior es alfa dividido entre la suma de alfa y beta, es decir, 20 dividido entre 200, que da 10%. Lleva incorporada la creencia de que la tasa de conversión ronda el 10%, con una confianza equivalente a haber observado 20 conversiones en 200 visitas anteriores (así se lee el “peso” de un prior Beta: la suma alfa más beta funciona como un tamaño de muestra virtual, ya vivido antes de que empiece el test actual). Cuanto mayor esa suma, más concentrada queda la distribución alrededor de la media, y más peso carga frente a datos nuevos.
La figura de abajo compara las dos curvas de densidad lado a lado, antes de cualquier actualización con dato real:
Fíjate en la asimetría: el prior uniforme es una línea casi recta y baja, sin preferencia, mientras que el prior informativo ya llega dibujando una “opinión” concentrada antes de que se cuente un solo visitante.
Cómo el prior y el dato observado forman la posterior
El camino del prior a la posterior sigue siempre el mismo flujo, y vale la pena visualizarlo antes de entrar en los números:
Nota que la fórmula es idéntica para los dos tipos de prior. La diferencia entera está en el punto de partida: un Beta(1,1) empieza casi de cero, un Beta(20,180) empieza ya cargando el peso equivalente a 200 observaciones previas. Es ese peso inicial el que determina cuánto se parece la posterior al prior o al dato nuevo.
Ejemplo resuelto: la misma evidencia, dos priors distintos
Vamos a calcular de verdad, no a describir. El escenario: un test nuevo recibió 100 visitantes y 8 conversiones, una tasa observada bruta del 8,00%. Vamos a actualizar los dos priors presentados arriba con exactamente ese mismo dato, usando la regla de actualización conjugada.
Prior no informativo, Beta(1,1): Posterior = Beta(1 + 8, 1 + 92) = Beta(9, 93). Media de la posterior = 9 dividido entre (9 + 93) = 9/102 ≈ 8,82%.
Prior informativo, Beta(20,180): Posterior = Beta(20 + 8, 180 + 92) = Beta(28, 272). Media de la posterior = 28 dividido entre (28 + 272) = 28/300 ≈ 9,33%.
| Prior | Alfa, beta del prior | Media del prior | Posterior tras 8 conversiones en 100 | Media de la posterior |
|---|---|---|---|---|
| No informativo | Beta(1, 1) | 50,00% | Beta(9, 93) | 8,82% |
| Informativo | Beta(20, 180) | 10,00% | Beta(28, 272) | 9,33% |
Con exactamente la misma evidencia, las dos posteriores llegan a números distintos. La del prior débil queda bastante cerca de la tasa bruta observada (8,00%), arrastrada solo un poco hacia arriba por el resto del prior uniforme. La del prior fuerte queda arrastrada hacia más cerca del 10%, la media que el prior ya cargaba antes de contar un solo visitante, porque el peso del prior (200 pseudoobservaciones) todavía supera bastante el peso del dato nuevo (100 visitantes reales).
El mismo efecto aparece en la incertidumbre de cada posterior. Usando la varianza de una distribución Beta y una aproximación normal para el intervalo del 95%:
| Posterior | Desviación estándar | Intervalo aproximado del 95% |
|---|---|---|
| Beta(9, 93), prior débil | ≈ 2,80 puntos porcentuales | ≈ 3,3% a 14,3% |
| Beta(28, 272), prior fuerte | ≈ 1,68 puntos porcentuales | ≈ 6,0% a 12,6% |
Fíjate en el detalle que suele pasar desapercibido: la posterior del prior fuerte parece “más confiada” (intervalo más estrecho), simplemente porque suma 200 observaciones virtuales a las 100 reales, llegando a un total efectivo de 300. Esa confianza solo está justificada si la creencia del 10% incorporada en el prior realmente correspondía a la realidad. Si la tasa verdadera es de hecho 8%, ese intervalo más estrecho está, en la práctica, más confiado en torno a un valor levemente equivocado, que es exactamente el riesgo de un prior mal calibrado, tratado en detalle más abajo.
Calcúlalo tú mismo: la misma cuenta, con tus propios números
La calculadora de abajo corre sobre el mismo motor Beta-Binomial de este ejemplo, con el prior estándar del producto: un Beta(1,1) uniforme, no informativo, la elección segura siempre que no haya una creencia previa fuerte y confiable para incorporar. Pega los visitantes y conversiones de A y B de tu propio test y mira la posterior calculada en vivo:
Modelo Beta-Binomial con prior uniforme Beta(1,1) e intervalo de credibilidad del 95%. Cálculo determinístico, recalcula en vivo.
Si quisieras aplicar un prior informativo como el Beta(20,180) de esta guía, la cuenta detrás sería la misma regla de actualización, solo que sumando ese peso inicial de 20 conversiones y 180 no conversiones al alfa y al beta antes de sumar el dato nuevo, exactamente como lo hicimos manualmente arriba. Por eso la calculadora, con prior uniforme fijo, tiende a devolver una posterior más cercana a la tasa bruta observada de lo que devolvería una calculadora cargada con un prior fuerte para el mismo dato.
Cuánto tráfico hasta que el prior deje de importar
Una forma directa de ver la diferencia entre los dos priors es preguntar: con el mismo escenario (tasa real del 8%), ¿cuántos visitantes se necesitan hasta que la posterior de cada prior converja cerca del valor verdadero? Continuando la fórmula de actualización (posterior = prior más datos, con la tasa observada siempre en 8% del tráfico acumulado), la tabla de abajo muestra la media posterior de cada prior en distintos tamaños de muestra:
| Visitantes acumulados | Conversiones (≈ 8%) | Posterior media, prior débil Beta(1,1) | Posterior media, prior fuerte Beta(20,180) |
|---|---|---|---|
| 20 | 2 | 13,64% | 10,00% |
| 100 | 8 | 8,82% | 9,33% |
| 500 | 40 | 8,17% | 8,57% |
| 2.000 | 160 | 8,04% | 8,18% |
| 10.000 | 800 | 8,01% | 8,04% |
El patrón es claro y vale para cualquier prior Beta: cuanto mayor la suma de alfa y beta del prior (el “tamaño de muestra virtual” que carga), más visitantes reales se necesitan para que el dato supere esa creencia inicial. Un prior débil cede al dato casi de inmediato. Un prior fuerte solo cede después de acumular tráfico real comparable, o mayor, al peso que ya traía incorporado.
Cuándo usar prior informativo, y cuándo usar prior débil
La elección no es estética, es una decisión de riesgo. El prior informativo tiende a valer la pena cuando:
- Existe un historial comparable y confiable. Ya corriste decenas de tests parecidos (mismo tipo de página, mismo tipo de cambio, público similar) y tienes una distribución real de tasas de conversión observadas en esos tests anteriores, no una suposición.
- El tráfico del test actual es bajo y la decisión no puede esperar. Un prior bien calibrado reduce la varianza de la estimación en las primeras semanas, cuando muy poco dato ha llegado todavía, al costo de ser más lento para corregir si la creencia está equivocada.
- El cambio testeado es una variación pequeña de algo ya testeado antes, no una idea totalmente nueva. Reaprovechar el conocimiento de tests de botón de CTA para un nuevo test de botón de CTA es razonable; usar ese mismo prior para testear un rediseño completo de checkout no lo es.
El prior débil o uniforme es la elección más segura cuando:
- No existe historial comparable confiable, o el historial existente es de un contexto muy distinto (otro público, otra oferta, otro canal de tráfico).
- El cambio testeado es genuinamente nuevo, sin precedente parecido para sustentar una creencia específica.
- Priorizas dejar que el dato hable por sí mismo, aunque eso signifique una estimación inicial más ruidosa en las primeras semanas del test.
Ante la duda, un prior débil se equivoca por el lado más barato: tarda un poco más en refinar la estimación en las primeras semanas, pero nunca empuja la decisión hacia un valor que solo “creías” que era verdad.
El riesgo de un prior mal calibrado
El ejemplo numérico de arriba mostró el lado bueno de un prior informativo bien calibrado: menos ruido en las primeras semanas de un test. El lado malo aparece cuando la creencia incorporada en el prior está simplemente equivocada.
Imagina el mismo prior fuerte, Beta(20,180), con su creencia del 10%, solo que la tasa real de la nueva página es, de hecho, 3%, bastante más baja de lo que el historial sugería (por ejemplo, porque el público de este test específico es más frío, o la oferta es menos familiar). Con 100 visitantes y cerca de 3 conversiones (la misma proporción del 3%), la posterior sería Beta(20 + 3, 180 + 97) = Beta(23, 277), con media de 23 dividido entre 300, es decir, aproximadamente 7,67%, más del doble de la tasa real. Un prior débil, actualizado con los mismos números (Beta(1 + 3, 1 + 97) = Beta(4, 98)), llegaría a una media de 4 dividido entre 102, aproximadamente 3,92%, mucho más cerca de la realidad.
Ese es el mecanismo exacto del sesgo de un prior mal calibrado: no es un error aleatorio que se cancela con más dato rápidamente, es un empujón sistemático en la dirección de la creencia previa, que solo se corrige a la velocidad en que el dato real supera el peso virtual del prior. Cuanto más fuerte el prior equivocado, más caro sale el error, y más tiempo puede una decisión de negocio quedar apoyada sobre un número inflado o subestimado sin que nadie lo note, porque la posterior sigue pareciendo “confiada” (intervalo estrecho) todo el tiempo, solo que confiada en torno al valor equivocado.
La regla práctica: usar un prior informativo es apostar a que la creencia previa está en lo correcto. Cuando lo está, ganas velocidad y menos ruido. Cuando no lo está, pagas en sesgo sistemático, y el prior más fuerte es justamente el que más tarda en corregirse.
Haz esto automático en Donnu
Elegir el prior correcto es solo la mitad del trabajo bayesiano: la otra mitad es correr el cálculo sin errar la fórmula, sin confundir alfa con beta, y sin descubrir demasiado tarde que el prior elegido estaba arrastrando la decisión hacia el lado equivocado. Donnu ya corre sobre un motor bayesiano nativo con prior uniforme por defecto, exactamente la elección más segura para la mayoría de los tests reales, sin exigir que calcules posteriores manualmente para confiar en el veredicto.
Empieza una prueba gratis de 14 días y mira la posterior bayesiana calculada correctamente con cada visitante nuevo. Para entender dónde aparece este mismo mecanismo de prior y posterior en la asignación de tráfico en tiempo real, mira la guía multi-armed bandits vs. test A/B y la profundización en bandit contextual explicado. Si prefieres revisar primero la base frecuentista de significancia, mira la guía de significancia estadística en tests A/B, o usa la calculadora bayesiana de test A/B de forma independiente, sin el resto de la guía.
Referencias
- Jeffreys, H. An Invariant Form for the Prior Probability in Estimation Problems. Proceedings of the Royal Society of London, Series A, 186, 453-461, 1946. royalsocietypublishing.org.
- Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A. & Rubin, D. B. Bayesian Data Analysis, 3ª edición (texto completo disponible gratis). stat.columbia.edu/~gelman/book.
- VWO. Enhanced SmartStats, Bayesian powered sequential testing engine (prior no informativo en producción). vwo.com/why-us/technology/statistics.
- Lyst Engineering. Bayesian AB Testing (cómo especificar alfa y beta de un prior Beta en producción, con ejemplos numéricos). making.lyst.com.
Preguntas frecuentes
- ¿Qué es un prior bayesiano, en términos simples?
- Es la creencia sobre una tasa de conversión antes de mirar cualquier dato del test actual. Se representa como una distribución de probabilidad (en el caso de tasas de conversión, casi siempre una distribución Beta) y se combina matemáticamente con los datos observados para producir la posterior, que es la creencia actualizada después de ver la evidencia.
- ¿Cuál es la diferencia entre un prior informativo y uno no informativo?
- Un prior no informativo, como el Beta(1,1) uniforme, trata todas las tasas de conversión entre 0% y 100% como igualmente probables antes de ver cualquier dato, así que la posterior queda guiada casi enteramente por la evidencia observada. Un prior informativo, como un Beta(20,180) construido a partir de tests anteriores, ya lleva incorporada una creencia concentrada en torno a un valor específico (en este ejemplo, cerca del 10%), y esa creencia solo cede de a poco conforme llegan más datos.
- ¿Un prior mal calibrado puede sesgar la decisión de un test real?
- Sí, y ese es el principal riesgo de usar un prior informativo sin una justificación sólida. Si la creencia previa está equivocada (por ejemplo, heredada de un test con público u oferta distinta), la posterior queda arrastrada hacia un valor incorrecto, y cuanto más fuerte el prior, más dato hace falta para corregir ese sesgo. Un prior débil se equivoca menos en este sentido, porque cede a la evidencia casi de inmediato.
- ¿Cuándo tiene sentido usar un prior informativo en vez de uno uniforme?
- Cuando existe un historial confiable y comparable, por ejemplo, decenas de tests anteriores en el mismo tipo de página midiendo el mismo tipo de cambio, con una distribución de tasas de conversión ya conocida. Fuera de ese escenario, un prior débil o uniforme es la elección más segura, porque no impone una opinión previa que puede simplemente estar equivocada para el caso nuevo.
- ¿Qué tipo de prior usa la calculadora bayesiana de este blog?
- Por defecto, un prior uniforme Beta(1,1), no informativo: todas las tasas de conversión posibles empiezan igualmente probables, y la posterior queda guiada por los números que ingreses. Es la elección segura siempre que no tengas una creencia previa fuerte y confiable para incorporar al cálculo.