Calculadora de intervalo de confianza

Esta herramienta muestra la banda de incertidumbre que una tasa esconde: el intervalo de confianza. Tiene dos modos. En el primero, ingresas conversiones y visitantes y ves el intervalo de la propia tasa de conversión (con Wilson o Wald). En el segundo, ingresas A y B y ves el intervalo de la diferencia entre ellas en puntos porcentuales. Si lo que quieres es el veredicto de negocio directo (quién ganó, valor-p y mejora), usa la calculadora de significancia estadística: responde "¿puedo cambiar la página?". Esta responde "¿qué tan precisa es mi medición?".

Cómo usarla

1. Elige el modo: una tasa (el intervalo de una sola conversión) o diferencia entre A y B.
2. Elige el nivel de confianza: 90%, 95% (por defecto) o 99%.
3. En el modo de una tasa, completa conversiones y visitantes y elige el método (Wilson recomendado).
4. En el modo de diferencia, completa visitantes y conversiones de A y de B.
5. Lee el punto estimado y los límites inferior y superior. En la diferencia, mira si el intervalo cruza o no el cero.

Cómo funciona: las fórmulas

Para una proporción, el método Wilson (por defecto) es mucho más preciso que la fórmula clásica de Wald cuando la tasa es baja o la muestra es pequeña:

Donde p̂ es la tasa observada (conversiones sobre visitantes), n el número de visitantes y z el valor crítico de la normal (1,96 para 95%). El intervalo va de centro menos mitad a centro más mitad. Para la diferencia entre dos tasas, el intervalo es (p̂B − p̂A) más o menos z por el error estándar √( p̂A(1−p̂A)/nA + p̂B(1−p̂B)/nB ).

Ejemplo resuelto (reproduce el resultado por defecto)

Con los números que ya vienen cargados en el modo de una tasa: 120 conversiones en 2.000 visitantes, entonces p̂ = 6,00%, y z = 1,96 para 95%. El centro de Wilson es (0,06 + 3,8415/4.000) / (1 + 3,8415/2.000) = 0,06084. La mitad es (1,96/1,00192) · √(0,06·0,94/2.000 + 3,8415/(4·2.000²)) = 1,9562 · 0,005333 = 0,01043. Entonces el intervalo va de 0,06084 − 0,01043 a 0,06084 + 0,01043, es decir, de 5,04% a 7,13%, exactamente lo que muestra la herramienta al abrir.

Cambiando el método a Wald, el mismo dato da 6,00% más o menos 1,96 · √(0,06·0,94/2.000) = 6,00% más o menos 1,04pp, es decir, de 4,96% a 7,04%. Nota que el intervalo de Wilson está levemente desplazado hacia arriba y un poco más ancho: esa corrección en los extremos es lo que lo hace el método preferido. En el modo de diferencia, con A al 5,00% (100/2.000) y B al 6,50% (130/2.000), la diferencia de +1,50pp viene con IC del 95% de +0,06pp a +2,94pp: como no incluye el cero, la diferencia es significativa al 5%.

Cómo interpretarlo y dónde engaña

El error de lectura más común es creer que "95% de confianza" es la probabilidad de que el valor real esté en este intervalo. No lo es: la confianza es una propiedad del método a lo largo de muchas repeticiones, no una probabilidad sobre este intervalo único. El segundo error es leer solo el punto e ignorar el ancho: una tasa de 6% medida con 50 visitantes tiene un intervalo tan ancho que no decide nada. Antes de concluir cualquier cosa, mira los límites, no solo el centro.

En el modo de diferencia, un intervalo que cruza el cero es la señal de que todavía no puedes afirmar quién es mejor, ni que empataron: casi siempre falta muestra. Para saber cuánta muestra necesita tu test, usa la calculadora de tamaño de muestra. Y recuerda que un intervalo estrecho lejos del cero es el escenario ideal: efecto real y bien medido.

Buenas prácticas al leer un intervalo

El intervalo de confianza es honesto sobre la incertidumbre, siempre que lo leas bien. Revisa estos puntos.

• Reporta siempre el intervalo junto al punto. Una tasa sin intervalo esconde cuánto puede variar.
• Usa Wilson para proporciones. El Wald engaña cuando la tasa es baja o la muestra es pequeña.
• En A/B, mira si el intervalo de la diferencia cruza el cero antes de declarar un ganador.
• Si el intervalo está demasiado ancho, recolecta más datos. El ancho cae con la raíz de la muestra.

Preguntas frecuentes

¿Qué es un intervalo de confianza, en una frase?

Es el rango de valores plausibles para el número real de la población, estimado a partir de tu muestra. Una tasa observada de 6% con IC del 95% de 5,04% a 7,13% quiere decir que los datos son compatibles con una tasa verdadera en cualquier punto de ese rango. El punto solo engaña: el intervalo muestra la incertidumbre que esconde.

¿Qué significa de verdad "95% de confianza"?

No es "95% de probabilidad de que el valor real esté en este intervalo específico". Es una propiedad del método: si repitieras el experimento muchas veces y calcularas el intervalo cada vez, cerca del 95% de esos intervalos contendrían el valor verdadero. El intervalo que tienes en mano o lo contiene, o no. La confianza es sobre el procedimiento, no sobre este único intervalo.

¿Cuál es la diferencia entre el método Wilson y el Wald?

El Wald es la fórmula clásica de libro (p̂ más o menos z por el error estándar), simple pero mala cuando la tasa es baja, la muestra es pequeña o el resultado llega cerca de 0% o 100%: en esos casos falla la cobertura y hasta puede pasar de 0 o de 100. El Wilson corrige eso, tiene mucha mejor cobertura en los extremos y es el estándar recomendado hoy. Usa Wilson por defecto; el Wald está aquí solo para comparación didáctica.

¿Un intervalo de confianza es lo mismo que un test de significancia?

Son dos caras de la misma moneda. Si el IC del 95% de la diferencia entre A y B no incluye el cero, la diferencia es significativa al 5%. La ventaja del intervalo es que muestra el TAMAÑO plausible del efecto, no solo un sí o un no: un IC de +0,1pp a +0,3pp es significativo pero pequeño; uno de +2pp a +8pp es significativo y grande. Para el veredicto de negocio listo, con valor-p y mejora, usa la calculadora de significancia.

¿Por qué el intervalo se achica cuando aumento la muestra?

Porque el ancho del intervalo cae con la raíz del tamaño de la muestra: para cortar el intervalo a la mitad necesitas cuatro veces más datos. Por eso las tasas medidas con pocos visitantes vienen con intervalos enormes y no deciden nada. Si tu intervalo está demasiado ancho, el problema casi nunca es la fórmula: es la falta de muestra.

Continúa

¿Entendiste la incertidumbre? El siguiente paso es el veredicto de negocio, con valor-p y mejora, en la calculadora de significancia. Para el valor-p aislado, mira la calculadora de valor-p. El concepto detrás está en la guía significancia estadística en tests A/B.