Significancia Estadística en Tests A/B: La Guía
Significancia estadística en tests A/B explicada sin jerga, con la fórmula del z-test paso a paso, un ejemplo resuelto y calculadoras gratis.
La significancia estadística en un test A/B es la medida de cuán improbable es que la diferencia observada entre dos versiones haya surgido solo por azar. Un resultado suele llamarse “significativo” cuando el valor p queda por debajo de 0,05, es decir, menos de un 5% de probabilidad de que una diferencia de ese tamaño (o mayor) aparezca si las dos versiones fueran, de hecho, idénticas.
Esa respuesta de una frase es donde la mayoría de las guías se detiene. Esta no. Abajo vas a encontrar la fórmula real del z-test resuelta término a término, calculadoras en vivo que reproducen exactamente esa cuenta, el error del peeking que infla falsos positivos en silencio, y la respuesta honesta para “salió significativo, ¿y ahora?”. Es la referencia que nos hubiera gustado encontrar al construir un producto de test A/B desde cero, escrita para quien necesita defender una decisión de negocio real con ese número, no solo aprobar un examen de estadística.
Qué es la significancia estadística en un test A/B
Todo test A/B responde a una pregunta: ¿la diferencia entre tu control (A) y tu variación (B) es señal, o es ruido? La significancia estadística es la herramienta que separa uno del otro.
Aquí está el ejercicio que hace que esto tenga sentido. Imagina que divides el tráfico en dos páginas idénticas, A y A, sin ninguna diferencia real entre ellas. Debido a la aleatoriedad pura, casi nunca van a mostrar exactamente la misma tasa de conversión. Una siempre va a parecer un poco mejor que la otra, solo por azar. La significancia estadística es la disciplina de preguntar: ¿la diferencia que estoy viendo es mayor que la diferencia que dos páginas idénticas mostrarían de todos modos, solo por la aleatoriedad?
Formalmente, todo test parte de una hipótesis nula: “no existe diferencia real entre A y B”. Toda la maquinaria estadística existe para medir cuánta evidencia tienes contra esa hipótesis nula. Nunca “pruebas” técnicamente que B es mejor, acumulas evidencia suficiente para rechazar la suposición de que ambos son iguales.
El valor p, sin misterio
El valor p responde a una pregunta bien específica: si A y B fueran de hecho idénticos, ¿cuál es la probabilidad de ver una diferencia tan grande como esta, solo por muestreo aleatorio? Un valor p de 0,03 significa un 3% de probabilidad de ver ese resultado (o algo más extremo) si no hubiera ninguna diferencia real.
Esta precisión importa porque el valor p se interpreta mal todo el tiempo. Tres interpretaciones para evitar:
- “El valor p es la probabilidad de que B sea mejor.” No. Un valor p de 0,03 no es un 97% de probabilidad de que B gane. Solo describe cuán sorprendentes serían tus datos bajo el supuesto de que no hay diferencia.
- “Sin significancia quiere decir que A y B son iguales.” No. Casi siempre quiere decir que todavía falta evidencia, generalmente porque la muestra es pequeña, no que el efecto sea cero.
- “p = 0,049 es bien diferente de p = 0,051.” No. La línea de 0,05 es una convención, no un precipicio. Trata los valores cerca del límite como “todavía reuniendo evidencia”, no como aprobado/reprobado.
Nivel de confianza y nivel de significancia (alfa)
El nivel de significancia (alfa) es la tasa de falso positivo que aceptas correr, decidida antes de que el test corra. El nivel de confianza es solo 1 menos alfa, en porcentaje. Un nivel de confianza del 95% significa alfa = 0,05: un 5% de probabilidad de declarar un ganador que no existe.
| Confianza | Alfa | Qué cuesta |
|---|---|---|
| 90% | 0,10 | Decisiones más rápidas, pero 1 de cada 10 “victorias” es una alarma falsa |
| 95% | 0,05 | Estándar del mercado; equilibra velocidad y confiabilidad |
| 99% | 0,01 | Pocos falsos positivos, pero exige mucho más tráfico |
Usa 90% solo para cambios de bajo riesgo y fáciles de revertir, donde la velocidad importa más que la certeza. Reserva 99% para decisiones costosas o difíciles de revertir (precio, arquitectura de checkout), donde el costo de un falso positivo justifica el tráfico extra.
Los dos errores que arruinan decisiones: Tipo I y Tipo II
Todo test puede fallar de exactamente dos formas. Un error Tipo I (falso positivo) es declarar un ganador que no existe; el nivel de confianza elegido controla esto directamente (5% con 95% de confianza). Un error Tipo II (falso negativo) es perder una mejora real porque el test no fue lo bastante sensible para detectarla; el poder estadístico controla esto.
Poder estadístico y Efecto Mínimo Detectable (MDE)
El poder es la probabilidad de que tu test detecte un efecto real, si existe. El estándar de la industria es 80% de poder, lo que significa aceptar un 20% de probabilidad de perder una mejora genuina. El poder y el tamaño de la muestra están directamente ligados: con pocos visitantes, hasta una ganancia real y relevante puede pasar desapercibida.
La otra mitad de la ecuación es el Efecto Mínimo Detectable (MDE): la menor ganancia que decidiste que vale la pena descubrir. Definir un MDE no es solo un ejercicio de estadística, es una decisión de negocio. Detectar un salto enorme de +50% es barato en tráfico; detectar una ganancia minúscula de +2% puede exigir decenas de veces más visitantes, porque la señal queda mucho más cerca del ruido común de la variación del día a día.
La matemática detrás: el z-test de dos proporciones, término a término
Esta es la parte que casi toda guía se salta. Para dos proporciones (tu tasa de control y la de la variación), el test estándar calcula un puntaje z, la distancia entre las dos tasas medida en “desviaciones estándar del azar”:
Término a término: pA y pB son las tasas de conversión de cada versión; nA y nB, los visitantes de cada una; p̄ (p-barra) es la tasa combinada de las dos, la estimación de “cómo sería la tasa si A y B fueran idénticas”. Cuanto mayor el puntaje z, más lejos del azar está la diferencia observada, y el valor p es solo ese z traducido a probabilidad.
Un ejemplo resuelto, de principio a fin
El control (A) tuvo 210 conversiones en 4.200 visitantes; la variación (B), 273 en 4.200.
- Tasa de A: 210 ÷ 4.200 = 5,00%. Tasa de B: 273 ÷ 4.200 = 6,50%.
- Mejora relativa: (6,5 − 5,0) ÷ 5,0 = +30%. Parece excelente, ¿pero es real?
- Tasa combinada p̄: (210 + 273) ÷ 8.400 = 5,75%.
- Error estándar: √[0,0575 · 0,9425 · (1÷4.200 + 1÷4.200)] ≈ 0,00508.
- Puntaje z: (0,065 − 0,050) ÷ 0,00508 ≈ 2,95.
- Valor p bilateral ≈ 0,003.
Un valor p de 0,003 pasa la barrera de 0,05 con margen de sobra: el resultado es significativo, B gana. Es exactamente esa cuenta la que la calculadora de abajo hace por ti, en vivo, con tus propios números.
z-test vs. t-test, unilateral vs. bilateral
Las tasas de conversión (el visitante convierte o no) usan un z-test, que es lo que corre la calculadora de esta página. Las métricas continuas, como el ingreso por visitante o el tiempo en la página, necesitan un t-test, porque su varianza se comporta de forma diferente, y con muestras pequeñas las colas un poco más anchas del t-test compensan mejor la incertidumbre extra de estimar la varianza con pocos datos. Sobre la lateralidad: un test bilateral verifica diferencia en cualquier dirección y es el estándar seguro; un test unilateral solo verifica mejora en una dirección específica, lo que es más arriesgado porque no detecta una variación que empeora las cosas en silencio. A menos que tengas un motivo bien específico para descartar una dirección entera, usa bilateral como estándar.
Pruébalo ahora: calculadora de significancia estadística
Pega los visitantes y las conversiones de cada versión. La calculadora devuelve las tasas, la mejora relativa, el valor p, el intervalo de confianza de la diferencia y un veredicto honesto:
Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.
Intervalos de confianza: reporta esto, no solo el valor p
El valor p dice si existe una diferencia significativa. El intervalo de confianza dice el rango plausible de esa diferencia, lo que es mucho más útil para una decisión de negocio. Si el intervalo del 95% del lift de B es “+0,5 a +2,5 puntos porcentuales”, incluso el peor escenario plausible dentro de ese rango sigue siendo una mejora.
Un intervalo de confianza que cruza el cero (por ejemplo, “-0,3 a +2,1 puntos”) es la definición visual de “sin significancia”: el efecto real puede ser plausiblemente negativo, cero o positivo, así que todavía no tienes una dirección confiable.
¿Qué tan grande debe ser tu muestra?
El tamaño de la muestra depende de tres cosas que controlas directamente: tu tasa de conversión actual, el MDE que decidiste que vale la pena detectar, y la confianza y el poder elegidos. Ajusta los números para tu caso abajo y mira los visitantes por variación y la duración estimada:
Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.
Como referencia, manteniendo 95% de confianza y 80% de poder, con una tasa base del 5%:
| Efecto mínimo detectable (relativo) | Muestra aproximada por variación |
|---|---|
| 50% | ~1.500 |
| 20% | ~8.000 |
| 10% | ~31.000 |
| 5% | ~122.000 |
La relación no es lineal, es brutal: cortar a la mitad el efecto que quieres detectar multiplica por cerca de cuatro la muestra necesaria. Por eso los microtests (“cambié una palabra”) casi nunca alcanzan significancia en sitios de tráfico medio, el efecto es pequeño y la muestra necesaria, enorme. Para el paso a paso completo de esta tabla, mira cuántos visitantes necesita un test A/B.
Cuánto tiempo correr el test
Aunque la muestra calculada se alcance antes, corre el test durante al menos una a dos semanas completas. El comportamiento del lunes es diferente al del domingo, y quien compra el día de pago no es quien navega el fin de semana. Terminar en tres días “porque ya parece listo” captura una porción sesgada de tu audiencia real. En el otro extremo, correr un test durante seis semanas o más sin avance generalmente quiere decir que el efecto es menor que tu MDE, o que el tráfico realmente no es suficiente; recalcular con un MDE mayor suele valer más que simplemente esperar.
El error número 1 que finge significancia: el peeking
Mirar el panel todos los días y parar apenas aparece “significativo” parece eficiente, pero destruye la confiabilidad del test en silencio. Cada mirada extra es una oportunidad más para que el ruido aleatorio cruce la línea de significancia. Un test diseñado para un 5% de falso positivo puede subir a cerca de 25% a 30% si espías y paras de forma oportunista:
Test secuencial: espiar de la forma correcta
El test de horizonte fijo (calcular la muestra y no mirar hasta llegar a ella) no es el único diseño válido, es solo el más simple de explicar en la matemática. El test secuencial y la inferencia always-valid son métodos hechos específicamente para dejarte revisar resultados tantas veces como quieras sin inflar el falso positivo, gastando tu presupuesto de alfa poco a poco a lo largo de las miradas en vez de todo de una vez.
El costo es la complejidad: los métodos secuenciales (diseños secuenciales en grupo, tests de razón de probabilidad secuencial mixta y secuencias de confianza always-valid similares) exigen que la herramienta que corre tu test los implemente correctamente desde el inicio, no es algo que se “encaje por encima” revisando un valor p de horizonte fijo con más frecuencia. Si tu plataforma de test anuncia explícitamente “espía cuando quieras” como función, casi con certeza corre uno de estos métodos por debajo del capó. Si no lo anuncia, asume que es horizonte fijo, y trata el peeking anticipado exactamente como en el gráfico de arriba: un impuesto silencioso sobre tu falso positivo.
Comparaciones múltiples: probar varias variantes o métricas
Cada variante extra o métrica extra que revisas es una ronda más de datos para que un falso positivo se escape. Prueba 20 métricas sin relación entre sí con un 95% de confianza y, en promedio, una de ellas va a parecer “significativa” solo por azar, aunque nada real haya cambiado. Por eso un test con control más cuatro variaciones (A/B/C/D/E) exige más cuidado que un A/B simple, y por qué “encontramos un ganador en una de las doce métricas secundarias” es una afirmación débil por sí sola.
La corrección estándar es un ajuste, el más simple es el método de Bonferroni: divide tu límite de significancia (0,05) entre el número de comparaciones que estás haciendo. Probar 5 variaciones contra el control significa usar algo como 0,05 ÷ 5 = 0,01 como barrera de significancia efectiva para cada una. Es conservador, pero mantiene tu tasa real de falso positivo honesta. El freno práctico más simple: decide la métrica primaria y el número de variaciones antes del test, y trata cualquier hallazgo al rebuscar en el resto como hipótesis para el próximo test, no como conclusión de este.
Verificaciones de sanidad antes de confiar en cualquier valor p
Un valor p perfecto en el papel todavía puede ser inútil si la recolección de datos estaba rota. Dos verificaciones para hacer antes de confiar en cualquier resultado:
- Sample Ratio Mismatch (SRM). Si configuraste una división 50/50 pero el tráfico real llegó, digamos, 55/45 sin un buen motivo, algo está roto en la aleatorización, en el caché o en el filtrado de bots, y ningún valor p de ese test es confiable, por más convincente que parezca. Un simple test de chi-cuadrado sobre el conteo de visitantes (no de conversiones) detecta esto en segundos.
- Efecto novedad, estacionalidad y bugs de instrumentación. Una página rediseñada a veces gana al principio solo porque es nueva y los visitantes curiosos hacen más clics, un efecto que desaparece en las semanas siguientes. Comparar semana contra semana en vez de correr las dos variaciones al mismo tiempo invita a que la estacionalidad se disfrace de mejora real. Y un bug de rastreo que dispara un evento dos veces, o falla en dispararse en una variación, produce números internamente consistentes y completamente equivocados.
Métricas continuas: ingresos, ticket promedio y tiempo en la página
Todo lo que vimos hasta aquí asume un resultado binario: el visitante convierte, o no. Métricas como el ingreso por visitante, el ticket promedio (AOV) o el tiempo en la página son continuas, y necesitan una herramienta diferente: típicamente un t-test (o una alternativa no paramétrica como el test de Mann-Whitney, cuando los datos son muy asimétricos), no el z-test de dos proporciones usado arriba.
La molestia práctica con las métricas continuas es la varianza. Un puñado de pedidos grandes puede sacudir tu media con fuerza, lo que infla el error estándar y exige mucho más tráfico para llegar a la significancia de lo que exigiría un test simple de tasa de conversión. Dos correcciones comunes: limitar o winsorizar outliers (un solo pedido de R$ 50 mil no debería decidir por sí solo un test hecho para medir comportamiento típico), y reportar la mediana junto con la media, ya que la mediana es mucho menos sensible a un puñado de valores extremos.
Significancia estadística vs. significancia práctica
Un resultado puede ser estadísticamente significativo y aun así no importarle al negocio. Si un valor p de 0,02 corresponde a un lift de +0,1 punto porcentual, pregúntate si esa ganancia vale el costo de ingeniería de ponerla en producción. Antes de correr el test, define un efecto mínimo prácticamente significativo, el menor lift que de hecho justificaría la implementación, separado del menor lift que puedes detectar estadísticamente (tu MDE). La significancia estadística responde “¿esto es real?”; la significancia práctica responde “¿vale la pena hacerlo?”
Esta distinción importa más con muestras muy grandes. Corre un test en millones de visitantes y hasta un efecto genuinamente minúsculo y comercialmente irrelevante (digamos, +0,05 punto porcentual) termina pasando la barrera de 0,05, porque con datos suficientes casi cualquier diferencia real, por pequeña que sea, se vuelve detectable. Las empresas grandes con tráfico enorme a veces caen en la trampa de lanzar una lista larga de cambios “estadísticamente significativos” que, sumados, no mueven ningún panel que un líder de negocio realmente siga. Definir tu MDE a propósito, en vez de solo correr el test hasta que algo se ponga verde, es lo que mantiene la significancia ligada a algo que importa.
Frecuentista vs. bayesiano: dos formas de definir la “significancia”
Todo lo anterior es el enfoque frecuentista: valores p y un nivel de significancia fijo. El enfoque bayesiano responde a la misma pregunta de otra forma, da directamente la probabilidad de que B sea mejor que A (“B tiene un 97% de probabilidad de superar a A”), junto con la pérdida esperada si eliges mal.
| Frecuentista | Bayesiano | |
|---|---|---|
| Salida | Valor p, significativo o no | Probabilidad de que B gane |
| Suena como | “5% de probabilidad de que sea suerte” | “97% de probabilidad de que B sea mejor” |
| Parada anticipada | Exige métodos secuenciales | Naturalmente más tolerante, con los priors correctos |
| Estado en la industria | Estándar consolidado | Creciente, principalmente en SaaS product-led |
Ninguno es universalmente superior. La salida bayesiana suele ser más intuitiva para quien decide sin ser estadístico; la frecuentista sigue siendo el estándar académico y de mercado. Lo que no cambia en ninguno de los dos: todavía necesitas muestra y tiempo suficientes, y ninguno de los dos arregla un test mal diseñado.
Sitios de bajo tráfico: testear sin volumen suficiente
Si tu tráfico no alcanza la muestra que un MDE pequeño exige, tienes tres salidas honestas. Primero, aumenta tu MDE: deja de perseguir +2% y prueba cambios lo bastante grandes para rendir plausiblemente +20% o más, ya que los efectos mayores exigen drásticamente menos tráfico. Segundo, mira técnicas de reducción de varianza como CUPED, que usa datos preexperimento para reducir el ruido y aumentar la sensibilidad del test sin más visitantes. Tercero, cuando el volumen de hecho no sostiene ningún test confiable, apóyate en investigación cualitativa, grabación de sesión, entrevistas con usuarios y tests de usabilidad, para decidir bien sin un veredicto cuantitativo.
El checklist final: ¿se puede declarar un ganador?
- ¿La muestra fue calculada antes de que el test comenzara, con base en una tasa base y un MDE reales?
- ¿El test corrió durante al menos uno a dos ciclos de negocio completos?
- ¿El valor p está por debajo del alfa elegido, y el intervalo de confianza evita cruzar el cero?
- ¿Verificaste el Sample Ratio Mismatch (la división de tráfico coincide con la configurada)?
- ¿El tamaño del efecto es lo bastante grande para ser prácticamente significativo, no solo estadísticamente?
- ¿Evitaste espiar y parar oportunistamente, o usaste un método hecho para esto?
Si todos los ítems están marcados, se puede declarar el ganador con confianza. Si falta alguno, trata el resultado como provisional, sigue recolectando datos, o corre el test de nuevo ya con la brecha corregida, en vez de reportar un número que en verdad no puedes defender.
Nada de este checklist se trata de convertirte en estadístico. Se trata de la diferencia entre un test que es cuestionado tres meses después, cuando la “victoria” no se sostiene en los números agregados, y uno que resiste el escrutinio porque cada etapa se hizo en el orden correcto: planifica la muestra primero, corre limpio, y lee el resultado una única vez.
Glosario rápido
- Alfa: el nivel de significancia que aceptas, típicamente 0,05.
- Beta: la tasa de falso negativo que aceptas, típicamente 0,20 (poder = 1 − beta).
- Tasa base: la tasa de conversión de tu control antes del test.
- MDE: Efecto Mínimo Detectable, la menor ganancia que vale la pena descubrir.
- Proporción combinada (p̄): la tasa de conversión combinada de las dos variaciones, usada para estimar cómo sería “sin ninguna diferencia”.
- SRM: Sample Ratio Mismatch, cuando el tráfico no se divide de la forma configurada, señal de que la recolección de datos del test está rota.
Haz esto automático en Donnu
Acabas de ver todo lo que un test A/B estadísticamente honesto exige: el tamaño de muestra correcto, la duración correcta, evitar el peeking, verificar el Sample Ratio Mismatch y leer la significancia sin engañarte. Donnu ya hace todo esto por defecto. Tú defines la hipótesis y la métrica objetivo; Donnu dimensiona el test, recolecta los datos con un snippet que nunca traba tu página, y declara el ganador con estadística honesta, bayesiana o frecuentista. Sin conjeturas, sin p-value theater.
Empieza una prueba gratis de 14 días y corre tu próximo experimento sobre una base que ya hace la cuenta correcta. Para los fundamentos, mira qué es un test A/B y cómo funciona, o lee esta guía en inglés.
Referencias
- Kohavi, R., Tang, D. & Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020. Material de apoyo en experimentguide.com.
- Miller, E. How Not To Run an A/B Test (el problema del peeking), 2010. evanmiller.org.
- Georgiev, G. Statistical Methods in Online A/B Testing. analytics-toolkit.com.
- Kohavi, R. et al. Seven Rules of Thumb for Web Site Experimenters. KDD, 2014.
Preguntas frecuentes
- ¿Cuál es un buen nivel de confianza para un test A/B?
- 95% es el estándar del mercado y una elección razonable para la mayoría de las decisiones de negocio. Usa 90% solo cuando necesites decidir más rápido y tolerar más falsos positivos; reserva 99% para cambios costosos o difíciles de revertir, ya que exige una muestra mucho mayor.
- ¿Cuántas conversiones necesito para tener significancia?
- No existe un número fijo que sirva para todo test: depende de tu tasa base y del tamaño del efecto que quieres detectar. Como piso aproximado, menos de 100 conversiones por variación deja cualquier valor p inestable. Usa la calculadora de tamaño de muestra de esta página para tu caso específico.
- ¿Por qué mi test no está alcanzando significancia estadística?
- Los dos motivos más comunes son falta de tráfico para el tamaño de efecto que estás tratando de detectar, y un efecto real menor que tu Efecto Mínimo Detectable (MDE). Recalcula la muestra con un MDE realista, o acepta un cambio mayor y más audaz, más fácil de detectar.
- ¿El 95% de confianza siempre es suficiente?
- Es suficiente para la mayoría de las decisiones de marketing y producto, pero no es universal. Los cambios de alto riesgo y difíciles de revertir (precio, flujo central de checkout) a veces justifican un 99% de confianza. El costo siempre es más tráfico y tiempo a cambio de menos riesgo de falso positivo.
- ¿Cuál es la diferencia entre nivel de confianza y significancia estadística?
- El nivel de confianza (típicamente 95%) es el límite que defines antes de que el test comience. La significancia estadística es el resultado: un test es "significativo" cuando tu valor p queda por debajo del nivel de significancia elegido (alfa, 1 menos el nivel de confianza).
- ¿Puedo parar un test A/B más temprano si ya muestra significancia?
- No con seguridad, a menos que uses un método hecho para eso (test secuencial o always-valid). Parar apenas el resultado se vuelve significativo infla la tasa real de falso positivo muy por encima del 5%, un sesgo conocido como peeking. Define la muestra y la duración antes de empezar, y decide solo al final.