Recalcular el Tamaño de Muestra en Medio del Test A/B
Cómo recalcular el tamaño de muestra en medio del test A/B cuando la tasa base del plan estaba mal, sin inflar el falso positivo. Poder de 42% a 78%.
📚 Este artículo es parte de la guía Significancia Estadística en Tests A/B: La Guía.
Existe una forma legítima de tocar el tamaño de muestra después de que el test A/B comenzó: recalcular usando solamente la tasa de conversión AGRUPADA de los dos brazos, sin mirar la diferencia entre ellos. En la simulación de este artículo, un plan hecho para una base de 5 por ciento corriendo sobre una base real de 2 por ciento entregó un poder de 42,0 por ciento en el diseño fijo y 77,8 por ciento con recálculo a ciegas, con la tasa de falso positivo permaneciendo entre 4,37 y 5,08 por ciento en todos los escenarios probados. Eso no es espiar: espiar es usar la diferencia entre A y B, y es eso lo que rompe el test. Esta guía muestra la diferencia entre las dos cosas, mide el daño de errar la tasa base, cuantifica cuándo recalcular, y registra el único caso en que el método no es seguro. Forma parte de nuestra guía completa de test A/B y complementa cuántos visitantes necesita un test A/B y el problema del peeking.
El plan nace sobre un número que usted estimó a ojo
Todo cálculo de muestra necesita cuatro cosas: el nivel de significancia, el poder deseado, el efecto mínimo que usted quiere detectar y la tasa base. Las tres primeras son decisiones del equipo. La cuarta es una medición del pasado, y es la única que puede estar simplemente equivocada.
Se equivoca por motivos banales: el histórico vino de otra estación del año, la página cambió desde la última medición, la campaña trajo tráfico de calidad distinta, el evento de conversión fue redefinido, el filtro de bots cambió. En la literatura de ensayos clínicos ese tipo de parámetro tiene nombre: parámetro de perturbación, un número que afecta la distribución del estadístico de prueba pero no es lo que usted quiere probar. Para desenlace binario, el parámetro de perturbación es exactamente la tasa de respuesta agrupada sobre los dos brazos.
El trabajo de referencia sobre el paquete blindrecalc, de Baumann, Pilz y Kieser, ilustra la incertidumbre con un metaanálisis de 13 estudios en el que la tasa de morbilidad agrupada reportada varió de 0,10 a 0,62. Es el mismo orden de error que comete un equipo de producto cuando estima la conversión de un checkout nuevo a partir del checkout viejo.
Lo que la tasa base equivocada le hace al tamaño de muestra
Tomemos un plan concreto: base asumida de 5 por ciento, efecto mínimo detectable de 10 por ciento relativo, alfa de 5 por ciento bilateral, poder de 80 por ciento. La calculadora devuelve 31.234 usuarios por variación y 11 días a 40.000 visitantes por semana.
Ahora suponga que la base real sea otra. Con el efecto mínimo mantenido en 10 por ciento relativo, que es como piensa la mayoría de los equipos:
| base real | N realmente necesario | N del plan | poder real con el N del plan | días necesarios |
|---|---|---|---|---|
| 2% | 80.682 | 31.234 | 41,4% | 29 |
| 3% | 53.211 | 31.234 | 57,4% | 19 |
| 4% | 39.475 | 31.234 | 70,3% | 14 |
| 5% | 31.234 | 31.234 | 80,0% | 11 |
| 6% | 25.740 | 31.234 | 87,0% | 10 |
| 8% | 18.872 | 31.234 | 95,0% | 7 |
| 10% | 14.751 | 31.234 | 98,3% | 6 |
Errar la base hacia abajo en 3 puntos porcentuales cuesta la mitad del poder. Y el equipo nunca se entera: el test termina, da “no significativo”, y la conclusión registrada es que la variación no funcionó.
Vale notar que el signo del error se invierte si su efecto mínimo se piensa en puntos porcentuales absolutos:
| base real | N necesario (MDE de 0,5 pp) | poder real con el N del plan | días necesarios |
|---|---|---|---|
| 2% | 13.809 | 98,8% | 5 |
| 3% | 19.743 | 94,1% | 7 |
| 4% | 25.551 | 87,2% | 9 |
| 5% | 31.234 | 80,0% | 11 |
| 6% | 36.791 | 73,3% | 13 |
| 8% | 47.528 | 62,2% | 17 |
| 10% | 57.763 | 54,0% | 21 |
Las dos tablas apuntan en direcciones opuestas porque miden cosas distintas. La lección práctica es que usted necesita saber cuál de las dos definiciones usa su equipo antes de discutir si la muestra está grande o pequeña. Más sobre eso en efecto mínimo detectable.
Recalcular a ciegas no es espiar
La confusión es comprensible, porque las dos cosas implican mirar datos en medio del test. La separación es limpia:
| lo que usted mira en medio del test | ¿carga información sobre el efecto? | consecuencia |
|---|---|---|
| la diferencia entre A y B, para decidir parar | sí | inflación seria del falso positivo, el problema del peeking |
| la conversión de cada brazo por separado, para redimensionar | sí | recálculo con el resultado a la vista, exige corrección formal |
| la conversión AGRUPADA de los dos brazos sumados | no, bajo la hipótesis nula | recálculo a ciegas, sin corrección necesaria |
El estimador a ciegas para desenlace binario es trivial de calcular y está escrito así en el artículo de blindrecalc: sume las conversiones de los dos brazos y divida por la suma de los visitantes de los dos brazos. Nadie abre el desglose por variación. Con esa tasa agrupada, las tasas por brazo bajo la alternativa asumida se reconstruyen aritméticamente a partir del efecto que usted ya había declarado en el plan, y el N sale igual que siempre.
El procedimiento completo, en la formulación de Baumann, Pilz y Kieser:
- Calcule el N inicial con la mejor estimación disponible de la tasa base.
- Defina el punto del piloto interno como una fracción de ese N (ellos sugieren 0,25, 0,5 o 0,75).
- Al alcanzar ese punto, estime la tasa agrupada y recalcule el N.
- El N final es el mínimo entre el techo preespecificado y el máximo entre el N del piloto y el N recalculado.
- Recolecte el resto y corra el test normal sobre el total, sin corrección de nivel.
El punto 4 esconde una decisión de diseño. Si usted además impone el N inicial como piso, tiene el diseño restringido, que solo crece. Si no lo impone, tiene el diseño irrestricto, que puede encoger.
Lo que mostró la simulación
Simulamos 6.000 réplicas por celda, con el piloto interno en 50 por ciento del N planeado, techo de 4 veces el plan y diseño irrestricto. Todas las tasas fueron leídas con la misma función de significancia que alimenta las calculadoras de este blog.
Bajo la hipótesis nula (efecto real igual a cero), tasa de falso positivo:
| base real | diseño fijo | con recálculo a ciegas | N promedio final |
|---|---|---|---|
| 2% | 5,12% | 4,70% | 80.628 |
| 3% | 5,07% | 4,57% | 53.157 |
| 5% | 5,03% | 5,08% | 31.212 |
| 8% | 4,77% | 4,37% | 18.861 |
El error estándar de Monte Carlo en 5 por ciento con 6.000 réplicas es de 0,28 punto porcentual, así que todos esos valores están dentro de dos barras de error del nominal. No hay inflación de error tipo I. Eso concuerda con lo que registra la literatura: en el caso de superioridad, la re-estimación a ciegas puede hacerse sin inflación relevante del error tipo I.
Bajo la alternativa (efecto real de +10 por ciento relativo), poder:
| base real | diseño fijo | con recálculo a ciegas | N promedio final |
|---|---|---|---|
| 2% | 42,00% | 77,82% | 76.851 |
| 3% | 57,57% | 77,98% | 50.581 |
| 5% | 80,28% | 77,83% | 29.663 |
| 8% | 95,27% | 77,15% | 17.876 |
Esa es la tabla entera del argumento. El diseño fijo entrega un poder que varía de 42 a 95 por ciento según la suerte de la estimación inicial. El recálculo a ciegas entrega poder estable alrededor de 77 por ciento en todos los escenarios, y el costo de eso es tráfico de más cuando la base real es baja y tráfico de menos cuando es alta.
Por qué el poder se detiene en 78 y no en 80
El recálculo no entrega exactamente el 80 por ciento pedido, y la causa es lo bastante interesante como para merecer una sección.
Bajo la hipótesis nula, la tasa agrupada es una estimación insesgada de la tasa del control. Bajo la alternativa, no lo es: queda a mitad de camino entre la tasa del control y la tasa de la variación, es decir, un poco por encima de la tasa base verdadera. Y como el N necesario cae conforme la base sube, el recálculo devuelve un N ligeramente pequeño de más.
Medimos el tamaño exacto de ese sesgo con 3.000 réplicas por línea, con base verdadera de 5 por ciento:
| efecto real | tasa agrupada estimada | N recalculado | N realmente necesario | desvío |
|---|---|---|---|---|
| 0% | 5,0049% | 31.201 | 31.234 | -0,11% |
| +5% | 5,1305% | 30.396 | 31.234 | -2,68% |
| +10% | 5,2550% | 29.634 | 31.234 | -5,12% |
| +20% | 5,5055% | 28.207 | 31.234 | -9,69% |
| +50% | 6,2540% | 24.624 | 31.234 | -21,16% |
Bajo la nula, el sesgo desaparece. Bajo un efecto de 10 por ciento, el N sale 5,12 por ciento corto, lo que corresponde exactamente a los 2 puntos porcentuales de poder que faltaron. Y note el lado bueno: cuanto mayor el efecto real, más encoge el N, y es precisamente cuando un efecto grande prescinde de muestra grande. El sesgo trabaja en la dirección correcta.
Si usted quiere blindar el 80 por ciento, la corrección es trivial: pida 82 u 83 por ciento de poder en el recálculo, o aplique la regla del diseño restringido descrita abajo.
Restringido o irrestricto: una decisión de negocio
La diferencia aparece cuando la base real llega mayor que la asumida. Corrimos los dos diseños con base real de 8 por ciento, plan hecho para 5 por ciento:
| diseño | falso positivo | poder | N promedio por variación |
|---|---|---|---|
| irrestricto (puede encoger) | 5,15% | 77,23% | 17.892 |
| restringido (nunca por debajo del plan) | 5,57% | 94,92% | 31.234 |
El irrestricto gastó 43 por ciento menos tráfico y entregó el poder contratado. El restringido gastó lo planeado y entregó poder de sobra. Ninguno de los dos está equivocado: son objetivos distintos.
- Elija el irrestricto cuando el cuello de botella es el tráfico y usted tiene una fila de tests esperando. Cada test que termina más temprano libera capacidad para el siguiente, que es la lógica de cuántos tests A/B por mes.
- Elija el restringido cuando el costo de un falso negativo es alto y el tráfico no es el cuello de botella, o cuando el equipo no acepta ver la muestra planeada siendo reducida a mitad de camino.
Declare la elección en el plan de análisis preregistrado antes de que el test comience, junto con el punto del piloto y el techo. Eso es lo que separa el recálculo a ciegas de la improvisación.
Cuándo recalcular importa menos de lo que parece
Probamos el punto del piloto interno en cinco posiciones, con base real de 3 por ciento y plan hecho para 5 por ciento, 6.000 réplicas cada una:
| piloto en | n1 por variación | falso positivo | poder | N promedio final | desviación estándar de la tasa estimada |
|---|---|---|---|---|---|
| 10% del plan | 3.123 | 5,10% | 78,28% | 50.841 | 0,2235 pp |
| 25% del plan | 7.809 | 4,85% | 78,87% | 50.628 | 0,1398 pp |
| 50% del plan | 15.617 | 5,57% | 77,78% | 50.618 | 0,0996 pp |
| 75% del plan | 23.426 | 5,23% | 77,75% | 50.573 | 0,0803 pp |
| 100% del plan | 31.234 | 5,20% | 78,72% | 50.552 | 0,0704 pp |
El N realmente necesario en ese escenario es 53.211, y el recálculo se acercó a eso en todas las posiciones. El falso positivo quedó entre 4,85 y 5,57 por ciento, dentro de dos barras de error del nominal en todas las líneas.
Lo que cambia de verdad es la precisión de la estimación: la desviación estándar de la tasa agrupada cayó por un factor de 3 entre el piloto en 10 por ciento y el piloto en 100 por ciento. En la práctica eso significa que recalcular temprano funciona siempre que ya exista dato suficiente para estimar la tasa con estabilidad. La regla práctica de Baumann, Pilz y Kieser sigue siendo sensata: ni demasiado temprano, cuando todavía hay mucha incertidumbre sobre el parámetro, ni demasiado tarde, cuando ya no queda espacio para ajustar porque el N recalculado ya fue superado.
El caso en que esto NO es seguro
Existe una excepción importante y tiene nombre: test de no inferioridad y de equivalencia.
Glimm y Läuter muestran por qué. En un test de no inferioridad con margen, la varianza total usada en el recálculo se calcula sobre los datos desplazados por el margen, y eso hace que cargue la diferencia observada entre los promedios de los brazos. El resultado es que el recálculo llamado a ciegas se vuelve matemáticamente equivalente a un recálculo con el resultado a la vista, con todo el sesgo de error tipo I que viene junto. Se recolecta menos muestra extra cuando la evidencia de la primera etapa favorece la alternativa, y más cuando la desfavorece, que es exactamente la receta para inflar el falso positivo.
Los mismos autores registran, del otro lado, que en el test de superioridad la garantía asintótica existe: si el tamaño de cualquiera de las etapas crece, la regla de recálculo fija implícitamente el total de antemano y el nivel alfa se mantiene. Las violaciones que construyen son extremadamente pequeñas y ocurren en tamaños de muestra que raramente tienen relevancia práctica. Su conclusión es explícita: el método puede usarse con seguridad en la práctica, para superioridad.
Si su caso es un test de equivalencia, la salida es usar un nivel nominal ajustado o un método de combinación entre etapas, no el test común. Y vale saber el precio de la alternativa más conservadora: en las simulaciones de Glimm y Läuter, con 1 millón de rondas, la combinación de valores p de Fisher pierde típicamente de 3 a 4 puntos porcentuales de poder cuando el poder del test común está por debajo de 95 por ciento, llegando a 7 puntos en algunos escenarios (en uno de ellos, 76,4 por ciento contra 69,6 por ciento).
Corra su caso
Use la calculadora de abajo dos veces: una con la tasa base que usted asumió en el plan y otra con la tasa agrupada que usted midió en el piloto interno. La diferencia entre los dos N es exactamente el ajuste que el recálculo a ciegas manda hacer.
Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.
El guion, en ocho líneas
- Calcule el N inicial con la mejor estimación de la tasa base y registre la fuente de esa estimación.
- Elija y escriba antes el punto del piloto interno, el techo de muestra y si el diseño es restringido o irrestricto.
- Defina quién hace el recálculo y garantice que esa persona reciba apenas la tasa agrupada, nunca el desglose por brazo.
- Al alcanzar el punto del piloto, calcule la tasa agrupada: conversiones de A más conversiones de B, dividido por visitantes de A más visitantes de B.
- Recalcule el N con esa tasa, manteniendo alfa, poder y efecto mínimo exactamente como estaban.
- Aplique el techo y el piso del diseño elegido y registre el nuevo N en el mismo documento del plan.
- Recolecte el resto y corra el test común sobre el total, sin corrección de nivel.
- En el reporte final, declare que hubo recálculo a ciegas, en qué punto y qué tasa agrupada fue usada.
El paso 3 es el que más falla en la práctica, porque el panel de la herramienta muestra el desglose por variación en la primera pantalla. Si no se puede esconder, la alternativa honesta es registrar en el reporte que el recálculo se hizo con el resultado visible y tratar el test con la desconfianza que eso merece.
Hágalo automático con Donnu
El recálculo a ciegas es un procedimiento simple que muere por dos cosas: alguien abre el panel y ve el desglose por brazo antes de recalcular, y nadie registra que el recálculo ocurrió. En Donnu el experimento lleva el plan consigo (base asumida, alfa, poder, efecto mínimo, punto del piloto, techo) y la lectura agrupada de los dos brazos es una vista separada de la lectura por variación, así que se puede redimensionar sin abrir el resultado. El nuevo N entra en el historial del experimento con sello de tiempo, y el reporte final dice que hubo recálculo y con qué tasa. Si su herramienta actual no separa esas dos vistas, ese es el ítem que necesita entrar antes de que el método se vuelva rutina.
Preguntas frecuentes
Las respuestas cortas están en la sección de preguntas frecuentes de esta página, generadas a partir del mismo material medido aquí.
Referencias
- Lukas Baumann, Maximilian Pilz y Meinhard Kieser. blindrecalc: An R Package for Blinded Sample Size Recalculation, The R Journal 14/1, 2022. Trae el procedimiento completo del piloto interno, la fórmula del N final como mínimo entre techo y máximo, la distinción entre diseño restringido e irrestricto, el estimador a ciegas para desenlace binario, y el registro de que en el caso de superioridad la re-estimación a ciegas no causa inflación relevante del error tipo I. Es también la fuente de la recomendación del CHMP de 2006 de usar métodos de reevaluación a ciegas siempre que sea posible.
- Ekkehard Glimm y Jürgen Läuter. Some Notes on Blinded Sample Size Re-Estimation, 2013. Demuestra que el control asintótico del error tipo I está garantizado, construye los casos de muestra pequeña en que falla, y explica por qué la inflación es mucho más seria en no inferioridad: el recálculo llamado a ciegas es equivalente a un recálculo con el resultado a la vista. Trae también la comparación de poder entre el test común, la combinación de estadísticos t y la combinación de valores p de Fisher, con 1 millón de rondas de simulación.
- Ron Kohavi, Alex Deng, Roger Longbotham y Ya Xu. Seven Rules of Thumb for Web Site Experimenters, KDD 2014. Recuerda que la fórmula de tamaño mínimo asume que la distribución del promedio es normal, y que muchas métricas de experimento online son lo bastante asimétricas como para exigir un piso mayor. Su regla de bolsillo es 355 veces el cuadrado del coeficiente de asimetría por variación, recomendada cuando el módulo de la asimetría pasa de 1. Es el piso que la re-estimación a ciegas no sustituye: ella corrige la tasa base, no la asimetría.
Lee también
Preguntas frecuentes
- ¿Puedo recalcular el tamaño de muestra después de que el test A/B ya comenzó?
- Puede, siempre que el recálculo use solamente información que no separa control de variación. La tasa de conversión AGRUPADA de los dos brazos es lo que la literatura de ensayos clínicos llama parámetro de perturbación, y recalcular la muestra a partir de ella es el diseño de piloto interno con re-estimación a ciegas. En la simulación de este artículo, con 6.000 réplicas por celda, la tasa de falso positivo con recálculo quedó entre 4,37 y 5,08 por ciento contra el 5 por ciento nominal, mientras que el diseño fijo quedó entre 4,77 y 5,12 por ciento. No hubo inflación.
- ¿Cuál es la diferencia entre recalcular la muestra y espiar el resultado?
- Espiar es mirar la diferencia entre los brazos y decidir con base en ella, lo que infla el falso positivo de 5 por ciento a mucho más. Recalcular a ciegas es mirar apenas la tasa agrupada de los dos brazos sumados, que bajo la hipótesis nula no carga información alguna sobre la diferencia. Operacionalmente, la regla es dura: quien hace el recálculo recibe un único número, la suma de conversiones dividida por la suma de visitantes, y nunca ve el desglose por variación.
- ¿Qué pasa si no recalculo y la tasa base estaba mal?
- Usted pierde poder sin saberlo. En el ejemplo medido aquí, un plan hecho para una base de 5 por ciento (31.234 usuarios por variación) corriendo sobre una base real de 2 por ciento entrega un poder de 41,4 por ciento en vez del 80 por ciento planeado. Es decir, casi 6 de cada 10 tests con efecto real de verdad terminan sin significancia, y la lectura equivocada es concluir que la variación no funcionó. Con recálculo a ciegas, el poder medido en el mismo escenario fue de 77,8 por ciento.
- ¿En qué momento del test debo recalcular?
- La hora importa menos de lo que parece. Medimos el recálculo en 10, 25, 50, 75 y 100 por ciento de la muestra planeada y el poder final quedó entre 77,7 y 78,9 por ciento en todos los puntos, con la tasa de falso positivo entre 4,85 y 5,57 por ciento. Lo que cambia con el momento es la precisión de la estimación de la tasa base: su desviación estándar cayó de 0,2235 punto porcentual en 10 por ciento de la muestra a 0,0704 en 100 por ciento. Recalcular demasiado temprano solo es problema cuando todavía no hay dato suficiente para estimar la tasa con estabilidad.
- ¿El recálculo a ciegas puede disminuir la muestra, y no solo aumentarla?
- Puede, y es ahí donde aparece el mayor ahorro. En el escenario con base real de 8 por ciento (plan hecho para 5 por ciento), el diseño irrestricto terminó con 17.892 usuarios por variación y poder de 77,2 por ciento, contra 31.234 y poder de 94,9 por ciento del diseño que nunca baja del planeado. Son 43 por ciento menos tráfico para entregar exactamente el poder que el equipo pidió. Si su objetivo es blindar el poder y nunca reducir la muestra, use el diseño restringido y acepte el exceso.
- ¿Existe algún caso en que el recálculo a ciegas NO sea seguro?
- Sí: test de no inferioridad y de equivalencia. Glimm y Läuter muestran que, en ese contexto, el recálculo llamado a ciegas es matemáticamente equivalente a un recálculo con el resultado a la vista, porque la varianza total bajo la nula desplazada carga la diferencia observada entre los brazos. La consecuencia es una inflación de error tipo I bastante más seria y que no desaparece con muestra grande. Para el test de superioridad común, que es el caso del test A/B típico, las violaciones son extremadamente pequeñas y solo aparecen en muestras minúsculas.