Métrica de Activación SaaS: Cómo Elegirla y Testearla A/B
Métrica de activación saas: descúbrela por correlación con retención y testea A/B si un cambio realmente la mueve, sin confundir causa con coincidencia.
📚 Este artículo es parte de la guía Growth Experimentation para SaaS: Playbook PLG.
La métrica de activación es el número que decide si vale la pena optimizar el resto del embudo de un SaaS: el evento que mejor predice si un usuario nuevo se va a convertir en un cliente que se queda, y no solo en un registro que suma. Este artículo es parte de la guía de growth experimentation para SaaS y cubre la parte que la mayoría de los equipos se salta: cómo descubrir tu propia métrica de activación por correlación con retención, por qué una correlación alta todavía no es prueba de nada, y cómo diseñar un test A/B que separe una métrica que realmente mueve el negocio de una que solo parece moverlo.
Qué es una métrica de activación, y por qué no puedes copiar la de otra empresa
Una métrica de activación es el evento, o combinación de eventos, que marca el momento en que un usuario experimentó el valor central del producto por primera vez, el llamado aha moment. Los dos ejemplos más citados en la literatura de growth (el “7 amigos en 10 días” de Facebook y los “2.000 mensajes de equipo” de Slack, ambos detallados en la guía de test A/B de onboarding en SaaS) no son fórmulas universales: son el resultado de un proceso de análisis de datos aplicado al producto de cada empresa. El error más caro que comete un equipo de growth es tomar uno de esos números e importarlo directamente a su propio producto, sin repetir el proceso que lo generó.
La naturaleza de la acción cambia mucho según la categoría de producto. Appcues, en una guía dedicada a cómo encontrar la métrica de activación correcta, cita ejemplos nombrados que ilustran bien esa variación:
| Producto | Acción usada como señal de activación | Fuente |
|---|---|---|
| Slack | El equipo intercambia 2.000 mensajes | Appcues, citando el crecimiento de Slack |
| Dropbox | El usuario coloca un archivo en una carpeta sincronizada en al menos un dispositivo | Appcues |
| HubSpot | El usuario envía el primer email automatizado por la plataforma | Appcues |
| El usuario agrega 7 amigos en 10 días | Relato ampliamente difundido en la literatura de growth (no citado en el artículo de Appcues usado como fuente principal de esta tabla), atribuido al equipo de growth de Facebook | |
| Herramienta de API/dev | Primera llamada de API exitosa en producción (no solo generar la clave) | Patrón descrito en la literatura de growth, valida con tus propios datos |
| Marketplace de dos lados | Primera transacción concluida en cada lado (comprador y vendedor) | Patrón descrito en la literatura de growth, valida con tus propios datos |
El patrón que atraviesa la tabla: ninguna de estas acciones es “crear la cuenta”, y ninguna fue elegida por ser fácil de medir. Cada una exige que el usuario ya haya hecho algo que solo tiene sentido si el producto entregó valor de verdad. Las dos últimas filas no tienen un número de mercado publicado a propósito: describen el tipo de acción que suele señalar activación en esas categorías, pero el umbral exacto (cuántas transacciones, en cuánto tiempo) solo existe después de que corras el proceso de descubrimiento de la siguiente sección con los datos de tu propio producto.
Vanidad o predictor: el test que separa a las dos
Antes de correlacionar cualquier cosa, vale la pena nombrar la trampa en la que la mayoría de los equipos cae primero: confundir una métrica fácil de medir con una métrica que predice el futuro. La lógica detrás de la activación es la de un indicador antecedente (leading indicator) de la retención, y no por casualidad: existe para responder “quién se va a quedar”, no “quién hizo clic en algo hoy”. Clics en el tour de bienvenida, pantallas vistas y porcentaje de onboarding completado son fáciles de mover y pésimas candidatas, porque casi siempre suben sin que la retención los acompañe.
La forma práctica de testear si una candidata es vanidad o predictor de verdad es preguntar: “si comparo a quien hizo esa acción con quien no la hizo, ¿la diferencia de retención es lo bastante grande como para importar, o lo bastante pequeña como para ser ruido?”. Una métrica de vanidad tiende a mostrar una diferencia pequeña o ninguna diferencia real cuando miras la retención de verdad; una métrica de activación real muestra una divergencia clara y creciente a lo largo del tiempo entre los dos grupos, como en el ejemplo ilustrativo de abajo:
Nota que el gráfico mide retención, no la tasa de la propia acción candidata. Es un error común celebrar que “la acción subió 20%” sin comprobar si la retención subió junto: una acción puede volverse más común sin volverse más predictiva, y es exactamente esa brecha la que separa una métrica de vanidad de una métrica de activación.
Cómo descubrir tu métrica de activación por correlación con retención
Con la distinción anterior en mente, el proceso de descubrimiento es directo, y Appcues lo describe en cinco pasos que se aplican a cualquier SaaS self-serve:
| Paso | Qué hacer | Trampa común |
|---|---|---|
| 1. Empieza por los retenidos | Separa a los usuarios que se mantuvieron activos 30 días o más de los que abandonaron, y mira qué hicieron (o no hicieron) los dos grupos al principio | Mirar solo el promedio de todos esconde el patrón; el contraste entre los dos grupos es lo que importa |
| 2. Lista acciones candidatas | Levanta de 3 a 5 acciones que parecen señalar valor percibido, basándote en datos de uso y no solo en la intuición del equipo | Listar decenas de eventos “por si acaso” diluye el foco; empieza por las que el equipo ya sospecha, apoyándote en los datos |
| 3. Correlaciona con retención | Para cada candidata, calcula la retención a 30, 60 y 90 días de quien hizo la acción contra quien no la hizo | Detenerte en una única ventana de tiempo esconde si el efecto crece o solo aparece en el corto plazo |
| 4. Define una ventana fija | Elige en cuántos días, a partir del registro, la acción necesita ocurrir para “contar” como activación (Appcues cita 7 días como punto de partida común, ajustado según la complejidad del producto) | Contar la acción desde la conclusión del onboarding, y no desde el registro, distorsiona la comparación entre variaciones de un test después |
| 5. Valida con datos cualitativos | Entrevista a una muestra de usuarios retenidos y de usuarios que se fueron sobre el momento en que el producto “tuvo sentido” | Saltarte este paso deja pasar acciones que el análisis cuantitativo no captura, como un problema de soporte que aleja a la gente antes de que ocurra la acción candidata |
El paso 3 es donde la mayoría de los equipos se detiene demasiado pronto. No basta con calcular la retención en un único plazo: el patrón del gráfico de la sección anterior (la diferencia entre los grupos creciendo con el tiempo, no solo existiendo en el día 30) es lo que separa a una candidata sólida de una que parece buena solo en el corto plazo y se disuelve después. Mixpanel ilustra exactamente ese razonamiento con un ejemplo propio: comparar la retención de quien hizo una acción específica temprano contra quien no la hizo, y usar esa comparación para calibrar tanto la acción como la ventana de días correctas para tu producto.
Una forma estructurada de elegir entre varias candidatas que pasaron el filtro de correlación es el mismo ICE (Impacto, Confianza, Facilidad) ya detallado en el pilar de growth experimentation: puntúa la fuerza de la correlación encontrada (confianza), el tamaño de la porción de usuarios que la acción alcanza (impacto) y la viabilidad de instrumentar y luego mover esa acción vía producto (facilidad), y prioriza por ahí, en vez de elegir la candidata más fácil de explicar en una diapositiva.
Correlación no es causa: la trampa estadística que invalida a la mayoría de las “métricas de activación”
Aquí está el punto que la mayoría de los artículos de growth trata por encima, y que este blog no se salta en ningún tema: encontrar una correlación fuerte entre una acción y la retención no prueba que la acción cause la retención. Statsig resume el problema en una ecuación simple: la correlación observada suele ser causa más sesgo de selección, no causa pura.
El ejemplo más citado para ilustrar esto, y que la propia Statsig usa para cuestionar el caso más famoso de growth, es el de Facebook: los usuarios que alcanzaron el umbral de amigos agregados en los primeros días de registro (el número más difundido en la literatura de growth es “7 amigos en 10 días”, aunque las fuentes varían en el orden exacto de los dos números) probablemente ya eran, desde el principio, el tipo de persona más comprometida y motivada a usar una red social, con o sin ese umbral específico. La correlación puede estar capturando la motivación previa del usuario, no un efecto causado por la acción de agregar amigos. Un paralelo más simple, también citado por Statsig: los suscriptores de LinkedIn Premium tienen, en promedio, 4 veces más visualizaciones de perfil, pero eso no significa que Premium cause más visualizaciones. Es más plausible que los profesionales que ya reciben más visualizaciones de perfil (por ser más activos o más buscados en el mercado) sean también los que más ven valor en pagar por Premium. La causa aparente y el efecto pueden, en realidad, tener una tercera causa en común.
Dos variaciones de este mismo problema aparecen todo el tiempo en el análisis de activación:
- Sesgo de selección (self-selection). Los usuarios que ya estaban más motivados a usar el producto (por un problema más urgente, por más tiempo disponible, por la recomendación de alguien de confianza) son simultáneamente más propensos a completar la acción candidata Y a quedarse a largo plazo, sin que una cosa cause la otra.
- Sesgo de supervivencia. Medir la activación solo entre quienes ya completaron varias etapas anteriores del embudo (en vez de todos los que entraron al test) infla artificialmente la correlación, porque quien sobrevive hasta ahí ya es, por definición, un público más comprometido. La guía de test A/B de onboarding detalla este error específico con un ejemplo numérico completo.
La salida no es descartar la correlación (sigue siendo el mejor punto de partida que existe para generar una hipótesis), es tratarla como hipótesis, no como hecho probado. La única forma de saber si empujar a más gente hacia la acción candidata realmente aumenta la retención, y no solo identifica a quien ya se iba a quedar de todos modos, es correr un test controlado: cambiar el producto para llevar a más usuarios hacia esa acción y medir si la retención sube de verdad. Es exactamente ese test el que diseña la siguiente sección.
Diseñando el test A/B que prueba (o derriba) la hipótesis
Después de elegir la candidata con mejor correlación, el siguiente paso no es reformar todo el onboarding en torno a ella: es correr un experimento controlado que aísle si el cambio pretendido realmente aumenta la proporción de usuarios que alcanzan esa acción, y, más importante, si la retención sube junto. Tres decisiones definen este test:
- Métrica primaria: la métrica de activación, en la ventana fija de días definida en el proceso de descubrimiento. No uses “clics en el elemento nuevo” como métrica primaria, aunque parezca la reacción más directa al cambio: mide engagement con la interfaz, no activación.
- Métrica de guardia: la retención a 30 o 60 días. Si la activación sube en la variación testeada pero la retención no la acompaña dentro del plazo esperado, es señal de que la correlación original no era causal, o de que el cambio movió la métrica equivocada (por ejemplo, aflojando el criterio de la acción sin entregar el valor que debería señalar).
- Muestra calculada antes de correr el test, no estimada al oído. Los tests de activación viven más profundo en el embudo que una landing page, así que el volumen disponible por semana suele ser mucho menor, la misma alerta detallada en el pilar de growth experimentation.
Un ejemplo resuelto, de principio a fin
Supón que el proceso de correlación de la sección anterior confirmó una candidata: los usuarios que completan una configuración específica en los primeros 7 días retienen mucho más que los que no la completan. Hoy, 22% de los registros alcanzan esa acción dentro del plazo. La hipótesis: reemplazar el formulario de configuración por un asistente guiado debería aumentar esa tasa en al menos 18% relativo, llevando la activación a cerca de 25,96%.
Con 95% de confianza y 80% de poder, los parámetros estándar de mercado, el tamaño de muestra por variación es:
Cálculo por aproximación normal de dos proporciones, 2 variaciones (50/50). Cambia los campos y mira el impacto en vivo.
Ajusta la tasa base a 22, el efecto mínimo detectable a 18 (relativo) y el volumen semanal de nuevos registros de tu producto para ver el cálculo aplicado a tu caso. Con esos parámetros, el motor de este blog devuelve 1.824 registros por variación. Si el producto recibe 850 nuevos registros por semana, divididos entre las dos variaciones, juntar esa muestra toma cerca de 31 días, tiempo suficiente para cubrir ciclos completos de uso, no solo los días más favorables.
Al final del test, digamos que el control registró 401 activaciones en 1.824 registros (22,0%) y la variación con el asistente guiado registró 474 en 1.824 (26,0%). Pega esos números en la calculadora de significancia para comprobar el veredicto:
Test z bilateral de dos proporciones. "Sin significancia" casi siempre significa que falta muestra, no que las versiones sean iguales.
El resultado: una mejora relativa de aproximadamente +18,2%, puntaje z de cerca de 2,83, valor p bilateral de aproximadamente 0,0046 (bien por debajo de 0,05) y un intervalo de confianza del 95% de la diferencia entre aproximadamente +1,2 y +6,8 puntos porcentuales. Como el intervalo entero queda por encima de cero, el resultado es significativo: la variación B gana en la métrica de activación. Esto todavía no cierra el caso por sí solo: el siguiente paso, fuera del alcance estadístico de este test específico, es seguir la cohorte de usuarios activados en cada variación hasta la ventana de retención de 30 o 60 días y confirmar que la ganancia de activación realmente se tradujo en más gente retenida, la prueba de que la métrica elegida era causal, no solo correlacionada.
Errores que hacen que una “métrica de activación” parezca buena sin serlo
Algunos errores aparecen con la frecuencia suficiente como para merecer una lista propia, porque cada uno produce una métrica que pasa la primera mirada y falla en cuanto alguien intenta usarla para decidir algo:
| Error | Por qué engaña | Corrección |
|---|---|---|
| Elegir la acción más fácil de instrumentar, no la más predictiva | Clics y pantallas vistas ya vienen listos en el analytics; la acción que realmente predice retención a veces exige instrumentar un evento nuevo | Corre la correlación en varias candidatas antes de decidir, aunque la más predictiva dé más trabajo medir |
| Medir la correlación en una única ventana de tiempo | Un efecto que solo aparece a los 30 días y desaparece a los 90 puede ser solo un pico temporal de novedad, no activación real | Compara 30, 60 y 90 días y prefiere candidatas cuya diferencia entre los grupos se mantiene o crece |
| Tratar la correlación como prueba | El equipo reorganiza todo el onboarding en torno a una acción que nunca fue testeada causalmente | Corre el test A/B de la sección anterior antes de invertir fuerte en el cambio |
| Ignorar el sesgo de supervivencia en el análisis | Medir la activación solo entre quienes completaron etapas anteriores infla el resultado con el público que ya era más comprometido | Incluye siempre el denominador completo: todo usuario que entró al análisis o al test, no solo quien llegó hasta el final |
| Copiar el número de otra empresa sin repetir el proceso | “7 amigos en 10 días” o “2.000 mensajes” no significan nada fuera del producto donde fueron descubiertos | Trata los casos famosos como inspiración de método, nunca como meta lista para importar |
Hazlo Automático con Donnu
Descubrir la métrica de activación correcta resuelve la mitad del problema; la otra mitad es confirmar, con rigor, si un cambio de producto realmente la mueve, sin engañarte por una muestra pequeña o una correlación que nunca fue testeada de verdad. Donnu A/B se ocupa de la parte estadística de esta segunda mitad: el snippet liviano nunca traba el flujo de activación de tu producto, el motor dimensiona la muestra antes de que corras el test, y la significancia se calcula con el mismo test de dos proporciones de este artículo, sin inflar el resultado por peeking o por comparar cohortes incompletas.
Empieza un test gratis de 14 días y testea A/B el próximo cambio en tu flujo de activación con la misma disciplina usada para validar cualquier otro experimento de growth. Para el siguiente paso del mismo recorrido, después de que la activación suba, mira cómo testear el onboarding completo de tu SaaS y cómo validar el flujo de trial a pago.
Lee también: Growth experimentation para SaaS: la guía completa · Test A/B de onboarding en SaaS · Test A/B de trial a pago
Léelo en portugués: Métrica de Ativação em SaaS
Referencias
- Appcues. Activation metrics: how to find, measure, and improve yours. appcues.com/blog/product-activation-metric.
- Mixpanel. Metrics for product management. mixpanel.com/blog/product-management-metrics-and-analytics.
- Statsig. How to think about the relationship between correlation and causation. statsig.com/blog/correlation-vs-causation-guide.
- Reforge. Define your aha moment. reforge.com/guides/define-your-aha-moment.
Preguntas frecuentes
- ¿Qué es una métrica de activación, de forma directa?
- Es el evento, o combinación de eventos, que mejor predice si un usuario nuevo va a seguir usando el producto a largo plazo, medido dentro de una ventana fija de días contada desde el registro. No es el registro en sí, no es un clic del tour, y no es cualquier acción fácil de medir: es la acción que, al compararse estadísticamente entre quien se quedó y quien se fue, más separa a los dos grupos.
- ¿Cómo descubro la métrica de activación de mi producto sin copiar el número de otra empresa?
- Lista de 3 a 5 acciones candidatas que parecen señalar valor percibido, después calcula, para cada una, la retención a 30, 60 y 90 días de quien hizo la acción contra quien no la hizo. La candidata con la mayor diferencia de retención entre los dos grupos es tu mejor hipótesis de activación. El "7 amigos en 10 días" de Facebook y los "2.000 mensajes" de Slack vinieron de ese mismo proceso aplicado a los datos de cada empresa, no de un número universal que cualquier producto pueda heredar.
- ¿Si una acción tiene correlación alta con retención, ya está probada como métrica de activación?
- No. Correlación alta es solo el primer filtro: muestra que quien hace esa acción tiende a quedarse, pero no prueba que la acción cause la retención. Puede ser que el mismo tipo de usuario motivado haga las dos cosas por su cuenta. Solo un test controlado, empujando a más gente hacia esa acción y midiendo si la retención realmente sube, separa causa de coincidencia.
- ¿Cómo diseño un test A/B para validar si un cambio realmente mueve la métrica de activación?
- Define la métrica de activación (en la ventana fija de días) como métrica primaria del test, calcula el tamaño de muestra antes de correrlo, y trata la retención de 30 o 60 días como métrica de guardia: si la activación sube pero la retención no la acompaña, la métrica elegida probablemente no es causal, es solo una correlación que no resiste el test.
- ¿La métrica de activación necesita ser un único evento, o puede ser una combinación?
- Puede ser una combinación. El propio ejemplo de Slack (2.000 mensajes intercambiados por el equipo) ya es un umbral acumulado, no un clic único. Lo que importa no es la forma (evento único, conteo acumulado, o combinación de acciones), es que haya sido validada por el proceso de correlación con retención y, idealmente, confirmada por un test controlado, no elegida por parecer fácil de mover.