Métrica de Ativação em SaaS: Como Escolher e Testar A/B
Métrica de ativação saas: descubra a sua por correlação com retenção e teste A/B se uma mudança realmente a move, sem confundir causa com coincidência.
📚 Este artigo faz parte do guia Growth Experimentation para SaaS: o Playbook Completo de PLG.
A métrica de ativação é o número que decide se o resto do funil de um SaaS vale a pena otimizar: o evento que melhor prevê se um usuário novo vai virar um cliente que fica, não apenas um cadastro que soma. Este artigo faz parte do guia de growth experimentation para SaaS e cobre a parte que a maioria dos times pula: como descobrir a sua própria métrica de ativação por correlação com retenção, por que correlação alta ainda não é prova de nada, e como desenhar um teste A/B que separa uma métrica que realmente move o negócio de uma que só parece mover.
O que é uma métrica de ativação, e por que não dá para copiar a de outra empresa
Uma métrica de ativação é o evento, ou combinação de eventos, que marca o momento em que um usuário experimentou o valor central do produto pela primeira vez, o chamado aha moment. Os dois exemplos mais citados da literatura de growth (o “7 amigos em 10 dias” do Facebook e as “2.000 mensagens de equipe” do Slack, ambos detalhados no guia de teste A/B de onboarding em SaaS) não são fórmulas universais: são o resultado de um processo de análise de dados aplicado ao produto de cada empresa. O erro mais caro que um time de growth comete é pegar um desses números e importar direto para o próprio produto, sem repetir o processo que os gerou.
A natureza da ação muda muito por categoria de produto. A Appcues, num guia dedicado a como encontrar a métrica de ativação certa, cita exemplos nomeados que ilustram bem essa variação:
| Produto | Ação usada como sinal de ativação | Fonte |
|---|---|---|
| Slack | Equipe troca 2.000 mensagens | Appcues, citando o crescimento do Slack |
| Dropbox | Usuário coloca um arquivo numa pasta sincronizada em pelo menos um dispositivo | Appcues |
| HubSpot | Usuário envia o primeiro e-mail automatizado pela plataforma | Appcues |
| Usuário adiciona 7 amigos em 10 dias | Relato amplamente difundido na literatura de growth (não citado no artigo da Appcues usado como fonte principal desta tabela), atribuído à equipe de growth do Facebook | |
| Ferramenta de API/dev | Primeira chamada de API bem-sucedida em produção (não apenas gerar a chave) | Padrão descrito na literatura de growth, valide com os seus dados |
| Marketplace de dois lados | Primeira transação concluída em cada lado (comprador e vendedor) | Padrão descrito na literatura de growth, valide com os seus dados |
O padrão que atravessa a tabela: nenhuma dessas ações é “criar a conta”, e nenhuma foi escolhida por ser fácil de medir. Cada uma exige que o usuário já tenha feito algo que só faz sentido se o produto entregou valor de verdade. As duas últimas linhas não têm um número de mercado publicado de propósito: elas descrevem o tipo de ação que costuma sinalizar ativação nessas categorias, mas o limiar exato (quantas transações, em quanto tempo) só existe depois de você rodar o processo de descoberta na seção seguinte com os dados do seu próprio produto.
Vaidade ou preditor: o teste que separa as duas
Antes de correlacionar qualquer coisa, vale nomear a armadilha que a maioria dos times cai primeiro: confundir uma métrica fácil de medir com uma métrica que prevê o futuro. A lógica por trás da ativação é a de um indicador antecedente (leading indicator) da retenção, e não por acaso: ela existe para responder “quem vai ficar”, não “quem clicou em algo hoje”. Cliques no tour de boas-vindas, telas vistas e porcentagem do onboarding concluída são fáceis de mover e péssimas candidatas, porque quase sempre sobem sem que a retenção acompanhe.
A forma prática de testar se uma candidata é vaidade ou preditor de verdade é perguntar: “se eu comparar quem fez essa ação com quem não fez, a diferença de retenção é grande o suficiente para importar, ou pequena o suficiente para ser ruído?”. Uma métrica de vaidade tende a mostrar uma diferença pequena ou nenhuma diferença real quando você olha a retenção de fato; uma métrica de ativação de verdade mostra uma divergência clara e crescente ao longo do tempo entre os dois grupos, como no exemplo ilustrativo abaixo:
Repare que o gráfico mede retenção, não a taxa da própria ação candidata. É um erro comum comemorar que “a ação subiu 20%” sem checar se a retenção subiu junto: uma ação pode ficar mais comum sem se tornar mais preditiva, e é exatamente esse hiato que separa uma métrica de vaidade de uma métrica de ativação.
Como descobrir a sua métrica de ativação por correlação com retenção
Com a distinção acima em mente, o processo de descoberta é direto, e a Appcues descreve ele em cinco passos que se aplicam a qualquer SaaS self-serve:
| Passo | O que fazer | Armadilha comum |
|---|---|---|
| 1. Comece pelos retidos | Separe usuários que ficaram ativos por 30 ou mais dias dos que abandonaram, e olhe o que os dois grupos fizeram (ou não fizeram) logo no início | Olhar só a média de todo mundo esconde o padrão; o contraste entre os dois grupos é o que importa |
| 2. Liste ações candidatas | Levante de 3 a 5 ações que parecem sinalizar valor percebido, com base em dados de uso e não só em intuição do time | Listar dezenas de eventos “por garantia” dilui o foco; comece pelas que o time já suspeita, com apoio dos dados |
| 3. Correlacione com retenção | Para cada candidata, calcule a retenção em 30, 60 e 90 dias de quem fez a ação contra quem não fez | Parar em uma única janela de tempo esconde se o efeito cresce ou só aparece no curto prazo |
| 4. Defina uma janela fixa | Escolha em quantos dias, a partir do cadastro, a ação precisa acontecer para “contar” como ativação (a Appcues cita 7 dias como ponto de partida comum, ajustado pela complexidade do produto) | Contar a ação a partir da conclusão do onboarding, e não do cadastro, distorce a comparação entre variações de um teste depois |
| 5. Valide com dado qualitativo | Entreviste uma amostra de usuários retidos e de usuários que saíram sobre o momento em que o produto “fez sentido” | Pular esse passo deixa passar ações que a análise quantitativa não captura, como um problema de suporte que afasta gente antes da ação candidata acontecer |
O passo 3 é onde a maioria dos times para cedo demais. Não basta calcular a retenção em um único prazo: o padrão do gráfico da seção anterior (a diferença entre os grupos crescendo com o tempo, não só existindo no dia 30) é o que separa uma candidata sólida de uma que parece boa só no curto prazo e se dissolve depois. A Mixpanel ilustra exatamente esse raciocínio com um exemplo próprio: comparar a retenção de quem fez uma ação específica cedo contra quem não fez, e usar essa comparação para calibrar tanto a ação quanto a janela de dias certas para o seu produto.
Um jeito estruturado de escolher entre várias candidatas que passaram no filtro de correlação é o mesmo ICE (Impacto, Confiança, Facilidade) já detalhado no pilar de growth experimentation: dê nota à força da correlação encontrada (confiança), ao tamanho da fatia de usuários que a ação atinge (impacto) e à viabilidade de instrumentar e depois mover essa ação via produto (facilidade), e priorize por aí, em vez de escolher a candidata mais fácil de explicar num slide.
Correlação não é causa: a armadilha estatística que invalida a maioria das “métricas de ativação”
Aqui está o ponto que a maioria dos artigos de growth trata por alto, e que este blog não pula em nenhum tema: encontrar uma correlação forte entre uma ação e a retenção não prova que a ação causa a retenção. A Statsig resume o problema numa equação simples: correlação observada é frequentemente causa mais viés de seleção, não causa pura.
O exemplo mais citado para ilustrar isso, e que a própria Statsig usa para questionar o caso mais famoso de growth, é o do Facebook: usuários que atingiram o limiar de amigos adicionados nos primeiros dias de cadastro (o número mais difundido na literatura de growth é “7 amigos em 10 dias”, ainda que fontes variem na ordem exata dos dois números) provavelmente já eram, desde o início, o tipo de pessoa mais engajada e motivada a usar uma rede social, com ou sem aquele limiar específico. A correlação pode estar capturando a motivação prévia do usuário, não um efeito causado pela ação de adicionar amigos. Um paralelo mais simples, também citado pela Statsig: assinantes do LinkedIn Premium têm, em média, 4 vezes mais visualizações de perfil, mas isso não significa que o Premium causa mais visualizações. É mais plausível que profissionais que já recebem mais visualizações de perfil (por serem mais ativos ou mais visados no mercado) sejam também os que mais veem valor em pagar pelo Premium. A causa aparente e o efeito podem, na verdade, ter uma terceira causa em comum.
Duas variações desse mesmo problema aparecem o tempo todo na análise de ativação:
- Viés de seleção (self-selection). Usuários que já estavam mais motivados a usar o produto (por um problema mais urgente, por mais tempo disponível, por indicação de alguém de confiança) são simultaneamente mais propensos a completar a ação candidata E a ficar no longo prazo, sem que uma coisa cause a outra.
- Viés de sobrevivência. Medir a ativação só entre quem já completou várias etapas anteriores do funil (em vez de todo mundo que entrou no teste) infla artificialmente a correlação, porque quem sobrevive até ali já é, por definição, um público mais engajado. O guia de teste A/B de onboarding detalha esse erro específico com um exemplo numérico completo.
A saída não é descartar a correlação (ela continua sendo o melhor ponto de partida que existe para gerar uma hipótese), é tratá-la como hipótese, não como fato provado. A única forma de saber se empurrar mais gente para a ação candidata realmente aumenta a retenção, e não só identifica quem já ia ficar de qualquer jeito, é rodar um teste controlado: mudar o produto para levar mais usuários àquela ação e medir se a retenção sobe de fato. É exatamente esse teste que a próxima seção desenha.
Desenhando o teste A/B que prova (ou derruba) a hipótese
Depois de escolher a candidata com melhor correlação, o próximo passo não é reformar o onboarding inteiro em torno dela: é rodar um experimento controlado que isola se a mudança pretendida realmente aumenta a proporção de usuários que atingem aquela ação, e, mais importante, se a retenção sobe junto. Três decisões definem esse teste:
- Métrica primária: a métrica de ativação, na janela fixa de dias definida no processo de descoberta. Não use “cliques no elemento novo” como métrica primária, mesmo que pareça a reação mais direta à mudança: ela mede engajamento com a interface, não ativação.
- Métrica de guarda: a retenção em 30 ou 60 dias. Se a ativação subir na variação testada mas a retenção não acompanhar dentro do prazo esperado, é sinal de que a correlação original não era causal, ou de que a mudança moveu a métrica errada (por exemplo, afrouxando o critério da ação sem entregar o valor que ela deveria sinalizar).
- Amostra calculada antes de rodar, não estimada de ouvido. Testes de ativação vivem mais fundo no funil do que uma landing page, então o volume disponível por semana costuma ser bem menor, o mesmo alerta detalhado no pilar de growth experimentation.
Um exemplo trabalhado, ponta a ponta
Suponha que o processo de correlação da seção anterior confirmou uma candidata: usuários que completam uma configuração específica nos primeiros 7 dias retêm muito mais que os que não completam. Hoje, 22% dos cadastros atingem essa ação dentro do prazo. A hipótese: substituir o formulário de configuração por um assistente guiado deve aumentar essa taxa em pelo menos 18% relativos, levando a ativação a cerca de 25,96%.
Com 95% de confiança e 80% de poder, os parâmetros padrão de mercado, o tamanho de amostra por variação é:
Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.
Ajuste a taxa base para 22, o efeito mínimo detectável para 18 (relativo) e o volume semanal de novos cadastros do seu produto para ver o cálculo se aplicar ao seu caso. Com esses parâmetros, o motor deste blog devolve 1.824 cadastros por variação. Se o produto recebe 850 novos cadastros por semana, divididos entre as duas variações, juntar essa amostra leva cerca de 31 dias, tempo suficiente para cobrir ciclos completos de uso, não só os dias mais favoráveis.
Ao final do teste, digamos que o controle registrou 401 ativações em 1.824 cadastros (22,0%) e a variação com o assistente guiado registrou 474 em 1.824 (26,0%). Cole esses números na calculadora de significância para conferir o veredito:
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
O resultado: uma melhora relativa de aproximadamente +18,2%, escore z de cerca de 2,83, valor-p bilateral de aproximadamente 0,0046 (bem abaixo de 0,05) e um intervalo de confiança de 95% da diferença entre aproximadamente +1,2 e +6,8 pontos percentuais. Como o intervalo inteiro fica acima de zero, o resultado é significativo: a variação B vence na métrica de ativação. Isso ainda não fecha o caso sozinho: o passo seguinte, fora do escopo estatístico deste teste específico, é acompanhar a coorte de usuários ativados em cada variação até a janela de retenção de 30 ou 60 dias e confirmar que o ganho de ativação realmente se traduziu em mais gente retida, a prova de que a métrica escolhida era causal, não só correlacionada.
Erros que fazem uma “métrica de ativação” parecer boa e não ser
Alguns erros aparecem com frequência suficiente para merecer uma lista própria, porque cada um produz uma métrica que passa no primeiro olhar e falha assim que alguém tenta usá-la para decidir algo:
| Erro | Por que engana | Correção |
|---|---|---|
| Escolher a ação mais fácil de instrumentar, não a mais preditiva | Cliques e telas vistas já vêm prontos no analytics; a ação que realmente prevê retenção às vezes exige instrumentar um evento novo | Rode a correlação em várias candidatas antes de decidir, mesmo que a mais preditiva dê mais trabalho para medir |
| Medir a correlação numa única janela de tempo | Um efeito que só aparece aos 30 dias e desaparece aos 90 pode ser só um pico temporário de novidade, não ativação de verdade | Compare 30, 60 e 90 dias e prefira candidatas cuja diferença entre os grupos se mantém ou cresce |
| Tratar correlação como prova | O time reorganiza o onboarding inteiro em torno de uma ação que nunca foi testada causalmente | Rode o teste A/B da seção anterior antes de investir pesado na mudança |
| Ignorar o viés de sobrevivência na análise | Medir a ativação só entre quem completou etapas anteriores infla o resultado com o público que já era mais engajado | Sempre inclua o denominador cheio: todo usuário que entrou na análise ou no teste, não só quem chegou até o fim |
| Copiar o número de outra empresa sem repetir o processo | “7 amigos em 10 dias” ou “2.000 mensagens” não significam nada fora do produto onde foram descobertos | Trate os casos famosos como inspiração de método, nunca como meta pronta para importar |
Automatize isso na Donnu
Descobrir a métrica de ativação certa resolve metade do problema; a outra metade é confirmar, com rigor, se uma mudança de produto realmente a move, sem se enganar por causa de uma amostra pequena ou de uma correlação que nunca foi testada de verdade. A Donnu A/B cuida da parte estatística dessa segunda metade: o snippet leve não trava o fluxo de ativação do seu produto, o motor dimensiona a amostra antes de você rodar o teste, e a significância é calculada com o mesmo teste de duas proporções deste artigo, sem inflar o resultado por peeking ou por comparar coortes incompletas.
Comece um teste grátis de 14 dias e teste A/B a próxima mudança no seu fluxo de ativação com a mesma disciplina usada para validar qualquer outro experimento de growth. Para o passo seguinte da mesma jornada, depois que a ativação sobe, veja como testar o onboarding completo do seu SaaS e como validar o fluxo de trial para pago.
Leia também: Growth experimentation para SaaS: o guia completo · Teste A/B de onboarding em SaaS · Teste A/B de trial para pago
Referências
- Appcues. Activation metrics: how to find, measure, and improve yours. appcues.com/blog/product-activation-metric.
- Mixpanel. Metrics for product management. mixpanel.com/blog/product-management-metrics-and-analytics.
- Statsig. How to think about the relationship between correlation and causation. statsig.com/blog/correlation-vs-causation-guide.
- Reforge. Define your aha moment. reforge.com/guides/define-your-aha-moment.
Perguntas frequentes
- O que é uma métrica de ativação, de forma direta?
- É o evento, ou combinação de eventos, que melhor prevê se um usuário novo vai continuar usando o produto no longo prazo, medido dentro de uma janela fixa de dias contada do cadastro. Não é o cadastro em si, não é um clique de tour, e não é qualquer ação fácil de medir: é a ação que, quando comparada estatisticamente entre quem ficou e quem saiu, mais separa os dois grupos.
- Como descobro a métrica de ativação do meu produto sem copiar o número de outra empresa?
- Liste de 3 a 5 ações candidatas que parecem sinalizar valor percebido, depois calcule, para cada uma, a retenção em 30, 60 e 90 dias de quem fez a ação contra quem não fez. A candidata com a maior diferença de retenção entre os dois grupos é a sua melhor hipótese de ativação. O "7 amigos em 10 dias" do Facebook e as "2.000 mensagens" do Slack vieram desse mesmo processo aplicado aos dados de cada empresa, não de um número universal que qualquer produto pode herdar.
- Se uma ação tem correlação alta com retenção, ela já está provada como métrica de ativação?
- Não. Correlação alta é só o primeiro filtro: ela mostra que quem faz aquela ação tende a ficar, mas não prova que a ação causa a retenção. Pode ser que o mesmo tipo de usuário motivado faça as duas coisas por conta própria. Só um teste controlado, empurrando mais gente para aquela ação e medindo se a retenção realmente sobe, separa causa de coincidência.
- Como desenho um teste A/B para validar se uma mudança realmente move a métrica de ativação?
- Defina a métrica de ativação (na janela fixa de dias) como métrica primária do teste, calcule o tamanho de amostra antes de rodar, e trate a retenção de 30 ou 60 dias como métrica de guarda: se a ativação subir mas a retenção não acompanhar, a métrica escolhida provavelmente não é causal, é só uma correlação que não resiste ao teste.
- A métrica de ativação precisa ser um único evento, ou pode ser uma combinação?
- Pode ser uma combinação. O próprio exemplo do Slack (2.000 mensagens trocadas pelo time) já é um limiar acumulado, não um clique único. O que importa não é a forma (evento único, contagem acumulada, ou combinação de ações), é que ela tenha sido validada pelo processo de correlação com retenção e, idealmente, confirmada por um teste controlado, não escolhida por parecer fácil de mover.