Repositório de Experimentos: um acervo que ninguém ignora
Como montar um repositório de documentação de experimentos que o time usa de verdade: campos, indexação por pergunta e o custo de um teste repetido.
📚 Este artigo faz parte do guia Como Construir uma Cultura de Experimentação (2026).
Um repositório de experimentos é o registro pesquisável de todo teste que o time rodou, com a hipótese, os números, a decisão e a interpretação de cada um. Quase todo time de experimentação começa um; a maioria abandona em dois trimestres. A falha raramente é de disciplina, é de desenho: repositórios nascem como arquivos de escrita apenas, indexados por ID de teste e povoados só com vitórias, o que os torna inúteis exatamente quando alguém precisa deles. Este artigo cobre os campos que valem registro, como indexar as entradas para que as pessoas encontrem pela pergunta que realmente têm, por que as derrotas são os registros de maior valor, e um exemplo trabalhado que precifica um teste repetido em dias de capacidade perdida. Faz parte do guia de como construir uma cultura de experimentação.
Por que a maioria dos repositórios de experimentos é ignorada
Existem três modos de falha distintos, e eles pedem correções diferentes. Diagnosticar qual é o seu importa mais do que escolher ferramenta.
Escrita apenas. As entradas entram e nada sai. Ninguém cita um experimento passado numa reunião de planejamento, e ninguém é cobrado por não citar. O sintoma é fácil de testar: pergunte quando o repositório foi lido pela última vez, não quando foi escrito. A correção é de processo, tratada mais abaixo.
Impossível de buscar. O conteúdo existe, mas a recuperação falha. As entradas se chamam “EXP-114” ou “teste de checkout do Q3”, são indexadas por data, e descobrir se alguém já testou remover o campo de cupom significa ler cinquenta documentos. A correção é indexar por pergunta, página e métrica.
Só vencedoras. O repositório vira vitrine. Derrotas e empates nunca foram registrados, então o acervo ensina que tudo que o time tentou deu certo, o que é falso e perigoso: a mesma ideia perdedora volta no trimestre seguinte sem nada registrado para barrá-la. A correção é uma regra de documentação que não dependa do desfecho.
O que registrar de cada experimento
O esquema de entrada abaixo é deliberadamente curto. Cada campo ganha o lugar dele respondendo a uma pergunta que aparece depois, e o que não responde é fricção que uma hora mata o hábito.
| Campo | O que entra | A pergunta futura que ele responde |
|---|---|---|
| Título em forma de pergunta | “Remover o campo de cupom aumenta a conclusão do checkout?” | “Alguém já testou isso?” |
| Decisão (primeira linha) | Implementado, revertido ou inconclusivo | “O que aconteceu?” sem abrir a entrada |
| Hipótese | Porque observamos X, acreditamos que Y causa Z, medido por W | “O que a gente estava prevendo, afinal?” |
| Página e público | Padrão de URL exato, dispositivo, país, novo ou recorrente | “Isso vale pro meu caso?” |
| Métrica primária | Exatamente uma, escolhida antes de rodar | “A métrica foi escolhida depois do fato?” |
| Métricas de guarda | O que não pode piorar | “A vitória custou alguma coisa em outro lugar?” |
| Amostra e duração planejadas | Amostra por variação e a janela fixada antes | “Esse teste foi dimensionado direito?” |
| Números observados | Visitantes e conversões por variação | “Consigo reconferir esse resultado por conta própria?” |
| Valor p e intervalo de confiança | Não só o veredito, o intervalo | “De que tamanho o efeito poderia ser de verdade?” |
| Interpretação | Um parágrafo: no que acreditamos agora e por quê | “O que a gente aprendeu além do veredito?” |
| Links | Capturas, painel, mudança de código, item do roadmap | “Onde está a evidência?” |
Dois campos merecem defesa, porque são os primeiros a serem cortados. Números observados importa porque um veredito sem as contagens brutas não pode ser reconferido, e resultados são reconferidos, normalmente quando alguém suspeita de um bug de rastreamento meses depois. Interpretação importa porque o veredito sozinho envelhece mal: “a variação B venceu, p igual a 0,03” não diz nada a uma pessoa nova sobre qual crença mudou. Se você mantiver um único campo de texto corrido, mantenha esse.
O intervalo de confiança é o campo que mais muda como a entrada é lida depois. Uma vitória de “+4% relativo, intervalo de +0,2% a +7,8%” e uma vitória de “+4% relativo, intervalo de +3,5% a +4,5%” carregam o mesmo veredito e informação completamente diferente sobre o que esperar depois de implementar. O raciocínio por trás disso está no guia de significância estatística em testes A/B.
O modelo de entrada, pronto para copiar
Pergunta: Remover o campo de cupom aumenta a conclusão do checkout?
Decisão: Revertido (a variação piorou, o intervalo inclui zero, a métrica de guarda piorou)
Hipótese: Porque as gravações de sessão mostram usuários saindo do checkout
para caçar código de cupom, acreditamos que remover o campo visível de cupom
vai aumentar a conclusão do checkout, medida como pedidos concluídos /
inícios de checkout.
Escopo: /checkout, todos os dispositivos, todos os países, 04/05/2026 a 18/05/2026
Métrica primária: taxa de conclusão do checkout
Métricas de guarda: receita por visitante, contatos ao suporte sobre desconto
Planejado: 24.193 por variação, 14 dias, 95% de confiança, 80% de poder
Observado: A 24.301 visitantes / 1.458 conversões (6,00%)
B 24.190 visitantes / 1.353 conversões (5,59%)
Valor p: 0,055 IC da diferença: -0,82pp a +0,01pp
Interpretação: Remover o campo não reduziu distração, removeu uma oportunidade
percebida de desconto. Os contatos ao suporte sobre desconto também subiram.
Não retestar a remoção; a pergunta aberta é se esconder o campo atrás de um
link se comporta diferente.Repare que essa entrada registra um resultado inconclusivo pela métrica primária e ainda assim uma decisão de reverter. Não é contradição: o intervalo inclui zero, o que significa que a piora observada é compatível com acaso, e mesmo assim não existe nenhuma evidência de ganho, e a métrica de guarda piorou. Documentar exatamente isso é o que impede alguém, dali a um ano, de ler “revertido” e concluir que ficou provado que remover o campo faz mal.
A última linha da interpretação é a parte que paga o exercício inteiro. Ela fecha uma pergunta e abre outra mais afiada, que é a diferença entre um arquivo morto e um programa de pesquisa.
Torne encontrável pela pergunta, não pelo ID
Recuperação é onde os repositórios morrem. O teste é simples: alguém que está na empresa há três semanas consegue descobrir, em menos de dois minutos, se o time já testou a galeria da página de produto? Se não, o índice está errado.
Três regras de indexação cobrem quase tudo:
- Intitule toda entrada como pergunta. As pessoas buscam perguntas, não nomes de teste. “Adicionar contagem de avaliações no card de produto aumenta o clique?” é encontrável; “Teste PDP v3” não é.
- Etiquete em quatro eixos. Página ou fluxo, elemento da página, métrica movida, segmento de público. Quatro etiquetas por entrada respondem quase toda busca, e são poucas o bastante para as pessoas realmente preencherem.
- Ponha a decisão na primeira linha. Quem varre oito resultados de busca deveria aprender oito desfechos sem abrir nada.
Um acréscimo útil quando o acervo passa de umas trinta entradas: uma única página de resumo listando, por página do site, as perguntas já respondidas e as ainda abertas. Essa página vira o que as pessoas de fato leem antes de propor um teste, e alimenta diretamente o template de roadmap de experimentação, porque uma pergunta aberta com evidência atrás é candidata bem mais forte de roadmap do que uma opinião nova.
Derrotas e empates são as entradas de maior valor
Um repositório que registra só vencedoras documenta a minoria do que o time aprendeu. Segundo dados publicados por Ronny Kohavi sobre experimentos na Microsoft, aproximadamente um terço das ideias testadas melhora a métrica alvo, um terço não muda nada e um terço piora (Kohavi, Online Controlled Experiments: Lessons from Running A/B/n Tests for 12 Years, KDD 2015). Nessa proporção, um acervo só de vitórias está deixando de fora cerca de duas entradas a cada três.
As duas categorias ausentes carregam valores diferentes:
- Derrotas são a defesa mais forte contra ideia reciclada. Uma ideia que perdeu com intervalo documentado e interpretação escrita deixa de ser questão de opinião. Sem o registro, a mesma proposta volta a cada ciclo de planejamento com a mesma confiança.
- Empates registram a sensibilidade do seu tráfego. Um empate com intervalo de confiança indo de -2% a +3% não é “nenhum efeito”, é “qualquer efeito maior que aproximadamente 3% provavelmente teria aparecido”. Isso é uma afirmação sobre o que o seu tráfego consegue e não consegue enxergar, e impede o time de rerodar o mesmo teste sem poder com a mesma expectativa. A mecânica dessa leitura está em os erros que invalidam um teste A/B.
Uma regra prática que sobrevive ao contato com a realidade: a documentação é feita por quem propôs o teste, em até dois dias úteis depois da decisão, independente do desfecho, e o item do roadmap não fecha enquanto a entrada não existir. Amarrar a entrada ao fechamento do item é o que evita que ela dependa do humor de alguém.
Exemplo trabalhado: quanto custa um teste repetido
Discussão sobre burocracia de documentação acaba rápido quando o custo de não ter documentação é expresso em dias. Aqui está a conta para um time de e-commerce plausível.
O time testa num fluxo de produto que recebe 120.000 visitantes por mês, convertendo a 3,0%, e dimensiona os testes para detectar um ganho relativo de 15% com 95% de confiança e 80% de poder.
- Amostra por variação: 24.193 visitantes.
- Amostra total (2 variações): 48.386 visitantes.
- Tráfego diário: 120.000 divididos por 30, ou seja, 4.000 visitantes por dia.
- Dias exigidos pelo tráfego: 48.386 divididos por 4.000 dão 12,1, arredondando para dias inteiros de coleta, ou seja, 13 dias.
- Duração real: 14 dias, porque o piso de duas semanas é maior que 13.
- Capacidade anual: 365 divididos por 14, cerca de 26 testes por ano.
Confira o primeiro passo com a sua própria taxa base:
Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.
Agora suponha que três desses 26 testes tenham respondido de novo uma pergunta que o time já havia respondido e esquecido. Isso é 3 vezes 14, ou seja, 42 dias de capacidade de teste, que são 11,5% do ano de testes, gastos para não aprender nada novo. Dito ao contrário: o repositório precisa evitar pouco mais de um teste repetido por ano para pagar cada hora que alguém gastar escrevendo entradas.
A sua própria capacidade, e portanto o seu próprio custo de repetição, sai da mesma conta:
Amostra por variação a 95% de confiança e 80% de poder (bilateral), pela sua taxa e MDE. Ajuste os campos e veja a capacidade ao vivo.
Existe um segundo custo que quase nunca é contado. Um teste repetido não consome apenas dias, consome a vaga do teste que teria rodado no lugar. Numa fila ordenada por valor esperado, o repetido desloca o item de maior valor que ainda estava esperando, então a perda real é a diferença entre o que o repetido ensinou (nada) e o que o item deslocado teria ensinado.
Como documentar o acervo antigo sem parar o time
Quase todo time que decide montar o repositório trava na mesma pergunta: o que fazer com os testes que já rodaram e nunca foram registrados. A resposta que funciona é limitar o escopo em três dimensões antes de começar, porque registro retroativo completo compete com o trabalho corrente e sempre perde.
| Dimensão | O limite que funciona | Por que |
|---|---|---|
| Período | Só os últimos 12 meses | Teste mais antigo que isso rodou em outra versão do site e do público |
| Campos | Só quatro: pergunta, decisão, números observados, uma frase de interpretação | O modelo completo é para entrada nova, não para resgate |
| Prazo | Uma janela fechada de duas semanas, com data de fim | Sem data de fim, o resgate vira projeto permanente e morre |
O que sobra depois dessas três podas costuma ser algo entre quinze e trinta entradas, e já resolve o objetivo real do resgate, que não é completude histórica: é impedir que o time reteste em três meses uma pergunta que já respondeu no ano passado. Se um teste antigo não tiver mais os números brutos disponíveis, registre a pergunta, a decisão e a observação de que os números se perderam. Uma entrada incompleta e honesta ainda barra a repetição; a ausência de entrada não barra nada.
Governança que sobrevive a um trimestre corrido
| Regra | Por que se sustenta | O que quebra sem ela |
|---|---|---|
| Quem propôs escreve a entrada | Tem o contexto que ninguém mais tem | As entradas são escritas por quem sobrar tempo, mal feitas |
| Dois dias úteis depois da decisão | A memória da interpretação ainda está fresca | As entradas viram resumo só de veredito |
| O item do roadmap só fecha com a entrada | Amarra a documentação a um trabalho já rastreado | Documentação vira opcional, depois ausente |
| Mesmo modelo para vitória, derrota e empate | Remove qualquer fricção dependente do desfecho | O acervo silenciosamente vira vitrine |
| Leitura mensal, não só escrita mensal | Cria demanda, que sustenta a oferta | O repositório vira escrita apenas em um trimestre |
| Uma entrada, um link estável | Citar um experimento fica tão fácil quanto colar | O conhecimento passa a morar em conversa de chat que expira |
A leitura mensal merece a maior atenção porque é a menos intuitiva. Os times tentam consertar repositórios facilitando a escrita; a correção durável é tornar a leitura rotineira. Um espaço de dez minutos na reunião mensal de planejamento em que alguém responde “o que o acervo já diz sobre a fila deste trimestre” converte o repositório de tarefa chata em ferramenta, e uma vez que ele é ferramenta, a escrita se resolve sozinha.
Faça isso automático na Donnu
A maior parte de uma entrada de repositório é dado que a sua ferramenta de teste já guarda: o público, a amostra planejada, as contagens observadas por variação, o valor p e o intervalo. A Donnu mantém esse registro por experimento com os números congelados como foram lidos, então escrever a entrada vira acrescentar a hipótese e a interpretação, em vez de reconstruir os números a partir de um painel que já andou para a frente. O que o time é dono é do raciocínio; o que a ferramenta é dona é da evidência.
Comece um teste grátis de 14 dias e mantenha a evidência colada em cada teste desde o primeiro. Para organizar a fila que esse acervo deveria alimentar, veja o template de roadmap de experimentação.
Referências
- Kohavi, R. Online Controlled Experiments: Lessons from Running A/B/n Tests for 12 Years. Keynote, ACM SIGKDD 2015. exp-platform.com/Documents/2015-08OnlineControlledExperimentsKDDKeynoteNR.pdf.
- Thomke, S. Building a Culture of Experimentation. Harvard Business Review, março-abril de 2020. hbr.org/2020/03/building-a-culture-of-experimentation.
- Kohavi, R. e Thomke, S. The Surprising Power of Online Experiments. Harvard Business Review, 2017. hbr.org/2017/09/the-surprising-power-of-online-experiments.
- Kohavi, R. ExP Platform: accelerating innovation through trustworthy experimentation. exp-platform.com.
Leia também:
Perguntas frequentes
- O que é um repositório de experimentos?
- É o registro pesquisável de todo experimento que um time já rodou, com a hipótese, a montagem, os números observados, a decisão tomada e o que se aprendeu. É diferente de um roadmap, que olha para a frente e guarda a fila de testes a rodar. O repositório olha para trás e existe para que uma pergunta já respondida por dado não vire discussão de novo, ou pior, teste de novo.
- O que registrar de cada experimento?
- No mínimo: um título em forma de pergunta, a hipótese no formato evidência, mudança, efeito e métrica, o público e a página exatos, a métrica primária e as de guarda, a amostra e a duração planejadas, os números observados por variação com valor p e intervalo de confiança, a decisão tomada e um parágrafo de interpretação. A interpretação é o campo mais pulado e o que torna a entrada utilizável um ano depois.
- Teste perdedor e inconclusivo devem ser documentados?
- Sim, e são as entradas de maior valor no longo prazo. Se aproximadamente dois terços das ideias testadas não melhoram a métrica alvo, um repositório só com vencedoras documenta cerca de um terço do que o time aprendeu. Derrotas impedem que a mesma ideia volte todo trimestre, e empates registram quais tamanhos de efeito o seu tráfego não conseguiu enxergar.
- Como evitar que o repositório de experimentos seja ignorado?
- Torne-o pesquisável pela pergunta que a pessoa realmente tem, não por ID de teste ou data. Na prática: intitule cada entrada como a pergunta que ela responde, marque com etiquetas de página, elemento, métrica e público, e ponha a decisão na primeira linha, para que quem varre resultados não precise abrir a entrada para saber o desfecho. Um repositório que exige leitura completa para ser usado é um repositório que as pessoas param de abrir.
- Quanto custa um teste repetido?
- O custo é capacidade real, medida em dias. Um time com duração de teste de 14 dias e cerca de 26 testes de capacidade anual que refaz três perguntas já respondidas queima 42 dias, ou cerca de 11,5% do ano de testes, sem ganhar informação nenhuma. É o número que vale citar internamente quando alguém disser que documentação é burocracia.
- Onde o repositório deve morar?
- Onde o time já trabalha e já busca: a wiki que existe, a base de conhecimento ou uma ferramenta de banco compartilhado. A ferramenta importa muito menos que duas propriedades: uma entrada por experimento com link estável, e uma busca que devolve resultado por página e por métrica. Um repositório que mora num lugar que as pessoas precisam ser lembradas de visitar perde para qualquer ferramenta que elas já deixam aberta.
- Como documentar retroativamente sem parar o time?
- Limite o escopo em três dimensões antes de começar: só os últimos 12 meses, só quatro campos por entrada (pergunta, decisão, números observados e uma frase de interpretação) e uma janela fechada de duas semanas. Registro retroativo completo nunca termina, porque compete com o trabalho corrente e sempre perde. Registro retroativo mínimo termina, e é o que impede a repetição de teste, que é o objetivo real.