Priorizador de experimentos A/B: PIE e ICE

O gargalo de um programa de testes quase nunca é a falta de ideias, é a ordem em que você as roda. Com tráfego limitado, cada semana gasta em um experimento fraco é uma semana que o experimento forte não rodou. Priorizar por opinião faz o teste virar quem grita mais alto na reunião. O PIE e o ICE trocam a discussão por um número: você pontua cada ideia em três dimensões e deixa a média ordenar a fila. Esta ferramenta faz a conta ao vivo e devolve o ranking com um clique.

Como usar

1. Escolha o framework: PIE se você prioriza páginas e áreas por retorno potencial, ICE se prioriza ideias soltas e quer premiar as com evidência mais forte.
2. Liste os experimentos, um por linha. Descreva a mudança concreta, não o objetivo: "prova social acima da dobra", não "aumentar a confiança".
3. Dê nota de 1 a 10 em cada uma das três dimensões. Seja honesto na facilidade: um teste que depende de dev por três sprints não é fácil.
4. Leia o score e a posição, que se atualizam a cada nota. Use "Ordenar por score" para ver a fila na ordem do ranking.
5. Clique em Baixar CSV para levar o ranking priorizado para o seu backlog no Sheets, Notion ou Trello.

Como funciona: a fórmula do PIE e do ICE

Nos dois frameworks, cada dimensão recebe uma nota de 1 a 10 e o score é a média simples das três:

As três dimensões são sempre "quanto maior, melhor", inclusive a facilidade: mais fácil de implementar vale nota mais alta, porque libera tráfego mais rápido para o próximo teste. Por isso a média direta já serve de ranking, sem inverter nenhum eixo. O Potencial (ou Impacto) é o quanto a página pode melhorar; a Importância do PIE é o valor do tráfego que passa por ali; a Confiança do ICE é a força da evidência por trás da aposta.

Exemplo trabalhado (reproduz o resultado padrão)

Com os três experimentos que já vêm preenchidos, no framework PIE: "prova social acima da dobra na home" recebe Potencial 8, Importância 9 e Facilidade 6. O score é (8 + 9 + 6) / 3 = 23 / 3 = 7,67. "Simplificar o formulário de checkout" recebe 9, 8 e 4, então (9 + 8 + 4) / 3 = 21 / 3 = 7,00. "Trocar o texto do botão do CTA principal" recebe 5, 6 e 9, então (5 + 6 + 9) / 3 = 20 / 3 = 6,67.

O ranking sai como 1º a prova social (7,67), 2º o checkout (7,00) e 3º o botão (6,67), exatamente como a ferramenta mostra acima quando você abre a página. Repare no que o score captura: o botão é o mais fácil de todos (9 em facilidade), mas ainda assim fica em último, porque o potencial e a importância dele são menores. É a lição central da priorização, comece pelo que move o ponteiro, não pelo que é confortável de fazer.

Como interpretar e onde ela engana

O score é uma régua de comparação relativa, não uma nota absoluta. Um 7,67 só quer dizer "melhor que o 7,00 da mesma lista", não "vai dar 7,67 de retorno". Serve para ordenar a fila, e é isso que resolve o problema real: parar de rodar o teste fácil antes do teste importante. Compare sempre dentro da mesma rodada e com o mesmo framework, porque misturar notas de PIE e ICE na mesma lista não faz sentido, as dimensões medem coisas diferentes.

O limite honesto é a subjetividade das notas. Dois analistas dão facilidades diferentes para o mesmo teste, e a nota de confiança do ICE é onde o viés mais se esconde: é fácil dar 9 para a ideia que você já queria rodar. Duas defesas simples: pontue em grupo, não sozinho, e ancore a confiança na evidência de verdade, não no entusiasmo. Se a sua confiança vem de um dado quantitativo, ela merece nota alta; se vem de um palpite, seja duro. O gerador de hipótese ajuda a transformar a ideia priorizada em uma aposta falseável antes de ligar o teste.

Boas práticas ao priorizar

• Fixe uma escala comum antes de pontuar. Combine o que é "facilidade 3" e o que é "facilidade 9" para a nota significar a mesma coisa em toda a lista.
• Pontue em dupla ou trio. A média de duas leituras corta o viés individual melhor que qualquer regra.
• Reavalie a fila a cada teste concluído. Um resultado surpresa muda a confiança das ideias vizinhas e reordena o backlog.
• Não persiga o score de terceira casa. Diferença de 0,1 entre duas ideias é ruído; rode qualquer uma das duas primeiro e siga.

Perguntas frequentes

O que é priorização PIE e ICE?

São dois frameworks para decidir qual experimento rodar primeiro. O PIE (Potential, Importance, Ease) veio da WiderFunnel e pontua o potencial de melhoria da página, a importância do tráfego que ela recebe e a facilidade de implementar. O ICE (Impact, Confidence, Ease) veio do growth de Sean Ellis e pontua o impacto esperado, a sua confiança de que vai funcionar e a facilidade. Nos dois você dá nota de 1 a 10 em cada dimensão e o score é a média.

Qual a diferença entre PIE e ICE?

A diferença está na segunda letra. O PIE pergunta "quão importante é esta página" (o volume e o valor do tráfego que passa por ali), enquanto o ICE pergunta "quão confiante você está" (força da evidência por trás da aposta). Use PIE quando prioriza páginas ou áreas do site por retorno potencial; use ICE quando prioriza ideias soltas e quer premiar as que têm evidência mais forte. Potential/Impact e Ease existem nos dois.

Como o score é calculado?

É a média simples das três notas: score = (nota1 + nota2 + nota3) / 3. As três dimensões são "quanto maior, melhor", inclusive a facilidade (mais fácil é melhor), então a média direta já ordena. Um experimento com 8, 9 e 6 dá (8 + 9 + 6) / 3 = 7,67. O resultado fica na mesma escala de 1 a 10, o que facilita comparar a lista inteira de uma olhada.

Devo usar multiplicação em vez de média no ICE?

Alguns times multiplicam as três notas no ICE em vez de tirar a média, o que espalha mais os scores (vai de 1 a 1000) e pune com mais força quem tem uma dimensão fraca. As duas formas ordenam de maneira parecida na prática. Esta ferramenta usa a média nos dois frameworks porque é a forma original documentada do PIE e a mais legível: o score sai na mesma escala das notas, então um 7 significa a mesma coisa em qualquer lugar.

A nota mais alta garante que o teste vai vencer?

Não. O score mede prioridade, não resultado. Ele diz onde vale a pena gastar o próximo ciclo de tráfego, com base no que você sabe hoje. Muitas ideias bem pontuadas perdem, e isso é normal: priorização é sobre onde apostar, não sobre garantia de retorno. A confiança do ICE ajuda a calibrar isso, mas nenhum framework substitui rodar o teste e ler a significância no fim.

Como exporto o ranking?

Clique em Baixar CSV: a ferramenta gera o arquivo já ordenado por score, com posição, nome, as três notas e o score final, e o download acontece no seu navegador, sem enviar nada para nenhum servidor. O arquivo abre direto no Excel, Google Sheets ou Notion, pronto para virar o backlog priorizado do seu programa de testes.

Continue

Priorizou a fila? Pegue a ideia do topo e escreva a aposta no gerador de hipótese de teste A/B, dimensione o experimento na calculadora de tamanho de amostra e, quando o teste terminar, leia o veredito na calculadora de significância. O contexto completo está no guia o que é teste A/B.