Desenho de Encorajamento: sortear o convite, medir o uso

Quando o recurso não pode ser desligado, o que sobra é sortear o convite. No exemplo deste guia, um banner sorteado moveu a adoção de 8 para 20 por cento e a conversão de 6,000 para 6,300 por cento, com valor-p 0,0306. Esses 0,30 ponto divididos pelos 12 pontos de adesão adicional devolvem mais 2,50 pontos nos aderentes, e o preço dessa conta é rodar o teste com quase 60 vezes mais gente do que se o recurso pudesse ter sido sorteado direto. O desenho de encorajamento é a saída legítima quando o tratamento está fora do seu controle, e ele cobra caro em amostra e em premissas. Este guia mostra a conta completa, o custo, e o ponto exato em que o desenho quebra. Faz parte do nosso guia completo de teste A/B e é o lado do desenho da análise que descrevemos em intenção de tratar.

O problema: o recurso não pode ser desligado

O teste A/B comum sorteia a coisa que você quer medir. Metade vê o botão novo, metade vê o antigo, e a diferença é o efeito do botão. Existe uma classe inteira de perguntas em que isso simplesmente não está disponível:

• o recurso já está no ar para todo mundo. Tirar de metade da base é uma remoção de valor, e às vezes uma quebra de contrato. Ninguém autoriza.
• o uso depende de um passo do usuário. Conectar uma integração, importar contatos, criar o primeiro projeto. Você pode oferecer, não pode obrigar.
• o canal não é seu. Instalar o app, aceitar a chamada do time de vendas, responder a um e-mail. Você controla o envio, não a ação.
• o tratamento é um hábito. Usar o relatório semanal, revisar o painel, abrir o resumo. A frequência é escolha da pessoa.

Nesses casos, a comparação óbvia é entre quem usou e quem não usou, e ela é enviesada pelos mesmos motivos que descrevemos em escore de propensão: quem adota é diferente de quem não adota, e a diferença entre as pessoas entra inteira no resultado.

O desenho de encorajamento resolve isso mudando o objeto do sorteio. Você não sorteia o uso. Sorteia o convite para usar, que é uma coisa que você controla por completo. O sorteio volta a existir, e com ele volta a garantia de que os dois grupos são iguais no início.

O desenho: sorteie o convite, meça o uso

A estrutura tem três variáveis, e confundir as três é o erro mais comum da área:

variável	o que é	quem controla	é sorteada?
o convite	banner, e-mail, desconto, ligação, notificação	você	sim, esse é o experimento
o uso	a pessoa de fato usou o recurso	a pessoa	não, é consequência
o desfecho	conversão, retenção, receita	a pessoa	não, é o que você quer explicar

O que você mede diretamente são dois efeitos de intenção de tratar, um no uso e outro no desfecho, e os dois são honestos porque o convite foi sorteado. O que você quer é o efeito do uso sobre o desfecho, e esse não é medido, é deduzido.

Exemplo trabalhado: o banner que moveu a adoção em 12 pontos

Um produto tem um recurso de relatório automático que já está no ar. Ninguém autoriza desligá-lo. A pergunta é se usar o relatório aumenta a conversão para o plano pago. O time sorteia 120.000 usuários em dois braços e mostra um banner de convite para metade.

medida	sem banner	com banner	diferença	valor-p
usaram o relatório (primeiro estágio)	4.800 de 60.000 = 8,000%	12.000 de 60.000 = 20,000%	mais 12,000 pontos	abaixo de 0,0001
converteram (intenção de tratar)	3.600 de 60.000 = 6,000%	3.780 de 60.000 = 6,300%	mais 0,300 ponto	0,0306

Cole as duas linhas na calculadora abaixo e confira as taxas, a melhora relativa, o valor-p e o intervalo. A primeira linha sai com valor-p abaixo de 0,0001 e intervalo de confiança de 95 por cento entre mais 11,6133 e mais 12,3867 pontos. A segunda sai com valor-p 0,0306 e intervalo entre mais 0,0281 e mais 0,5719 ponto. A calculadora arredonda o intervalo para uma casa e não mostra o z, que é o passo intermediário do teste: ele vale 59,9002 na primeira linha e 2,1629 na segunda.

Controle (A)

VisitantesConversões

Variação (B)

VisitantesConversões

Confiança90%95%99%

Controle (A) · Taxa-

Variação (B) · Taxa-

Melhora relativa-

valor-p-

IC 95% da diferença-

Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.

Agora a conta que interessa. O convite convenceu 12 por cento da população a usar o relatório: 20 menos 8. Todo o efeito de 0,30 ponto no desfecho tem que ter vindo dessas pessoas, porque as outras 88 por cento fizeram exatamente o mesmo nos dois braços. Logo:

efeito nos aderentes = 0,300 ponto ÷ 0,12 = mais 2,500 pontos percentuais.

Sobre uma base de 6 por cento, isso é um efeito relativo grande. E repare no que aconteceu com a leitura: o resultado que apareceu na tela do painel foi um mísero mais 5 por cento relativo, à beira da significância. O efeito real, em quem de fato usou, é oito vezes maior. A diluição é a regra número 2 de Kohavi, Deng, Longbotham e Xu, que registram que melhorar em 10 por cento um segmento de 1 por cento resulta em impacto total de aproximadamente 0,1 por cento.

leitura	número	o que ela responde
intenção de tratar	mais 0,300 ponto	quanto vale mostrar o banner para todo mundo
primeiro estágio	mais 12,000 pontos	quanto o banner convence
efeito nos aderentes	mais 2,500 pontos	quanto vale usar o recurso, para quem o banner convenceu

As três estão certas e respondem perguntas diferentes. A primeira é a que decide se o banner fica no ar. A terceira é a que decide se vale a pena investir no recurso.

As cinco condições, e por que só uma delas é gratuita

Angrist, Imbens e Rubin organizaram a identificação em cinco suposições na Journal of the American Statistical Association de 1996. Vale ler a lista pensando em qual delas o seu sorteio já garante:

condição	o que exige	o sorteio garante?
estabilidade das unidades	o convite de uma pessoa não muda o desfecho de outra	não, depende do produto
sorteio do convite	o convite é independente dos desfechos potenciais	sim, é o que você comprou com o sorteio
restrição de exclusão	o convite só afeta o desfecho através do uso	não, e não é verificável
primeiro estágio não nulo	o convite muda a adesão em média	sim, e é medível
monotonicidade	ninguém deixa de usar por ter sido convidado	não, e é raramente checada

O artigo é explícito sobre a fragilidade: a restrição de exclusão relaciona quantidades que nunca podem ser observadas juntas, e por isso não é diretamente verificável a partir dos dados em mãos. E a advertência que mais importa para quem desenha o estímulo: em geral o estimador é mais sensível a violações da restrição de exclusão e da monotonicidade quando existem poucos aderentes.

Guarde essa frase. Ela é o guia de projeto do desenho inteiro.

Onde o encorajamento morre: o vazamento do próprio convite

Um banner não é um objeto neutro. Ele ocupa espaço, explica, cria urgência, às vezes atrapalha. Qualquer efeito dele sobre a conversão que não passe pelo uso do relatório é vazamento, e a proposição 2 do artigo de 1996 dá o tamanho exato do estrago: o viés do estimador em relação ao efeito nos aderentes é o efeito direto médio do convite sobre os não aderentes multiplicado pela razão de chances de não aderir.

Com adesão adicional de 12 pontos, a razão de chances de não aderir é 0,88 dividido por 0,12, ou seja, 7,33. Cada centésimo de ponto que o banner move por fora do recurso é multiplicado por 7,33. Fixando um efeito real de 2,500 pontos nos aderentes, a tabela fica assim:

efeito direto do convite	adesão 40 pontos	adesão 20 pontos	adesão 12 pontos	adesão 6 pontos
0,02 ponto	0,030 (1,2% do efeito)	0,080 (3,2%)	0,147 (5,9%)	0,313 (12,5%)
0,05 ponto	0,075 (3,0%)	0,200 (8,0%)	0,367 (14,7%)	0,783 (31,3%)
0,10 ponto	0,150 (6,0%)	0,400 (16,0%)	0,733 (29,3%)	1,567 (62,7%)
0,20 ponto	0,300 (12,0%)	0,800 (32,0%)	1,467 (58,7%)	3,133 (125,3%)

A conclusão de projeto sai sozinha: um convite fraco é duplamente ruim. Ele produz um primeiro estágio pequeno, o que amplifica qualquer vazamento, e ainda obriga a rodar o teste com muito mais gente, como a próxima seção mostra. Vale mais desenhar um estímulo forte e cirúrgico, que empurre bastante para o uso e faça o mínimo possível de qualquer outra coisa.

O preço em amostra

O efeito que você precisa detectar na tela não é o efeito real. É o efeito real diluído pela fração de gente que o convite convence. Com base de 6 por cento e efeito real de 2,5 pontos nos aderentes, esta é a conta, feita na fórmula de duas proporções com 95 por cento de confiança e 80 por cento de poder:

adesão adicional	efeito visível na tela	amostra por variação	contra o sorteio direto
40 pontos	1,000 ponto	9.540	5,7 vezes
30 pontos	0,750 ponto	16.656	9,9 vezes
20 pontos	0,500 ponto	36.791	21,8 vezes
12 pontos	0,300 ponto	100.670	59,6 vezes
6 pontos	0,150 ponto	398.091	235,8 vezes

Sortear o recurso direto, se fosse possível, pediria 1.688 pessoas por variação. Rode qualquer uma dessas linhas na calculadora abaixo com base de 6 por cento e efeito mínimo absoluto igual à coluna do meio.

Taxa de conversão atual%Efeito mínimo detectávelrelativo (%)absoluto (pp)Confiança909599%Poder8090%Visitantes por semana (total)Testebilateralunilateral

-Visitantes por variação

-Total (2 variações)

-Duração estimada

Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.

A regra de bolso é dividir a amostra pelo quadrado da adesão adicional: com 12 pontos, isso dá 1 dividido por 0,12 ao quadrado, ou seja, 69,4 vezes. A calculadora devolve 59,6 vezes porque a fórmula exata leva em conta que a variância também muda quando a taxa alvo muda. A regra de bolso erra para cima, o que é a direção segura para planejar. Se você quiser ver esse mesmo efeito no calendário, a calculadora de duração converte a amostra em dias com o seu tráfego semanal.

O convite escolhe a população, e a população escolhe a resposta

O número que sai do desenho não é o efeito do recurso na sua base. É o efeito do recurso em quem aquele convite específico conseguiu convencer. Troque o convite e você troca as pessoas.

Na prática isso vira uma escolha de projeto bem concreta:

• desconto como convite convence quem é sensível a preço. O efeito medido é o efeito do recurso nessa gente, que costuma converter diferente do resto.
• e-mail educativo convence quem não sabia que o recurso existia. População mais parecida com a média, efeito geralmente mais transportável.
• chamada do time de vendas convence contas grandes e engajadas. É o topo da base, e o número que sai não descreve a cauda.
• acesso antecipado por fila convence quem já queria e estava esperando. A população mais motivada possível, e a estimativa mais otimista possível.

Escolha o estímulo que se parece com a alavanca que você pretende puxar depois da decisão. Se a decisão será mandar um e-mail para a base inteira, encoraje por e-mail. Medir com desconto e depois agir com e-mail é trocar de população no meio do caminho.

Como verificar antes de acreditar

Nenhuma das premissas é testável, mas todas têm sintomas. Três checagens que cabem no mesmo dia de análise:

1. Primeiro estágio, com intervalo. Se o intervalo de confiança da adesão adicional cruza zero ou chega perto, pare por aqui. A divisão por um número pequeno e incerto produz estimativas instáveis, o problema clássico de instrumento fraco que Imbens (2014) descreve como a preocupação central da literatura econométrica sobre o tema.
2. Efeito direto onde ele não deveria existir. Separe quem já usava o recurso antes do experimento, ou quem não tinha acesso técnico a ele. Nessas pessoas, o uso não pode ter mudado. Se a conversão delas mexe com o convite, você achou o vazamento.
3. Desistência. Compare o uso do recurso entre quem foi convidado e quem não foi dentro de segmentos que já usavam bastante. Se o convite derruba o uso em algum lugar, a monotonicidade está quebrada e o cálculo perde a interpretação.

Vale acrescentar uma quarta, que é de higiene e não de premissa: rode o teste de proporção de amostra nos dois braços antes de qualquer leitura. Um desenho de encorajamento com divisão desigual esconde o problema melhor do que um teste comum, porque a atenção fica toda na adesão.

Um roteiro de sete passos

1. Escreva a pergunta na forma certa. “Usar o relatório aumenta a conversão?” é a pergunta causal. “Quem usa o relatório converte mais?” é uma correlação e não precisa de experimento nenhum para ser respondida, nem serve para decidir nada.
2. Confirme que o sorteio direto está fora. Escreva o motivo: contrato, remoção de valor, dependência de ação do usuário. Se o motivo for apenas “dá trabalho”, volte e sorteie, porque o desenho indireto custa dezenas de vezes mais gente.
3. Escolha o convite pela alavanca, não pela conveniência. O estímulo define a população medida. Prefira o convite mais parecido com a ação que a empresa vai tomar depois da decisão.
4. Estime o primeiro estágio antes de rodar. Um piloto pequeno, ou o histórico de campanhas parecidas, já dá a ordem de grandeza. Com esse número e o efeito que valeria a pena detectar, a tabela de amostra acima diz se o teste cabe no seu tráfego.
5. Instrumente três eventos separados. Atribuição ao braço, exposição ao convite e uso do recurso, cada um com carimbo de tempo próprio. Sem essa separação, a análise é impossível depois.
6. Leia na ordem: proporção de amostra, primeiro estágio, intenção de tratar, efeito nos aderentes. Se qualquer um dos três primeiros falhar, o quarto não deve nem ser calculado.
7. Reporte os três números juntos. O efeito de intenção de tratar decide o destino do convite. O primeiro estágio explica o tamanho do efeito. O efeito nos aderentes decide o destino do recurso. Publicar só o terceiro é a forma mais rápida de a diretoria se decepcionar depois com um lançamento que não moveu a linha do negócio.

Erros comuns

• Reportar o efeito nos aderentes como se fosse o efeito na base. São coisas diferentes por construção, e a segunda é o que o negócio sente. Reporte as duas, sempre lado a lado.
• Comparar convidados que usaram contra não convidados que não usaram. Isso destrói o sorteio: você acabou de voltar para a comparação observacional que o desenho existia para evitar.
• Aceitar um primeiro estágio pequeno porque o valor-p do desfecho saiu bonito. A ordem é inversa: o primeiro estágio decide se a conta pode ser feita.
• Trocar o convite no meio do teste. Cada convite define a sua própria população de aderentes. Trocar o estímulo é começar outro experimento.
• Esquecer que o convite continua no ar depois. Se o banner ficou, o efeito que a empresa vai colher é o de intenção de tratar, não o dos aderentes.
• Usar o encorajamento quando dava para sortear. É o erro mais caro dessa lista, e o mais comum. Antes de partir para o desenho indireto, confira com a calculadora de tamanho de amostra se o sorteio direto cabia no seu tráfego.

Faça isso automático na Donnu

O desenho de encorajamento exige guardar três eventos separados, com carimbo de tempo, sem misturá-los: a atribuição ao braço, a exposição ao convite e o uso do recurso. Quando o banco só tem uma coluna dizendo que a pessoa usou, não há como reconstruir o primeiro estágio, e a análise inteira fica impossível depois do fato.

A Donnu separa a atribuição do evento de exposição e do evento de uso por padrão, o que deixa as três leituras da tabela acima disponíveis na mesma tela, sem consulta manual. E ela existe primeiro para o caso simples: sempre que o recurso puder ser sorteado, sorteie, porque isso dispensa a restrição de exclusão e a monotonicidade inteiras. A calculadora de significância fecha a leitura do primeiro estágio e do desfecho com os mesmos números que você colaria à mão.

Referências

• Angrist, J. D., Imbens, G. W. e Rubin, D. B. Identification of Causal Effects Using Instrumental Variables. Journal of the American Statistical Association, volume 91, número 434, junho de 1996, páginas 444 a 455. Fonte das cinco suposições numeradas no artigo (estabilidade das unidades, sorteio do instrumento, restrição de exclusão, efeito causal médio não nulo do instrumento sobre o tratamento e monotonicidade); do registro de que a restrição de exclusão relaciona quantidades que nunca podem ser observadas conjuntamente e por isso não é diretamente verificável a partir dos dados em mãos; da afirmação de que o efeito médio local não é o efeito médio nem para a população inteira nem para qualquer subpopulação identificável a partir dos valores observados; da proposição 2, segundo a qual o viés do estimador em relação ao efeito médio local é o efeito direto médio do instrumento sobre os não aderentes multiplicado pela razão de chances de não aderir; e da observação de que o estimador é mais sensível a violações da restrição de exclusão e da monotonicidade quando há poucos aderentes. uio.no.
• Imbens, G. W. Instrumental Variables: An Econometrician’s Perspective. Statistical Science, 2014 (arXiv 1410.0163). Fonte da atribuição da origem dos desenhos de encorajamento aos trabalhos de Zelen de 1979 e 1990, fora da tradição econométrica de variáveis instrumentais; e da descrição do problema de instrumento fraco, em que a correlação entre instrumento e tratamento precisa ser substancial para permitir inferência precisa, com referência a Staiger e Stock (1997) e Andrews e Stock (2007). arxiv.org.
• Kohavi, R., Deng, A., Longbotham, R. e Xu, Y. Seven Rules of Thumb for Web Site Experimenters. KDD 2014. Fonte da regra de que métricas devem ser diluídas pelo tamanho do segmento afetado, com o exemplo de uma melhora de 10 por cento num segmento de 1 por cento resultando em impacto total de aproximadamente 0,1 por cento, e do registro de que em sites como o Bing os experimentos bem-sucedidos movem métricas-chave entre 0,1 e 1,0 por cento depois de diluídos. exp-platform.com.

Leia também: Intenção de tratar · Escore de propensão · Análise por gatilho e diluição · Unidade de sorteio · Calculadora de tamanho de amostra · Read in English