Poder Observado: a conta que não responde nada
Poder observado depois do teste é só o valor-p reescrito. Por que a conta não informa nada sobre um teste A/B sem significância e o que olhar no lugar.
📚 Este artigo faz parte do guia Significância Estatística em Teste A/B: O Guia.
O poder observado, calculado depois do teste com o efeito que apareceu, não acrescenta nada à leitura do resultado, porque ele é uma função um para um do valor-p: mesmo número, outra roupa. No teste trabalhado deste artigo, com valor-p de 0,4360, o poder observado é 11,88 por cento, e esse 11,88 por cento é consequência aritmética do 0,4360, não uma informação nova sobre o experimento. Este guia mostra a conta que prova isso, o paradoxo lógico que ela produz e o que perguntar no lugar. Faz parte do nosso guia completo de teste A/B e é o par direto do teste de equivalência, que é a forma correta de sustentar um empate.
De onde vem a tentação
O roteiro é sempre o mesmo. O teste termina sem significância, alguém pergunta se a hipótese está morta, e um analista bem-intencionado recalcula o poder usando o efeito observado. Se der baixo, a conclusão é “o teste era fraco demais, precisamos de mais tráfego”. Se der alto, a conclusão é “o teste era forte e mesmo assim não achou nada, então não existe efeito”.
A segunda leitura é a perigosa, e é justamente a que Hoenig e Heisey desmontam. Eles resumem o argumento dos defensores da prática: existiria evidência a favor da nula quando a significância não é alcançada apesar de o poder calculado no efeito observado ser alto. E então mostram que essa conta nunca pode cumprir o que promete.
O poder observado é o valor-p reescrito
A demonstração de Hoenig e Heisey é analítica: para qualquer teste, o poder observado é uma função um para um do valor-p. Os dois saem da mesma distribuição, e o poder observado sai dela fixando o parâmetro na estatística observada, o que o torna completamente determinado pelo valor-p.
Dá para ver isso rodando a conta. Fixe um teste com base de 3 por cento e 25.000 visitantes por variação, e varie só o número de conversões da variação:
| conversões na variação | taxa da variação | z | valor-p | poder observado |
|---|---|---|---|---|
| 750 | 3,000 por cento | 0,0000 | 1,00000 | 0,05000 |
| 765 | 3,060 por cento | 0,3914 | 0,69554 | 0,05837 |
| 780 | 3,120 por cento | 0,7790 | 0,43599 | 0,11880 |
| 795 | 3,180 por cento | 1,1630 | 0,24485 | 0,21272 |
| 810 | 3,240 por cento | 1,5434 | 0,12274 | 0,33849 |
| 825 | 3,300 por cento | 1,9203 | 0,05482 | 0,48418 |
| 840 | 3,360 por cento | 2,2938 | 0,02180 | 0,63077 |
| 855 | 3,420 por cento | 2,6640 | 0,00772 | 0,75931 |
| 870 | 3,480 por cento | 3,0309 | 0,00244 | 0,85793 |
Percorrendo as conversões de 751 até 900 uma a uma, a relação é monótona sem exceção: sempre que o valor-p cai, o poder observado sobe. A única quebra está na linha do empate perfeito, e ela é de implementação, não de estatística: com diferença exatamente zero, a função do nosso motor devolve o próprio alfa (0,05) por convenção, enquanto uma conversão de diferença (751) já devolve 0,0266.
Hoenig e Heisey registram os dois pontos que essa curva torna visíveis. Primeiro, um caso especial elegante: quando o valor-p é igual ao alfa, o poder observado é 0,5 no teste z unilateral, e um pouco maior que 0,5 no bicaudal. Nossa curva cai na mesma vizinhança: na linha mais próxima do alfa, com valor-p de 0,05482, o poder observado é 0,48418, logo abaixo de meio. Segundo, e mais importante: valores-p não significantes sempre correspondem a poderes observados baixos. Não existe o cenário que os defensores da prática imaginam, o de um resultado sem significância com poder observado alto.
O paradoxo do poder
O golpe final do artigo é lógico, não numérico. Considere dois testes que não rejeitaram a nula, com o mesmo tamanho de amostra. Quem usa poder observado leria o de maior poder como evidência mais forte a favor da nula: se o teste era forte e mesmo assim não achou nada, a nula deve ser verdadeira.
Só que poder observado maior implica estatística de teste maior, ou seja, valor-p menor, e valor-p menor é, pelo padrão usual, evidência mais forte contra a nula. Hoenig e Heisey chamam isso de paradoxo da abordagem do poder: poder observado mais alto não implica evidência mais forte a favor de uma nula que não foi rejeitada.
Os números do nosso cenário deixam a contradição concreta. Dois testes, ambos com 25.000 visitantes por variação e ambos sem significância:
| teste | conversões (controle contra variação) | valor-p | poder observado | intervalo de 95 por cento da diferença |
|---|---|---|---|---|
| A | 750 contra 795 | 0,24485 | 0,21272 | de -0,123 a +0,483 pp |
| B | 750 contra 762 | 0,75399 | 0,04982 | de -0,252 a +0,348 pp |
Pela leitura do poder observado, o teste A (poder quatro vezes maior) seria a evidência mais forte de que não existe efeito. Pela leitura do valor-p, o teste A é o que está mais perto de detectar um efeito. Os dois não podem estar certos, e o que está certo é o valor-p: o poder observado só reembalou a mesma informação e trocou o sinal da conclusão.
Repare também na coluna dos intervalos: os dois têm praticamente a mesma largura, 0,607 e 0,600 ponto percentual, porque a precisão é governada pelo tamanho de amostra e quase não depende do resultado. É a precisão, e não o poder observado, que responde de quanto foi o experimento.
O teste trabalhado, lido de três maneiras
O caso concreto: 25.000 visitantes por variação, 750 conversões no controle (3,0000 por cento) e 780 na variação (3,1200 por cento), um ganho relativo aparente de 4 por cento.
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
Colando esses números na calculadora acima: z de 0,7790, valor-p de 0,4360, intervalo de 95 por cento da diferença de menos 0,1819 a mais 0,4219 ponto percentual. Sem significância.
Leitura 1, a inútil. O poder observado no efeito de 4 por cento relativo é 0,1188. A frase que sai daí (“o teste teve só 12 por cento de poder”) soa informativa e não é: ela é o 0,4360 dito de outro jeito.
Leitura 2, a correta sobre o desenho. Com 25.000 por variação e base de 3 por cento, o efeito mínimo detectável a 95 por cento de confiança e 80 por cento de poder é 0,4275 ponto percentual, ou 14,25 por cento em termos relativos. Ou seja: o teste foi desenhado para enxergar ganhos de 14 por cento ou mais e nada abaixo disso. Se a hipótese valia um ganho de 5 por cento, o experimento nunca teve chance, e isso já se sabia antes de começar.
Leitura 3, a correta sobre o resultado. O intervalo de 95 por cento vai de menos 0,18 a mais 0,42 ponto percentual. Ele descarta ganhos acima de meio ponto e perdas maiores que um quinto de ponto, e continua compatível com um ganho real de um terço de ponto, que numa base de 3 por cento é um ganho relativo de 11 por cento, provavelmente relevante para o negócio. A conclusão honesta não é “não funciona”, é “não sabemos, e este teste não tinha como saber”.
Para dimensionar o próximo passo: detectar com 80 por cento de poder um efeito do tamanho do que apareceu (mais 4 por cento relativo) exigiria 323.369 visitantes por variação. Detectar o efeito planejado de mais 8 por cento exigiria 82.376. O teste rodou com 25.000.
O erro tem uma versão sofisticada
Hoenig e Heisey também derrubam a variante que parece mais rigorosa: a do “efeito detectável”. A prática consiste em, depois de um teste sem significância, calcular qual efeito verdadeiro teria dado, digamos, 90 por cento de poder, e tratar esse número como um limite superior para o efeito real, porque a natureza dificilmente estaria numa região de poder tão alto sem que a significância aparecesse.
Os autores mostram que essa abordagem sofre do mesmo paradoxo, e ilustram com um exemplo que vale reproduzir. Numa amostra grande com média de 2 e erro-padrão da média de 1,0255, a região crítica bicaudal começa em 2,01, então a nula não é rejeitada; o intervalo de 95 por cento vai de menos 0,01 a 4,01, ou seja, o valor 4 não é refutado pelos dados. Ainda assim, o poder pós-teste calculado supondo média verdadeira igual a 4 dá cerca de 0,974, o que sugeriria que 4 é improvável. As duas leituras se contradizem, e a que está errada é a do poder.
A conclusão dos autores é curta: uma vez que o intervalo de confiança foi construído, cálculos de poder não trazem nenhuma informação adicional.
Poder serve para desenhar, não para interpretar
Nada disso torna o poder estatístico inútil. Ele é indispensável antes do teste, quando ainda dá para mudar o desenho. Greenland e coautores colocam a fronteira exatamente aí: cálculos de poder feitos antes do estudo não medem a compatibilidade das alternativas com os dados que vieram, e o poder calculado a partir dos dados observados é uma transformação direta do valor-p da nula, então não testa alternativa nenhuma.
Os mesmos autores catalogam duas leituras erradas que aparecem toda semana em reunião de resultado. A primeira: aceitar a nula porque o valor-p passou de 0,05 e afirmar que, com 90 por cento de poder, a chance de erro é 10 por cento. Não é: se a nula é falsa e você a aceitou, a chance de erro é 100 por cento, e se ela é verdadeira, é zero; os 10 por cento descrevem apenas a frequência do erro ao longo de muitos usos do teste, sob aquela alternativa específica. A segunda: concluir que o resultado apoia a nula sobre a alternativa porque o valor-p passou de 0,05 e o poder contra a alternativa era 90 por cento. Os autores mostram que é fácil construir contraexemplos com valor-p da nula entre 0,05 e 0,10 e alternativas cujo próprio valor-p passa de 0,10 com poder de 0,90.
Para o que o poder serve de verdade, os mesmos autores dão o melhor exemplo prático: entender por que a replicação falha tanto. Se a alternativa é correta e dois estudos têm poder real de 80 por cento, a chance de os dois darem significância é, no melhor caso, 0,80 vezes 0,80, ou seja 64 por cento, e a chance de um dar e o outro não, o cenário que vira “resultados conflitantes” na conversa, é 2 vezes 0,80 vezes 0,20, ou seja 32 por cento, aproximadamente uma em cada três repetições. Isso é uma consequência do desenho, não uma anomalia dos dados.
Erros comuns
- Calcular poder depois do teste para decidir se a hipótese morreu. O número devolvido é o valor-p em outra escala.
- Dizer “o teste teve pouco poder” como se fosse um achado. Se o valor-p foi alto, o poder observado será baixo por construção. A informação útil é outra: qual era o efeito mínimo detectável do desenho.
- Usar poder alto no efeito observado como prova de ausência de efeito. Esse cenário nem existe em resultado não significante, e quando alguém o produz, é sinal de erro de conta.
- Tratar o “efeito detectável” como limite superior do efeito real. Hoenig e Heisey mostram que essa variante herda o mesmo paradoxo.
- Trocar o intervalo de confiança pelo poder no relatório. O intervalo responde diretamente o que se quer saber; o poder observado responde de novo o que o valor-p já respondeu.
- Concluir “não existe efeito” quando o certo é “não sabemos”. Para sustentar um empate existe procedimento próprio, o teste de equivalência, com margem declarada antes dos dados.
Faça isso automático na Donnu
O poder observado sobrevive porque o relatório padrão da maioria das ferramentas termina no carimbo de significância, e quando o carimbo é negativo a equipe fica sem número para conversar. Aí alguém inventa um.
Na Donnu, o relatório de todo experimento traz o intervalo da diferença junto do efeito e o efeito mínimo detectável que o desenho comportava, os dois desde o primeiro dia, para que um resultado sem significância seja lido pela precisão e não por um poder recalculado depois. Se quiser refazer qualquer conta, a calculadora de significância devolve valor-p e intervalo de qualquer par de grupos, a calculadora de poder estatístico mostra o poder do desenho contra o efeito que você declarar e a calculadora de MDE diz qual era o menor efeito visível para o tráfego que você tinha.
Referências
- Hoenig, J. M. e Heisey, D. M. The Abuse of Power: The Pervasive Fallacy of Power Calculations for Data Analysis. The American Statistician, volume 55, número 1, páginas 19 a 24, fevereiro de 2001. Fonte da demonstração de que o poder observado é uma função um para um do valor-p e é completamente determinado por ele; do caso especial em que valor-p igual a alfa produz poder observado de 0,5 no teste z unilateral e um pouco maior no bicaudal; do resultado de que valores-p não significantes correspondem sempre a poderes observados baixos; do paradoxo da abordagem do poder (poder observado maior não implica evidência mais forte a favor de uma nula não rejeitada, porque implica estatística de teste maior); da demonstração de que a abordagem do “efeito detectável” sofre do mesmo paradoxo; do exemplo com média 2 e erro-padrão 1,0255, região crítica em 2,01, intervalo de 95 por cento de menos 0,01 a 4,01 e poder pós-teste de cerca de 0,974 para média verdadeira 4; e da conclusão de que, uma vez construído o intervalo de confiança, cálculos de poder não trazem informação adicional. stat-help.com.
- Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N. e Altman, D. G. Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, volume 31, páginas 337 a 350, 2016. Fonte da definição de poder como probabilidade pré-estudo; do registro de que o poder calculado a partir dos dados observados é uma transformação direta do valor-p da nula e por isso não testa as alternativas; das interpretações erradas número 24 (a chance de erro ao aceitar a nula não é 1 menos o poder) e número 25 (valor-p acima de 0,05 com poder de 90 por cento não faz o resultado apoiar a nula sobre a alternativa); e do cálculo de replicação segundo o qual dois estudos com poder real de 80 por cento dão significância os dois em no máximo 64 por cento das vezes, e discordam entre si em cerca de 32 por cento. pmc.ncbi.nlm.nih.gov.
- Walker, E. e Nowacki, A. S. Understanding Equivalence and Noninferiority Testing. Journal of General Internal Medicine, volume 26, número 2, páginas 192 a 196, 2011. Fonte do procedimento correto para sustentar um empate (teste de equivalência com margem declarada e intervalo de 1 menos 2 alfa contido na margem) e do alerta de que usar o teste comparativo tradicional para estabelecer equivalência leva com frequência a conclusões incorretas, porque o ônus da prova está na hipótese errada. pmc.ncbi.nlm.nih.gov.
- Lakens, D. Equivalence Tests: A Practical Primer for t Tests, Correlations, and Meta-Analyses. Social Psychological and Personality Science, volume 8, número 4, páginas 355 a 362, 2017. Fonte do enquadramento de que pesquisadores concluem com frequência e de forma incorreta que um efeito está ausente a partir de um resultado não significante, e da alternativa frequentista recomendada no lugar disso. pmc.ncbi.nlm.nih.gov.
Leia também: Teste de equivalência · Efeito mínimo detectável · Significância estatística em teste A/B · Quantos visitantes um teste A/B precisa · Calculadora de poder estatístico · Read in English
Perguntas frequentes
- O que é poder observado num teste A/B?
- É o poder estatístico recalculado depois do teste terminar, usando o efeito que foi observado no lugar do efeito que tinha sido planejado. A ideia por trás dele é responder à pergunta "meu teste tinha chance de enxergar isso?" olhando o resultado. O problema é que a conta não traz informação nova: Hoenig e Heisey mostram que o poder observado é uma função um para um do valor-p, ou seja, é o mesmo número escrito de outro jeito.
- Por que o poder observado não prova que não existe efeito?
- Porque valor-p alto sempre produz poder observado baixo, e valor-p baixo sempre produz poder observado alto. Segundo Hoenig e Heisey, resultados não significantes correspondem sempre a poderes observados baixos, e no caso em que o valor-p é igual ao alfa o poder observado fica em torno de 0,5. Como o poder observado é determinado pelo valor-p, calculá-lo depois de ver o valor-p não muda nada na interpretação.
- O que é o paradoxo do poder?
- É a contradição lógica que Hoenig e Heisey batizaram de paradoxo da abordagem do poder. Entre dois testes que não rejeitaram a nula, quem defende o poder observado leria o de maior poder observado como evidência mais forte a favor da nula. Só que poder observado maior significa estatística de teste maior, ou seja, valor-p menor, que pelo padrão usual é evidência mais forte CONTRA a nula. A mesma peça de dados não pode apoiar mais os dois lados ao mesmo tempo.
- O que olhar em vez do poder observado?
- O intervalo de confiança da diferença e o efeito mínimo detectável do desenho. O intervalo responde diretamente quais valores os dados não descartam. O efeito mínimo detectável responde qual era o menor efeito que aquele teste tinha chance real de encontrar. Hoenig e Heisey concluem exatamente nessa direção: dentro do arcabouço frequentista, a leitura correta se faz com intervalos de confiança, escolha adequada da hipótese nula e teste de equivalência.
- Poder estatístico é inútil, então?
- Não. Poder é indispensável ANTES do teste, para escolher o tamanho de amostra. O que não funciona é usá-lo DEPOIS para interpretar o resultado. Greenland e coautores colocam a fronteira no mesmo lugar: apesar das limitações para interpretar dados já coletados, o poder é útil para desenhar estudos e para entender por que a replicação de um resultado significante falha com frequência mesmo em condições ideais.
- Um teste sem significância significa que não devo mexer mais nessa hipótese?
- Depende inteiramente da largura do intervalo, não do valor-p. No exemplo trabalhado deste artigo, o intervalo de 95 por cento da diferença vai de menos 0,18 a mais 0,42 ponto percentual: ele descarta ganhos maiores que meio ponto, mas continua compatível com um ganho relevante de um terço de ponto. Chamar isso de "não funciona" é ler no resultado uma precisão que ele não tem.