Personalização com IA e Teste A/B: como funcionam juntos
Guia completo de personalização com IA e teste A/B: por que uma não substitui a outra, como medir com holdout global e o custo real em tráfego.
Personalização com IA e teste A/B não competem: elas resolvem problemas diferentes e, quando bem combinadas, uma mede a outra. O teste A/B estabelece se uma mudança causa um efeito, comparando grupos equivalentes. A personalização decide o que entregar para cada pessoa, o que por construção acaba com o grupo de comparação natural, já que ninguém vê a mesma coisa. A consequência prática é direta e quase sempre subestimada: um sistema de personalização sem grupo reservado não tem como provar que gerou negócio adicional, só consegue mostrar o quanto acertou dentro das próprias regras. Este guia cobre o desenho de medição que resolve isso (o holdout global), o custo real dele em tráfego, as armadilhas de leitura por segmento, quando um bandit é a escolha certa, e os modos de falha específicos de sistemas que aprendem sozinhos.
O que é personalização com IA, e o que não é
O termo cobre coisas bem diferentes, com custos e riscos de medição bem diferentes. Vale separar três famílias antes de qualquer discussão de resultado.
| Família | Como decide o que mostrar | O que costuma exigir | Risco principal de medição |
|---|---|---|---|
| Regras por segmento | Condições escritas por pessoas (país, dispositivo, origem, cliente novo ou recorrente) | Pouco dado, muita curadoria | Segmentos criados depois de olhar o resultado |
| Modelos de recomendação | Modelo treinado em histórico de comportamento prevê o item com maior chance de conversão | Volume de eventos e pipeline de dados | Otimizar cliques e degradar receita por visitante |
| Bandits contextuais | Algoritmo escolhe a opção considerando o contexto e continua explorando alternativas | Infraestrutura de decisão em tempo real | Alocação não aleatória dificulta estimar o efeito causal |
As três são frequentemente vendidas com o mesmo rótulo, e a primeira nem envolve aprendizado de máquina. Isso importa porque a pergunta “a personalização está funcionando” tem um custo de resposta muito diferente em cada caso: regras por segmento podem ser testadas uma a uma como qualquer mudança, enquanto um modelo que decide por usuário só pode ser avaliado no agregado.
Uma definição de trabalho útil para o resto deste guia: personalização é qualquer sistema em que a experiência entregue depende de atributos do visitante. Se duas pessoas podem ver coisas diferentes na mesma URL por decisão do sistema, é personalização, e o problema de medição descrito abaixo se aplica.
Por que a personalização não substitui o teste A/B
O argumento de venda mais comum é sedutor: “em vez de escolher entre A e B, entregue A para quem prefere A e B para quem prefere B”. O problema é que a frase confunde duas perguntas.
- Pergunta do teste A/B: esta mudança causa um efeito, e de que tamanho? Depende de dois grupos equivalentes por sorteio, expostos a experiências diferentes.
- Pergunta da personalização: dado este visitante, qual variação entrego? Depende de diferenciar os grupos de propósito.
Quando a personalização entra sem desenho de medição, o que se perde é a linha de base. O painel do sistema mostra métricas internas (“a taxa de clique nas recomendações é de X”), que sobem quando o modelo melhora e também quando o modelo simplesmente aprende a recomendar aquilo que a pessoa já ia comprar de qualquer jeito. Esse segundo caso não gera um centavo de receita adicional e produz um relatório excelente.
O holdout global: o desenho que mede
A solução padrão é reservar uma fatia aleatória e fixa do público que nunca recebe personalização, e mantê-la por um período longo. Ela não testa uma mudança específica: ela mede o valor incremental do sistema inteiro. Plataformas de experimentação já oferecem isso como recurso, como o holdout global da Optimizely, e a mecânica é a mesma em qualquer implementação própria.
Quatro decisões definem um holdout que funciona:
- Aleatório e estável por pessoa. O visitante entra no holdout por sorteio determinístico do identificador dele e permanece lá entre sessões. Um holdout sorteado por sessão mistura os grupos e mede quase nada.
- Fatia fixa e declarada antes. Mudar o tamanho no meio da janela invalida a comparação acumulada.
- Janela longa. O efeito de personalização costuma crescer conforme o sistema aprende, então janelas de um a três meses são comuns. Isso é o oposto de um teste A/B, que tem fim planejado.
- Métricas de negócio, não do sistema. Receita por visitante, conversão e retenção. Taxa de clique na recomendação é diagnóstico, não veredito.
Exemplo trabalhado: medindo o incremento
Um e-commerce recebe 500.000 visitantes por mês. O time reserva um holdout de 10%, ou seja, 50.000 visitantes que veem a versão sem personalização, e deixa 450.000 no grupo personalizado. Ao fim de um mês:
- Holdout: 50.000 visitantes, 1.400 conversões, taxa de 2,80%.
- Personalizado: 450.000 visitantes, 13.725 conversões, taxa de 3,05%.
Rodando o teste z de duas proporções, bilateral, com 95% de confiança:
- Diferença absoluta: +0,25 ponto percentual.
- Lift relativo: +8,93%.
- Estatística z: 3,10.
- Valor-p: 0,0020.
- Intervalo de confiança da diferença: de +0,097 a +0,403 ponto percentual.
Confira com os mesmos números, ou com os do seu holdout:
Teste z bilateral de duas proporções. "Sem significância" quase sempre quer dizer que falta amostra, não que as versões são iguais.
O intervalo é a parte que muda o planejamento. O ponto de +8,93% é o centro de uma faixa que, em termos relativos, vai de aproximadamente +3,5% a +14,4%. Levar o número do meio para a diretoria é prometer o centro de um intervalo largo; levar a faixa é fazer uma afirmação que os resultados do trimestre seguinte conseguem sustentar. A lógica completa dessa leitura está no guia de significância estatística em testes A/B.
O que fazer quando o holdout dá empate
O resultado mais comum de um primeiro holdout não é vitória nem derrota, é empate: um intervalo de confiança que atravessa o zero. Ele costuma ser lido como fracasso do projeto e quase nunca é isso que a informação diz.
Um empate tem três leituras possíveis, e o intervalo distingue entre elas:
- Intervalo estreito em torno do zero (por exemplo, de -0,05 a +0,08 ponto percentual). Isso é uma resposta forte: dentro do que o seu tráfego consegue enxergar, a personalização não está gerando incremento relevante. Vale investigar métrica alvo errada, laço de retroalimentação ou partida a frio antes de investir mais.
- Intervalo largo atravessando o zero (por exemplo, de -0,40 a +0,90 ponto percentual). Isso não é uma resposta, é falta de amostra. O teste não teve poder para distinguir “nada” de “muito”. A conduta é estender a janela ou aumentar o holdout, não concluir.
- Empate no geral com guardrails piorando. É o pior caso disfarçado de neutro: o sistema não gerou incremento e degradou alguma coisa. Receita por visitante caindo enquanto cliques sobem é a assinatura clássica.
A diferença entre os dois primeiros casos é exatamente por que reportar o intervalo importa mais aqui do que num teste A/B comum. Num teste de página, um empate encerra a pergunta. Num holdout, um empate largo é um convite a continuar medindo, e um empate estreito é uma decisão de negócio sobre continuar investindo. Confundir os dois faz o time desligar um programa que funcionava ou financiar por mais um ano um que não funcionava.
Vale ainda separar o empate por tipo de visitante antes de concluir qualquer coisa, desde que esse recorte tenha sido declarado antes. Sistemas que dependem de histórico frequentemente entregam incremento positivo para visitantes recorrentes e incremento negativo para visitantes novos, e os dois se anulam no agregado. Um empate global produzido por dois efeitos opostos que se cancelam é um problema totalmente diferente de um empate produzido por ausência de efeito, e a correção também é diferente: no primeiro caso, a solução costuma ser desligar a personalização para quem não tem histórico, não abandonar o programa.
Por que o holdout custa mais tráfego do que um teste 50/50
Este é o ponto técnico que quase nenhum material sobre personalização menciona, e ele decide se o desenho é viável. Alocação desigual custa poder estatístico, porque a precisão da comparação é limitada pelo braço menor.
Para um efeito de +8% relativo sobre uma base de 2,80%, com 95% de confiança e 80% de poder, um desenho equilibrado precisa de 88.449 visitantes por variação, ou 176.898 no total. Confira essa primeira conta:
Cálculo por aproximação normal de duas proporções, 2 variações (50/50). Mexa nos campos e veja o impacto ao vivo.
Mantendo o mesmo efeito e o mesmo rigor, mas mudando a proporção entre os grupos, o total necessário sobe rápido:
| Proporção holdout / personalizado | Visitantes no holdout | Visitantes no personalizado | Tráfego total necessário | Custo em relação ao 50/50 |
|---|---|---|---|---|
| 50% / 50% | 88.449 | 88.449 | 176.898 | 1,0x |
| 25% / 75% | 58.966 | 176.898 | 235.864 | 1,3x |
| 10% / 90% | 49.139 | 442.245 | 491.384 | 2,8x |
| 5% / 95% | 46.553 | 884.490 | 931.043 | 5,3x |
Amostras por aproximação normal de duas proporções, base de 2,80%, efeito de +8% relativo, 95% de confiança e 80% de poder.
Duas leituras práticas saem daí. A primeira: reduzir o holdout de 10% para 5% parece uma economia (menos gente sem personalização), mas quase dobra o tráfego total necessário e, pior, mal reduz o tamanho absoluto do braço de controle, que cai só de 49.139 para 46.553. Ou seja, o custo real de um holdout pequeno não é o que ele reserva, é o tempo até a resposta.
A segunda: no cenário de 500.000 visitantes por mês, o desenho 90/10 fecha em cerca de um mês, o que é confortável. Um site com 100.000 visitantes por mês, no mesmo desenho, levaria perto de cinco meses para responder a mesma pergunta, e nessa janela o sistema de personalização já terá mudado várias vezes. Sites com pouco tráfego precisam ou de um holdout maior (20% a 25%), ou de aceitar medir apenas efeitos grandes, ou de medir em janelas longas e assumir que estão medindo um sistema em movimento.
A armadilha da leitura por segmento
Personalização convida a olhar recortes, e é exatamente aí que a maioria dos programas transforma ruído em estratégia. Cada segmento examinado é um teste adicional, e a chance de encontrar ao menos um falso positivo cresce com o número de olhadas.
Suponha que o resultado geral tenha ficado plano e o time vá procurar onde a personalização funcionou. Ele olha cinco segmentos e encontra um que parece ótimo: 8.000 visitantes por variação, 3,20% no controle contra 4,00% no personalizado.
- Lift relativo: +25,0%.
- Estatística z: 2,72.
- Valor-p: 0,0066.
- Intervalo de confiança da diferença: de +0,22 a +1,38 ponto percentual.
Isolado, parece um achado forte. Com cinco segmentos olhados, é preciso pagar o preço da multiplicidade:
| Segmentos examinados | Chance de ao menos um falso positivo | Corte de Bonferroni | O achado de p = 0,0066 sobrevive? |
|---|---|---|---|
| 1 | 5,0% | 0,0500 | sim |
| 3 | 14,3% | 0,0167 | sim |
| 5 | 22,6% | 0,0100 | sim, por pouco |
| 10 | 40,1% | 0,0050 | não |
Neste caso específico o achado sobrevive à correção com cinco segmentos, e não sobreviveria com dez. É por isso que a regra prática não é “nunca olhe segmento”: é declarar antes de rodar quais segmentos serão examinados, mantê-los em número pequeno e aplicar a correção. Um segmento escolhido depois de ver os dados não tem correção que salve, porque o número real de comparações feitas passa a ser desconhecido.
O tratamento estatístico completo de multiplicidade e das outras ameaças à validade está em erros comuns em testes A/B.
Quando um bandit é melhor que um teste A/B
Bandits realocam tráfego durante a coleta para as opções que estão indo melhor, em vez de manter a divisão fixa até o fim. Isso resolve um problema real (a perda acumulada enquanto o teste roda) e cria outro (a alocação deixa de ser aleatória e fixa, o que complica a estimativa limpa do efeito causal de cada braço).
| Situação | Escolha melhor | Por quê |
|---|---|---|
| Decisão permanente sobre uma página | Teste A/B | Você quer o tamanho do efeito, com intervalo, para documentar e planejar |
| Campanha curta com muitos criativos | Bandit | O ganho está em minimizar a perda durante a janela, não em medir com precisão |
| Escolha por contexto do visitante | Bandit contextual | A decisão ótima depende de atributos, que é exatamente o que o algoritmo usa |
| Mudança arriscada ou cara de reverter | Teste A/B | Você precisa do intervalo de confiança antes de comprometer |
| Catálogo grande e mutável | Bandit ou recomendação | Testar item a item não escala |
Bandits contextuais são a ponte entre personalização e experimentação, porque exploram de propósito: uma fração das entregas continua sendo sorteada, o que preserva alguma capacidade de estimar efeitos. A formulação clássica do problema aplicada a recomendação de conteúdo está em Li et al., A Contextual-Bandit Approach to Personalized News Article Recommendation. O funcionamento detalhado está em o que é um bandit contextual e no guia de multi-armed bandits x teste A/B.
Vale registrar o que não muda: mesmo com bandit, o holdout global continua sendo necessário. O bandit otimiza dentro do conjunto de opções que ele conhece; o holdout responde se ter esse conjunto vale mais do que não ter nada.
Testando dentro da personalização: campeão contra desafiante
Depois que o holdout provou que ter personalização vale mais do que não ter, a pergunta muda: esta versão do sistema é melhor do que a anterior? Essa é uma pergunta de teste A/B comum, e é onde a maior parte do trabalho contínuo acontece.
O desenho é o mesmo de qualquer experimento, com uma diferença de vocabulário: o grupo de controle não é a página sem personalização, é a versão atual do sistema (o campeão), e a variação é a versão nova (o desafiante). Os dois personalizam; o que muda é o modelo, a regra ou o conjunto de atributos.
| Nível de comparação | Controle | Variação | O que a resposta significa |
|---|---|---|---|
| Holdout global | Sem personalização | Sistema inteiro | O programa gera negócio adicional? |
| Campeão x desafiante | Modelo atual | Modelo novo | Esta versão é melhor que a anterior? |
| Componente | Bloco atual da página | Bloco redesenhado | Esta mudança de interface funciona dentro do sistema? |
Os três níveis convivem, e confundi-los é o erro de leitura mais comum em times que operam personalização. Um desafiante que vence o campeão por +3% não diz nada sobre o valor do programa; um holdout que mostra +9% não diz nada sobre qual modelo é melhor. São perguntas em camadas diferentes, e cada uma precisa do seu próprio grupo de comparação.
Um cuidado operacional: rodar campeão contra desafiante enquanto o holdout está no ar significa que o holdout está sendo comparado contra uma mistura das duas versões. Isso é aceitável e comum, desde que esteja registrado, porque o holdout mede o programa como ele realmente operou naquele período, e o programa realmente era uma mistura. O que não pode acontecer é trocar o campeão no meio da janela e reportar o holdout como se o sistema tivesse sido estável.
A escada da personalização: por onde começar
Personalizar não é uma decisão binária, e o erro mais caro é pular direto para modelos quando o tráfego não sustenta nem a medição. A ordem abaixo funciona porque cada degrau financia o próximo com aprendizado e com evidência.
Degrau 1: uma regra, testada como qualquer mudança. Escolha um recorte que a equipe já acredita ser diferente (visitante novo contra recorrente, mobile contra desktop, tráfego pago contra orgânico) e trate a experiência diferenciada como uma variação normal num teste A/B. Não há modelo, não há infraestrutura nova e o resultado já responde se aquele recorte realmente responde de forma diferente. Muitos programas descobrem aqui que o recorte que todo mundo tinha certeza que importava não move nada, e economizam um trimestre de engenharia.
Degrau 2: um conjunto pequeno de regras, com holdout. Três ou quatro regras estáveis, com uma fatia reservada que não recebe nenhuma delas. Aqui já se aprende a operar holdout, a sortear por identificador estável e a ler o resultado no agregado. É também onde aparece o primeiro sinal honesto de teto: se quatro regras juntas produzem um incremento pequeno e com intervalo largo, um modelo provavelmente não vai salvar o caso.
Degrau 3: modelo de recomendação, com exploração reservada. Só faz sentido com volume de eventos suficiente para treinar e com catálogo grande o bastante para que a escolha importe. A fração de exploração aleatória entra desde o primeiro dia, não como refinamento posterior, porque sem ela o laço de retroalimentação começa a se fechar imediatamente.
Degrau 4: bandit contextual. Quando a decisão precisa ser tomada em tempo real, considerando contexto, e o custo de servir a opção errada é alto o bastante para justificar a infraestrutura.
| Degrau | Tráfego mínimo confortável | O que ele responde | Custo de engenharia |
|---|---|---|---|
| Regra única testada | O suficiente para um teste A/B normal no fluxo | Este recorte responde diferente? | Baixo |
| Poucas regras com holdout | Tráfego para fechar o desenho desigual em 1 a 2 meses | O conjunto de regras gera incremento? | Médio |
| Modelo de recomendação | Volume de eventos para treino, além do holdout | O modelo supera as regras? | Alto |
| Bandit contextual | Alto, com decisão em tempo real | Qual opção para este contexto agora? | Alto |
A pergunta que decide o degrau não é “temos IA disponível”, é “conseguimos medir o degrau atual em uma janela útil”. Um sistema que não pode ser medido não pode ser melhorado, e um programa de personalização não medido tende a durar exatamente até a primeira revisão de orçamento.
Modos de falha específicos de sistemas que aprendem
Um sistema de personalização com IA falha de maneiras que um teste A/B não falha, porque ele se retroalimenta.
| Modo de falha | Como se manifesta | O que fazer |
|---|---|---|
| Laço de retroalimentação | Recomendações ficam cada vez mais parecidas com o histórico; catálogo novo nunca aparece | Reservar uma fração de exploração aleatória, sempre |
| Otimizar a métrica errada | Cliques sobem, receita por visitante cai (itens baratos convertem mais fácil) | Escolher a métrica alvo pelo negócio e medir guardrails |
| Partida a frio | Visitante novo recebe experiência pior que a versão sem personalização | Comparar o segmento de novos contra o holdout, separadamente e declarado antes |
| Efeito novidade | Ganho grande nas primeiras semanas que some depois | Janela longa; comparar as primeiras semanas com as últimas do holdout |
| Deriva do modelo | Desempenho cai devagar conforme o comportamento muda | Manter o holdout no ar em regime, não só na validação inicial |
| Vazamento entre grupos | Usuário aparece nos dois lados por trocar de dispositivo ou navegador | Sortear por identificador estável; conferir a divisão observada |
O terceiro é o mais frequentemente ignorado e o mais fácil de detectar: basta comparar visitantes novos do grupo personalizado contra visitantes novos do holdout. Sistemas que dependem de histórico frequentemente entregam a esse público uma experiência genérica pior do que a página bem projetada que a personalização substituiu.
Privacidade e LGPD como requisito de projeto
Personalização concentra três riscos de privacidade ao mesmo tempo: coleta detalhada de comportamento, inferência de características que a pessoa nunca declarou e decisões automatizadas que afetam o que ela vê. No Brasil, isso está sob a Lei Geral de Proteção de Dados, que exige base legal para o tratamento, finalidade específica e minimização dos dados coletados, e assegura ao titular o direito de solicitar revisão de decisões tomadas exclusivamente com base em tratamento automatizado.
Quatro decisões de projeto que evitam retrabalho, sem substituir a avaliação jurídica do seu caso:
- Minimize os atributos. Cada campo coletado precisa ter uma função clara na decisão. Atributo que não muda a entrega é risco sem retorno.
- Não infira categorias sensíveis. Inferência de saúde, religião, origem racial, opinião política ou vida sexual é território de dado sensível e não deve entrar num sistema de recomendação comercial.
- Documente a lógica da decisão. Registrar quais atributos entram e como pesam é o que torna possível responder a um pedido de revisão.
- Separe personalização de preço. Diferenciar preço por atributos inferidos de uma pessoa é uma decisão de outro nível de risco, jurídico e reputacional, e merece tratamento próprio.
Checklist de implementação
| Etapa | O que garantir antes de seguir |
|---|---|
| Definir a métrica alvo | Métrica de negócio (receita por visitante ou conversão), não métrica interna do sistema |
| Definir guardrails | Métricas que não podem piorar: receita por visitante, retorno, reclamações |
| Dimensionar o holdout | Calcular o tráfego necessário para a proporção escolhida antes de ligar o sistema |
| Sortear por identificador estável | Mesma pessoa sempre do mesmo lado, entre sessões e dispositivos quando possível |
| Declarar os segmentos | Lista fechada e escrita antes, com correção de multiplicidade combinada |
| Reservar exploração | Fração de entregas aleatórias para o modelo não ficar cego ao que nunca tentou |
| Definir a janela | Período de medição fixado antes, tipicamente de um a três meses |
| Conferir a divisão observada | A proporção real entre holdout e personalizado bate com a planejada |
Erros comuns em personalização com IA
| Erro | Sinal de alerta | Correção |
|---|---|---|
| Rodar sem holdout | O relatório só tem métricas internas do sistema | Reservar a fatia antes de ligar, não depois |
| Holdout por sessão | A mesma pessoa aparece nos dois grupos | Sortear por identificador estável do visitante |
| Encolher o holdout para “não perder receita” | Holdout de 2% ou 3% | Calcular o tráfego total necessário antes de decidir a fatia |
| Caçar segmento depois do resultado plano | Recorte descoberto no relatório vira estratégia | Declarar os segmentos antes e corrigir para multiplicidade |
| Otimizar clique como métrica alvo | Engajamento sobe, receita por visitante não | Métrica alvo de negócio, clique como diagnóstico |
| Desligar o holdout após a validação | “Já provamos que funciona” | Manter em regime para detectar deriva e efeito novidade |
| Tratar privacidade no fim | Revisão jurídica só antes de subir | Minimização e finalidade decididas no desenho |
Faça isso automático na Donnu
Medir personalização direito exige três coisas que costumam ser feitas na planilha: dimensionar o grupo reservado antes de ligar o sistema, manter o sorteio estável por visitante entre sessões, e ler o resultado com intervalo de confiança em vez de um número solto. A Donnu resolve as três com o mesmo motor que usa em qualquer teste: divisão determinística por visitante, duração e amostra calculadas contra o seu tráfego real antes de começar, e resultado sempre acompanhado do intervalo e das métricas de guarda. O holdout global vira só mais um experimento bem desenhado, com a diferença de rodar em regime.
Comece um teste grátis de 14 dias e meça o incremento da sua personalização em vez de estimá-lo. Para escolher entre medir com precisão e otimizar durante a coleta, veja o guia de multi-armed bandits x teste A/B.
Referências
- Li, L., Chu, W., Langford, J. e Schapire, R. A Contextual-Bandit Approach to Personalized News Article Recommendation. WWW 2010. arxiv.org/abs/1003.0146.
- Optimizely. Global holdouts. Documentação de suporte. support.optimizely.com/hc/en-us/articles/38941939408269-Global-holdouts.
- Kohavi, R. Online Controlled Experiments: Lessons from Running A/B/n Tests for 12 Years. Keynote, ACM SIGKDD 2015. exp-platform.com/Documents/2015-08OnlineControlledExperimentsKDDKeynoteNR.pdf.
- Kohavi, R., Tang, D. e Xu, Y. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press, 2020 (trecho). cambridge.org.
- Brasil. Lei nº 13.709/2018 (Lei Geral de Proteção de Dados Pessoais). planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm.
Leia também:
Perguntas frequentes
- Personalização com IA substitui o teste A/B?
- Não, porque as duas coisas respondem perguntas diferentes. O teste A/B responde "esta mudança causa um efeito", comparando dois grupos equivalentes que veem coisas diferentes. A personalização responde "qual conteúdo entrego para cada pessoa", e por definição entrega coisas diferentes para pessoas diferentes, o que elimina o grupo de comparação natural. Sem um grupo reservado que não recebe personalização nenhuma, não existe medida do efeito causal do sistema inteiro, apenas métricas internas dele.
- O que é um holdout global em personalização?
- É uma fatia fixa e aleatória do público que nunca recebe personalização, mantida por um período longo, para servir de controle contra o qual o efeito acumulado do sistema é medido. É diferente de um teste A/B pontual: o holdout não testa uma mudança, ele mede o valor incremental do programa inteiro de personalização ao longo do tempo. Sem ele, o sistema costuma reportar o quanto acertou dentro das próprias regras, não quanto negócio adicional gerou.
- Qual o tamanho ideal de um holdout global?
- O tamanho é uma decisão estatística, não uma convenção. Alocações desiguais custam eficiência: para detectar o mesmo efeito, um desenho 90/10 exige cerca de 2,8 vezes mais tráfego total do que um 50/50, porque o braço menor é quem limita a precisão. Na prática, 10% costuma ser o menor holdout viável para sites grandes, e sites com pouco tráfego geralmente precisam de 20% ou de janelas de medição bem mais longas.
- Por que ler o resultado por segmento é perigoso?
- Porque cada segmento olhado é um teste a mais, e a chance de encontrar ao menos um falso positivo cresce rápido. Olhando 5 segmentos com 95% de confiança em cada um, a probabilidade de ao menos um falso positivo entre eles chega a aproximadamente 22,6%. Segmentos definidos antes de rodar, em número pequeno, e com correção de multiplicidade aplicada, são a única forma de ler recortes sem transformar ruído em estratégia.
- Quando usar um bandit em vez de um teste A/B?
- Quando o objetivo é maximizar o resultado durante a coleta e não medir o efeito com precisão. Bandits realocam tráfego para as opções que estão performando melhor, o que reduz a perda durante o aprendizado e é excelente para decisões efêmeras, como qual criativo mostrar numa campanha curta. O custo é que a alocação deixa de ser aleatória e fixa, o que dificulta uma estimativa limpa do efeito causal de cada variação.
- Personalização com IA precisa de cuidado com privacidade?
- Sim, e ela concentra vários riscos de uma vez: coleta de dados comportamentais detalhados, inferência de características que a pessoa nunca declarou e decisões automatizadas que afetam o que ela vê e por qual preço. No Brasil, a LGPD exige base legal para o tratamento, finalidade específica e minimização de dados, além de dar ao titular o direito de solicitar revisão de decisões automatizadas. Tratar isso como requisito de projeto, e não como revisão jurídica no fim, evita retrabalho caro.
- Como saber se a personalização está piorando o resultado?
- Comparando com o holdout, e olhando as métricas de guarda junto das métricas alvo. Sistemas de recomendação podem aumentar cliques e reduzir receita por visitante quando aprendem a promover itens populares e baratos, e podem degradar a experiência de usuários novos por falta de histórico. Um holdout mantido no ar é o único instrumento que detecta esse tipo de piora, porque o painel interno do sistema tende a mostrar exatamente o que ele foi otimizado para melhorar.