O que significa drift em um modelo de scoring?

Drift pode ser traduzido como deslocamento, desvio ou mudança. No contexto de Machine Learning, representa uma alteração entre o ambiente no qual o modelo foi desenvolvido e aquele encontrado em produção.

Um modelo de crédito treinado com consumidores de determinada época pode não manter o mesmo desempenho quando aplicado a uma população diferente. Da mesma forma, um sistema antifraude pode perder eficiência quando novas modalidades de golpe surgem.

A literatura sobre concept drift organiza o problema em três grandes atividades: detectar a mudança, compreender o que mudou e adaptar o sistema. Ignorar essas alterações tende a prejudicar os resultados de modelos utilizados em ambientes não estacionários.

O drift pode ocorrer de forma abrupta, gradual, recorrente ou incremental:

• Abrupto: uma mudança acontece rapidamente, como após a entrada de uma nova regra ou uma crise econômica;
• Gradual: a população anterior é substituída aos poucos por um novo perfil;
• Incremental: as características mudam continuamente em pequenos passos;
• Recorrente: um comportamento antigo reaparece, como em períodos sazonais.

Essas formas exigem respostas diferentes. Um alerta causado por sazonalidade esperada não deve receber o mesmo tratamento de uma quebra repentina em uma integração de dados.

Data drift, concept drift e model drift

Os termos são utilizados de formas diferentes no mercado. Por isso, a empresa deve criar definições internas claras para evitar interpretações conflitantes.

Data drift

Data drift ocorre quando a distribuição das variáveis de entrada muda. Em notação estatística, existe uma alteração em P(X), sendo X o conjunto de características analisadas.

Imagine que um modelo tenha sido treinado quando a renda média dos solicitantes era R$ 4.000. Depois de uma mudança no canal de aquisição, a renda média cai para R$ 2.500. Mesmo sem conhecer ainda a inadimplência futura, já é possível detectar que a população atual difere da base de desenvolvimento.

Outros exemplos incluem:

• Aumento da proporção de clientes novos;
• Mudança nas regiões de origem;
• Redução do tempo médio de relacionamento;
• Aumento do comprometimento financeiro;
• Alteração na quantidade de dados ausentes;
• Mudança na distribuição dos scores externos;
• Crescimento de propostas originadas por dispositivos móveis.

Data drift não significa automaticamente perda de desempenho. Uma variável pode mudar sem alterar a relação com a inadimplência. O alerta deve iniciar uma investigação, e não uma substituição automática do modelo.

Concept drift

Concept drift ocorre quando muda a relação entre as características e o resultado. Em termos simplificados, há uma alteração em P(Y|X), sendo Y o evento que o modelo pretende prever.

Suponha que clientes com determinado nível de utilização do cartão apresentassem baixo risco durante o desenvolvimento. Depois de uma mudança econômica, esse mesmo comportamento passa a estar associado a maior inadimplência. A distribuição da variável pode permanecer parecida, mas seu significado preditivo mudou.

Essa alteração é mais difícil de detectar porque depende do resultado real. Em crédito, pode ser necessário esperar vários meses para saber se um contrato entrou em inadimplência.

Model drift ou performance drift

Model drift é frequentemente utilizado como um termo amplo para descrever a deterioração do desempenho em produção. Ele pode resultar de data drift, concept drift, falhas operacionais, problemas de calibração ou mudanças na política de decisão.

Uma revisão sobre detectores orientados ao desempenho destaca que mudanças no sistema podem provocar degradação durante o ciclo de vida do modelo, mas também aponta a existência de terminologias diferentes para fenômenos semelhantes.

Nem toda deterioração é causada pelo modelo

Quando a inadimplência aumenta, a primeira reação pode ser culpar o algoritmo. Entretanto, o problema pode estar em outra parte da operação.

Entre as possíveis causas estão:

• Alteração dos pontos de corte;
• Aumento dos limites concedidos;
• Nova política comercial;
• Campanha direcionada a outro público;
• Falha na verificação de renda;
• Mudança no fornecedor de informações;
• Problema em uma regra do motor de decisão;
• Aumento das fraudes;
• Erro na definição do evento de inadimplência;
• Falha na coleta dos resultados.

Por isso, o monitoramento deve abranger dados, modelo, políticas, decisões e resultados financeiros. Observar apenas o score final dificulta a identificação da causa-raiz.

Pesquisas sobre validação de dados para Machine Learning defendem que os dados de treinamento e de produção devem ser tratados como ativos centrais do sistema. Anomalias nas entradas podem comprometer o modelo mesmo que seu código não tenha sido alterado.

Como estruturar o monitoramento

Um processo eficiente pode ser organizado em cinco camadas:

1. Qualidade e disponibilidade dos dados;
2. Distribuição das variáveis;
3. Distribuição dos scores e decisões;
4. Desempenho após a maturação dos resultados;
5. Impactos financeiros, operacionais e de equidade.

Cada camada possui tempos diferentes. Erros de integração podem ser detectados em minutos. Mudanças nas variáveis aparecem diariamente ou semanalmente. Já a inadimplência de longo prazo pode exigir meses.

O painel deve permitir análises por período e segmento. Uma métrica agregada pode esconder problemas em um produto, canal, região ou grupo específico.

Monitoramento da qualidade dos dados

Antes de procurar drift estatístico, é necessário garantir que os dados estão corretos. Uma mudança pode ser causada por erro de processamento e não pelo comportamento dos clientes.

Para cada variável crítica, acompanhe:

• Percentual de valores ausentes;
• Quantidade de valores inválidos;
• Mínimo, máximo, média e mediana;
• Frequência das categorias;
• Volume de registros;
• Duplicidades;
• Atraso no recebimento da fonte;
• Alterações de formato;
• Diferenças entre treinamento e produção;
• Taxa de falhas das consultas externas.

Também é importante verificar o chamado training-serving skew, que ocorre quando uma variável é calculada de maneira diferente no desenvolvimento e na produção.

Por exemplo, a renda mensal pode ter sido calculada pela média de seis meses durante o treinamento, mas ser enviada como o último recebimento em produção. Embora os campos tenham o mesmo nome, representam conceitos diferentes.

Métricas para detectar mudanças nas variáveis

Population Stability Index

O Population Stability Index, conhecido como PSI, compara a distribuição atual com uma distribuição de referência. As observações são divididas em faixas, e as proporções dos dois períodos são comparadas.

O PSI é popular em crédito porque é simples de comunicar. Entretanto, seu resultado depende da definição das faixas, do tamanho da amostra e da distribuição da variável.

Limites como 0,10 ou 0,25 são utilizados em algumas práticas de mercado, mas não devem ser tratados como regras universais. Cada instituição precisa calibrar seus thresholds considerando volatilidade histórica, volume e impacto da variável.

Índice de estabilidade de características

O Characteristic Stability Index utiliza lógica semelhante para acompanhar atributos específicos. Ele pode ajudar a identificar quais variáveis mais contribuíram para a mudança da população.

Teste de Kolmogorov-Smirnov

O teste KS de duas amostras compara distribuições contínuas. Ele pode indicar se existe evidência estatística de que as amostras foram produzidas por distribuições diferentes.

Em volumes muito grandes, pequenas mudanças podem produzir significância estatística. Por isso, o p-valor deve ser acompanhado por uma medida de magnitude.

Qui-quadrado

O teste qui-quadrado pode ser utilizado em variáveis categóricas para comparar frequências observadas e esperadas.

Distância de Wasserstein

A distância de Wasserstein mede o esforço necessário para transformar uma distribuição em outra. Ela pode ser útil para variáveis contínuas porque considera a distância entre os valores, e não apenas as proporções em faixas.

Jensen-Shannon e Kullback-Leibler

Essas medidas avaliam diferenças entre distribuições de probabilidade. A divergência de Jensen-Shannon é simétrica e limitada, o que pode facilitar sua interpretação em painéis.

Nenhuma métrica deve ser utilizada sozinha. Uma combinação de indicadores reduz o risco de falsos alarmes e permite compreender melhor a natureza da mudança.

Monitoramento da distribuição dos scores

Mesmo quando as variáveis individuais parecem estáveis, o score final pode mudar por causa da combinação entre elas.

Acompanhe:

• Score médio e mediano;
• Percentis;
• Distribuição por faixa;
• Percentual abaixo e acima dos cutoffs;
• Quantidade de aprovações, recusas e revisões;
• Diferenças por produto e canal;
• Taxas de override manual;
• Motivos de decisão.

Uma mudança forte na taxa de aprovação pode resultar de drift, mas também de uma alteração de política. O painel deve registrar as versões do modelo e do motor de decisão para permitir comparações corretas.

Monitoramento de desempenho com resultados maduros

Quando os resultados reais se tornam disponíveis, é possível avaliar diretamente a qualidade do modelo.

Discriminação

A discriminação representa a capacidade de ordenar clientes de menor para maior risco. Métricas comuns incluem:

• ROC-AUC;
• Gini;
• KS;
• Precision-recall AUC;
• Taxa de inadimplência por faixa de score.

Uma queda nessas métricas pode indicar que as relações aprendidas perderam força.

Calibração

Um modelo pode continuar ordenando corretamente e, ainda assim, subestimar ou superestimar as probabilidades. Por isso, é necessário comparar risco previsto e observado.

Diagramas de confiabilidade mostram a correspondência entre probabilidades previstas e frequências reais. A documentação do scikit-learn explica que alguns classificadores fornecem estimativas ruins de probabilidade e podem ser ajustados com métodos de calibração.

Entre os indicadores estão:

• Brier Score;
• Log loss;
• Razão observado sobre esperado;
• Erro absoluto de calibração;
• Inadimplência prevista e observada por faixa.

Resultados financeiros

O modelo deve ser avaliado pelo impacto sobre o negócio. Acompanhe margem, perda esperada, recuperação, custo de fraude, rentabilidade e retorno sobre capital.

Uma redução pequena na AUC pode não justificar uma substituição quando a rentabilidade continua estável. Por outro lado, uma calibração inadequada pode prejudicar preços e provisões mesmo que a ordenação permaneça boa.

O desafio dos rótulos atrasados

Em scoring, o resultado nem sempre aparece rapidamente. Um contrato pode precisar de seis ou doze meses para ser classificado como adimplente ou inadimplente.

Esse atraso dificulta a detecção direta do concept drift. Durante esse período, a instituição depende de indicadores antecipados, conhecidos como proxies ou sinais de alerta.

Exemplos incluem:

• Atraso na primeira parcela;
• Utilização rápida do limite;
• Pagamento mínimo recorrente;
• Elevação do comprometimento;
• Fraudes confirmadas em curto prazo;
• Aumento das renegociações;
• Redução de movimentação financeira;
• Inconsistências cadastrais.

Esses sinais não substituem o evento final. Eles servem para antecipar uma investigação até que a safra amadureça.

Monitoramento por safras

A análise por safra agrupa contratos conforme o período de origem. Dessa forma, é possível comparar o desempenho de clientes aprovados em meses diferentes.

Para cada safra, acompanhe:

• Quantidade de propostas;
• Taxa de aprovação;
• Score médio;
• Limite médio;
• Inadimplência acumulada;
• Perda financeira;
• Curva de atraso ao longo dos meses;
• Distribuição por canal e produto;
• Resultados previstos e observados.

As curvas de safra ajudam a diferenciar uma mudança pontual de uma deterioração persistente. Também permitem observar se uma política recente está apresentando resultados diferentes da anterior.

Como definir thresholds e níveis de alerta

Alertas muito sensíveis produzem ruído. Alertas pouco sensíveis permitem que a deterioração continue por tempo excessivo.

Uma estrutura prática pode utilizar três níveis:

• Verde: comportamento dentro da faixa esperada;
• Amarelo: mudança que exige análise e acompanhamento;
• Vermelho: violação material que exige plano de ação.

Os thresholds devem considerar:

• Variabilidade histórica;
• Tamanho da amostra;
• Importância da variável;
• Impacto financeiro;
• Persistência da mudança;
• Quantidade de indicadores afetados;
• Resultados por segmento;
• Eventos externos conhecidos.

Uma mudança em uma variável pouco importante não deve ter o mesmo peso de uma alteração na renda, no score principal ou no índice de endividamento.

Também é recomendável exigir persistência por mais de um período antes de gerar um alerta crítico, salvo em situações operacionais graves.

Detectores de concept drift

Em ambientes com resultados rápidos ou fluxos contínuos, podem ser utilizados algoritmos especializados.

Drift Detection Method

O DDM acompanha a taxa de erros e seu desvio-padrão. Quando o erro aumenta além dos limites esperados, o método sinaliza aviso ou drift.

Early Drift Detection Method

O EDDM foi desenvolvido para aumentar a sensibilidade a mudanças graduais, observando a distância entre erros.

ADWIN

O ADWIN utiliza uma janela adaptativa e compara subperíodos para identificar mudanças estatisticamente significativas. O tamanho da janela é ajustado de acordo com a estabilidade observada.

Page-Hinkley

Esse teste sequencial acompanha desvios acumulados em relação à média e pode identificar mudanças persistentes.

Detectores não devem ser tratados como sistemas infalíveis. Um estudo comparativo encontrou diferenças em atraso de detecção e quantidade de falsos alarmes entre métodos baseados em erro e em distribuição. A escolha depende do tipo de mudança, do volume e da disponibilidade dos rótulos.

Investigação da causa-raiz

Depois do alerta, a equipe precisa responder:

1. O dado está correto?
2. A mudança está concentrada em alguma fonte?
3. O score mudou?
4. A política de decisão foi alterada?
5. Os resultados financeiros deterioraram?
6. A mudança afeta todos os segmentos?
7. Existe um evento externo que explique o comportamento?
8. O fenômeno é temporário, sazonal ou permanente?

Uma análise de contribuição pode mostrar quais variáveis explicam a mudança do score. Ferramentas de explicabilidade também podem comparar a importância dos atributos entre períodos.

Entretanto, correlação não prova causa. Uma variável pode mudar junto com o desempenho sem ser responsável pela deterioração.

Estratégias para mitigar o drift

Correção das fontes de dados

Quando o problema é operacional, a resposta correta é corrigir a integração, reprocessar os registros e avaliar os clientes impactados. Retreinar com dados incorretos agravaria o problema.

Recalibração

Se o modelo continua ordenando bem, mas as probabilidades estão incorretas, uma recalibração pode ser suficiente.

Métodos como calibração sigmoide e regressão isotônica mapeiam as saídas do classificador para probabilidades mais compatíveis com os resultados observados. O ajuste deve ser realizado em uma amostra separada da utilizada para treinar o modelo original.

Ajuste dos pontos de corte

Uma mudança temporária no risco pode ser tratada com cutoffs, limites ou preços diferentes. Entretanto, alterar a política não corrige um modelo que perdeu capacidade de separação.

Retreinamento

Quando as relações mudaram de forma relevante, pode ser necessário treinar novamente o modelo com dados recentes.

O retreinamento deve passar por desenvolvimento, validação, análise de viés, documentação e aprovação. Não é recomendável promover automaticamente um novo modelo apenas porque um detector gerou alerta.

Janela móvel de treinamento

Em ambientes dinâmicos, o modelo pode utilizar uma janela com os períodos mais recentes. Isso aumenta a adaptação, mas pode descartar padrões históricos importantes.

Pesquisas sobre ambientes não estacionários observam que dados recentes frequentemente são mais indicativos do futuro, embora priorizá-los de forma ingênua possa eliminar informação útil do passado.

Ponderação temporal

Em vez de excluir dados antigos, a empresa pode atribuir pesos maiores às observações recentes.

Modelos por segmento

Quando o drift está concentrado em determinado produto ou canal, um modelo específico pode ser mais adequado do que substituir o sistema inteiro.

Ensembles adaptativos

Conjuntos de modelos podem aumentar ou reduzir o peso de componentes conforme o desempenho recente. Essa abordagem exige infraestrutura e governança mais complexas.

Champion, challenger e shadow mode

Um novo modelo pode ser executado paralelamente ao modelo oficial, sem determinar a decisão. Esse funcionamento é conhecido como shadow mode.

A estratégia permite comparar:

• Distribuição dos scores;
• Taxas de aprovação simuladas;
• Calibração;
• Desempenho por segmento;
• Impacto financeiro estimado;
• Estabilidade;
• Motivos de divergência.

Quando os resultados amadurecem, o challenger pode substituir o champion ou ser utilizado somente em alguns segmentos.

A implantação também pode ocorrer gradualmente, direcionando uma pequena parcela das propostas para a nova estratégia e mantendo um mecanismo de rollback.

Governança e responsabilidades

O processo deve definir responsáveis pelo dado, modelo, infraestrutura, política e validação.

Uma estrutura mínima pode incluir:

• Inventário dos modelos;
• Classificação por criticidade;
• Frequência de monitoramento;
• Thresholds aprovados;
• Responsáveis por cada alerta;
• Prazo para investigação;
• Critérios de recalibração e retreinamento;
• Procedimento de validação independente;
• Controle das versões;
• Plano de contingência e desativação.

O NIST organiza a gestão de riscos de IA nas funções governar, mapear, medir e gerenciar. Seu playbook recomenda monitoramento contínuo e ações para corrigir ou desativar componentes que ultrapassem os limites de tolerância da organização.

Cada alerta deve gerar um registro com evidências, análise realizada, conclusão e ação tomada. Isso evita decisões informais e permite auditorias futuras.

Monitoramento de equidade e impactos

Uma mudança populacional pode afetar grupos de maneira diferente. Mesmo que o desempenho agregado permaneça aceitável, falsos positivos ou recusas podem aumentar em determinado segmento.

Acompanhe, quando juridicamente e operacionalmente apropriado:

• Taxas de aprovação;
• Distribuição dos scores;
• Limites concedidos;
• Falsos positivos e negativos;
• Inadimplência observada;
• Calibração por grupo;
• Motivos de recusa;
• Revisões e contestações.

Uma variável pode permanecer estável na média e mudar apenas para parte da população. Por isso, o monitoramento segmentado é indispensável.

Erros comuns no gerenciamento de drift

Entre os erros mais frequentes estão:

• Confundir qualquer mudança com concept drift;
• Utilizar somente PSI;
• Aplicar thresholds universais;
• Ignorar o tamanho da amostra;
• Retreinar antes de investigar a causa;
• Não monitorar falhas de integração;
• Observar apenas desempenho agregado;
• Esquecer a calibração das probabilidades;
• Não registrar alterações na política;
• Usar resultados ainda imaturos;
• Automatizar a promoção de modelos sem validação;
• Não manter um plano de rollback.

O monitoramento deve reduzir riscos, não criar um ciclo de alterações instáveis. Mudanças frequentes e pouco controladas podem tornar o sistema mais difícil de compreender e auditar.

Passo a passo para implantar um programa de monitoramento

1. Mapeie modelos, versões, produtos e populações;
2. Defina data drift, concept drift e performance drift internamente;
3. Identifique variáveis e fontes críticas;
4. Crie uma base de referência;
5. Selecione métricas de qualidade e distribuição;
6. Defina indicadores de discriminação, calibração e resultado financeiro;
7. Crie thresholds por nível de severidade;
8. Implemente painéis por segmento e safra;
9. Defina responsáveis e prazos de resposta;
10. Crie um processo de investigação da causa-raiz;
11. Estabeleça critérios para recalibrar, ajustar ou retreinar;
12. Mantenha challengers e planos de reversão;
13. Documente todas as decisões;
14. Revise periodicamente a eficácia do próprio monitoramento.

O sistema de alertas também precisa ser avaliado. Alertas que nunca levam a uma ação podem estar mal definidos, enquanto problemas descobertos fora do painel indicam lacunas de cobertura.

Conclusão

Model drift e concept drift são riscos naturais em modelos de scoring utilizados em ambientes dinâmicos. Dados, clientes, produtos, políticas e condições econômicas mudam, fazendo com que relações aprendidas no passado possam perder validade.

O monitoramento deve começar pela qualidade das fontes e avançar para distribuição das variáveis, scores, decisões, desempenho e resultados financeiros. Data drift indica mudança nas entradas, enquanto concept drift representa alteração na relação entre características e evento previsto.

Nem todo drift prejudica o modelo, e nem toda deterioração é causada por drift. Problemas de integração, novas políticas, mudanças de limite e falhas operacionais podem produzir sintomas semelhantes. Por isso, todo alerta precisa de investigação da causa-raiz.

Quando o modelo mantém capacidade de ordenação, mas perde calibração, uma recalibração pode ser suficiente. Quando a população muda temporariamente, ajustes de política podem controlar o risco. Quando a relação entre dados e resultado realmente mudou, pode ser necessário retreinar ou substituir o modelo.

As respostas devem ser proporcionais e governadas. Retreinamento automático sem validação pode introduzir vieses, instabilidade ou vazamento de dados. Estratégias como champion-challenger, shadow mode, implantação gradual e rollback reduzem o risco das mudanças.

Um programa eficiente não procura eliminar todas as alterações do ambiente. Seu objetivo é reconhecer mudanças relevantes, compreender seus impactos e adaptar o sistema de maneira controlada. Dessa forma, o scoring permanece útil, explicável e economicamente sustentável durante todo o seu ciclo de vida.