O que é um motor de decisão automática?

Um motor de decisão é uma camada tecnológica responsável por aplicar uma lógica previamente definida sobre os dados recebidos. Ele pode conter regras simples, árvores de decisão, tabelas de condições, modelos de Machine Learning, cálculos financeiros e integrações com fontes externas.

Seu objetivo é padronizar decisões que seriam demoradas, inconsistentes ou difíceis de executar manualmente em grande escala.

Um motor de crédito pode seguir uma sequência como esta:

1. Validar os dados obrigatórios;
2. Verificar restrições cadastrais;
3. Consultar sistemas de prevenção a fraudes;
4. Calcular a capacidade de pagamento;
5. Executar um modelo de risco;
6. Aplicar regras de política;
7. Definir limite, taxa ou prazo;
8. Produzir uma decisão final;
9. Registrar os motivos e evidências.

O sistema não precisa ser baseado exclusivamente em inteligência artificial. Muitos motores utilizam uma combinação de regras determinísticas e modelos preditivos.

Uma regra determinística produz sempre a mesma resposta quando determinada condição é atendida. Por exemplo: encaminhar para análise manual propostas com divergência entre o CPF e a data de nascimento.

Um modelo preditivo, por outro lado, estima a probabilidade de um evento. Ele pode calcular que determinado cliente possui 7% de probabilidade de inadimplência durante os próximos 12 meses. O motor deverá transformar essa probabilidade em uma ação operacional.

O que significa calibrar um motor de decisão?

Calibrar significa ajustar a relação entre as informações recebidas, as previsões dos modelos e as decisões executadas.

A calibragem pode envolver:

• Escolha dos pontos de corte;
• Definição das faixas de risco;
• Ajuste das probabilidades estimadas;
• Configuração de regras eliminatórias;
• Determinação dos casos encaminhados para revisão;
• Definição de limites, preços e condições;
• Tratamento de dados ausentes;
• Priorização entre regras conflitantes;
• Ajuste da capacidade operacional;
• Controle de exceções.

Imagine que um modelo atribua uma probabilidade de inadimplência para cada proposta. A empresa poderá decidir aprovar clientes com risco inferior a 5%, revisar os casos entre 5% e 9% e recusar os superiores a 9%.

Esses percentuais não devem ser definidos de maneira arbitrária. Eles precisam considerar margem, custo de capital, despesas operacionais, recuperação de dívidas, capacidade da equipe e tolerância ao risco.

Calibrar também significa verificar se a probabilidade prevista corresponde ao resultado observado. Se um grupo classificado com risco de 10% apresenta inadimplência real próxima de 25%, o modelo está subestimando o risco. O ponto de corte pode até produzir decisões aparentemente coerentes, mas estará apoiado em probabilidades mal ajustadas.

Modelo preditivo e motor de decisão não são a mesma coisa

Essa distinção é fundamental. O modelo preditivo calcula um score, uma probabilidade ou uma classificação. O motor de decisão combina esse resultado com políticas e outras informações.

Um modelo de risco pode indicar baixa probabilidade de inadimplência, mas o motor ainda poderá recusar a proposta porque:

• O documento apresentou sinais de fraude;
• A renda não foi comprovada;
• O produto não está disponível na região;
• O valor solicitado ultrapassa o limite permitido;
• Existe uma regra de concentração de exposição;
• Faltam informações obrigatórias;
• O cliente não atende aos critérios legais ou contratuais.

Da mesma forma, um cliente com risco intermediário pode ser aprovado com limite menor, prazo reduzido ou garantia adicional.

Quando essa separação não é documentada, torna-se difícil identificar a causa de uma decisão. A equipe pode acreditar que o modelo está recusando clientes, quando a verdadeira causa é uma regra cadastrada posteriormente.

Por isso, os relatórios devem separar pelo menos três elementos: resultado do modelo, regras acionadas e decisão final.

Definição dos objetivos da calibragem

Antes de alterar qualquer parâmetro, a empresa precisa definir o que deseja otimizar. Um motor não pode ser calibrado apenas para “aprovar mais” ou “reduzir riscos” sem uma métrica objetiva.

Entre os objetivos possíveis estão:

• Aumentar a taxa de aprovação;
• Reduzir a inadimplência;
• Maximizar o lucro esperado;
• Reduzir perdas com fraude;
• Diminuir o tempo de resposta;
• Aumentar a conversão;
• Reduzir análises manuais;
• Controlar a exposição por segmento;
• Melhorar a experiência do cliente;
• Cumprir limites internos ou regulatórios.

Alguns desses objetivos entram em conflito. Uma redução agressiva na análise manual pode aumentar a velocidade, mas também elevar o risco de erros. Uma elevação na taxa de aprovação pode aumentar vendas, porém deteriorar a qualidade da carteira.

Uma abordagem adequada utiliza uma função de valor que considere receitas e custos. Em crédito, por exemplo, podem ser incluídos juros esperados, despesas operacionais, custo de captação, probabilidade de inadimplência, perda em caso de inadimplência e recuperação.

Escolha dos pontos de corte

O ponto de corte, também chamado de cutoff ou threshold, é o valor que separa diferentes decisões.

Em um modelo que produz probabilidades de inadimplência, a empresa pode aprovar propostas abaixo de determinado risco e recusar aquelas acima dele. Em um sistema antifraude, transações acima de determinada pontuação podem ser bloqueadas ou encaminhadas para revisão.

O ponto de corte deve ser escolhido com base nos custos dos erros.

Falso positivo

O motor classifica uma operação legítima como arriscada. Em crédito, pode significar recusar um bom cliente. Em fraude, pode representar bloquear uma compra verdadeira.

Falso negativo

O motor considera segura uma operação que realmente apresentava risco. Isso pode significar aprovar um cliente que entra em inadimplência ou permitir uma fraude.

O custo dessas duas situações raramente é igual. Por isso, utilizar automaticamente o limite de 50% em um classificador pode ser inadequado.

A definição deve observar a matriz de confusão, as curvas ROC e precision-recall, o custo financeiro e a capacidade operacional. Quando existe uma equipe de revisão limitada, também é necessário calcular quantos casos serão enviados diariamente para essa fila.

Calibração das probabilidades

Um classificador pode ordenar bem os casos e ainda produzir probabilidades imprecisas. Essa diferença envolve os conceitos de discriminação e calibração.

A discriminação mede a capacidade de ordenar os casos de menor para maior risco. A calibração mede se as probabilidades estimadas correspondem à frequência observada.

Um modelo bem calibrado deveria apresentar aproximadamente 10 eventos a cada 100 casos classificados com probabilidade de 10%, considerando uma amostra suficientemente grande e representativa.

Curvas de calibração, também chamadas de diagramas de confiabilidade, permitem comparar probabilidades previstas e frequências observadas. A documentação do scikit-learn destaca que alguns classificadores fornecem estimativas ruins de probabilidade e que métodos específicos podem ser utilizados para recalibrá-los.

Entre as técnicas conhecidas estão:

• Platt scaling ou calibração sigmoide;
• Regressão isotônica;
• Calibração por faixas;
• Recalibração logística;
• Métodos para classes múltiplas;
• Ajustes específicos por segmento.

A calibração deve ser feita em dados que não foram utilizados para ajustar o modelo principal. Utilizar os mesmos registros pode gerar estimativas excessivamente otimistas. A documentação técnica recomenda separar os dados ou utilizar procedimentos de validação cruzada apropriados.

Criação de faixas de decisão

Em vez de utilizar apenas aprovação e recusa, empresas podem criar faixas intermediárias.

Uma estrutura comum pode incluir:

• Aprovação automática;
• Aprovação com limite reduzido;
• Solicitação de informações adicionais;
• Análise manual;
• Recusa automática;
• Bloqueio preventivo.

Essa estratégia permite tratar a incerteza de maneira mais cuidadosa. Casos muito claros são processados automaticamente, enquanto situações próximas ao limite recebem uma segunda avaliação.

As faixas também podem variar de acordo com produto, canal, região, valor solicitado e tipo de cliente. Um mesmo risco pode ser aceitável em uma operação pequena e inadequado para uma exposição elevada.

É necessário evitar uma quantidade excessiva de faixas, pois isso aumenta a complexidade e dificulta o monitoramento. Cada faixa deve possuir uma finalidade operacional clara.

Regras de negócio e ordem de execução

Os motores normalmente contêm dezenas ou centenas de regras. A ordem em que elas são executadas pode alterar o resultado.

Considere um cliente que atende aos critérios de aprovação, mas apresenta suspeita de fraude. Uma regra de segurança deve ter prioridade sobre a aprovação comercial.

As regras podem ser classificadas como:

• Eliminatórias;
• De encaminhamento;
• De cálculo;
• De precificação;
• De limite;
• De documentação;
• De segurança;
• De exceção.

O motor deve possuir uma hierarquia documentada. Regras conflitantes precisam ter critérios de precedência, e cada decisão deve manter um registro das condições acionadas.

Outro risco é o acúmulo de regras antigas. Uma regra criada para resolver um problema temporário pode continuar ativa durante anos, mesmo depois de perder sua utilidade.

Uma revisão periódica deve identificar regras redundantes, contraditórias, sem volume ou sem impacto mensurável.

Dados ausentes, inconsistências e falhas de integração

Um motor precisa saber como agir quando uma informação não está disponível. Tratar dados ausentes como zero pode gerar erros graves.

A ausência de renda declarada, por exemplo, não significa renda igual a zero. Uma consulta externa indisponível também não significa que o cliente não possui restrições.

Para cada variável crítica, devem ser definidos:

• Valor ou categoria para ausência;
• Procedimento de contingência;
• Tempo máximo de espera;
• Regra para nova tentativa;
• Encaminhamento para análise manual;
• Mensagem apresentada ao usuário;
• Registro do erro técnico.

O motor também precisa diferenciar falha técnica de resultado negativo. Se um sistema antifraude não respondeu, a decisão não deve ser registrada como “sem risco de fraude”.

Essa separação é importante para auditoria, monitoramento e experiência do cliente.

Uso de amostras de treino, validação e teste

Alterações no motor devem ser testadas em dados que representem seu uso futuro. Uma divisão adequada pode conter amostra de desenvolvimento, validação, teste e avaliação fora do tempo.

A avaliação fora do tempo é especialmente importante porque simula mudanças econômicas e comportamentais. O motor é configurado com dados de períodos anteriores e testado em uma safra posterior.

Também devem ser analisados diferentes segmentos, como:

• Clientes novos e antigos;
• Pessoas físicas e empresas;
• Canais digitais e presenciais;
• Regiões;
• Produtos;
• Faixas de renda;
• Valores solicitados;
• Clientes com pouco histórico.

Um resultado agregado pode esconder falhas importantes. O motor pode funcionar bem na média e apresentar desempenho ruim em um segmento específico.

Backtesting e simulação de políticas

Backtesting consiste em aplicar a política proposta sobre dados históricos para estimar o que teria acontecido.

A equipe pode simular diferentes pontos de corte e calcular:

• Taxa de aprovação;
• Volume financeiro;
• Inadimplência;
• Perda esperada;
• Receita estimada;
• Quantidade de revisões;
• Impacto por segmento;
• Tempo de processamento.

Entretanto, a simulação possui limitações. Em crédito, normalmente conhecemos o comportamento dos clientes aprovados, mas não sabemos com certeza o que teria acontecido com os recusados.

Esse problema é conhecido como viés de seleção. Métodos de inferência podem ser utilizados, mas suas premissas precisam ser documentadas.

Além disso, uma nova política pode alterar o perfil dos clientes atraídos. O comportamento futuro não será necessariamente igual ao histórico.

Testes A/B e implantação gradual

Quando a mudança é material, uma implantação gradual pode ser mais segura do que substituir toda a política de uma só vez.

Parte do tráfego permanece na estratégia atual, enquanto outra parte utiliza a nova configuração. Os grupos devem ser comparáveis, e os indicadores precisam ser acompanhados durante tempo suficiente para observar os resultados.

Em crédito, alguns eventos demoram meses para aparecer. Por isso, métricas iniciais, como conversão, precisam ser acompanhadas por indicadores posteriores de pagamento e inadimplência.

Uma implantação pode utilizar percentuais progressivos, como 5%, 20%, 50% e 100% do tráfego. Cada aumento depende do cumprimento de critérios previamente definidos.

Também deve existir um mecanismo de reversão rápida, conhecido como rollback, caso ocorram erros, deterioração ou comportamento inesperado.

Estratégia champion e challenger

Na estratégia champion-challenger, a política principal é chamada de champion. Uma alternativa é executada como challenger para verificar se produz resultados melhores.

O challenger pode utilizar:

• Outro modelo;
• Novo ponto de corte;
• Regras simplificadas;
• Dados adicionais;
• Nova forma de precificação;
• Outra estratégia de encaminhamento.

O objetivo não é trocar de motor constantemente, mas criar um processo controlado de melhoria.

A comparação precisa utilizar métricas consistentes. Um challenger que aprova mais propostas pode parecer superior em conversão, mas apresentar perda maior posteriormente.

Métricas essenciais

A calibragem deve ser avaliada em três dimensões: estatística, financeira e operacional.

Métricas estatísticas

• AUC e Gini;
• KS;
• Precision e recall;
• F1-score;
• Brier Score;
• Log loss;
• Curvas de calibração;
• Taxa de falsos positivos e falsos negativos.

Métricas financeiras

• Receita por proposta;
• Perda esperada;
• Margem líquida;
• Custo de fraude;
• Custo de cobrança;
• Rentabilidade por faixa;
• Retorno sobre capital;
• Valor do cliente ao longo do relacionamento.

Métricas operacionais

• Tempo médio de resposta;
• Percentual de decisões automáticas;
• Volume encaminhado para análise;
• Taxa de falhas de integração;
• Quantidade de exceções;
• Disponibilidade do motor;
• Reprocessamentos;
• Reclamações e contestações.

Uma boa calibração procura equilíbrio entre essas dimensões. Melhorar uma métrica isolada pode prejudicar todo o sistema.

Monitoramento de drift e deterioração

Depois da implantação, o motor deve ser monitorado continuamente. O comportamento da população pode mudar por causa de inflação, desemprego, novos produtos, alterações regulatórias, fraudes ou mudanças nos canais de aquisição.

Essa mudança é chamada de drift. Ela pode afetar as variáveis de entrada, a relação entre variáveis e resultado ou a frequência do evento previsto.

Entre os sinais de deterioração estão:

• Mudança na distribuição dos scores;
• Aumento da inadimplência em determinada faixa;
• Queda da calibração;
• Elevação das recusas;
• Aumento de revisões manuais;
• Alteração das fontes de dados;
• Concentração de decisões em poucos motivos;
• Crescimento de reclamações.

Estruturas de gestão de risco recomendam monitoramento contínuo, documentação e medidas para corrigir ou retirar sistemas que ultrapassem os limites de tolerância. O NIST organiza a gestão de riscos de inteligência artificial nas funções governar, mapear, medir e gerenciar.

Viés e tratamento desigual

Um motor pode produzir resultados desiguais mesmo sem utilizar diretamente uma característica sensível. Variáveis relacionadas à região, profissão, aparelho utilizado ou padrão de consumo podem funcionar como aproximações.

A calibragem deve incluir análises de:

• Taxas de aprovação por grupo;
• Distribuição de limites;
• Falsos positivos e negativos;
• Motivos de recusa;
• Qualidade das variáveis;
• Efeito de regras específicas;
• Possíveis proxies;
• Estabilidade das diferenças.

Encontrar uma diferença não significa automaticamente que existe discriminação, mas exige investigação e documentação.

Também é necessário verificar se o modelo foi treinado em uma população representativa. Dados históricos podem carregar efeitos de políticas antigas e reproduzi-los no futuro.

Explicabilidade e códigos de motivo

O motor deve registrar os fatores que contribuíram para cada decisão. Em modelos simples, isso pode ser obtido diretamente das regras e coeficientes. Em modelos complexos, podem ser utilizadas técnicas de explicabilidade.

Os códigos de motivo precisam ser:

• Verdadeiros;
• Específicos;
• Consistentes com a decisão;
• Compreensíveis;
• Estáveis;
• Auditáveis.

Uma mensagem genérica como “política interna” oferece pouca informação. Ao mesmo tempo, a explicação não deve expor detalhes que facilitem fraudes ou manipulação.

No Brasil, a LGPD assegura ao titular o direito de solicitar revisão de decisões tomadas unicamente com base no tratamento automatizado que afetem seus interesses. A ANPD inclui entre seus exemplos decisões relacionadas ao perfil de crédito e informa que o titular pode buscar conhecimento sobre critérios e parâmetros utilizados.

Revisão humana e gestão de exceções

A revisão humana não deve ser apenas uma confirmação automática do resultado do sistema. O analista precisa possuir informações, autoridade e treinamento para avaliar o caso.

É recomendável encaminhar para revisão situações como:

• Dados conflitantes;
• Casos próximos ao ponto de corte;
• Falhas em fontes externas;
• Valores elevados;
• Suspeitas não conclusivas;
• Contestações;
• Clientes com situações excepcionais;
• Decisões com grande impacto.

As exceções concedidas pelos analistas também precisam ser monitoradas. Se uma equipe altera frequentemente determinada decisão, isso pode indicar que a regra ou o modelo precisa ser ajustado.

Governança de mudanças

Nenhuma regra relevante deveria ser alterada diretamente em produção sem registro, teste e aprovação.

Um processo de mudança pode incluir:

1. Descrição do problema;
2. Hipótese da alteração;
3. Análise de impacto;
4. Simulação histórica;
5. Validação independente;
6. Aprovação por responsáveis;
7. Teste em ambiente controlado;
8. Implantação gradual;
9. Monitoramento pós-implantação;
10. Registro da versão.

A documentação deve informar quem solicitou, quem desenvolveu, quem validou e quem aprovou. Também deve registrar data, parâmetros anteriores, novos parâmetros e plano de reversão.

Boas práticas de risco de modelo destacam a importância da validação independente, da governança, da documentação e do uso adequado dos resultados.

Erros comuns na calibragem

Um erro frequente é otimizar exclusivamente a taxa de aprovação. Outro é observar apenas a inadimplência, ignorando receita e clientes recusados indevidamente.

Também são problemas comuns:

• Utilizar dados de treinamento para calibrar e avaliar;
• Não realizar teste fora do tempo;
• Aplicar o mesmo cutoff a todos os segmentos;
• Confundir falha técnica com resultado negativo;
• Acumular regras sem revisão;
• Não medir o impacto financeiro;
• Alterar muitas condições simultaneamente;
• Não manter uma versão anterior;
• Ignorar a capacidade da equipe manual;
• Não acompanhar decisões por grupos;
• Deixar de registrar os motivos;
• Não atualizar a calibração após mudanças de cenário.

A calibragem eficiente é um processo experimental, documentado e contínuo. Ela não deve depender apenas da percepção de uma área ou de uma mudança urgente realizada sem avaliação.

Passo a passo para ajustar um motor

Um processo prático pode começar pela definição da decisão que será otimizada e do evento que será medido. Depois, a equipe deve mapear todas as fontes, regras, modelos e integrações utilizadas.

Em seguida:

1. Estabeleça as métricas estatísticas, financeiras e operacionais;
2. Analise a política atual e suas exceções;
3. Verifique a calibração das probabilidades;
4. Simule diferentes pontos de corte;
5. Calcule os custos dos erros;
6. Avalie resultados por segmento;
7. Teste impactos sobre grupos distintos;
8. Defina limites de risco e alertas;
9. Crie um challenger ou teste controlado;
10. Implante gradualmente;
11. Monitore resultados iniciais e de longo prazo;
12. Documente e revise periodicamente.

O processo deve ser repetido quando houver deterioração, mudanças econômicas, alterações de produto, inclusão de novas fontes ou revisão da estratégia de negócio.

Conclusão

A calibragem de motores de decisão automática é a atividade que transforma previsões e regras em decisões operacionais. Ela define pontos de corte, faixas de risco, prioridades, limites, exceções e caminhos de revisão.

Um modelo de alta qualidade pode gerar resultados ruins quando utilizado com parâmetros inadequados. Por isso, a avaliação deve ir além das métricas estatísticas e considerar perda financeira, receita, capacidade operacional, experiência do cliente e riscos jurídicos.

A calibração das probabilidades também merece atenção. O motor precisa saber não apenas quem apresenta maior risco, mas qual é a frequência esperada do evento em cada faixa.

Depois da implantação, mudanças na população e no ambiente podem deteriorar o sistema. Monitoramento, testes controlados, estratégias champion-challenger e planos de reversão permitem realizar melhorias com menor risco.

Governança e explicabilidade completam esse processo. Cada alteração deve ser documentada, validada e aprovada, e as decisões precisam apresentar motivos consistentes. Casos relevantes devem contar com mecanismos de revisão e contestação.

O motor mais eficiente não é o que automatiza tudo ou aprova o maior número de propostas. É aquele que executa decisões coerentes, mensuráveis, sustentáveis e compatíveis com os objetivos e limites da organização.