O problema dos vieses no uso da inteligência artificial não é novo e segue provocando discussões acaloradas; e com razão. Em aplicações que vão da segurança pública à concessão de crédito os vieses excluem pessoas, causam constrangimentos e aprofundam desigualdades. Isso não significa, no entanto, que empresas e governos devam desistir de suas estratégias, mas é preciso um ajuste de rota que, na visão do SAS, especialmente quando se utiliza IA para tomada de decisões, passa por uma orquestração de soluções que, num fluxo adequado, mitigariam problemas.

A visão da empresa, conhecida por suas soluções de análise preditiva, foi compartilhada pelo CTO Bryan Harris, durante o SAS Innovate on Tour, em São Paulo. No início de sua fala, o executivo trouxe um retrospecto de tecnologias que surgiram e moldaram negócios e sociedade ao longo dos últimos 50 anos, como computador pessoal, internet, cloud computing, big data e, mais recentemente inteligência artificial generativa, agentic IA e até IA quântica. 

Sobre os diversos sabores de IA disponíveis hoje no mercado, Harris ressalta que eles preenchem lacunas que podem fazer a diferença nas empresas, sobretudo, ao adicionar inteligência na tomada de decisão, algo essencial, na visão do executivo, para tornar os negócios mais competitivos no mercado. A realidade, no entanto, ainda mostra que temos desafios a serem suplantados que passam por um melhor entendimento da tecnologia e suas limitações. 

Mitigando vieses

“Quando falamos de IA generativa, muita gente pensa que tudo que precisa ser feito é colocar uma pitada de IA para os problemas desaparecerem como mágica. Ela pode ajudar em busca, resumir texto, mas tem limitações e pode gerar problemas sem uso e controles corretos”, alertou o CTO do SAS. 

O alerta de Harris vai além e entra num campo onde o debate tem sido intenso: os problemas causados por vieses dessas ferramentas. Ele narrou uma cena hipotética de um casal que tenta acessar o crédito imobiliário. Eles preenchem todos os requisitos, inclusive o de renda. Mas, ao final do processo, têm pedido negado. Um detalhe, o casal era de pessoas pretas. Segundo o executivo, isso acontece porque os modelos baseiam suas decisões em questões demográficas, com forte tendência a negar concessões para população preta.

“Estudo recente mostrou que LLMs recomendam mais recusa de crédito para pretos que brancos. Pretos precisam de 120 pontos a mais (no score) que um branco para ter crédito e, quando aprovado, a taxa de juros é 30 pontos mais alta. Isso acontece de fato”, explicou Harris. 

O executivo estendeu a análise e reforçou se tratar de um problema sistêmico em modelos que o SAS testou como OpenAI, Meta e Anthropic. “Decisões não podem ser enviesadas. Com prompt adequado podemos tomar melhores decisões. LLMs e engenharia não são suficientes para maior parte do uso das empresas. Precisamos de orquestração de LLM, API, machine learning para decisões justas e bem governadas.” A mudança de foco de genAI para agentic AI, ressaltou o CTO, vem para resolver esse tipo de problema.