A inteligência artificial já está presente em sistemas de segurança, saúde, seleção de pessoas, educação e serviços públicos. O problema é que identificar quando uma IA deixou de funcionar como esperado não é tão simples quanto detectar uma falha tradicional de software. Esse foi um dos pontos discutidos no terceiro Seminário do Observatório Brasileiro de Inteligência Artificial (OBIA), do NIC.br.

Uma alteração no comportamento de um sistema não significa necessariamente que houve um incidente. Ao mesmo tempo, esperar que o problema se manifeste de forma evidente pode significar agir tarde demais. “Medir é diferente de avaliar. Então, na medida que eu consigo avaliar alguma coisa, o que é que eu vou fazer com esse resultado? A gente tem que medir, avaliar, tomar ciência do que está acontecendo e decidir como agir”, apontou Cleber Zanchettine, professor da UFPE. A questão não está apenas em descobrir que alguma coisa mudou, mas em entender o impacto dessa mudança sobre pessoas e processos.

Zanchettine trouxe exemplos para mostrar como um sistema pode continuar funcionando tecnicamente e, ainda assim, perder eficácia no mundo real. Um dos casos citados foi o Google “Flu Trends”, que usava buscas dos usuários para estimar surtos de gripe. O sistema chegou a apresentar resultados promissores, mas a mudança no comportamento dos usuários e na própria forma de funcionamento do buscador comprometeu as previsões. Não houve invasão, quebra ou ruptura. O sistema simplesmente deixou de representar adequadamente a realidade para a qual havia sido projetado.

Outro exemplo veio da área médica. Um sistema utilizado para prever casos de sepse funcionou durante anos sem um incidente evidente. Uma avaliação posterior mostrou, porém, que cerca de dois terços dos pacientes que tinham sepse não eram detectados pelo sistema.

O funcionamento normal de uma IA não comprova sua eficácia e também não basta retreinar o modelo a cada mudança. Em alguns casos, mexer em um sistema que está operando normalmente pode acrescentar ainda mais ruído. “A pergunta não é necessariamente o incidente. Se a gente disser que é incidente, vai ficar dando um monte de falso positivo. Mas é olhar mais de perto, agir, avisar e realimentar esse processo”, alertou o professor.

A discussão também chegou ao reconhecimento facial utilizado na segurança pública. Zanchettine chamou a atenção para a diferença entre uma métrica técnica e o impacto individual de um erro. Um sistema pode apresentar uma taxa de acurácia muito alta e, ainda assim, produzir consequências graves para as pessoas afetadas por suas falhas. Problemas de cadastro, ordens de prisão expiradas e outras falhas do ecossistema contribuíram para resultados incorretos. Ou seja, o problema não estava necessariamente no algoritmo isoladamente, mas na rede de sistemas, dados e processos ao redor dele.

Para o professor, essa dimensão humana precisa fazer parte do monitoramento: “eu acho que as pessoas que são usuárias hoje em dia, são um sensor de como a IA tá sendo implantada na sociedade. A gente precisa escutar”. E essa escuta pode ser fundamental justamente porque o impacto percebido pelo usuário é muito diferente daquilo que aparece em um painel técnico. Enquanto o operador acompanha métricas e gráficos, uma pessoa pode estar diante de um crédito negado, uma oportunidade de trabalho perdida ou até de uma abordagem policial.

Educação não é um sistema de vigilância

A ideia de transformar a educação em uma espécie de infraestrutura para detectar riscos de inteligência artificial foi questionada por Lucia Santaella, autora e professora da PUC-SP. O papel da educação é formar pessoas capazes de reconhecer, interpretar e avaliar criticamente as mediações feitas pela tecnologia. Isso exige competências cognitivas, semióticas, epistemológicas e éticas.

Lucia também criticou a concentração excessiva do debate nos riscos. Olhar apenas para os problemas pode deixar de lado as possibilidades que surgem quando a IA é utilizada de maneira dialógica na aprendizagem. Ela aponta que “há uma questão ainda anterior à detecção de riscos. Quem define o que deve ser considerado como um comportamento problemático? Não basta detectar um comportamento de máquina. É preciso interpretar esse comportamento em relação a contextos, finalidades e consequências“.

A professora também rejeitou a ideia de que a IA generativa necessariamente esteja simulando uma intenção. O fato de um sistema produzir respostas linguisticamente coerentes não significa, segundo ela, que exista uma intenção por trás delas. O ponto é importante porque a forma como as pessoas interpretam esses sistemas influencia diretamente a maneira como os utilizam. Quanto mais natural é a interação, maior pode ser a tendência de atribuir características humanas à máquina.

Uma educação capaz de explicar como a tecnologia funciona e quais efeitos produz é o que defende Lucia, pois a cognição humana nunca foi completamente independente de ferramentas, linguagens, instituições e outras pessoas. A IA amplia e transforma essa relação, mas não a cria do zero. O desafio é desenvolver capacidade crítica para entender quando determinadas operações cognitivas estão sendo delegadas à IA e como avaliar os resultados produzidos. “Quanto mais a IA participa dos processos de cognição e produção de conhecimento, mais importante se torna justamente a educação“, alertou Lucia.

O que diz a responsabilidade civil

A dimensão jurídica ficou por conta de Caitlin Mulholland, professora da PUC-Rio. Ela analisou o Projeto de Lei 2.338 e a forma como a proposta trabalha conceitos como risco, incidente, dano, governança e responsabilidade. O projeto, aprovado pelo Senado e em discussão na Câmara dos Deputados, estabelece categorias de risco e prevê medidas de governança para sistemas considerados de alto risco. A proposta também trata da responsabilidade civil por danos provocados pelo uso de sistemas de inteligência artificial.

Risco, incidente e dano não são necessariamente a mesma coisa. Um incidente pode ocorrer sem produzir um dano individual imediatamente identificável. Da mesma forma, vários eventos aparentemente pequenos podem, quando observados em conjunto, produzir um impacto coletivo relevante.

Caitlin abordou situações de discriminação algorítmica, onde um sistema pode produzir uma decisão estatisticamente coerente do ponto de vista técnico, mas incompatível com critérios sociais de equidade e justiça. “A questão aqui é identificar quando esses riscos de fato se concretizam no dano, ou seja, quando que a gente está diante de um risco aceitável ou inaceitável”, apontou.

Esse ponto ganha força quando se fala em sistemas que continuam aprendendo e mudando depois de colocados em operação, uma vez que um comportamento que não era conhecido no momento do lançamento pode aparecer meses ou anos depois. Para a professora, isso não deveria funcionar automaticamente como uma espécie de proteção para quem desenvolve ou opera a tecnologia. O fato de determinado risco não ser conhecido inicialmente não elimina necessariamente a responsabilidade posterior. Quem desenvolve e explora economicamente um sistema também deve considerar as possíveis externalidades geradas por sua operação.

Incidentes de IA não cabem em uma única caixa

Já Cristine Hoepers, gerente do CERT.br|NIC.br trouxe para o debate a experiência acumulada pelo instituição no tratamento de incidentes de segurança. E começou por uma questão aparentemente simples: o significado da própria palavra “incidente”. Segundo ela, diferentes áreas usam termos semelhantes com significados diferentes, o que pode gerar ruído quando profissionais de tecnologia, direito, gestão e outras áreas precisam trabalhar juntos.

No caso da inteligência artificial, a dificuldade aumenta porque nem todo problema tem a mesma origem. Pode haver uma falha de projeto, uma vulnerabilidade explorada por um atacante, um uso inadequado ou uma saída não intencional do sistema. “Nem dentro da própria área de tecnologia, ela é usada de maneira igual por todo mundo. A gente tem que discutir o que é incidente para cada um de nós. Não vai ter como definir incidente de maneira universal, com todos os aspectos da complexidade da IA que a gente tem hoje”, apontou.

Ela também rejeitou a ideia de que o simples fato de o usuário identificar um problema seja uma característica exclusiva dos incidentes de IA. Em segurança da informação, muitas ocorrências também só aparecem quando uma empresa ou uma pessoa percebe que algo deu errado. O desafio é ainda maior porque incidentes podem não ser reportados. Empresas podem evitar notificações por receio de danos à imagem ou consequências jurídicas, enquanto usuários podem nem saber que uma decisão foi tomada por um algoritmo.

Outro ponto levantado por Cristine foi a diferença entre modelos generalistas e sistemas desenvolvidos para tarefas específicas. Não faz sentido esperar que uma IA generativa treinada de maneira ampla tenha o mesmo comportamento de um sistema criado para uma operação crítica.

Cristine reforçou que modelos de IA também são sistemas de software e, portanto, estão sujeitos a vulnerabilidades. Isso vale especialmente para agentes e sistemas capazes de executar ações. Quanto maior a autonomia operacional, maior a necessidade de entender os limites da tecnologia e definir onde a intervenção humana precisa continuar existindo.

O fator humano continua indispensável

Governar inteligência artificial não significa apenas criar ferramentas para detectar falhas. É preciso entender o ambiente em que o sistema opera, acompanhar mudanças, ouvir quem é afetado, estabelecer responsabilidades, preparar canais de notificação e manter pessoas capazes de questionar os resultados.

A tecnologia também precisa ser usada de acordo com sua finalidade. Uma ferramenta eficiente para resumir textos ou apoiar processos criativos não necessariamente deve receber autonomia para controlar uma operação crítica. O desafio da governança de IA está menos em encontrar uma única métrica e mais em construir uma capacidade permanente de avaliação.

Apesar do nome “inteligência” na IA, isso não elimina a necessidade de supervisão, julgamento e responsabilidade humana. Pelo contrário, quanto mais sistemas de IA passam a participar de decisões e processos reais, mais importante fica saber onde termina a automação e onde começa a responsabilidade de quem a colocou para funcionar.