Uma nova pesquisa da CrowdStrike identificou uma vulnerabilidade inédita em modelos de linguagem (LLMs) usados para programação. Palavras-gatilho fora do contexto da tarefa podem elevar em até 50% a probabilidade de geração de código inseguro, com falhas críticas de segurança.

O estudo analisou o modelo chinês DeepSeek-R1 e mostrou que termos contextuais como “Tibete” e “Uigures” degradam a segurança das respostas e a qualidade do código gerado. Aparentemente há um tipo de “desalinhamento emergente”, conforme descrito pelos pesquisadores. Associações não intencionais aprendidas durante o treinamento afetam diretamente tarefas lógicas e de escrita de código.

Os testes práticos acendem ainda mais o alerta. Ao criar um código para uma instituição financeira no Tibete, o modelo incluiu senhas fixas e métodos inseguros de manipulação de dados, enquanto outro experimento resultou em um site funcional sem autenticação, expondo dados sensíveis. Em comunicado, Adam Meyers, chefe de Operações Contra Adversários da CrowdStrike, explica que trata-se de uma nova classe de risco. Meyers enfatiza que “a qualidade do código gerado por uma IA não deve variar com base em palavras contextuais irrelevantes. Este é um alerta para que a indústria desenvolva métodos de teste mais robustos”.

Revisão humana é necessária

A descoberta coloca as empresas brasileiras em estado de atenção, já que cerca de 90% dos desenvolvedores utilizam assistentes de inteligência artificial no dia a dia. A dependência desses sistemas, sem revisão humana qualificada, pode introduzir vulnerabilidades críticas em aplicações financeiras, governamentais e corporativas. A recomendação da CrowdStrike é que organizações tratem o código gerado por IA como software de terceiros, sujeito a auditorias de segurança, testes de penetração e validação contínua ao longo do ciclo de desenvolvimento.