O juiz federal George Marmelstein alertou, em entrevista ao Comitê Nacional de Inteligência Artificial do Judiciário, que agentes de inteligência artificial podem ser manipulados para acessar e vazar informações sigilosas de processos e credenciais de magistrados.

Destaques:

  • risco de manipulação de agentes de IA no Judiciário
  • alerta do juiz federal George Marmelstein
  • aprovação do Programa de Segurança Adversarial (PROSEG-IA) em maio

Vulnerabilidade já observada em tribunais

A prática de prompt injection, identificada em 83 episódios divulgados pelo programa Fantástico em 1º de novembro, já resultou em multas no STJ e no STF. Advogados inserem instruções ocultas em documentos, usando letras brancas ou fontes minúsculas, para enganar ferramentas de IA usadas por juízes.

"Existem mecanismos para diferenciar essas origens, mas eles podem falhar, especialmente quando o comando malicioso se apresenta como uma orientação oficial ou uma etapa necessária do trabalho", afirmou Matheus Vasconcelos, especialista em cibersegurança.

Agentes de IA ampliam o risco

Marmelstein explicou que, diferentemente de prompts simples, os agentes de IA executam tarefas autonomamente, como abrir arquivos, enviar e‑mails ou rodar programas. Se manipulados, podem concluir ações maliciosas antes que um humano perceba.

"Os agentes apertam botões, executam códigos, criam documentos. Eles têm essa questão do fazer. E, ao fazer, pode haver uma influência para que ele rode um código [de um programa] e esse código seja malicioso, no sentido, por exemplo, de pegar suas credenciais, pegar seus dados. E isso é um risco maior", afirmou.

Um cenário hipotético ilustra o perigo: um agente encarregado de organizar peças processuais poderia, ao encontrar uma instrução oculta em letras brancas, enviar listas de processos sob segredo de justiça para um endereço externo sem que o juiz saiba.

Medidas e monitoramento em curso

Em maio, o Comitê aprovou o Programa de Segurança Adversarial para Sistemas de Inteligência Artificial do Poder Judiciário (PROSEG-IA), criando uma frente permanente contra manipulações.

O ministro Luis Felipe Salomão, presidente do STJ, revelou que a corte analisou quase 6 milhões de peças, identificando 116 casos suspeitos, dos quais 40 foram confirmados.

"Nós analisamos quase 6 milhões de peças pelo sistema, apontamos 116 casos suspeitos, confirmamos, após uma análise humana, 40 casos e detectamos 1 caso a cada 150.000 peças", afirmou.

Recomendações de especialistas

Especialistas como Matheus Vasconcelos e Arthur Igreja recomendam limitar o acesso dos agentes apenas ao necessário e garantir supervisão humana proporcional ao risco. O advogado Matheus Puppe destacou que ataques só são eficazes se a ferramenta tiver permissões amplas e barreiras de segurança falharem.

"Para que o ataque produza efeitos concretos, é necessário que a ferramenta tenha acesso aos recursos envolvidos, que suas barreiras de segurança falhem e que exista algum mecanismo capaz de executar a ação pretendida", explicou Puppe.

A expansão do uso de IA na Justiça continua, com 178 projetos em 2024 e 45,8 % dos tribunais já utilizando IA generativa. O monitoramento de “ondas de litigiosidade” será o próximo passo do STJ e do CNJ para prevenir surtos de processos.