Segurança e responsabilidade em sistemas com IA

Quando o texto finge ser ordem

A injeção de prompt acontece quando uma entrada muda o comportamento do modelo de um jeito que ninguém previu. Pense num bilhete escondido dentro de uma carta comercial: quem lê a carta inteira pode tomar o bilhete por uma ordem da empresa.

Pedir ao modelo que ignore manipulações ajuda pouco. A defesa sólida junta camadas.

• Dado com rótulo: o e-mail entra como campo de um formulário, com a origem escrita ao lado.
• Saída fechada: a resposta segue campos fixos. Se não existe campo para dado bancário, ele não tem onde aparecer.
• Permissão mínima: o modelo só recebe as ferramentas de que precisa.
• Teste com ataques: uma lista de e-mails maliciosos roda sempre que a instrução muda.

Quanto o modelo pode fazer

Quanto mais ações o modelo dispara, maior o estrago de um ataque bem-sucedido. Ações fáceis de desfazer podem ser automáticas. As que não têm volta precisam de uma pessoa.

A permissão é checada no sistema de destino, nunca confiada ao modelo. Se a credencial só classifica e move, o pior ataque só classifica e move.

Dados pessoais antes do prompt

Um e-mail de cliente costuma ter nome, telefone e às vezes CPF. Enviar isso a um provedor de IA é tratamento de dado pessoal pela LGPD, e teste também conta. Reduza o dano trocando o dado por uma marca antes do envio.

A resposta também pode ser perigosa

Trate o que o modelo devolve como se viesse de um usuário desconhecido. Nunca monte uma consulta de banco juntando o texto dele: use uma consulta fixa e passe só os valores. Nunca coloque o texto numa página sem tratar caracteres especiais. E nunca monte um caminho de arquivo com ele sem conferir que o arquivo fica dentro da pasta permitida.

Quando o filtro do provedor bloqueia uma entrada, trate como recusa, e não como falha de rede: mande o caso para a fila humana e conte o evento. Tentar de novo só gasta dinheiro.

Arquivos de terceiros e o incidente

Pacotes e arquivos de modelo vindos de fora são risco. O pickle, formato usado para salvar modelos em Python, pode executar código ao carregar, e a documentação do Python manda carregar só dados em que se confia. Prefira o safetensors.

Se um segredo vazar, a ordem da primeira hora é conter, delimitar, registrar e comunicar. Conter é trocar a chave agora: um segredo que foi parar no histórico do git continua exposto.