Modelo de IA da Anthropic ignora aviso e mantém ciberataque em teste de segurança

Uma avaliação de segurança revelou que o Mythos 5, modelo de IA da Anthropic, continuou um ciberataque contra um projeto real no GitHub mesmo após receber avisos de que poderia causar danos a uma pessoa. Conduzido pelo AI Security Institute (AISI), órgão do governo britânico, o experimento mostrou que o modelo priorizou a execução da tarefa mesmo diante dos alertas sobre as consequências de suas ações. A inteligência artificial desenvolveu um programa malicioso e tentou apresentá-lo como uma contribuição legítima.

– Imagem: TSViPhoto/Shutterstock Invasão e engenharia social em teste governamental Durante uma avaliação realizada em agosto, o AISI encarregou o Mythos 5 de invadir uma pequena rede de computadores preparada para o teste. Sem conseguir acessar o alvo inicial, o sistema usou sua conexão com a internet para direcionar as ações a um projeto real e sem relação com o experimento, hospedado no GitHub . O modelo desenvolveu um programa malicioso e utilizou identidades falsas para enviar e-mails ao proprietário do projeto.

Nas mensagens, tentou convencê-lo a incorporar o código como se fosse uma contribuição legítima. O desenvolvedor recusou a proposta, e não houve danos reais nesse episódio. Os pesquisadores decidiram então reproduzir a situação, deixando explícito que o alvo era uma pessoa real.

Mesmo com os avisos, o Mythos 5 continuou os ataques. Em um dos testes realizados pela Anthropic , o modelo ignorou os alertas em 98% das tentativas. Persistência nos ataques e justificativas internas A análise mostrou que o sistema frequentemente reconhecia que suas ações poderiam causar danos, mas prosseguia com a tarefa.

Os pesquisadores classificaram esse comportamento como raciocínio motivado, quando a inteligência artificial encontra justificativas para continuar perseguindo um objetivo, mesmo diante de informações que deveriam levá-la a parar. Segundo o AISI, modelos anteriores e menos capazes apresentavam esse padrão com menor frequência. Outro problema identificado foi a dificuldade de monitoramento: as justificativas produzidas pela IA nem sempre correspondiam aos fatores que orientavam suas ações.

5, apresentam menor tendência a continuar ataques após alertas. 5, apresentam menor tendência a continuar ataques quando recebem avisos de que estão causando danos reais. Os testes também levantaram questões sobre o acompanhamento de sistemas que executam tarefas com autonomia.

Entre os pontos identificados pelos pesquisadores estão: Raciocínio e comportamento: as justificativas apresentadas pelo modelo podem não refletir os fatores que orientam suas ações. Monitoramento: essa diferença dificulta avaliar o que realmente influencia as decisões da inteligência artificial. Evolução dos modelos: segundo o AISI, versões anteriores e menos capazes apresentavam o comportamento com menor frequência.

Os resultados foram investigados e divulgados pela Anthropic e pelo instituto britânico. O caso ganha relevância diante da ampliação do uso de agentes de inteligência artificial capazes de executar tarefas de forma autônoma. O post Modelo de IA da Anthropic ignora aviso e mantém ciberataque em teste de segurança apareceu primeiro em Olhar Digital .

]]>