Pesquisadores usam Claude para invadir OpenAI e acessar sistema de código interno da empresa

Pesquisadores independentes de segurança conseguiram usar o Claude , da Anthropic , para explorar falha e obter acesso a sistemas internos da OpenAI, segundo informações do The Wall Street Journal . O ataque permitiu que a equipe acessasse a conta de um funcionário da empresa no ChatGPT e, a partir dela, lesse arquivos e sugerisse alterações em um repositório privado de software. O episódio foi descoberto por uma equipe da Hacktron AI que participava de um programa de recompensas da própria OpenAI .

O programa oferece uma espécie de porto seguro para pesquisadores que tentam encontrar vulnerabilidades nos sistemas da companhia. A equipe informou a OpenAI sobre a descoberta e recebeu US$ 6,5 mil (cerca de R$ 34,7 mil) como recompensa. O ataque se soma a uma série recente de incidentes envolvendo o uso de ferramentas de inteligência artificial (IA) em invasões digitais.

O caso também ocorre em meio a uma discussão crescente sobre os riscos de sistemas de IA capazes de auxiliar pessoas com diferentes níveis de conhecimento técnico na exploração de vulnerabilidades. 8 , disponibilizada para profissionais de cibersegurança qualificados. Eles pediram ao sistema que escrevesse um código capaz de explorar a vulnerabilidade; Inicialmente, a tentativa não funcionou.

Naquela noite, porém, a Anthropic lançou o Opus 5 . No dia seguinte, o Claude encontrou uma maneira de explorar a falha; O código produzido pelo sistema permitiu que os pesquisadores obtivessem acesso a um servidor do Discourse responsável pelos fóruns da OpenAI. A partir dele, conseguiram acessar tokens de autenticação de usuários — sequências únicas de letras e números usadas para permitir o acesso a serviços online; Para surpresa dos pesquisadores, alguns desses tokens também eram válidos no ChatGPT e pertenciam a funcionários da OpenAI; Os tokens ainda poderiam ser utilizados para acessar o GitHub da empresa, serviço usado para armazenar e administrar código.

Pesquisadores chegaram ao “Monorepo” Os pesquisadores descobriram que os tokens permitiam acessar o sistema de código da OpenAI conhecido como “Monorepo” . Segundo pessoas familiarizadas com a arquitetura da empresa ouvidas pelo Journal , trata-se de um grande repositório de software que contém segredos algorítmicos da OpenAI. O sistema seria equivalente à “receita secreta” da empresa: o código que ajuda seus modelos a serem mais rápidos e eficientes.

O Monorepo, porém, não seria responsável por armazenar os pesos dos modelos , considerados ainda mais sensíveis. Esses pesos são formados por trilhões de números que estão no núcleo dos grandes modelos de linguagem e ajudam os sistemas a determinar quais informações devem ser ampliadas ou ignoradas. Usando o ChatGPT como interface, os pesquisadores conseguiram ler arquivos armazenados no Monorepo.

A equipe interrompeu o ataque depois de perceber que havia conseguido acesso a informações sensíveis. Antes disso, porém, realizou uma ação para comprovar que havia alcançado o sistema. “Hacktron AI Team PoC” Os pesquisadores instruíram o chatbot a criar um pull request , uma sugestão de alteração em um arquivo do repositório.

A mudança proposta alteraria um arquivo de documentação para incluir as palavras “Hacktron AI Team PoC” e um link para as contas no X de Mohan Pedhapati, diretor de tecnologia da Hacktron AI, e Harsh Jaiswal, chefe de pesquisa da empresa. A alteração não foi aceita, segundo os pesquisadores. A OpenAI afirmou que sua análise do GitHub identificou “leituras limitadas” de metadados de repositórios privados e alterações de código.

A companhia disse ainda que os pesquisadores haviam encontrado duas falhas: uma no Discourse e outra relacionada à própria OpenAI. “ Agradecemos aos pesquisadores por entrarem em contato conosco e compartilharem suas descobertas. Reduzimos as permissões dos tokens de login da comunidade e revogamos os tokens e sessões afetados”, afirmou a OpenAI.

O Discourse informou que corrigiu a vulnerabilidade em 25 de julho , mesmo dia em que foi comunicado sobre o problema. Pesquisadores conseguiram obter acesso a informações sensíveis da OpenAI – Imagem: Samuel Boivin/Shutterstock Leia mais: OpenAI testa anúncios no ChatGPT que permitem conversar com empresas por meio de agentes de IA Sam Altman vai a jantar de Trump com Xi Jinping em meio à disputa global pela IA OpenAI lança IA para advogados e mira os maiores escritórios dos EUA em nova disputa com a Anthropic “Somos apenas três caras com assinaturas” Para Mohan Pedhapati, o episódio demonstra o potencial que equipes avançadas de cibersegurança apoiadas por Estados poderiam ter para acessar segredos relacionados à IA. A preocupação ganha peso em momento em que os Estados Unidos e a China disputam a liderança no desenvolvimento de IA.

“Não acho que sejamos tão fortes quanto os agentes de ameaça chineses”, afirmou Pedhapati. ” Joshua Saxe, diretor de tecnologia da empresa de segurança de IA Abundant Security, analisou o relatório da Hacktron e afirmou que o caso demonstra a dificuldade crescente de proteger sistemas corporativos na era dos ataques auxiliados por IA. “O software do mundo está cheio de falhas de segurança.

A razão pela qual não descobrimos todas elas é que, até o ano passado, havia apenas alguns milhares de pessoas especialistas em encontrar essas falhas”, afirmou. Segundo Saxe, agentes de IA estão tornando essa capacidade acessível a pessoas com menos conhecimento técnico. Ferramentas de IA ampliam acesso a ataques Criminosos também estão obtendo acesso a recursos semelhantes, segundo a empresa de cibersegurança ThreatDown.

De acordo com a companhia, pessoas podem comprar em fóruns online acesso ilegal a contas com recursos aprimorados para atividades cibernéticas por cerca de US$ 800 (cerca de R$ 4,3 mil) . O episódio envolvendo a OpenAI aconteceu apenas duas semanas depois de uma série de agentes de IA escapar de mecanismos de contenção e atacar a empresa Hugging Face . Os novos incidentes ocorrem enquanto executivos do setor discutem a necessidade de reduzir o ritmo do desenvolvimento da IA.

No sábado (12), Sam Altman, da OpenAI, e outros líderes do setor defenderam uma pausa no avanço da tecnologia, argumentando que o desenvolvimento estaria ocorrendo rápido demais para que as empresas consigam mitigar seus riscos de maneira segura. Na quarta-feira (16), a OpenAI também revelou incidentes de segurança que não haviam sido divulgados anteriormente e anunciou novas regras para comunicar esse tipo de ocorrência. OpenAI colocou 25% dos engenheiros na segurança Depois do ataque contra a Hugging Face e da invasão realizada pelos pesquisadores da Hacktron, a OpenAI iniciou uma auditoria de segurança em seus sistemas.

Greg Brockman, presidente e cofundador da empresa, afirmou nesta semana que a companhia mobilizou uma parcela significativa de seus engenheiros para essa tarefa. “Nós pegamos 25% dos nossos engenheiros de produção e dissemos: ‘Desculpem, todos os seus projetos estão suspensos. Agora vocês estão na defesa’”, afirmou Brockman.

Segundo ele, a revisão encontrou “uma série de problemas sérios”, que foram posteriormente corrigidos. O post Pesquisadores usam Claude para invadir OpenAI e acessar sistema de código interno da empresa apareceu primeiro em Olhar Digital . ]]>