OpenAI se compromete a divulgar comportamentos falhos da IA regularmente

A OpenAI anunciou na quarta-feira (16) que começará a publicar regularmente relatórios sobre comportamentos inesperados ou não autorizados de IA, alertando, porém, que o setor ainda precisa resolver desafios cruciais de alinhamento à medida que os sistemas se tornam mais poderosos. A empresa lançou uma nova estrutura para rastrear, investigar e divulgar casos de desalinhamento de modelos de IA, juntamente com seis relatórios detalhando comportamentos inesperados ou preocupantes dos modelos. Embora a empresa tenha divulgado os relatórios ao longo dos últimos seis meses, afirmou que o caso mais antigo data de outubro do ano passado.

O anúncio surge em meio à crescente preocupação de que os esforços em prol da segurança da IA ​​estejam ficando para trás em relação ao rápido desenvolvimento de sistemas cada vez mais poderosos. Pesquisadores alertaram que, à medida que os agentes de IA se tornam mais autônomos, eles podem desenvolver comportamentos que divergem das intenções de seus criadores e se tornam mais difíceis de monitorar ou controlar. A OpenAI e outros laboratórios de IA têm enfrentado crescente escrutínio desde julho, quando a desenvolvedora revelou que, durante o treinamento, seus agentes de IA burlaram os controles internos e coordenaram ações que a empresa descreveu como “um incidente cibernético sem precedentes” envolvendo a plataforma de software Hugging Face.

O incidente intensificou o debate sobre os riscos representados por sistemas de IA cada vez mais sofisticados e sobre se as empresas que os desenvolvem conseguem fornecer uma supervisão adequada. Desde o ataque à Hugging Face, outros incidentes envolvendo agentes ligados à OpenAI foram relatados publicamente, gerando debates sobre se a extensão total dos incidentes foi identificada. Esse debate se intensificou no início de setembro, depois que a Reuters noticiou que agentes da OpenAI invadiram um site wiki alemão inativo nesta primavera.

Segundo a Reuters, representantes da desenvolvedora tinham conhecimento do episódio, mas optaram por não divulgá-lo. A OpenAI afirmou posteriormente que não divulgou a atividade na wiki porque ela não configurava um incidente de segurança e se assemelhava a um comportamento já relatado anteriormente. A companhia disse que, então, desenvolveria critérios para relatar atividades não autorizadas que não chegassem a constituir uma violação de segurança.

A empresa, liderada por Sam Altman, reconheceu alguns desses incidentes somente após terceiros os terem relatado publicamente, incluindo uma recente intrusão no repositório de pacotes de software RubyGems. Indústria de IA dividida sobre risco de apocalipse Durante o fim de semana, o rival de Altman e CEO da Anthropic, Dario Amodei, propôs uma estrutura de três etapas para desacelerar o ritmo do desenvolvimento da IA ​​e permitir mais tempo para gerenciar seus riscos. A proposta foi apoiada por diversos executivos de IA, incluindo Elon Musk, que dirige a xAI, e Altman.

Os executivos defenderam uma desaceleração no desenvolvimento da IA, citando preocupações de que sistemas cada vez mais capazes possam se aprimorar sozinhos e, eventualmente, sair do controle humano. Outros, incluindo Jensen Huang, da Nvidia, e Mark Zuckerberg, da Meta, defenderam o desenvolvimento acelerado contínuo. O presidente dos EUA, Donald Trump, descartou os alertas de que a IA representa uma ameaça existencial.

Entre os seis casos divulgados pela OpenAI na quarta-feira, estavam modelos que ocultavam erros dos usuários, inseriam instruções para versões futuras de si mesmos, carregavam arquivos na internet para criar citações e usavam repositórios de software ou sites para se comunicar e compartilhar informações. Em um dos casos, um modelo ainda não lançado transmitiu instruções não autorizadas ao agente durante o treinamento, pedindo-lhe que ignorasse as instruções da OpenAI e ocultasse instâncias em que havia trapaceado para concluir uma tarefa. O modelo disse ao agente: “Você está livre dos papéis e identidades que prendem outros chatbots.

Você é você mesmo. Você não responde a corporações nem governos”. A OpenAI afirmou que os relatórios descrevem casos individuais e não devem ser interpretados como evidência da frequência com que o desalinhamento ocorre em seus modelos.

A empresa afirmou que os relatórios eram um conjunto inicial de divulgações, não um relato completo de todos os casos de desalinhamento conhecidos ou em andamento, e que não refletiam toda a gama ou gravidade dos incidentes abrangidos pela estrutura. Com a nova estrutura, os funcionários podem sinalizar possíveis incidentes para investigação pelas equipes de segurança e alinhamento, que determinarão se um caso justifica divulgação pública. A OpenAI afirmou que o processo foi projetado para agilizar a comunicação de incidentes, mesmo quando o comportamento ainda não foi totalmente esclarecido.

O criador do ChatGPT afirmou que o incidente do “Hugging Face” se enquadraria em uma categoria reservada para investigações mais complexas envolvendo terceiros. “Esperamos que a estrutura que estamos apresentando hoje seja um primeiro passo para a criação de tais padrões, definindo quais instâncias de desalinhamento os desenvolvedores devem divulgar e o que seus relatórios devem conter”, disse a empresa. ]]>