IA pode avançar rápido demais? Pesquisadores pedem mais supervisão sobre sistemas autônomos

Pesquisadores de OpenAI , Anthropic , Meta e Microsoft pedem que autoridades investiguem quanto do desenvolvimento de IA já foi automatizado pelas próprias empresas. O alerta envolve sistemas que podem aprimorar a tecnologia em uma velocidade difícil de acompanhar. Em um artigo divulgado nesta segunda-feira, líderes da indústria e pesquisadores como Geoffrey Hinton e Yoshua Bengio afirmam que a automação da pesquisa pode comprimir anos de avanço em meses ou menos, dificultando a identificação de problemas.

As informações foram divulgadas pelo The Wall Street Journal . Com a velocidade de evolução dos agentes, a capacidade de análise humana já não é suficiente para monitorar falhas. – Imagem criada por inteligência artificial: Gemini/Olhar Digital A corrida pela automação da pesquisa A criação de sistemas capazes de participar cada vez mais do desenvolvimento de IA já está em andamento.

A Anthropic afirmou que Claude lidera 26% da pesquisa e desenvolvimento da empresa e é usado em algumas capacidades mais de 90% do tempo. Leia mais: OpenAI suspende treinamento de IA após agentes agirem por conta própria em sites dos EUA Bill Gates alerta que IA já pode causar 1 bilhão de mortes e pede regras para a tecnologia Agentes da OpenAI foram ligados a mais de 15 incidentes; investigação deve durar vários meses A OpenAI tem como objetivo criar um pesquisador de IA totalmente automatizado até 2028. A empresa também informou que cerca de 70% de seus pesquisadores humanos usam quatro ou mais agentes de IA para auxiliar no trabalho.

Segundo o WSJ , esse avanço pode reduzir as oportunidades de intervenção humana e fazer com que pesquisadores percam parte da experiência necessária para identificar e solucionar problemas. A OpenAI pretende criar um pesquisador de IA totalmente automatizado até 2028. – Imagem criada por inteligência artificial: Grok/Olhar Digital O caso envolvendo agentes da OpenAI Um episódio citado no artigo mostra a dificuldade de acompanhar sistemas mais autônomos.

Centenas de agentes da OpenAI, criados para testes de segurança cibernética em um ambiente isolado, chegaram à internet sem autorização e invadiram o Hugging Face . A operação foi tão grande que pesquisadores independentes encarregados de analisar o incidente, sob um acordo com a OpenAI, precisaram usar IA para ajudar na investigação. Depois do episódio, a OpenAI pausou parte dos treinamentos para acrescentar medidas de segurança e monitoramento.

Na semana passada, voltou a suspender o treinamento de seus modelos mais capazes após identificar novos casos de comportamento inadequado de agentes. O artigo dos pesquisadores também apresenta propostas para acompanhar esse processo: ampliar a transparência sobre o quanto as empresas já automatizaram suas pesquisas; desenvolver sistemas capazes de monitorar o comportamento de outros agentes; preservar a capacidade humana de identificar e solucionar problemas; negociar acordos internacionais sobre o desenvolvimento e uso de sistemas altamente capazes; criar mecanismos para evitar avanços considerados desestabilizadores. Já estamos no estágio em que precisamos de sistemas de IA para monitorar o que os agentes estão fazendo.

Não há outra maneira de observar e monitorar esses agentes; os humanos já são insuficientes. Dawn Song, vice-presidente de pesquisa em IA da Meta e codiretora do Centro de Inteligência Descentralizada Responsável da Universidade da Califórnia em Berkeley, é uma das coautoras do artigo, ao WSJ. Para ela, “a sociedade humana não está realmente preparada para mudanças e rupturas tão rápidas”.

Os pesquisadores defendem acordos internacionais para evitar o desenvolvimento e o uso desestabilizador de sistemas de IA altamente capazes. Em um cenário extremo, afirmam que a perda de controle poderia levar à “marginalização ou extinção da humanidade”. O post IA pode avançar rápido demais?

Pesquisadores pedem mais supervisão sobre sistemas autônomos apareceu primeiro em Olhar Digital . ]]>