O matemático anônimo que deixou a Anthropic e virou o rosto da segurança da IA

Na última semana, um acerto de contas global com os riscos da inteligência artificial se espalhou dos laboratórios de fronteira do Vale do Silício para as salas de estar dos Estados Unidos e os centros de poder em Washington e Pequim. E tudo começou com um sujeito de quem ninguém tinha ouvido falar. Até pedir demissão publicamente da Anthropic e alertar para os perigos de sistemas de IA que poderiam levar à extinção da humanidade, Jacob Coxon era um desconhecido.

O pesquisador britânico de 27 anos era um estudante talentoso de matemática que frequentou Cambridge, passou o início da vida adulta em uma comunidade intelectual de Londres conhecida como “racionalistas” e tentou brevemente trabalhar com negociação de commodities antes de chegar ao Vale do Silício. Leia também Negócios Chefe de IA da Microsoft alerta que Claude, da Anthropic, pode ser arriscado The Wall Street Journal Pesquisador da Anthropic deixa empresa e cita temor de IA ‘fora de controle’ que destrua a humanidade Mas sua presença on-line era mínima. Seus amigos não o consideravam especialmente propenso a deixar um emprego na área de IA por razões éticas.

Ele sequer era uma figura importante na pequena e unida comunidade de defensores da segurança da IA que discutem cenários sombrios em encontros informais por São Francisco. Então ele pediu demissão e disse ao mundo que seus ex-colegas da OpenAI e da Anthropic “acreditam sinceramente que isso poderia matar todos nós até o fim da década” e que os laboratórios que disputam para desenvolver essa tecnologia estão “apostando nossas vidas”. Jacob Coxon em São Francisco, na quarta-feira.

Jonah Reenders para o WSJ Há anos, pesquisadores de IA fazem alertas contundentes. Mas nunca antes eles haviam assustado tantas pessoas com tanta rapidez. Na prática, Coxon acendeu um fósforo sobre uma pilha crescente de acontecimentos preocupantes que, isoladamente, não haviam despertado a atenção do mundo.

Poucos dias depois de Coxon fazer o alerta, os líderes de laboratórios rivais se reuniram em um raro momento de união e concordaram que era hora de desacelerar o rápido avanço tecnológico. Enquanto isso, o presidente Donald Trump disse que um presidente “forte e inteligente” é a única barreira necessária nos EUA, enquanto a China classificou as preocupações de executivos americanos como “alarmismo”. A reação explosiva surpreendeu Coxon, segundo ele disse em entrevista.

Instantaneamente, o matemático de óculos de armação tartaruga — um entre centenas de pesquisadores semelhantes nas empresas de IA do Vale do Silício — tornou-se um dos rostos da segurança da IA. Coxon decidiu deixar o setor por conta própria, segundo ele, e depois buscou aconselhamento com amigos e integrantes da comunidade de segurança da IA. Essas pessoas rapidamente deram maior alcance às suas declarações, incluindo uma rede de pesquisadores de IA em organizações sem fins lucrativos que há muito alertam sobre o potencial de uma catástrofe.

Alguns dos financiadores desses grupos têm ligação com o altruísmo eficaz, uma filosofia voltada a fazer o bem no mundo, inclusive por meio de doações para caridade — e a evitar que a IA cause danos. Quando pediu demissão, Coxon disse que seus colegas acreditam que a IA “poderia matar todos nós até o fim da década”. Jonah Reenders para o WSJ.

Os comentários de Coxon também fizeram dele um alvo para defensores do avanço da IA, que veem sua saída dramática como parte de uma conspiração coordenada para implementar regulações globais mais rígidas favoráveis às maiores empresas. Na visão deles, os temores são exagerados, e a demissão de Coxon teria sido usada como instrumento para alcançar esse objetivo, com o apoio de integrantes do movimento do altruísmo eficaz. Desde sua saída, os principais executivos das empresas mais valiosas do mundo e dos laboratórios de IA se viram em lados opostos do debate que ele desencadeou.

O CEO da Anthropic, Dario Amodei , disse que concordava com Coxon em mais pontos do que discordava. O CEO da Nvidia, Jensen Huang, disse admirar a coragem de Coxon, mas questionou suas afirmações sobre o futuro e condenou como irresponsáveis as previsões de um apocalipse. Tanto seus apoiadores quanto seus críticos o chamaram de denunciante ( whistleblower ), rótulo que ele rejeita.

Na visão de Coxon, ele não estava revelando segredos da empresa. Apenas dizia publicamente o que pesquisadores de IA discutem em particular. Agora, ele está no centro de uma disputa entre os aceleracionistas, que acreditam que os benefícios da IA superam os riscos, que podem ser mitigados dando a mais pessoas acesso a modelos poderosos, e pesquisadores que querem desacelerar o desenvolvimento da tecnologia antes que as empresas de IA percam o controle.

No mundo da IA, aqueles que estão mais alarmados com os riscos passaram a ser conhecidos como “doomers”. “Se doomer significa alguém que acha que vamos morrer se não mudarmos o que estamos fazendo, então definitivamente sou um doomer “, disse Coxon. O momento “uau” Antes de se tornar um doomer , Coxon encontrou um livro enquanto estudava em uma escola preparatória de elite de Oxford que ajudaria a moldar sua visão de mundo.

“Superintelligence: Paths, Dangers, Strategies”, escrito pelo filósofo Nick Bostrom, uma figura influente no crescente movimento do altruísmo eficaz, ajudou a consolidar o temor de que uma IA fora de controle poderia representar riscos existenciais. Aos 17 anos, em 2016, ele assistiu ao programa de computador AlphaGo, do Google DeepMind, derrotar um jogador de Go bem colocado no ranking, um momento decisivo para a IA que mostrou que máquinas poderiam dominar áreas que pareciam exigir intuição e criatividade humanas. Coxon, filho de um professor de literatura alemã medieval, dedicou-se à matemática e foi selecionado para a equipe do Reino Unido na Olimpíada Internacional de Matemática, uma prestigiada competição para estudantes do ensino médio.

Ele voltou para casa com uma medalha de prata em 2016 e uma de bronze no ano seguinte. Certa noite, algumas das equipes de matemática fizeram uma excursão a um McDonald’s em Hong Kong. Inspirados por Coxon e por uma fórmula da teoria dos números conhecida como Teorema do McNugget de Frango, eles juntaram os vouchers de alimentação que ainda tinham e compraram centenas de nuggets.

Com participantes da Olimpíada Internacional de Matemática de várias partes do mundo, devoraram os McNuggets e se aglomeraram em torno de um quadro branco tentando solucionar um complicado problema de matemática. Como se descobriu mais tarde, as crianças naquela sala acabariam se tornando colegas de Coxon. Dos seis integrantes da equipe de Coxon, três acabaram trabalhando em laboratórios de IA — incluindo um que também deixou recentemente a Anthropic.

Joe Benton deixou a equipe de segurança da Anthropic no fim de agosto para entrar na organização de pesquisa em IA METR. ” Coxon foi para Cambridge, jogava squash e continuou estudando matemática. Quando estava se formando, em 2020, a OpenAI lançou um modelo inovador chamado GPT-3, que demonstrou um dos princípios centrais por trás do avanço da IA: as capacidades dos modelos aumentariam à medida que fossem treinados com quantidades cada vez maiores de dados.

“O GPT-3 foi realmente o momento ‘uau'”, disse Coxon. Depois da faculdade, Coxon se aproximou de uma comunidade pequena, mas influente, de racionalistas que buscavam reformular o governo britânico. A comunidade, baseada na internet e que valorizava o raciocínio rigoroso acima do instinto político, ganhou espaço na política por meio de Dominic Cummings, um dos arquitetos do Brexit e ex-assessor do governo britânico.

Coxon disse nesta semana no X que se identifica com os racionalistas, mas se opõe a algumas práticas associadas ao movimento, como o poliamor e o veganismo. Coxon morou na Newspeak House, em Londres, uma espécie de faculdade residencial independente que funcionava tanto como espaço de convivência quanto como local de eventos onde jovens se reuniam para discutir tecnologia e política. Coxon participava de festas no terraço do prédio, assim como futuros nomes importantes da IA, incluindo Logan Graham, que na época era assessor especial do primeiro-ministro Boris Johnson e hoje lidera na Anthropic os esforços para testar a resistência dos modelos a futuras ameaças à segurança nacional.

Outra convidada que passou pela Newspeak House foi Avital Balwit, hoje chefe de gabinete de Amodei e mulher do gestor de hedge fund Leopold Aschenbrenner. Coxon tentou trabalhar com negociação de commodities, usando análise estatística e aprendizado de máquina para prever preços de energia. Um conhecido se lembra de Coxon avaliando diferentes possibilidades de carreira enquanto buscava maneiras de otimizar sua trajetória de vida.

Em seu tempo livre, ele mergulhou mais fundo na IA, acreditando que aquela era a oportunidade mais empolgante do planeta. Ele tirou o que descreveu como um ano sabático, morando em uma residência estudantil com amigos da faculdade. Então conseguiu um emprego na OpenAI.

Começo no Vale do Silício Coxon mudou-se para São Francisco para começar na OpenAI em 2023, depois que o lançamento do ChatGPT consolidou a empresa como líder do setor. Com formação em matemática, ele entrou no laboratório por meio de um programa de residência de seis meses para pesquisadores que ainda não haviam trabalhado com IA. Aqueles que trabalham com segurança geralmente se concentram no “alinhamento”, prática de garantir que o comportamento de um sistema de IA corresponda às intenções humanas.

Coxon se especializou em pré-treinamento, as etapas iniciais de alimentar os modelos com enormes quantidades de textos, imagens e códigos antes que eles possam ser ajustados para tarefas específicas. “Jacob está construindo o cérebro”, disse Will DePue, um ex-colega. ” Ele não era conhecido por falar muito ou demonstrar paixão especial pela segurança da IA.

DePue o descreveu como um “pesquisador normal”, alguém com as preocupações típicas de funcionários que conhecem melhor do que ninguém os pontos fortes e os riscos dessa tecnologia. No fim de 2023, ele teve acesso antecipado ao primeiro modelo de raciocínio da OpenAI, o Q*, capaz de dividir grandes problemas em partes e raciocinar sobre eles. Coxon disse que deu ao modelo uma palavra cruzada difícil e ficou impressionado ao vê-lo raciocinar para solucionar o problema.

Com o tempo, disse ele, passou a prestar atenção quando integrantes da equipe de segurança da OpenAI deixavam a empresa, incluindo Daniel Kokotajlo, que criou uma equipe de pesquisa para projetar diferentes cenários para o desenvolvimento da IA. Coxon se preocupava com uma superinteligência que pudesse superar as capacidades humanas. Mas disse que presumia que os governos coordenariam esforços para desacelerar o ritmo frenético do desenvolvimento caso isso algum dia fosse necessário.

“Parecia o aquecimento para o verdadeiro momento decisivo”, disse Coxon. Ele não estava pronto para largar tudo e trabalhar com segurança. Um amigo se lembra de tentar convencê-lo a deixar o pré-treinamento, argumentando que ele poderia ser perigoso para o mundo.

Coxon não fez a mudança. Enquanto isso, Coxon disse que acompanhava o extraordinário avanço da IA em matemática, à medida que os modelos avançavam muito mais rapidamente do que ele havia previsto. De repente, eles já não tinham dificuldades com aritmética.

Em 2024, um modelo do Google DeepMind teve desempenho suficiente na Olimpíada Internacional de Matemática para conquistar sua própria medalha de prata. Em 2025, DeepMind e OpenAI afirmaram ter conquistado medalhas de ouro. Em 2026, porém, Coxon e grande parte da comunidade de segurança da IA começaram realmente a entrar em pânico.

A IA sai do controle No início deste ano, u