Moonshot limita capacidades de seu modelo de IA mais avançado para evitar ataques hackers

1 Pro. A decisão foi tomada em meio a preocupações crescentes sobre o uso da IA para tornar ataques hackers mais sofisticados e baratos. Com sede em Pequim, a empresa descreve a ferramenta como o seu modelo aberto mais avançado até o momento.

Por essa configuração, ela permite que desenvolvedores externos executem e modifiquem a IA em seus próprios sistemas. Modelo não perdeu capacidades gerais Para limitar o uso indevido da ferramenta, a Moonshot removeu dados relacionados a ciberataques do corpo de treinamento e dos ambientes de aprendizado por reforço usados no desenvolvimento do modelo. Segundo a empresa, essa decisão impede usos indevidos, ao mesmo tempo em que protege as habilidades gerais de programação.

1 Pro obteve 81,0% no teste, contra 90,5% de uma versão equivalente sem as medidas de redução de risco. O teste consistia em encontrar e explorar vulnerabilidades de software em ambiente controlado. A Moonshot afirma que o resultado demonstra que a filtragem reduziu o desempenho ofensivo do modelo, embora ele ainda supere seu antecessor.

Os resultados não foram verificados de forma independente. Os desafios da IA aberta Apesar da medida, a empresa chinesa reconhece que modelos abertos apresentam desafios específicos de controle. Ao contrário de sistemas fechados, como os da OpenAI e Anthropic, uma vez que os arquivos são amplamente distribuídos, o desenvolvedor original passa a ter menos capacidade de restringir o acesso, monitorar o uso ou atualizar as salvaguardas do que teria com um serviço hospedado centralmente.

A Moonshot argumenta, por outro lado, que modelos abertos podem contribuir para a segurança digital ao permitir que mais organizações inspecionem e protejam seus próprios softwares, incluindo sistemas mais antigos que recebem pouca atenção. A preocupação com o uso de IA em ataques cibernéticos ganhou contornos regulatórios recentes. Na semana passada, a China propôs controles de exportação que proibiriam o envio ao exterior de tecnologias de geração de malware baseadas em IA, além de restringir ferramentas de descoberta de vulnerabilidades assistidas por inteligência artificial.

As medidas citam o risco de que tais capacidades sejam usadas contra infraestrutura crítica, sistemas de defesa industrial e governamentais, ou para contornar proteções de segurança. O post Moonshot limita capacidades de seu modelo de IA mais avançado para evitar ataques hackers apareceu primeiro em Olhar Digital . ]]>