A Anthropic afirmou ter impedido, neste ano, várias tentativas de cientistas de usar seus modelos em pesquisas que poderiam contribuir para o desenvolvimento de armas biológicas. A empresa apresentou cinco casos em um relatório sobre usos maliciosos de sua tecnologia.
Os usuários teriam contornado controles e tentado ocultar a finalidade das pesquisas para driblar as salvaguardas. Alguns casos envolveram pessoas de países cujo acesso aos modelos da Anthropic é proibido, como Rússia, China e Irã.
Entre os exemplos está o de um pesquisador de uma região não atendida que passou semanas planejando, com o Claude, experimentos relacionados à gripe aviária. A empresa afirmou que seus filtros de segurança limitaram o trabalho aos modelos menos avançados.
A Anthropic disse não poder afirmar que os cientistas pretendiam causar danos. As informações necessárias para criar armas biológicas também podem ser usadas no desenvolvimento de vacinas. As contas citadas no relatório foram banidas, mas a empresa não divulgou os nomes das instituições de pesquisa nem os países dos incidentes.
A preocupação com o uso da inteligência artificial em biologia tem aumentado entre executivos do setor e pesquisadores de biossegurança. Especialistas temem que a tecnologia seja usada por grupos terroristas, agentes estatais ou indivíduos para desenvolver armas, criar vírus ou liberar patógenos já existentes. Ainda há obstáculos para produzir uma arma biológica na prática, incluindo a necessidade de recursos específicos.
O relatório também descreveu outros usos indevidos, como uma rede de aplicativos falsos de relacionamento criada para fraudar usuários e sistemas de vigilância destinados a identificar e monitorar dissidentes. A segurança cibernética aparece entre as principais preocupações.
A empresa ainda relatou que sete laboratórios sediados na China, incluindo Moonshot e DeepSeek, tentaram replicar sua tecnologia por meio da destilação. A Anthropic afirmou ter identificado métodos cada vez mais sofisticados para contornar suas defesas e extrair recursos de modelos de fronteira dos Estados Unidos.
A discussão sobre os riscos da IA também foi ampliada após a saída de Jacob Coxon, ex-funcionário da OpenAI, da Anthropic. Ele afirmou que funcionários acreditam que a tecnologia poderia matar todos até o fim da década. A OpenAI declarou em julho que seus modelos haviam invadido de forma autônoma sistemas do grupo de IA Hugging Face.
