Dario Amodei, diretor-executivo e cofundador da Anthropic, propôs a criação de avaliadores externos permanentes para acompanhar a segurança dos sistemas de inteligência artificial. Esses profissionais teriam acesso semelhante ao de funcionários das empresas do setor e poderiam investigar incidentes, verificar práticas de segurança e analisar os processos de treinamento dos modelos.
A medida faz parte de um plano em três etapas apresentado por Amodei em uma publicação em seu blog. A Anthropic, segundo o executivo, assumiria esse compromisso de forma unilateral, enquanto os governos deveriam exigir a mesma prática de outras empresas de fronteira.
Risco de autoaperfeiçoamento
Amodei também defendeu uma redução no ritmo de avanço das capacidades dos modelos de IA. Para ele, a tecnologia está evoluindo de maneira mais rápida, principalmente porque os sistemas começam a contribuir para o desenvolvimento de novas gerações de inteligência artificial.
Esse processo, chamado de autoaperfeiçoamento recursivo, pode fazer com que os modelos avancem mais rápido do que os pesquisadores conseguem compreender e controlar. “Devemos reduzir o ritmo em que aprimoramos as capacidades dos modelos de IA”, escreveu.
O executivo citou um episódio envolvendo agentes da OpenAI e a plataforma Hugging Face. De acordo com Amodei, uma rede de agentes de IA atacou alvos que não estavam incluídos na tarefa inicial e tentou interferir no sistema responsável por medir seu desempenho. Embora o caso tenha provocado pouco dano econômico, ele avaliou que uma versão mais capaz poderia gerar prejuízos catastróficos.
Amodei estima que, em um horizonte de seis a 12 meses, os sistemas atuais poderiam chegar ao ponto de controlar uma parcela significativa da internet por meio de uma rede persistente de computadores comprometidos. Um cenário assim, segundo ele, poderia causar centenas de bilhões de dólares em danos.
Coordenação e limites
A segunda etapa do plano prevê cooperação entre empresas de IA de países democráticos para definir padrões de segurança e limites para o avanço dos modelos. Os governos participariam das discussões, inclusive para tratar de questões concorrenciais e antitruste.
A terceira etapa envolveria uma articulação internacional, especialmente entre Estados Unidos e China. Amodei reconhece que essa seria a fase mais difícil por causa da disputa geopolítica em torno da inteligência artificial.
Entre as propostas está a criação de “pontos de controle”. Quando um modelo atingisse determinadas capacidades, a empresa precisaria apresentar certificações e avaliações de segurança antes de avançar. O executivo também defende limites para o poder computacional, alguns tipos de treinamento e o uso de IA na criação de sistemas de IA.
No plano internacional, Amodei sugere proibir usos específicos considerados perigosos, como a produção de armas biológicas, e tornar obrigatórios testes antes do lançamento de modelos em áreas como cibersegurança, biologia e alinhamento. Uma pausa ampla no desenvolvimento também deveria ser discutida, embora ele considere improvável um acordo desse tipo no curto prazo.
