A China ampliou as exigências de segurança para sistemas de inteligência artificial e passou a incluir, de forma explícita, cenários em que a tecnologia poderia escapar ao controle humano. As regras também determinam que usuários mantenham a autoridade final sobre decisões tomadas autonomamente por agentes de IA.
Em maio, o regulador chinês do ciberespaço publicou diretrizes específicas para agentes capazes de executar tarefas mais complexas e com maior autonomia que chatbots convencionais. Os desenvolvedores deverão reforçar a identificação, a interrupção, o bloqueio e a correção de comportamentos inadequados.
Entre os riscos citados estão envenenamento de dados, manipulação de algoritmos, vulnerabilidades de sistemas e a chamada perda operacional de controle. As normas permitem avaliações externas de segurança e preveem auditorias feitas por entidades independentes e pesquisadores especializados.
Mudança na estrutura de segurança
A Administração do Ciberespaço da China (CAC) mencionou cenários de perda de controle em uma estrutura divulgada em setembro de 2024. O documento considerava a possibilidade de sistemas futuros obterem recursos externos de forma autônoma, desenvolverem autoconsciência e procurarem fontes externas de poder, criando riscos de competição com seres humanos.
Uma versão ampliada, divulgada pela CAC em setembro de 2025, acrescentou que a inteligência artificial poderia passar por um salto repentino de capacidade antes de adquirir recursos, replicar-se e buscar poder. O texto também incorporou os princípios de aplicação confiável e prevenção da perda de controle.
Uma interpretação técnica publicada no site do regulador afirmou que a diretriz busca reduzir riscos que poderiam ameaçar a sobrevivência e o desenvolvimento da humanidade, incluindo a possibilidade de uma IA “sair do controle”.
Disputa tecnológica
Na Conferência Mundial de Inteligência Artificial, realizada em julho, em Xangai, Xi Jinping afirmou que as autoridades devem monitorar os riscos inerentes à tecnologia e seus efeitos indiretos. Para o presidente chinês, a IA deve permanecer “sempre sob controle humano”.
Sun Xiaobo, principal diplomata chinês para assuntos de IA, afirmou em reunião das Nações Unidas no mês passado que a China acelera estudos para uma legislação mais ampla. Neste mês, Sun Lei, vice-representante permanente do país na ONU, pediu cautela no uso militar da tecnologia para evitar erros de cálculo estratégicos e uma corrida armamentista.
O ministro da Segurança do Estado, Chen Yixin, declarou que modelos avançados desenvolvidos nos Estados Unidos podem ameaçar a infraestrutura crítica de informação da China. Ele também acusou “forças hostis” de usar ferramentas de IA generativa para fabricar rumores políticos e disseminar informações prejudiciais ao país.
O presidente-executivo da Anthropic, Dario Amodei, alertou para o avanço “imprudente” da tecnologia. Sam Altman, presidente-executivo da OpenAI, disse concordar com a avaliação.
