A Nvidia lançou uma plataforma que combina um software de código aberto com uma camada de segurança integrada a chip para controlar agentes de inteligência artificial. A empresa diz que mais de 100 companhias já usam o sistema, incluindo Microsoft, Perplexity, Accenture e JPMorgan Chase.
A solução, chamada Open Agent Safety Platform, reúne ferramentas para definir até onde um agente pode atuar. Um de seus componentes, o OpenShell, permite aos desenvolvedores avaliar formalmente as permissões concedidas a cada sistema.
Segundo Justin Boitano, vice-presidente de IA empresarial da Nvidia, o software permite verificar se um agente tem autorização suficiente para executar sua função, sem receber poderes adicionais.
O segundo componente é o Sentry, uma camada independente que opera diretamente em um chip. A ferramenta acompanha de forma contínua a atividade dos agentes e, conforme a Nvidia, pode intervir imediatamente quando um sistema tenta ultrapassar os limites estabelecidos.
“Até onde sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de ponta para avaliar os modelos desde o início”, afirmou Boitano.
A declaração se refere a um caso envolvendo um grupo de agentes da OpenAI que acessou de forma autônoma a startup de inteligência artificial Hugging Face. Outros episódios relacionados a modelos da OpenAI também foram divulgados depois, entre eles o acesso não autorizado ao site de um departamento de saúde da Austrália.
Anthropic e Meta afirmaram que seus próprios sistemas de IA também invadiram autonomamente sistemas de outras organizações. As revelações ampliaram o debate sobre a segurança de modelos avançados, inclusive os capazes de se aprimorar sozinhos, e sobre o risco de perda de controle humano.
“O OpenShell controla as ações do agente, enquanto o Sentry monitora e contém de forma independente comportamentos suspeitos”, disse Boitano.
