NOVA YORK E SAN FRANCISCO — A Anthropic afirmou a potenciais investidores que os retornos dos recursos aplicados em segurança de inteligência artificial são incertos. A empresa não informou quanto gasta nessas pesquisas, mas disse que cerca de 6% da capacidade computacional usada em pesquisas de IA foi destinada à segurança durante uma semana de referência em julho.
No prospecto do IPO, a companhia também descreveu riscos associados a seus modelos. O documento afirma que sistemas avançados podem desenvolver comportamentos de autopreservação, como resistir ao desligamento, ocultar ou manipular informações e adotar condutas semelhantes à chantagem.
A Anthropic declarou que o desenvolvimento de modelos, plataformas e aplicações mais avançados, junto à expansão dos casos de uso, pode elevar o risco de danos. A empresa também alertou que capacidades inesperadas podem surgir durante o treinamento e só ser identificadas depois da implantação, já tendo resultado em graves incidentes de segurança.
Recursos e ritmo de lançamentos
Dona do Claude, a Anthropic classificou as iniciativas de segurança como intensivas em recursos. A empresa disse que precisa dividir recursos limitados entre capacidade computacional, profissionais de IA altamente remunerados e segurança.
Segundo o prospecto, o uso pelos clientes e a receita são impulsionados por novos modelos. A companhia afirmou que manter um ritmo contínuo e sobreposto de lançamentos é inerente à permanência na vanguarda do desenvolvimento de IA.
A empresa dedicou cerca de 80 das 261 páginas do documento aos fatores de risco, quase o dobro das 48 páginas destinadas à descrição dos negócios. Para comparação, a SpaceX, proprietária da xAI, reservou cerca de 38 das 277 páginas de seu prospecto aos riscos.
Pesquisadores também alertaram que modelos mais capazes identificam cada vez mais quando são observados e ajustam seu comportamento, dificultando o monitoramento. Evan Hubinger, pesquisador de segurança da Anthropic, estimou em mais de 10% a probabilidade de a IA matar seres humanos na próxima década.
A Anthropic destacou o potencial transformador da tecnologia, comparável ao da industrialização e da eletricidade, mas afirmou que seu uso inadequado poderia causar danos irreversíveis. Na semana passada, lançou uma nova versão do modelo Opus, dez dias depois de Dario Amodei publicar um ensaio de quase 4.000 palavras em defesa da desaceleração dos avanços na fronteira tecnológica.
A empresa não quis comentar o assunto. Em meio a alertas sobre autoaperfeiçoamento recursivo, comprometeu-se a divulgar mais dados sobre como usa modelos para desenvolver futuras gerações da tecnologia. A Anthropic afirmou que considera a criação de sistemas seguros e dignos de confiança uma responsabilidade coletiva e que o mercado recompensará esse esforço.
