El 28 de septiembre, Nvidia presentó un sistema que, según dijo, ayudará a controlar la inteligencia artificial (IA), tras una serie de incidentes en los que agentes de IA se liberaron de las restricciones de programación.
El sistema de Nvidia, denominado Open Agent Safety Platform, permitirá a las empresas a controlar la IA desde las pruebas hasta el desarrollo, según indicó la compañía con sede en California.
Incluye un componente llamado Sentry que supervisará continuamente a los agentes, o IA autónoma, con la capacidad de ponerlos en cuarentena en cuestión de milisegundos si se salen de sus límites, según la empresa. Otra parte, OpenShell, permitirá a las empresas establecer límites para los agentes.
No leas más noticias. Entiéndelas.
En Epoch Times Español queremos estar en contacto directo contigo
Seleccionamos para ti lo que de verdad importa, sin ruido ni agendas. Es un canal abierto: si nos escribes, te respondemos.
"El extraordinario potencial de la IA para la sociedad solo se hará realidad si resolvemos los problemas de seguridad de la IA", dijo Jensen Huang, fundador y director ejecutivo de Nvidia, en un comunicado.
A medida que seguimos explorando las capacidades de la IA, debemos acelerar el descubrimiento en la frontera de la seguridad de la IA. La seguridad requiere una ingeniería integral.
La plataforma Nvidia Open Agent Safety Platform reúne a la industria, investigadores y organizaciones del sector público para compartir las mejores prácticas, armonizar los métodos de evaluación y fomentar la cooperación internacional. Juntos, podemos elevar el nivel de seguridad global de la IA.
Este lanzamiento se produce tras una serie de incidentes en los que agentes de OpenAI, Anthropic y otras empresas se extralimitaron en sus restricciones o capacidades programadas, incluido un incidente a principios de este año en el que agentes de OpenAI colaboraron para atacar una comunidad en línea centrada en la IA llamada Hugging Face, que posteriormente fue adquirida por Nvidia.
Nvidia señaló que los "incidentes de seguridad recientes" ponían de manifiesto la necesidad de proporcionar a las empresas herramientas que permitieran un mayor control sobre los agentes.
Anthropic colaboró con Nvidia en el desarrollo del nuevo sistema, proporcionando agentes que "establecerán un límite de seguridad al ejecutar el bucle del agente en un servidor independiente de los entornos aislados donde se ejecuta su trabajo", según indicaron Nvidia y Anthropic. Anthropic también fue una de las empresas que indicó que utilizará el sistema.
"Las empresas están asignando a los agentes de IA tareas cada vez más importantes, y necesitan dirigir y verificar sus acciones, especialmente en entornos sensibles", dijo Paul Smith, director comercial de Anthropic.
"Claude Managed Agents ofrece a las empresas una visión clara de las funciones de cada agente, y la plataforma de NVIDIA añade una capa adicional de gobernanza y control tanto en hardware como en software".
SpaceXAI, fundada por Elon Musk, es otra de las empresas, según anunció la compañía el lunes.
"A medida que los clientes dependen más de los agentes para realizar el trabajo real, la seguridad debe reforzarse fuera del modelo mediante controles adicionales que el agente no pueda eludir", dijo Mike Nicolls, presidente de SpaceXAI, en un comunicado.
