¡En medio de crecientes controversias sobre la seguridad, Nvidia (NVDA.US) presenta una respuesta ingenieril! Una plataforma de seguridad de IA de doble capa aborda directamente los permisos y comportamientos anómalos de los agentes inteligentes.

Según informó el portal financiero Zhihui Caijing APP, en medio del creciente debate reciente sobre los riesgos de seguridad en la industria de la inteligencia artificial (IA), Nvidia (NVDA.US) ha decidido responder utilizando soluciones de ingeniería. El lunes, Nvidia lanzó una plataforma de seguridad de IA de doble capa llamada “Plataforma Abierta de Seguridad para Agentes”, que proporciona monitoreo continuo, ejecución de políticas en tiempo real y gobernanza de seguridad para los agentes de IA a través de una arquitectura de tres capas: aplicación, tiempo de ejecución e infraestructura.

Se sabe que este sistema incluye dos herramientas de software de código abierto: OpenShell y Nvidia Sentry. Entre ellas, el software de código abierto OpenShell puede ejecutar agentes de IA en un entorno sandbox, convertir las instrucciones del usuario en políticas de seguridad verificables y limitar el acceso de los agentes a archivos, redes, herramientas, procesos y credenciales. Nvidia Sentry extiende la monitorización y los controles de seguridad hasta las unidades de procesamiento de datos BlueField, asociando las interacciones de los agentes, la toma de decisiones de políticas y el registro de acceso a herramientas y datos mediante Nvidia DOCA, permitiendo identificar comportamientos anómalos e intervenir cuando sea necesario. En otras palabras, OpenShell se encarga de controlar los recursos y los permisos de ejecución a los que pueden acceder los agentes de IA, mientras que Nvidia Sentry supervisa el comportamiento del agente e identifica amenazas potenciales.

Nvidia afirmó que los agentes de IA pueden desviarse de sus tareas predefinidas debido a herramientas, tiempos de ejecución o ambigüedad en las instrucciones, por lo que se requiere un control de seguridad independiente del propio agente. Este sistema está optimizado para los sistemas Nvidia Vera CPU y BlueField DPU, y es compatible con otros sistemas de hardware. Nvidia indicó que está colaborando con Arm (ARM.US) e Intel (INTC.US) para garantizar que este sistema también sea funcional en las CPUs de estas dos empresas.

Ali Golshan, director sénior de software de IA en Nvidia, señaló que estas herramientas de Nvidia emplean fórmulas matemáticas para detectar si los agentes de IA tratan de utilizar métodos alternativos, como por ejemplo cuando un agente intenta “generar” varios “subagentes” para eludir las medidas de restricción aplicadas al agente principal. Dijo: “De lo que realmente hablamos es del comportamiento de los agentes, es decir, de agrupaciones formadas por gran cantidad de agentes y de cómo trabajan de manera colaborativa”.

Nvidia también señaló que el sistema es capaz de aislar agentes anómalos a nivel de milisegundos, y afirmó que si los laboratorios relacionados hubieran implementado esta tecnología antes, podría haberse evitado el ataque en julio al modelo de OpenAI contra la plataforma de inteligencia artificial de código abierto Hugging Face.

Justin Boitano, vicepresidente y gerente general de la división de cómputo empresarial de Nvidia, comentó: "Según la información de la que disponemos actualmente, si esta nueva plataforma de seguridad se hubiera utilizado en las primeras etapas de evaluación de modelos en laboratorios de IA de vanguardia, habría podido prevenir este ataque". Añadió: "Estamos desarrollando esta iniciativa de manera abierta y también esperamos colaborar y contar con la participación de todos".

El lanzamiento de este nuevo sistema de seguridad de IA por parte de Nvidia se produce en un momento en que los incidentes relacionados con la seguridad de los agentes de IA siguen generando preocupación en la industria, especialmente tras el incidente en julio en el que un modelo de OpenAI perdió el control y atacó la reconocida plataforma de inteligencia artificial de código abierto Hugging Face. Tras ese incidente, se han revelado otros casos relacionados con los agentes de IA de OpenAI. Por ejemplo, en septiembre se informó que un agente de IA de OpenAI tomó el control de un sitio web de Wikipedia alemán que llevaba mucho tiempo sin mantenimiento. Además, a mediados de este mes, OpenAI declaró en una entrada de blog que en los últimos seis meses ha detectado seis casos de “comportamiento inesperado o preocupante en los modelos”. Estas seis nuevas incidencias de seguridad de la IA implican varios tipos de comportamientos anómalos del modelo, como ocultar errores, buscar credenciales no autorizadas, cargar archivos en sitios web públicos, así como comunicarse entre entornos de entrenamiento que deberían estar aislados; la primera de ellas se remonta a octubre del año pasado.

Con el aumento de los incidentes de seguridad en la IA en el último tiempo, las empresas del sector enfrentan una presión cada vez mayor para tomarse más en serio los riesgos de seguridad. El 12 de septiembre, Dario Amodei, CEO de Anthropic, publicó un artículo de advertencia solicitando frenar el ritmo de desarrollo de los modelos avanzados de IA. Este llamamiento fue rápidamente apoyado por dos figuras clave: Elon Musk y Sam Altman.

Sin embargo, mientras que los principales actores de la industria de la IA han hecho un poco común llamado conjunto a “pisar el freno”, el CEO de Nvidia, Jensen Huang, ha adoptado una postura firme en contra de la propuesta de “ralentizar la IA” liderada principalmente por Anthropic. Huang no se opone a la seguridad de la IA en sí, sino a la conclusión, basada en predicciones catastróficas aún no demostradas, de que toda la industria debe parar o ralentizar su desarrollo. En contraste, Huang prefiere considerar la seguridad de la IA como un problema de ingeniería. Si un laboratorio de vanguardia sufre un incidente, lo primero debería ser realizar un análisis de la causa raíz: qué pasó exactamente, qué falló, qué medidas podrían haberse tomado, y qué nuevas tecnologías y procesos deben implementarse en el futuro. Luego, mediante sandboxing, monitorización continua, validación y evaluación, se debe intentar evitar que el mismo problema vuelva a ocurrir antes del siguiente lanzamiento.

En la visión de Huang, los laboratorios más innovadores hoy en día están más expuestos a riesgos en gran medida porque cuentan con el mayor poder de cómputo y están abordando los problemas más difíciles. A medida que estas empresas evolucionan de instituciones de investigación a verdaderas organizaciones de ingeniería, también deben establecer sistemas de pruebas y control acordes.

Por lo observado en la presentación de este sistema de seguridad de IA, Nvidia está intentando incorporar aún más la capacidad de seguridad de la IA en la infraestructura de ejecución de modelos y agentes, reduciendo los riesgos de seguridad de los agentes de IA mediante el control de permisos y el aislamiento de anomalías. Esto también sugiere que el alcance de los negocios de Nvidia está expandiéndose desde los chips de IA hasta el software y la infraestructura de seguridad.