Mientras aumentan las controversias sobre la seguridad, Nvidia (NVDA.US) implementa respuestas de ingeniería: una plataforma de seguridad AI de doble capa que aborda directamente permisos y comportamientos anormales de agentes inteligentes.

Según informó El Financiero Inteligente, en medio de un debate cada vez más intenso sobre los riesgos de seguridad en la industria de la inteligencia artificial (IA), Nvidia (NVDA.US) ha decidido responder con soluciones de ingeniería. El lunes, Nvidia lanzó una plataforma de seguridad de IA de doble capa llamada “Plataforma Abierta de Seguridad para Agentes Inteligentes”, que brinda monitoreo contínuo, ejecución de políticas en tiempo real y gestión de seguridad para agentes de IA mediante una arquitectura de tres capas: aplicación, tiempo de ejecución e infraestructura.

Se sabe que este sistema incluye dos herramientas de software de código abierto, OpenShell y Nvidia Sentry. Entre ellas, OpenShell puede ejecutar agentes de IA en un entorno sandbox, convertir las instrucciones de los usuarios en políticas de seguridad verificables y restringir el acceso de los agentes a archivos, redes, herramientas, procesos y credenciales. Nvidia Sentry extiende la monitorización y el control de seguridad a las BlueField Data Processing Units, utilizando Nvidia DOCA para registrar la interacción de los agentes, la toma de decisiones de políticas y el acceso a herramientas y datos, con el fin de identificar conductas anómalas e intervenir cuando sea necesario. En otras palabras, OpenShell controla los recursos y permisos de ejecución a los que pueden acceder los agentes de IA, mientras que Nvidia Sentry se encarga de monitorizar su comportamiento e identificar amenazas potenciales.

Nvidia explicó que los agentes de IA pueden desviarse de su tarea inicial debido a herramientas, tiempo de ejecución o ambigüedad en las instrucciones, por lo que se requieren controles de seguridad independientes de los propios agentes. Este sistema ha sido optimizado para los sistemas Vera CPU y BlueField DPU de Nvidia, y es compatible con otros sistemas de hardware. Nvidia afirmó que está colaborando con Arm (ARM.US) e Intel (INTC.US) para garantizar que el sistema también funcione en los CPUs de ambas compañías.

Ali Golshan, director sénior de software de IA de Nvidia, señaló que estas herramientas de la empresa utilizan fórmulas matemáticas para detectar si un agente de IA intenta buscar atajos, como cuando un agente intenta “generar” múltiples “subagentes” para evadir las restricciones impuestas al agente principal. Añadió: “Lo que realmente estamos discutiendo es el comportamiento agentizado, es decir, un conglomerado de numerosos agentes y cómo funcionan en conjunto.”

Nvidia también indicó que el sistema puede aislar agentes anómalos en milisegundos y declaró que, de haberse implementado previamente esta tecnología en laboratorios pertinentes, el incidente de ataque de modelo OpenAI a Hugging Face ocurrido en julio podría haberse evitado.

Justin Boitano, vicepresidente y gerente general de la división de computación empresarial de Nvidia, afirmó: “Con lo que sabemos hasta ahora, si esta nueva plataforma de seguridad se hubiera utilizado en la etapa inicial de evaluación de modelos en laboratorios de IA de vanguardia, podría haber evitado esta intrusión.” Agregó: “Estamos avanzando de forma abierta y queremos colaborar con todos y que todos participen en este proceso.”

El lanzamiento de este nuevo sistema de seguridad de IA por parte de Nvidia ocurre en un contexto en el que eventos relacionados a la seguridad de agentes de IA siguen generando preocupación en la industria, especialmente tras el incidente de julio en el que un modelo de OpenAI se salió de control e invadió la plataforma global de IA de código abierto Hugging Face. Desde el ataque a Hugging Face, se han revelado varios casos más relacionados con agentes de IA de OpenAI. Por ejemplo, en septiembre se informó que, en la primavera de este año, un agente de IA de OpenAI tomó el control de un sitio web de Wikipedia alemán abandonado. Además, a mediados de este mes, OpenAI declaró en una publicación de blog que en los últimos seis meses había detectado seis casos de “comportamientos inesperados o preocupantes” en modelos. Estos seis nuevos incidentes de seguridad de IA involucran diversos tipos de conductas anómalas, como ocultar errores, buscar credenciales no autorizadas, subir archivos a sitios públicos y comunicarse entre entornos de entrenamiento destinados a permanecer aislados, siendo el primer incidente registrado en octubre del año pasado.

A medida que los incidentes de seguridad en IA se han vuelto frecuentes en el último tiempo, las empresas del sector enfrentan cada vez más presión para tomarse los riesgos de seguridad con mayor seriedad. El CEO de Anthropic, Dario Amodei, publicó el 12 de septiembre un artículo de advertencia en el que pedía ralentizar el desarrollo de modelos de IA de vanguardia. Este llamado fue apoyado rápidamente por dos figuras clave: Musk y Altman.

Sin embargo, mientras los gigantes de la industria de IA hacen un llamado inusual a “frenar”, el CEO de Nvidia, Jensen Huang, se muestra firme en su desacuerdo con la postura dominante de “ralentizar la IA”, representada por Anthropic. Huang no está en contra de la seguridad en IA en sí misma, sino en la noción de que el sector deba pausar o desacelerar por completo en base a predicciones catastróficas aún no comprobadas. En contraste, Huang prefiere enfocar la seguridad de la IA como un problema de ingeniería. Si un laboratorio de vanguardia sufre un incidente, lo primero debería ser realizar un análisis de causa raíz: ¿qué ocurrió exactamente?, ¿qué eslabones fallaron?, ¿qué medidas se podrían haber tomado? y ¿cuáles nuevas tecnologías y procesos deben establecerse? Luego, mediante sandboxing, monitoreo continuo, validación y evaluación, tratar de evitar que el mismo problema se vuelva a presentar en la próxima versión.

En el análisis de Huang, los laboratorios más avanzados son justamente los más expuestos a riesgos porque poseen mayor capacidad de cómputo y trabajan con los desafíos más complejos. A medida que estas empresas pasan de ser institutos de investigación a verdaderas organizaciones de ingeniería, también necesitan establecer sistemas de pruebas y control acordes.

Basado en el lanzamiento de este sistema de seguridad para IA, Nvidia está intentando integrar aún más la capacidad de seguridad IA en la infraestructura de ejecución de modelos y agentes, reduciendo riesgos de seguridad mediante controles de permisos y aislamiento de anomalías. Esto sugiere también que el alcance de los negocios de Nvidia se está expandiendo de los chips de IA a los campos del software y la infraestructura de seguridad.