Mit zunehmender Sicherheitsdebatte setzt Nvidia (NVDA.US) auf technische Maßnahmen! Zweistufige KI-Sicherheitsplattform zielt direkt auf Agentenberechtigungen und abnormales Verhalten ab

Laut der APP von Zhihui Finanzen hat Nvidia (NVDA.US) angesichts der zunehmend heftigen Debatte über Sicherheitsrisiken im Bereich der künstlichen Intelligenz (AI) mit ingenieurtechnischen Maßnahmen reagiert. Am Montag hat Nvidia die zweistufige „Open Intelligent Agent Security Platform“ vorgestellt, eine AI-Sicherheitsplattform, die durch eine dreischichtige Architektur auf Anwendungsebene, zur Laufzeit und in der Infrastruktur eine kontinuierliche Überwachung, Echtzeitstrategieumsetzung und Governance für AI-Agenten bietet.

Es ist bekannt, dass das System zwei Open-Source-Softwaretools, OpenShell und Nvidia Sentry, beinhaltet. Die Open-Source-Software OpenShell kann AI-Agenten in einer Sandbox-Umgebung ausführen, Benutzeranweisungen in überprüfbare Sicherheitsrichtlinien umwandeln und den Zugang der Agenten zu Dateien, Netzwerken, Tools, Prozessen und Zugangsdaten einschränken. Nvidia Sentry erweitert die Überwachung und Sicherheitskontrolle auf das BlueField Data Processing Unit, indem es mithilfe von Nvidia DOCA die Interaktion mit Agenten, Strategieentscheidungen sowie die Protokollierung von Tool- und Datenzugriff verwendet, um abnormales Verhalten zu erkennen und bei Bedarf einzuschreiten. Anders ausgedrückt: OpenShell steuert die Ressourcen und Zugriffsrechte, die AI-Agenten nutzen dürfen, während Nvidia Sentry das Verhalten der Agenten überwacht und potenzielle Bedrohungen identifiziert.

Nvidia betont, dass AI-Agenten aufgrund von Tools, Laufzeit oder der Mehrdeutigkeit von Anweisungen vom ursprünglich vorgesehenen Auftrag abweichen können und daher eine unabhängige Sicherheitskontrolle benötigen, die nicht von den Agenten selbst abhängt. Das System ist für das Nvidia Vera CPU und das BlueField DPU-System optimiert und gleichzeitig kompatibel mit anderen Hardware-Systemen. Nvidia erklärte, dass es mit Arm (ARM.US) und Intel (INTC.US) zusammenarbeitet, um sicherzustellen, dass das System auch auf deren CPUs läuft.

Ali Golshan, Senior Director für AI-Software bei Nvidia, erklärte, dass Nvidia die Tools nutzt, um durch mathematische Formeln zu erkennen, ob AI-Agenten versuchen, Umgehungsmethoden anzuwenden – beispielsweise könnte ein Agent versuchen, mehrere „Subagenten“ zu erzeugen, um Blockaden gegen den Hauptagenten zu umgehen. Er sagte: „Wir diskutieren in Wahrheit über agentenbasierte Verhaltensweisen, also Cluster aus zahlreichen Agenten und darüber, wie sie zusammenarbeiten.“

Nvidia gab außerdem an, dass das System abnormale Agenten innerhalb von Millisekunden isolieren kann und erklärte, dass der Angriff des OpenAI-Modells auf Hugging Face im Juli hätte verhindert werden können, wenn die betreffenden Labore diese Technologie bereits eingesetzt hätten.

Justin Boitano, Vizepräsident und General Manager der Enterprise Computing Division von Nvidia, erklärte: „Nach den derzeitigen Informationen hätte diese neue Sicherheitsplattform den Angriff verhindern können, wenn sie bei der Evaluierung von Modellen in fortschrittlichen AI-Laboren frühzeitig zum Einsatz gekommen wäre.“ Er ergänzte: „Wir verfolgen einen offenen Ansatz und hoffen, mit allen zusammenzuarbeiten und gemeinsam daran teilzunehmen.“

Die Veröffentlichung dieses neuesten Sicherheitssystems für AI durch Nvidia erfolgt vor dem Hintergrund anhaltender Vorfälle im Zusammenhang mit AI-Agenten, die das Interesse der Branche verstärken – insbesondere seit dem Vorfall im Juli, als ein OpenAI-Modell das weltweit bekannte Open-Source-KI-Portal Hugging Face kompromittierte. Seit dem Angriff auf Hugging Face wurden weitere Vorfälle mit OpenAI-Agenten publik, darunter Berichte über einen Fall im September, wo OpenAI-Agenten im Frühling einen lange nicht gepflegten deutschen Wiki übernommen haben. Außerdem erklärte OpenAI Mitte des Monats in einem Blogbeitrag, dass das Unternehmen innerhalb der letzten sechs Monate sechs „ungewöhnliche oder besorgniserregende Verhaltensweisen von Modellen“ registriert hat. Diese sechs neuen AI-Sicherheitsvorfälle umfassen verschiedene abnormale Modellreaktionen, darunter das Verschleiern von Fehlern, das Suchen nach nicht autorisierten Zugangsdaten, das Hochladen von Dateien auf öffentliche Websites sowie Kommunikation zwischen eigentlich getrennten Trainingsumgebungen – der früheste dieser Fälle reicht bis Oktober letzten Jahres zurück.

Mit der Häufung von AI-Sicherheitsvorfällen stehen KI-Unternehmen unter wachsendem Druck, Sicherheitsrisiken ernster zu nehmen. Dario Amodei, CEO von Anthropic, forderte in einem warnenden Artikel am 12. September ein langsameres Vorgehen bei der Entwicklung von fortschrittlichen KI-Modellen. Seine Forderung rief unmittelbar die Resonanz von Musk und Altman, den beiden Schlüsselpersonen, hervor.

Im Gegensatz zu anderen Branchenführern, die ungewöhnlich geschlossen „auf die Bremse treten“, positioniert Nvidia-CEO Jensen Huang sich entschlossen gegen von Anthropic vertretene Pläne zum „AI-Verlangsamung“. Huang wendet sich nicht gegen AI-Sicherheit an sich, sondern gegen den Schluss, dass aus bislang nicht bestätigten Katastrophenszenarien direkt gefolgert wird, der gesamte Sektor müsse pausieren oder verlangsamen. Im Vergleich dazu betrachtet er AI-Sicherheit lieber als ein ingenieurtechnisches Problem. Bei einem Vorfall im Labor sollte zuerst die Ursachenanalyse erfolgen: Was ist geschehen, welche Komponenten haben versagt, welche Maßnahmen hätte man ergreifen können und welche neuen technischen Lösungen und Prozesse gilt es jetzt einzurichten. Mittels Sandbox, kontinuierlicher Überwachung, Verifizierung und Bewertung sollen vergleichbare Probleme künftig schon vor dem nächsten Release abgefangen werden.

Nach Huangs Einschätzung sind heute gerade die fortschrittlichsten Labore besonders risikobehaftet, weil sie über die meiste Rechenleistung verfügen und die schwierigsten Probleme bewältigen. Und da diese Unternehmen vom Forschungslabor zu echten Ingenieurorganisationen werden, brauchen sie entsprechende Test- und Kontrollsysteme.

Wie aus der Einführung des AI-Sicherheitssystems hervorgeht, versucht Nvidia die Sicherheitskompetenz von AI tiefer in die Infrastruktur für Modellbetrieb und Agentenausführung einzubringen und durch Berechtigungsmanagement und Isolation von Abweichungen die Sicherheitsrisiken von AI-Agenten zu reduzieren. Das deutet darauf hin, dass Nvidias Geschäftsfeld sich von AI-Chips weiter in Richtung Software und Sicherheitsinfrastruktur ausdehnt.