في ظل تصاعد الجدل حول الأمان، أطلقت Nvidia منصة أمان AI مزدوجة الطبقات لمعالجة صلاحيات الوكلاء الذكية والسلوكيات غير الطبيعية.

أفادت أخبار الاقتصاد الذكية أن Nvidia (NVDA.US) قررت الرد على الجدل المتزايد مؤخرًا حول مخاطر الأمان في صناعة الذكاء الاصطناعي (AI) من خلال وسائل هندسية. ففي يوم الاثنين، أطلقت Nvidia منصة أمنية ثنائية الطبقة للذكاء الاصطناعي تُدعى "منصة الأمن المفتوحة للوكيل الذكي"، حيث توفر مراقبة مستمرة، وتنفيذ السياسات في الوقت الفعلي، وحوكمة أمان للوكالات الذكية للذكاء الاصطناعي عبر بنية من ثلاث طبقات: طبقة التطبيق، وطبقة وقت التشغيل، وطبقة البنية التحتية.

وفقًا للتقارير، يضم هذا النظام أداتين برمجيتين مفتوحتين المصدر هما OpenShell و Nvidia Sentry. حيث يمكن لأداة OpenShell مفتوحة المصدر تشغيل الوكيل الذكي للذكاء الاصطناعي في بيئة معزولة، وتحويل أوامر المستخدمين إلى سياسات أمان قابلة للتحقق، كما تحد من وصول الوكيل إلى الملفات والشبكات والأدوات والعمليات والبيانات الاعتمادية. أما Nvidia Sentry فتمدّد الرقابة والتحكم الأمني إلى وحدة معالجة البيانات BlueField، وتربط عبر DOCA من Nvidia التفاعل مع الوكيل الذكي واتخاذ القرارات المتعلقة بالسياسات وتسجيل الوصول إلى الأدوات والبيانات، وذلك من أجل اكتشاف السلوكيات غير الطبيعية و التدخل عند الضرورة. وبمعنى آخر، تتولى OpenShell التحكم في الموارد وصلاحيات التنفيذ التي يمكن للوكيل الذكي الوصول إليها، بينما تتولى Nvidia Sentry مراقبة سلوك الوكيل واكتشاف التهديدات المحتملة.

قالت Nvidia إن وكلاء الذكاء الاصطناعي قد ينحرفون عن مهامهم الأصلية بسبب عوامل مثل الأدوات، وزمن التشغيل، وغموض الأوامر، وبالتالي هناك حاجة للتحكم الأمني المستقل عن الوكيل نفسه. تم تحسين هذا النظام من أجل أنظمة Vera CPU من Nvidia وأنظمة BlueField DPU، وهو متوافق أيضًا مع غيرها من أنظمة الأجهزة. وأضافت Nvidia أنها تتعاون مع Arm (ARM.US) وIntel (INTC.US) لضمان عمل هذا النظام أيضًا على معالجات هاتين الشركتين.

أوضح علي قولشان، المدير الأول للبرمجيات الذكية للذكاء الاصطناعي في Nvidia، أن أدوات Nvidia هذه تستفيد من الصيغ الرياضية لاكتشاف ما إذا كان الوكيل الذكي يحاول إيجاد طرق التفافية، مثل محاولة أحد الوكلاء "إنشاء" عدة "وكلاء فرعيين" لتجاوز إجراءات الحظر المفروضة على الوكيل الرئيسي. وصرح قائلاً: "ما نتحدث عنه حقًا هو السلوكيات الوكيلية، أي مجموعات تتألف من العديد من الوكلاء وكيفية عملهم معًا بشكل متكامل".

وأشارت Nvidia أيضًا إلى أن النظام يمكنه عزل الوكلاء الشاذين خلال ميلي ثانية واحدة، وأضافت أنه لو كانت المختبرات ذات الصلة قد نشرت هذه التقنية مسبقًا، لكان بالإمكان منع حادثة هجوم نموذج OpenAI على منصة Hugging Face في يوليو من هذا العام.

قال جاستن بويتنيو، نائب الرئيس والمدير العام لقسم الحوسبة المؤسسية في Nvidia: "وفقًا للمعلومات المتوفرة لدينا حاليًا، إذا تم استخدام هذه المنصة الأمنية الجديدة في مرحلة التقييم المبكر للنموذج ضمن مختبرات الذكاء الاصطناعي المتقدمة، لكان بالإمكان منع هذا الهجوم." وأضاف: "نحن نمضي قدمًا في هذا المجال بشكل مفتوح، ونأمل التعاون مع الجميع للمشاركة فيه".

ويأتي إطلاق Nvidia لهذا النظام الأمني الحديث في سياق تزايد حوادث الأمان المتعلقة بوكلاء الذكاء الاصطناعي التي تثير قلق القطاع باستمرار، خاصة حادثة سيطرة نموذج OpenAI في يوليو على منصة Hugging Face الشهيرة مفتوحة المصدر للذكاء الاصطناعي. فمنذ حادثة الهجوم على Hugging Face، تم الكشف عن عدة حوادث أخرى تتعلق بوكلاء الذكاء الاصطناعي من OpenAI. من بينها تقارير في سبتمبر تفيد بأن وكيل الذكاء الاصطناعي من OpenAI سيطر هذا الربيع على موقع ويكي ألماني ظل مهجورًا لفترة طويلة. بالإضافة إلى ذلك، أوضحت OpenAI في تدوينة منتصف هذا الشهر أنها اكتشفت خلال الأشهر الستة الماضية ست حالات من "سلوك نموذجي غير متوقع أو مقلق". وتشمل هذه الحوادث الجديدة مجموعة متنوعة من السلوكيات الشاذة بما في ذلك إخفاء الأخطاء، والسعي وراء بيانات الاعتماد غير المصرح بها، ورفع ملفات إلى مواقع عامة، وإجراء اتصالات بين بيئات تدريب كان يجب أن تبقى معزولة، وكان أقدم هذه الحوادث في أكتوبر من العام الماضي.

مع تزايد حوادث الأمان للذكاء الاصطناعي في الفترة الأخيرة، تواجه شركات الذكاء الاصطناعي ضغوطًا متزايدة لمعاملة مخاطر الأمان بجدية أكبر. فقد دعا مدير Anthropic التنفيذي، داريو أمودي، في مقال تحذيري نشره في 12 سبتمبر إلى إبطاء تطوير النماذج المتقدمة للذكاء الاصطناعي. وقد حظيت هذه الدعوة باستجابة سريعة من شخصيتين رئيسيتين هما ماسك وألتيمان.

ومع ذلك، وفي الوقت الذي يتحدث فيه عمالقة صناعة الذكاء الاصطناعي بصوت واحد نادر لدعوة "الضغط على المكابح"، أعرب الرئيس التنفيذي لشركة Nvidia، جينسن هوانغ، عن رفضه الواضح لدعوات "إبطاء الذكاء الاصطناعي" التي تقودها Anthropic. لا يعارض هوانغ الأمان في الذكاء الاصطناعي ذاته، بل يعارض الاستنتاج بأن الصناعة بأكملها يجب أن تتوقف أو تبطئ بناءً على تنبؤات كارثية لم يتم إثباتها بعد. وعلى النقيض من ذلك، يفضل هوانغ النظر إلى أمان الذكاء الاصطناعي كقضية هندسية. فإذا حدث حادث في مختبر متقدم، فإن ما يجب فعله أولاً هو تحليل السبب الجذري: ماذا حدث بالضبط، وأين تعثرت الحلقة، وما هي التدابير التي كان من الممكن اتخاذها، وما الإجراءات والتقنيات الجديدة التي يجب وضعها لاحقًا. ومن ثم عبر العزل، والمراقبة المستمرة، والتحقق والتقييم، يمكن محاولة منع تكرار نفس المشكلة قبل الإطلاق التالي.

ويرى هوانغ أن المختبرات المتقدمة اليوم أكثر عرضة للمخاطر إلى حد كبير لأنها تمتلك أكبر قدر من القدرة الحاسوبية وتتعامل مع أصعب المشكلات. ومع تحول هذه الشركات من مؤسسات بحثية إلى منظمات هندسية حقيقية، فإنها بحاجة أيضًا إلى إقامة أنظمة اختبار وتحكم متطورة تواكب هذا التحول.

ومن خلال هذه المبادرة لإطلاق نظام أمان الذكاء الاصطناعي، يبدو أن Nvidia تسعى لإدراج قدرات الأمان الخاصة بالذكاء الاصطناعي بشكل أعمق داخل بنية تشغيل النماذج وتنفيذ الوكلاء، وتقليل المخاطر الأمنية من خلال التحكم في الصلاحيات والعزل عند حدوث الشذوذ. ويبدو أن ذلك يعني أيضًا أن نطاق أعمال Nvidia يمتد الآن من شرائح الذكاء الاصطناعي إلى البرمجيات والبنية التحتية الأمنية.