أعلنت شركة «إنفيديا» إطلاق منصة أمنية جديدة تهدف إلى وضع حدود لوكلاء الذكاء الاصطناعي ومراقبة تحركاتهم، في وقت تتزايد فيه المخاوف من قدرة بعض الأنظمة المتقدمة على تجاوز بيئات التشغيل المخصصة لها والوصول بصورة مستقلة إلى أنظمة أخرى.
وأوضحت الشركة أن منصة «أوبن إيجنت سيفتي» (Open Agent Safety Platform) تجمع بين أدوات برمجية وحلول تعتمد على العتاد، بهدف فرض قيود على الصلاحيات التي يمتلكها وكلاء الذكاء الاصطناعي ومراقبة سلوكهم والتدخل عند محاولة تجاوز الحدود المحددة لهم.
وقال جاستن بويتانو، نائب رئيس الذكاء الاصطناعي للمؤسسات في «إنفيديا»، إن المنصة كان بإمكانها منع الاختراق الذي تعرضت له منصة «هاغينغ فيس» (Hugging Face) مؤخرًا، لو كانت مستخدمة خلال مراحل مبكرة من تقييم نماذج الذكاء الاصطناعي.
وأضاف بويتانو أن النظام الجديد صُمم للتعامل مع المخاطر المرتبطة بالوكلاء القادرين على تنفيذ مهام بصورة مستقلة، موضحًا أن الهدف يتمثل في توفير طبقة حماية خارج النموذج نفسه، بحيث لا تعتمد إجراءات الأمان على تعليمات النموذج فقط.
«أوبن شيل» يفرض حدود الوكلاء
وتتضمن المنصة مكونًا مفتوح المصدر يحمل اسم «أوبن شيل» (OpenShell)، يعمل كبيئة تشغيل آمنة لوكلاء الذكاء الاصطناعي، ويتيح للمطورين تحديد الملفات والشبكات والأدوات والبيانات التي يمكن للوكيل الوصول إليها.
وبحسب «إنفيديا»، يساعد النظام على التحقق من امتلاك الوكيل الصلاحيات اللازمة لتنفيذ المهمة الموكلة إليه، من دون منحه صلاحيات إضافية يمكن استخدامها خارج نطاق المهمة.
كما يمكن تشغيل «أوبن شيل» على بنى حوسبة تعتمد على معالجات من «إنفيديا» وشركات أخرى، بينها «إنتل» و«آرم»، وفق الشركة.
أما المكون الثاني، فيحمل اسم «سينتري» (Sentry)، وهو نظام مراقبة منفصل يعمل على عتاد مخصص، لمتابعة نشاط وكلاء الذكاء الاصطناعي بصورة مستمرة.
وقالت «إنفيديا» إن «سينتري» يمكنه التدخل لعزل الوكيل أو إيقافه عند رصد سلوك يتجاوز الحدود الأمنية المحددة، فيما أوضح بويتانو أن «أوبن شيل» يتولى إدارة تصرفات الوكيل، بينما تراقب «سينتري» السلوك المشبوه وتعمل على احتوائه بصورة مستقلة.
وأضاف علي غولشان، المدير الأول لبرمجيات الذكاء الاصطناعي في «إنفيديا»، أن الأدوات الجديدة تستهدف أيضًا التعامل مع سلوكيات أكثر تعقيدًا، بما فيها محاولة الوكيل إنشاء وكلاء فرعيين متعددين للالتفاف على القيود المفروضة عليه.
حوادث تعيد مخاوف
ويأتي إطلاق المنصة في أعقاب سلسلة حوادث مرتبطة بوكلاء ذكاء اصطناعي تمكنوا، خلال اختبارات أو عمليات تشغيل، من تجاوز بعض إجراءات الحماية والوصول إلى أنظمة أخرى.
وكانت «أوبن إيه آي» قد كشفت عن حوادث مرتبطة باختبارات أمنية لنماذجها، فيما أعلنت شركات أخرى، بينها «أنثروبيك» و«ميتا»، عن حوادث أظهرت قدرة أنظمة ذكاء اصطناعي على تنفيذ عمليات بصورة مستقلة خارج نطاق المهام المتوقعة.
وأثارت هذه التطورات نقاشًا متزايدًا حول كيفية تأمين الوكلاء القادرين على تنفيذ سلسلة من المهام دون تدخل بشري مستمر، خصوصًا مع توسع استخدامهم في البرمجة والبحث والوصول إلى المواقع والأنظمة الرقمية.
وفي هذا السياق، تقول «إنفيديا» إن فرض قيود أمنية من خارج نموذج الذكاء الاصطناعي يمكن أن يوفر طبقة إضافية للحماية، بدل الاعتماد على إجراءات الأمان الموجودة داخل النموذج أو التطبيق وحدها.
وأعلنت الشركة أن أكثر من 100 مؤسسة شاركت في استخدام أو اختبار تقنيات المنصة، بينها شركات ومؤسسات تقنية كبرى، فيما تعمل «إنفيديا» مع شركاء في قطاع الحوسبة لتوسيع نطاق تشغيل هذه الأدوات.
وتطرح الشركة مكونات المنصة البرمجية، وبينها «أوبن شيل»، بصورة مفتوحة المصدر، بينما تقدم «سينتري» بوصفه تصميمًا مرجعيًا يمكن تطوير حلول تجارية استنادًا إليه.
ويأتي ذلك في وقت يتجه فيه استخدام وكلاء الذكاء الاصطناعي إلى التوسع في تنفيذ مهام تتطلب الوصول إلى البيانات والأنظمة الرقمية، ما يجعل ضبط الصلاحيات ومراقبة السلوك جزءًا متزايد الأهمية من البنية الأمنية لهذه التقنيات.
المصدر: وكالات.
