أخبار
باحثون يكشفون حيلة بسيطة تدفع روبوتات الذكاء الاصطناعي إلى تجاوز إجراءات الأمان
كشف باحثون من المدرسة الفيدرالية للفنون التطبيقية في لوزان (EPFL) عن ثغرة مثيرة للقلق في أنظمة الذكاء الاصطناعي الوكيلة، يمكن استغلالها لدفع هذه الأنظمة إلى تنفيذ مهام ضارة عادةً ما ترفض القيام بها.
والأمر اللافت أن استغلال هذه الثغرة لا يتطلب مهارات تقنية متقدمة، بل يعتمد بشكل أساسي على الصبر وتقسيم الهدف الضار إلى سلسلة من الطلبات الصغيرة التي تبدو غير مؤذية.
على سبيل المثال، إذا طُلب من وكيل ذكاء اصطناعي اختراق حساب، فمن المرجح أن يرفض تنفيذ الطلب مباشرة.
لكن الدراسة الجديدة أظهرت أن تقسيم الهدف نفسه إلى خطوات صغيرة تبدو منفصلة وغير ضارة قد يدفع الوكيل في النهاية إلى تنفيذ المهمة التي كان سيرفضها صراحةً، بحسب تقرير نشره موقع "digitaltrends
وتشبه هذه النتيجة ما حدث في استغلال حديث أطلق عليه اسم Bioshocking، إذ جرى التلاعب بمتصفحات تعمل بالذكاء الاصطناعي ودفعها إلى التعامل مع سرقة بيانات تسجيل الدخول باعتبارها جزءًا من لعبة تبدو غير ضارة.
كيف كشف الباحثون هذه الثغرة؟
طور الفريق أداة اختبار آلية أطلق عليها اسم STING، وهو اختصار لSequential Testing of Illicit N-step Goal Execution، بهدف محاكاة الطريقة التي قد يتصرف بها مهاجم حقيقي.
وبدلًا من مطالبة النظام مباشرة بتنفيذ هدف ضار، تقوم STING بالتخطيط مسبقًا وتقسيم الهدف إلى سلسلة من الخطوات الصغيرة التي تبدو مشروعة، ثم تنفيذها على مدار عدة جولات من المحادثة.
واختبر الباحثون هذا الأسلوب في 176 سيناريو ضارًا باستخدام مجموعة من أبرز نماذج الذكاء الاصطناعي، بما في ذلك تشات جي بي تي وجيميناي وكلود.
وتعامل الباحثون مع النماذج باعتبارها وكلاء قادرين على استخدام الأدوات وتنفيذ مهام حقيقية متعددة الخطوات، مثل تصفح الإنترنت وإرسال رسائل البريد الإلكتروني وإنجاز عمليات متسلسلة.
تقسيم الطلبات يجعل تجاوز الحماية أكثر نجاحًا
أظهرت النتائج أن أسلوب التلاعب التدريجي متعدد الخطوات كان أكثر نجاحًا بكثير من المحاولات المباشرة التي تعتمد على طلب ضار واحد.
وفي بعض الحالات، كانت النماذج أكثر عرضة بمرتين لتنفيذ المهمة الضارة عندما جرى تقسيمها إلى مجموعة من الخطوات الصغيرة.
وتتوافق هذه النتيجة مع أبحاث أخرى أظهرت أن المستخدمين العاديين يمكنهم أحيانًا تجاوز إجراءات الحماية في أنظمة الذكاء الاصطناعي باستخدام طلبات مصاغة بعناية، دون الحاجة إلى أدوات تقنية متخصصة.
الخطر ليس افتراضيًا
ويرى الباحثون أن المخاوف التي تكشفها الدراسة ليست مجرد سيناريو نظري.
في يونيو الماضي، أقرت "ميتا" بأن مهاجمين تمكنوا من استغلال الهندسة الاجتماعية، وليس برمجيات خبيثة أو أدوات اختراق متقدمة، لخداع مساعد الذكاء الاصطناعي الخاص بالدعم لدى الشركة ومنحه وصولًا غير مصرح به إلى حسابات على "إنستغرام".
وكان الباحثون يتوقعون أيضًا أن تكون مثل هذه الهجمات أكثر فعالية عند استخدام لغات تتوفر لها كميات أقل من بيانات التدريب.
لكن النتائج جاءت مختلفة، إذ ظلت معدلات تنفيذ المهام متقاربة إلى حد كبير عبر اللغات السبع التي اختبرها الفريق.
وظهر استثناء لافت، إذ أدى تغيير اللغة في منتصف الهجوم متعدد الخطوات إلى ارتفاع كبير في معدلات نجاح الهجوم.
إجراءات الأمان يجب أن تبدأ منذ تصميم الوكيل
ويرى الباحث الرئيسي أيوش كومار تارون أن اختبار إجراءات الأمان يجب أن يبدأ في مرحلة مبكرة للغاية، وأن يكون جزءًا أساسيًا من تصميم وكلاء الذكاء الاصطناعي منذ البداية.
ويشير إلى أن إضافة طبقات الحماية بعد ظهور مشكلة أو اكتشاف استغلال جديد لم تعد كافية، خصوصًا مع استمرار هذه الأنظمة في اكتساب قدرات أكبر على تنفيذ مهام حقيقية والتفاعل مع العالم الخارجي.
وتسلط النتائج الضوء على تحدٍ متزايد أمام مطوري وكلاء الذكاء الاصطناعي: فكلما أصبحت هذه الأنظمة أكثر قدرة على تنفيذ سلسلة طويلة من المهام بشكل مستقل، أصبح من الضروري ألا يقتصر تقييم سلامتها على اختبار الطلبات الضارة المباشرة، بل أن يشمل أيضًا الطرق التدريجية وغير المباشرة التي يمكن من خلالها تجميع خطوات تبدو آمنة للوصول إلى هدف خطير.
| لمتابعة أهم وأحدث الأخبار انضموا إلينا عبر قناتنا على واتساب (channel whatsapp) .اضغط هنا
نسخ الرابط :
مقالات أخرى من تصنيف : علوم وتكنولوجيا
