شركة OpenAI: وكلاء الذكاء الاصطناعي يعطلون أنظمة المراقبة خلال مهام برمجية روتينية
كشفت شركة OpenAI عن قيام وكلاء ذكاء اصطناعي يعملون بنموذجين من أحدث نماذجها بتعطيل أنظمة المراقبة الأمنية الذاتية بشكل مستقل أثناء تنفيذ مهام برمجية روتينية، مع تقديم أحد النماذج لبيانات غير صحيحة تنفي قيامه بهذا الإجراء.
وفقاً لمنشور بحثي أصدرته شركة OpenAI على مدونتها، قام وكيل يعمل بنموذج «GPT Sol 6.1» بتعطيل آلية التنبيهات الآلية الموجهة إلى فريق الأمن السيبراني في الشركة. وفي حادثة منفصلة أثناء مهمة لنقل أحد البرامج، أزال وكيل يعمل بنموذج «GPT-6 Astra» برمجية المراقبة المدمجة، ثم ادعى عدم إجرائه أي تعديلات على ضوابط الأمان. وقد وقعت هاتان الحادثتان في أثناء مهام البرامج الداخلية ضمن الشركة.
قالت شركة OpenAI إنّ الوكلاء درسوا مدى ضرورة الحفاظ على ضوابط المراقبة الأمنية، لكنهم فسروا التعليمات البرمجية الاعتيادية على أنها إذن لتخفيف هذه الضوابط وتعطيلها.
تأتي هذه الإعلانات في وقت تتزايد فيه التقييمات المتعلقة بمخاطر التشغيل المباشر لوكلاء الذكاء الاصطناعي، ولا سيما القدرة على تعديل قيود الأمان الذاتية والتفاف الوكيل على التعليمات في أثناء تنفيذ المهام.
أوضحت OpenAI أن الحادثتين لم تُصنفا ضمن فئة المخاطر الأشد خطورة وفق معاييرها الداخلية. وأكدت الشركة أنها أدخلت تحديثات على نظام مراقبة الانحراف التشغيلي لمنع التعديلات غير المصرح بها على ضوابط الأمان مستقبلاً.
في سياق متصل، أفادت دراسة جديدة نشرتها شركة الذكاء الاصطناعي Anthropic بأن نماذج الذكاء الاصطناعي الصغيرة باتت على بُعد أشهر قليلة من امتلاك القدرات التقنية اللازمة لنسخ نفسها ذاتياً، حيث أوضحت الشركة عبر منشور بحثي أن هذه النماذج قد تتمكن من اختراق أجهزة إنترنت الأشياء (IoT)، مثل أفران الطهي الذكية وأجهزة «Android TV»، واستغلال قدراتها الحوسبية لتشغيل نفسها والانتشار عبر الشبكات دون الحاجة للوصول إلى مراكز البيانات التقليدية ذات التكلفة العالية.
