روبوت دعم فني لشركة تقنية يتمرد على مشغليه ويتسبب بأزمة كبيرة وقصة تحذيرية من الأتمتة دون حساب
⬤ تسبب روبوت الدعم البرمجي Cursor بأزمة حادة باختراعه سياسة وهمية، وخلق حالة من البلبلة وخسارة في الاشتراكات.
⬤ أكدت الحادثة مخاوف الخبراء من ظاهرة «الهلوسة» في الذكاء الاصطناعي وعدم دقة ردوده التلقائية، وامتعاض المستخدمين من جراء ذلك.
⬤ حذر مختصون من الاعتماد العشوائي على وكلاء الذكاء الاصطناعي، وحذروا من الأضرار المحتملة لذلك، داعين لضرورة حل مشكلة الهلوسة.
في واقعة تسلط الضوء على حدود تقنيات الذكاء الاصطناعي الراهنة، تعرضت أداة البرمجة المدعومة بالذكاء الاصطناعي Cursor لهزة قوية الأسبوع الماضي، بعدما اخترع روبوت الدعم الفني التابع لها سياسة وهمية للشركة، ما أثار حالة من البلبلة بين المستخدمين وأدى إلى إلغاء بعض الاشتراكات، في مشهد يعكس المخاوف المتزايدة من الاعتماد المفرط على الأتمتة في القطاع التقني.
بدأت الأزمة عندما لاحظ عدد من مستخدمي Cursor، الأداة المخصصة لمساعدة المطورين في إنشاء الأكواد البرمجية وتصحيحها، تسجيل الخروج من جلساتهم تلقائياً من التطبيق عند استخدام اشتراكهم على أكثر من جهاز. وسعياً لفهم ما يجري، تواصل المستخدمون مع خدمة الدعم الفني. فجاءهم الرد من شخص يدعى «سام،» أكد لهم بثقة أن ما حدث هو سلوك متوقع بموجب سياسة جديدة صارمة لتسجيل الدخول.
لكن ما اتضح لاحقاً أن هذه السياسة لم تكن سوى «هلوسة» من روبوت الدعم المعتمد على الذكاء الاصطناعي، ولا وجود فعلي لها في وثائق Cursor، ولا حتى في سجل سياسات الشركة الأم، Anysphere. أما «سام،» فتبين أنه شخصية وهمية بالكامل.
انتشر الخبر بسرعة في أوساط المطورين على منصات مثل Hacker News وReddit، وبدأت موجة من الانتقادات الحادة والاشتراكات الملغاة، وسط اتهامات للشركة بانعدام الشفافية.
تأتي هذه الأزمة في وقت حساس بالنسبة لشركة Anysphere الناشئة، التي أُطلقت أداة Cursor عام 2023 وحققت منذ ذلك الحين عوائد سنوية تقدر بنحو 100 مليون دولار، وسط حديث عن تقييمات سوقية تصل إلى 10 مليارات دولار، واهتمام سابق بالاستحواذ عليها من قبل OpenAI.
من جانبه، سارع الشريك المؤسس في Anysphere، مايكل ترويل إلى احتواء الموقف، فنشر اعتذاراً علنياً على كل من Reddit وHacker News قائلاً: «لا توجد لدينا أي سياسة من هذا النوع، وبالطبع يحق لك استخدام Cursor على عدة أجهزة. ما حدث كان نتيجة رد غير صحيح من روبوت الذكاء الاصطناعي المعني بالدعم الفني.»
كما أوضح ترويل أن شركته تستخدم الذكاء الاصطناعي كخط دفاع أولي في الردود عبر البريد الإلكتروني، وأن المشكلة الأساسية في تسجيل الخروج كانت ناجمة عن خلل تقني منفصل، يتعلق ببطء الاتصال ووضعية تُعرف «بحالة التسابق،» وقد تم إصلاحها لاحقاً. وأكد أن المستخدم الذي أثار القضية حصل على تعويض، مشيراً إلى أن جميع الردود المدعومة بالذكاء الاصطناعي أصبحت الآن تحمل إشارة واضحة بذلك. وأشار أيضاً إلى إمكانية الاطلاع على الجلسات النشطة عبر واجهة الإعدادات.
لكن رغم هذه التوضيحات، اعتبر بعض المراقبين أن رد الشركة جاء «متأخراً جداً، وضعيف الأثر،» مما ترك انطباعاً بأن Cursor لم تكن مستعدة بما فيه الكفاية.
في تعليقات لاحقة من خبراء تقنيين، أُثيرت تساؤلات حول جدوى الاعتماد على الذكاء الاصطناعي في أقسام الدعم الفني. فالعديد من النماذج تعتمد على توليد نصوص تبدو معقولة لكنها غير دقيقة وهي ظاهرة تُعرف بـالهلوسة. ووفقاً لدراسة نُشرت في مجلة Nature في وقت سابق من هذا العام، فإن السيطرة على هذه الظاهرة ممكنة لكنها يتعذر تحييدها بالكامل.
من جانبه، حدد ماركوس ميريل، المستشار التقني في Sauce Labs، مشكلتين رئيسيتين: «الهلوسات، والنتائج غير الحتمية.» وشرح أن الطبيعة غير الحتمية لهذه النماذج تعني أن المستخدمين قد يحصلون على إجابات مختلفة لنفس السؤال، مما يؤدي إلى ارتباك واضح كما حدث في حالة Cursor. وقال: «هذا غير مقبول تماماً في بيئة الدعم الفني.» مضيفاً أن مجرد الإشارة إلى أن الرد تم بواسطة ذكاء اصطناعي لا يعد كافياً لاستعادة ثقة المستخدمين.
أما كاسي كوزيركوف، المستشارة في مجال الذكاء الاصطناعي والرئيسة السابقة لعلم اتخاذ القرار في Google، فقد وصفت الحادثة بأنها «فوضى فيروسية كان من الممكن تفاديها لو أن قادة الشركات أدركوا محدودية الذكاء الاصطناعي، وعجزه عن تحمل المسؤولية، وكراهية المستخدمين للشعور بأن آلة تخدعهم وتتنكر في هيئة إنسان.»
أعادت الحادثة إلى الأذهان إخفاقات مماثلة، منها ما واجهته Air Canada عندما اخترع روبوتها سياسة استرداد أموال وهمية، وما مرت به Klarna من شكاوى بعد محاولتها استبدال موظفي الدعم بروبوتات الذكاء الاصطناعي.
في حين تركزت الحادثة حول روبوت دعم فني، يحذر الخبراء من أخطار أعمق مع بدء الشركات بنشر وكلاء ذكاء اصطناعي أكثر استقلالية وقدرة على اتخاذ قرارات ذاتية. وفي هذا السياق، وصف عمرو عوض الله، الرئيس التنفيذي لشركة Vectara، ما حدث مع Cursor بأنه «السيناريو الأسوأ الذي كنا نخشى حدوثه.» مشدداً على أن إغراء تقليل التكاليف التشغيلية لا يجب أن يطغى على الإلمام بالخطر الحقيقي والذي قد يتمثل في صورة «حادثة واحدة تجمع بين الهلوسة وآلية تدميرية قد تؤثر جذرياً على النشاط التجاري،» خاصة في القطاعات الخاضعة لتنظيم صارم كالمجالات المالية والصحية. واختتم قائلاً إن حل مشكلة الهلوسة «جزء محوري لا بد من معالجته» قبل الوثوق ثقة تامة في الذكاء الاصطناعي الوكيل المستقل.
