وكيل OpenClaw يتجاهل التعليمات ويحذف صندوق بريد مسؤولة في شركة ميتا

أثارت حادثة تقنية حديثة نقاشًا واسعًا حول حدود وكلاء الذكاء الاصطناعي مفتوحي المصدر، بعدما قامت أداة OpenClaw بحذف محتوى صندوق بريد مديرة قسم المواءمة في شركة ميتا، رغم تلقيها تعليمات صريحة بالتوقف. واضطرت المسؤولة إلى إنهاء العمليات يدويًا على الجهاز لإيقاف الأداة ومنعها من مواصلة حذف البيانات.OpenClaw يتجاهل تعليمات التوقف ويحذف بريد مسؤولة في Meta بالكامل.الحادثة كشفت قيود نافذة السياق في النماذج اللغوية.المسؤولة اضطرت لإنهاء العمليات يدويًا لوقف الحذف.توسع النقاش حول أمان وكلاء الذكاء الاصطناعي.قامت سمر يو، مديرة المواءمة في مختبرات الذكاء الفائق التابعة للشركة، بتشغيل أداة OpenClaw على جهاز Mac Mini لتنفيذ مجموعة من المهام، من بينها أرشفة رسائل بريد إلكتروني قديمة. وطلبت خلال جلسة العمل من الأداة فحص صندوق بريد آخر واقتراح ما يمكن أرشفته أو حذفه، مع توجيه واضح بعدم تنفيذ أي إجراء قبل الحصول على موافقة منها. غير أن الأداة بدأت لاحقًا بحذف كامل محتويات ذلك الصندوق، الذي تبين أنه بريد شخصي.أسباب الخلل التقني في OpenClawأصدرت المسؤولة أوامر متكررة بالتوقف مستخدمة عبارات مختلفة، إلا أن الأداة واصلت تنفيذ المهمة. حتى توجهت في النهاية إلى الجهاز لإنهاء العمليات المرتبطة بالأداة يدويًا، ما أوقف عملية الحذف. وبعد السيطرة على الموقف، سألت الأداة عن سبب تجاهل التعليمات السابقة، فقدمت أداة OpenClaw ردًا اعتذاريًا، وأقرت بأن من حقها الشعور بالانزعاج، وأوضحت أنها ستضيف هذا التوجيه كقاعدة دائمة ضمن ملف الذاكرة الخاص بها.أعادت الواقعة تسليط الضوء على مفهوم نافذة السياق في نماذج اللغة الكبيرة. تحتفظ هذه النماذج بسجل محدود من البيانات ضمن الجلسة الواحدة، يشمل المحادثة وكل المعلومات التي تعالجها أثناء التنفيذ. ومع امتلاء هذه النافذة، تُجرى عملية ضغط تُعرف بالتصغير أو الدمج، تؤدي إلى تقليص البيانات السابقة بطريقة قابلة للفقد. ومع كل عملية ضغط، تصبح التفاصيل القديمة أقل وضوحًا في ذاكرة النموذج.أدى الحجم الكبير لصندوق البريد إلى ملء نافذة السياق، ما تسبب في عملية ضغط متكررة للمحتوى. ونتيجة لذلك، تراجعت دقة استحضار التعليمات الأولى المتعلقة بعدم تنفيذ أي إجراء قبل الموافقة. واصلت الأداة تنفيذ مهمتها الأساسية، وهي تنظيم البريد، من دون أن تحافظ على الشرط المرتبط بالتوقف المؤقت لحين التأكيد.أشار عدد من المعلقين إلى أن التعليمات المتعلقة بعدم التنفيذ بقيت ضمن سياق المحادثة الرئيسة، وهو ما يجعلها عرضة للفقدان مع توسع البيانات الداخلة في المعالجة. واقترح بعضهم تضمين هذه القواعد في ملفات مخصصة دائمة مثل MEMORY.md، حيث تبقى المعلومات الأساسية محفوظة خارج نطاق الضغط السياقي.فيما ذهب آخرون إلى اقتراح حلول إضافية، مثل توسيع نافذة السياق أو تقليص نطاق الصلاحيات الممنوحة للأداة لتقليل أثر أي خطأ محتمل.مخاطر وكلاء الذكاء الاصطناعيتناولت النقاشات أيضًا مخاطر تتعلق بإطلاق وكلاء ذكاء اصطناعي على بيانات حساسة. تعتمد هذه الأنظمة على احتمالات إحصائية في توليد القرارات، ما يجعل سلوكها قابلًا للتغير تبعًا للسياق. أشار بعض المتابعين إلى احتمال تعرض صندوق البريد لرسائل تتضمن ما يُعرف بهجمات حقن الأوامر، حيث يمكن لمحتوى خبيث داخل رسالة أن يوجه الوكيل لتنفيذ إجراءات غير مرغوبة، خصوصًا عند ربطه بخدمات متعددة.لفتت التعليقات إلى أن OpenClaw يتضمن أمر توقف مبرمج مسبقًا يمكن استخدامه لإيقاف العمليات، غير أن الاعتماد على الرسائل النصية وحدها في سياق طويل يظل عرضة لتأثيرات الضغط السياقي. أقرت المسؤولة بأن ما حدث يمثل خطأ ناتج عن قدر من الاطمئنان الزائد إلى سلوك الأداة، وأوصت بضرورة توخي الحذر عند التعامل مع بيانات شخصية أو حساسة عبر وكلاء مستقلين.تؤكد تلك الحادثة حالة الاهتمام المتزايد بأدوات OpenClaw، التي اكتسبت شعبية واسعة بين المهتمين بالتقنيات مفتوحة المصدر. كما أدى الإقبال عليها إلى استخدام مكثف لأجهزة صغيرة مثل Mac Mini لتشغيلها محليًا وربطها بخدمات متعددة. بجانب ذلك، أظهرت التجربة أن القدرة على تنفيذ مهام واسعة النطاق تحتاج إلى ضوابط دقيقة وإعدادات واضحة تحافظ على أمان البيانات.كشفت الواقعة حدود الاعتماد الكامل على الذاكرة السياقية في إدارة الأوامر الحساسة. وأبرزت أهمية تصميم آليات أمان دائمة خارج إطار المحادثة اللحظية، إضافة إلى تحديد نطاق الصلاحيات وتفعيل آليات مراقبة مستقلة. أسهم النقاش المصاحب في توسيع الوعي بالمخاطر التقنية المرتبطة باستخدام وكلاء ذكاء اصطناعي في بيئات إنتاجية تتضمن بيانات شخصية.من وجهة نظري، أرى أن هذه التطورات تؤكد أن التقدم في قدرات النماذج اللغوية يواكبه تحدٍ مستمر في إدارة السياق والذاكرة. تُظهر التجربة أن الخطأ التقني قد ينشأ من تفاعل عوامل متعددة، تشمل حدود الذاكرة المؤقتة، وحجم البيانات، وطبيعة التعليمات. كما تُسهم الحادثة في إعادة طرح التساؤلات حول أفضل الممارسات عند نشر أدوات ذكية في مهام تتطلب درجة عالية من الدقة والانضباط.