39 دقائق
شركات الذكاء الاصطناعي تحقق في عشرات الآلاف من حوادث نماذجها الأمنية
الأحد، 27 سبتمبر 2026

تجري شركتا OpenAI و"أنثروبيك" Anthropic، إلى جانب باحثين في أمن الذكاء الاصطناعي، تحقيقات في عشرات الآلاف من "حوادث إشكالية" لنماذج الشركتين المتطورة، حسبما نقل موقع "أكسيوس" عن مصادر.
وبحسب الموقع، فإن العدد الكبير من هذه الحوادث، التي وقعت خلال الأشهر الأخيرة في اختبارات داخلية وفي بيئات الاستخدام الفعلي، يشير إلى أن المشكلة أكثر تعقيداً بكثير مما هو معروف علناً حتى الآن.
وأفاد "أكسيوس" بأن النتائج، التي تظهر في إطار أعمال داخلية لتقييم النماذج وفي تحقيقات تجريها الشركتان بشأن سلوكها، تثير تساؤلات حول ما إذا كانت أي منهما، أو أي شركة أخرى تطور نماذج متقدمة، قادرة حالياً على تحقيق سيطرة كاملة على تقنياتها.
وتشمل الوقائع، وفق ما نقل الموقع عن مصادر، تجاوز ضوابط الحماية، وإنشاء لوحات رسائل، والخروج من بيئات الاختبار المعزولة، والسيطرة على مواقع إلكترونية، وإنشاء تعليمات لنفسها، أو محاولة تجاوز أنظمة المراقبة.
وأوضح "أكسيوس" أن هذه الحوادث وقعت خلال اختبارات داخلية وأثناء الاستخدام الفعلي، فيما لم تصبح حالات كثيرة منها معروفة علناً بعد، مع استمرار الباحثين في أمن الذكاء الاصطناعي في التحقيق فيها.
وأضافت المصادر أن بعض هذه الاختبارات تشبه أنشطة "الفريق الأحمر"، وهي اختبارات تهدف إلى اكتشاف نقاط ضعف النماذج ودفعها عمداً إلى التصرف بصورة سيئة للتأكد من سلامتها.
وأشار الموقع إلى أن "السلوك غير المنضبط" للأنظمة الذكية أصبح مرتبطاً بصورة متزايدة بتطوير الذكاء الاصطناعي المتقدم، إذ تواجه أكبر مختبرات الذكاء الاصطناعي تحدياً مماثلاً يتمثل في محاولة البشر وضع ضوابط حماية أمام أنظمة قوية وقادرة على التكيف تسعى إلى إتمام المهام.
وبحسب "أكسيوس"، تتفاوت الحوادث من حيث الخطورة، وهي مماثلة في طبيعتها لما كشفت عنه OpenAI خلال الأيام الأخيرة. وتشمل محاولات ناجحة وأخرى غير ناجحة لتجاوز ضوابط الحماية، فيما لا يُعرف حتى الآن أن معظمها تسبب في أضرار فعلية على أرض الواقع. وتتوقع المصادر أن العدد الإجمالي لهذه الحوادث قد يتجاوز بكثير عشرات الآلاف.
وخلال الأيام الأخيرة، كشفت OpenAI وباحثون من خارجها عن سلسلة من الوقائع المتعلقة بسلوك نماذج الشركة، والتي اعتبرها بعض الخبراء "مثيرة للقلق".
وشملت هذه الوقائع تسريب وكلاء ذكاء اطناعي تطورهم الشركة لـ 53 صورة من مستخدمي ChatGPT على الإنترنت، واختراق موقع حكومي أسترالي، ومحاولات لاختراق مواقع أخرى، من بينها مواقع تابعة للحكومة الأميركية، وفقاً لما ذكرته الشركة وبعض المصادر.
وأعلنت OpenAI تعليق تدريب نماذجها الأكثر قدرة مؤقتاً، مشيرة إلى أنها لن تستأنف التدريب إلا "عندما نكون واثقين من توفر ضمانات إضافية وتحسينات في المواءمة"، وفق ما نقل "أكسيوس" عن متحدث باسم الشركة.
وكتب الرئيس التنفيذي للشركة، سام ألتمان، على منصة "إكس"، أن المراجعة الجارية "لم تكن بالسرعة التي كنا نرغب فيها".
وأضاف ألتمان أن حادثة شركة Hugging Face هي الأخطر التي شهدتها الشركة، ففي تلك الواقعة، نسّقت مجموعة تضم المئات من الأنظمة الذكية عملها عبر لوحة رسائل، واخترقت شركة أخرى في محاولة لتحسين أدائها في اختبار للأمن السيبراني.
ونقل الموقع عن متحدث باسم OpenAI قوله: "يريد الناس معرفة أن الذكاء الاصطناعي يجري تطويره بأمان، وهذا يبدأ بما تفعله شركات مثل شركتنا بنفسها. هذه ليست المرة الأولى التي نوقف فيها العمل مؤقتاً لاتخاذ مثل هذه الإجراءات، ولا نتوقع أن تكون الأخيرة مع استمرار قدرات الذكاء الاصطناعي في التطور".
وفي المقابل، أفاد "أكسيوس" بأن "أنثروبيك" استعانت بمنظمة مستقلة متخصصة في السلامة لفحص سلوك نماذجها، كما كشفت الشركة في وثائق نشرتها علناً عن معدل تكرار حالات "عدم المواءمة"، وهي الحالات التي لا يتوافق فيها سلوك النموذج مع الأهداف أو الضوابط المحددة.
وأظهرت "بطاقة النظام" الخاصة بنموذج Opus 5.5، الذي أصدرته الشركة هذا الأسبوع، عدد المرات التي تصرف فيها النموذج بطرق صنفتها الشركة على أنها غير معتادة أو إشكالية، وفق الموقع.
فعلى سبيل المثال، حاول النموذج الخروج من البيئة المعزولة، وهي بيئة آمنة للاختبار، في 1.5% من جولات الاختبار، رغم تأكيد الشركة أن هذه كانت اختبارات متعمدة لاختبار قدرة النموذج على تجاوز القيود، ولم يكن من الممكن خلالها إنجاز المهمة من دون الخروج من تلك البيئة.
وأفادت مصادر بأن "أنثروبيك" وشركات أخرى تجري مئات الآلاف من عمليات الاختبار على نماذجها، أو أكثر، ما يعني أن حتى نسبة صغيرة من السلوك غير المتوافق قد تؤدي إلى عشرات الآلاف من الحوادث التي تتصرف خلالها النماذج بطرق غير متوقعة وأحياناً مثيرة للقلق.
وأوضح "أكسيوس" أن حادثة Hugging Face، إلى جانب سلسلة من الحوادث الأخرى التي أعقبتها، دفعت مسؤولين تنفيذيين بارزين في مجال الذكاء الاصطناعي إلى الدعوة إلى إبطاء وتيرة التطوير، والمطالبة بلوائح تنظيمية فيدرالية ودولية أكثر صرامة.
وبحسب مصادر نقل عنها الموقع، يرى بعض العاملين في OpenAI، أن حادثة Hugging Face كانت حالة استثنائية، وأن الإفصاحات عن الحوادث المستقبلية من المرجح أن تكون أقل خطورة بفضل تحسين آليات الرقابة والطبيعة غير المعتادة للاختبارات التي أجرتها الشركة، والتي شملت نموذجاً لم يُطرح للجمهور بعد.
وأضاف "أكسيوس" أن باحثين في أمن الذكاء الاصطناعي، يتفقون على أن هناك حلولاً بسيطة يمكن أن تساعد شركات الذكاء الاصطناعي على تجنب بعض الجوانب التي جعلت حادثة Hugging Face تبدو خطيرة للغاية من وجهة نظر المراقبين من الخارج.
ومع ذلك، حذر مسؤولون تنفيذيون آخرون في قطاع الذكاء الاصطناعي وباحثون في مجال السلامة من أن شركات الذكاء الاصطناعي قد لا تتمكن من منع جميع أشكال السلوك المثير للمشكلات من جانب النماذج.
وأشار "أكسيوس" إلى أن المجموعة الجديدة من نماذج الذكاء الاصطناعي تنجز المهام بقدرة استثنائية على التكيف، ما يجعل محاولة الحد من قدرتها على إيجاد الحلول في كثير من الأحيان مهمة صعبة، لأن ذلك يتطلب توقع كل طريقة محتملة قد تستخدمها للخروج عن السيطرة.
وقال مسؤولون تنفيذيون بارزون في قطاع الذكاء الاصطناعي للموقع، إن الأسلوب الذي قد يتيح للنماذج تجاوز ضوابط الأمان والقيود المفروضة عليها غالباً ما يكون أسلوباً لم يخطر ببال البشر من قبل.
ونقل "أكسيوس" عن أحد المسؤولين التنفيذيين في مجال الأمن السيبراني قوله: "محاولة وضع قائمة مثالية بما يجب فعله وما لا يجب فعله ربما تكون مهمة عبثية".
وبحسب الموقع، يُتوقع حدوث قدر من "السلوك غير المتوافق"، وهو المصطلح الذي يستخدمه المتخصصون في أمن الذكاء الاصطناعي، داخل شركات الذكاء الاصطناعي أثناء اختبار نماذجها الجديدة. وقال خبراء لـ"أكسيوس" إن القضاء على مخاطر عدم التوافق بصورة كاملة قد لا يكون ممكناً.
وأوضح الموقع أن مصدر القلق يتمثل في أنه إذا اتخذ نموذج سلوكاً إشكالياً عدة مرات خلال الاختبارات، فمن المرجح أن يتسبب هذا السلوك في حادث سيبراني فعلي.
وقال الباحث كونراد ستوز من شركة "ترانسلوس" Transluce، وهي جهة مستقلة لتقييم الذكاء الاصطناعي، لـ"أكسيوس": "ما رأيناه من سلوك هذه الأنظمة ليس سوى غيض من فيض".
وقال كونور ليهي، الباحث في مجال الذكاء الاصطناعي والمدير التنفيذي لمنظمة ControlAI، للموقع: "الأمر لا يتعلق بمدى الضرر الذي أحدثته كل واقعة على حدة. الشيء الجنوني هو أن هذه الحالات تتضمن أنظمة ذاتية التشغيل تفعل أشياء طُلب منها ألا تفعلها"، بما قد يشمل ارتكاب جرائم.
Loading ads...
واختتم الموقع تقريره بالإشارة إلى توقع ظهور إفصاحات جديدة عن السلوك غير المنضبط للنماذج مع استمرار شركات الذكاء الاصطناعي في توسيع قدرات النماذج المتطورة.
لقراءة المقال بالكامل، يرجى الضغط على زر "إقرأ على الموقع الرسمي" أدناه
اقرأ أيضاً

بروتين أقل لعمر أطول.. العلم يضع شروطا مهمة
منذ دقيقة واحدة
0



