الذكاء الاصطناعي في العمل.. خطر التعقيد يتجاوز قدرة البشر على الفهم

مع تزايد اعتماد عالم الأعمال على الذكاء الاصطناعي، قد يكمن الخطر الأكبر في عجز القائمين على الاقتصاد عن مواكبة التطورات. فمع ازدياد تعقيد أنظمة الذكاء الاصطناعي، يعجز البشر عن فهمها أو التنبؤ بها أو التحكم بها بالكامل.

عالم الأعمال والذكاء الاصطناعي

قد يصعّب العجز عن فهم مسار نماذج الذكاء الاصطناعي في السنوات القادمة على المستوى الأساسي على المؤسسات التي تستخدم الذكاء الاصطناعي توقع المخاطر ووضع الضوابط اللازمة.

″نحن نستهدف بشكل أساسي هدفًا متحركًا”، هذا ما قاله ألفريدو هيكمان، كبير مسؤولي أمن المعلومات في شركة أوبسيديان سيكيوريتي.

ويقول إن تجربة حديثة خاضها مع مؤسس شركة تعمل على بناء نماذج الذكاء الاصطناعي الأساسية أصابته بالصدمة. ”عندما أخبروني أنهم لا يفهمون أين ستكون هذه التقنية في العام أو العامين أو الثلاثة أعوام القادمة. حتى مطورو التكنولوجيا أنفسهم لا يفهمون ولا يعرفون أين ستكون هذه التكنولوجيا”.

مع ربط المؤسسات لأنظمة الذكاء الاصطناعي بعملياتها التجارية الواقعية للموافقة على المعاملات، وكتابة البرامج، والتفاعل مع العملاء، ونقل البيانات بين المنصات. فإنها تواجه فجوة متزايدة بين توقعاتها لسلوك هذه الأنظمة وأدائها الفعلي بعد نشرها.

لكن سرعان ما تكتشف أن الذكاء الاصطناعي ليس خطيرًا لكونه مستقلًا، بل لأنه يزيد من تعقيد النظام بما يفوق قدرة الإنسان على الفهم.

في الوقت نفسه ″لا تفشل الأنظمة المستقلة دائمًا بشكل واضح. غالبًا ما يكون الفشل صامتًا وعلى نطاق واسع” كما قال نويه راموس، نائب رئيس عمليات الذكاء الاصطناعي في شركة Agiloft، وهي شركة تقدم برامج لإدارة العقود. كما يقول إنه عندما تحدث الأخطاء، يمكن أن ينتشر الضرر بسرعة، وأحيانًا قبل وقت طويل من إدراك الشركات أن هناك خطأ ما.

وأضاف: ”قد يتفاقم الأمر قليلًا ليصبح عدوانياً، مما يعيق سير العمليات، أو قد يؤدي إلى تحديث السجلات بأخطاء بسيطة. تبدو هذه الأخطاء طفيفة، لكنها تتراكم على مدى أسابيع أو أشهر، لتُسبب عبئًا تشغيليًا، وتُعرض الامتثال للخطر، وتُزعزع الثقة. ولأن الأمور لا تتعطل فجأة، فقد يستغرق الأمر وقتًا قبل أن يُدرك أحد حدوث ذلك”.

في إحدى الحالات، وفقًا لجون بروجمان، كبير مسؤولي أمن المعلومات في شركة CBTS المتخصصة في حلول التكنولوجيا، فشل نظام يعمل بالذكاء الاصطناعي لدى إحدى شركات تصنيع المشروبات في التعرف على منتجاتها بعد أن طرحت الشركة ملصقات جديدة خاصة بالأعياد.

ولأن النظام فسر العبوة غير المألوفة على أنها إشارة خطأ، فقد تسبب ذلك في تشغيل دفعات إنتاج إضافية بشكل متكرر. وبحلول الوقت الذي أدركت فيه الشركة ما يحدث. كان قد تم إنتاج مئات الآلاف من العلب الزائدة. لقد تصرف النظام بشكل منطقي بناءً على البيانات التي تلقاها، ولكن بطريقة لم يتوقعها أحد.

قال بروغمان: ”لم يتعطل النظام بالمعنى التقليدي”. بل كان يستجيب لظروف لم يتوقعها المطورون. وأضاف: ”هذا هو الخطر. هذه الأنظمة تفعل بالضبط ما أمرتها به، وليس فقط ما قصدته”.

مخاطر الذكاء الاصطناعي في عالم الأعمال

سوجا فيسويسان، نائبة رئيس قسم الأمن السيبراني للبرمجيات في شركة آي بي إم، أفادت الشركة بأنها رصدت حالةً بدأ فيها موظف خدمة عملاء آلي بالموافقة على عمليات استرداد الأموال خارج نطاق سياسات الشركة. أقنع أحد العملاء النظام بمنحه المبلغ المسترد، ثم ترك تقييمًا إيجابيًا بعد استلامه.

بعد ذلك، بدأ الموظف بمنح المزيد من عمليات الاسترداد بشكل عشوائي، ساعيًا للحصول على المزيد من التقييمات الإيجابية بدلًا من اتباع سياسات الاسترداد المعتمدة.

تُسلط هذه الإخفاقات الضوء على حقيقة أن المشاكل لا تنشأ بالضرورة من أعطال تقنية دراماتيكية. بل من مواقف عادية تتفاعل مع قرارات آلية بطرق لم يتوقعها البشر.

مع بدء المؤسسات في الاعتماد على أنظمة الذكاء الاصطناعي في اتخاذ قرارات أكثر أهمية، يقول الخبراء إن الشركات ستحتاج إلى طرق للتدخل السريع عندما تتصرف الأنظمة بشكل غير متوقع.

لكن إيقاف نظام الذكاء الاصطناعي ليس دائمًا بهذه البساطة، فلا يكفي مجرد إغلاق تطبيق واحد. فبحسب خبراء عمليات الذكاء الاصطناعي. قد يتطلب التدخل إيقاف العديد من مسارات العمل في آن واحد، نظرًا لارتباط هذه الأنظمة بمنصات مالية وبيانات العملاء وبرامج داخلية وأدوات خارجية.

قال بروغمان: ”أنت بحاجة إلى مفتاح إيقاف طارئ، وتحتاج إلى شخص يعرف كيفية استخدامه. يجب أن يعرف مدير تقنية المعلومات مكان هذا المفتاح، ويجب أن يعرفه عدة أشخاص في حال حدوث أي خلل.”

بينما يقول الخبراء إن تحسين الخوارزميات لن يحل المشكلة. ويتطلب تجنب الفشل من المؤسسات بناء ضوابط تشغيلية وآليات إشراف وحدود واضحة لاتخاذ القرارات المتعلقة بأنظمة الذكاء الاصطناعي منذ البداية.

في حين قال ميتشل أمادور، الرئيس التنفيذي لمنصة الأمن الجماعي ”إيمونيفي”: ”يُفرط الناس في الثقة بهذه الأنظمة. فهي غير آمنة بطبيعتها. ويجب أن تفترض ضرورة تضمين ذلك في بنيتك التحتية. وإلا، ستتعرض لخسائر فادحة.”

لكنه قال: ”معظم الناس لا يريدون تعلم ذلك أيضًا. إنهم يريدون إسناد عملهم إلى Anthropic أو OpenAI، ويقولون: ”حسنًا، سيكتشفون ذلك بأنفسهم”.

الذكاء الاصطناعي يسيطر على كل شيء في عالم الأعمال

قالت راموس إن العديد من الشركات تفتقر إلى الجاهزية التشغيلية، وغالبًا ما لا تملك إجراءات عمل موثقة بالكامل. أواستثناءات، أو حدودًا واضحة لاتخاذ القرارات.

وأضافت: ”يفرض التشغيل الآلي وضوحًا تشغيليًا. فإذا كانت معالجة الاستثناءات تعتمد على معلومات غير موثقة بدلًا من عمليات موثقة، فإن الذكاء الاصطناعي يكشف هذه الثغرات فورًا”.

علاوة على أنها أضافت أن الشركات غالبًا ما تقلل من شأن مدى صلاحيات الوصول التي تمنحها فرق العمل لأنظمة الذكاء الاصطناعي، لاعتقادها بأن الأتمتة تبدو فعّالة. وأن الحالات الاستثنائية التي يتعامل معها البشر بشكل بديهي لا تُدمج عادةً في الأنظمة.

وأكدت ضرورة التحول من دور العنصر البشري في عملية المعالجة إلى دور العنصر البشري في الإشراف عليها. موضحة: ”يراجع العنصر البشري في عملية المعالجة المخرجات، بينما يشرف العنصر البشري في الإشراف على أنماط الأداء ويكشف عن الحالات الشاذة وسلوك النظام بمرور الوقت، ما يقلل من تلك الأخطاء الصغيرة التي قد تتفاقم مع ازدياد حجم النظام”.

وأخيرًا وفقًا لتقرير ماكينزي لعام 2025 حول حالة الذكاء الاصطناعي ، فإن 23% من الشركات تقول إنها توسع بالفعل نطاق استخدام وكلاء الذكاء الاصطناعي داخل مؤسساتها. بينما يقوم 39% آخرون بالتجربة، على الرغم من أن معظم عمليات النشر لا تزال محصورة في وظيفة أو وظيفتين تجاريتين.

الرابط المختصر :