زر “أوافق”: لماذا قد يكون الأخطر في الذكاء الاصطناعي للمؤسسات؟

في الساعة الثانية صباحًا، يكتشف وكيل معالجة تلقائي مشكلة في الشبكة، ويتتبعها إلى سياسة خاطئة التكوين، ويتحقق عبر الإطار المخصص من أن الإصلاح المقترح يعمل ضمن حدود السياسة المحددة، ثم يقوم بإصلاحها. تستقر الشبكة، ولا يتم إخطار أحد بذلك.

في الصباح، يراجع إنسان الرؤى اليومية للوكيل: ملخص لجميع التغييرات التي تم تنفيذها، مع روابط إلى السجلات، ومسارات التدقيق، والمنطق، والأسباب الجذرية وراءها. يؤكد أن كل شيء قد تم حله بشكل صحيح ثم يمضي قدمًا. هذا هو شكل “الإنسان في حلقة التحكم” (Human-on-the-Loop).

في مؤسسة أخرى، في الساعة الرابعة صباحًا، يكتشف وكيل معالجة تم بناؤه ذاتيًا ومبرمج بشكل ارتجالي مشكلة في الشبكة، ويتتبعها إلى سياسة خاطئة التكوين، ويصلحها. تستقر الشبكة، ولا يتم إخطار أحد. في الصباح، يراجع إنسان السجلات، ويفترض أن المشكلة قد حُلت، ثم يمضي قدمًا.

أين يكمن الاختلاف؟

يكمن الاختلاف في أن السجلات، في سيناريو البناء الذاتي، لا تروي سوى جزء من القصة. فهي لا تُظهر أن الوكيل أجرى ثلاثة تغييرات أخرى للوصول إلى هذا الحل، وكانت هذه التغييرات أوسع نطاقًا مما كان مخططًا له، ولم يتم الإبلاغ عن القرارات الكامنة وراءها لأنه لم يكن هناك ما يلزم ذلك ضمن قيوده. هذا النقص في شفافية الأنظمة هو جوهر المشكلة.

هذا هو الشكل الذي يمكن أن يبدو عليه التحرك نحو “الإنسان في حلقة التحكم” دون وجود الضوابط الصحيحة. لا يوجد تسليم دراماتيكي للمهام، بل مجرد سلسلة من التفويضات الصغيرة والمعقولة التي تتراكم تدريجيًا لتشكل شيئًا لم يوافق عليه أحد صراحةً. هذا يؤكد على أهمية تحكم البشر بمستقبل الذكاء الاصطناعي.

ويحدث هذا بوتيرة أسرع مما يدركه معظم القادة. وفقًا لبحث حديث، يتوقع 57% من قادة تكنولوجيا المعلومات إزالة البشر من حلقة التحكم في غضون عام أو أقل، و79% يتعاملون بالفعل مع وكلاء الذكاء الاصطناعي “كمستخدمين” يتطلبون إدارة هوية خاصة بهم وضوابط حوكمة.

إن التحول إلى الذكاء الاصطناعي الوكيلي يحدث بوتيرة أسرع مما هي مستعدة له معظم المؤسسات، سواء من حيث الحوكمة أو القدرة على تقييم الأنظمة الذاتية.

وهم زر “أوافق”

لطالما بدا الحل للذكاء الاصطناعي المستقل بسيطًا للغاية: إبقاء العنصر البشري في دائرة التحكم. شخص يراجع المخرجات، ويضغط على زر “أوافق”، مما يحافظ على المساءلة. لكن الواقع ليس كذلك تمامًا. فمراجعة كل إجراء لا تخلق المساءلة تلقائيًا، كما أنها تمنع المؤسسات من تحقيق الفوائد الكاملة للاستقلالية.

بدلاً من مراجعة كل إجراء على حدة، يجب أن يركز البشر على تقييم النتائج، والتأكد من أن النظام يعمل ضمن حدوده المقصودة، وتقديم الملاحظات التي تحسن أداءه بمرور الوقت.

يمكن أن يصبح الموافقة مجرد طقس بلا معنى. فمع إثبات الأنظمة لموثوقيتها وتزايد عدد التنبيهات، يبدأ البشر أحيانًا في التعامل مع التدخل على أنه أمر لا يلزم في كثير من الأحيان.

يمكن أن تتحول الموافقة إلى مجرد نقرة بدلاً من أن تكون اختيارًا مدروسًا. وعندما يحدث خطأ ما (على سبيل المثال، سياسة خاطئة التكوين، أو معالجة تلقائية تؤدي إلى انقطاع الخدمة)، يصبح من الصعب الإجابة على سؤال من هو المسؤول.

كما يعزز هذا الأمر تحولًا أوسع: حيث تصبح إحدى أهم القدرات البشرية هي التفكير النقدي والتحقق من الفرضيات، بدلاً من تنفيذ المهام.

ويحدث شيء آخر أيضًا. ينتقل البشر من مرحلة التنفيذ إلى مرحلة القراءة قبل الموافقة – وهو تغيير جوهري في العمل اليومي لمعظمنا.

علاوة على ذلك، فإن الإسناد ليس هو نفسه المصدر. فسجلٌ يوثق ما فعله وكيل الذكاء الاصطناعي لا يخبرك شيئًا تقريبًا عن السبب، أو ما الذي شكل هذا القرار. وعندما تسوء الأمور، فهذه هي المعلومات التي تحتاج إلى معرفتها.

الهويات غير البشرية والمشهد الجديد للشبكات

عندما تتصرف وكلاء الذكاء الاصطناعي على شبكتك، سواء بالاستعلام عن الأنظمة أو إجراء تغييرات في التكوين أو توجيه حركة المرور، فإنهم يعتبرون مستخدمين فعليين. فهم يحتاجون إلى بيانات اعتماد، وسياسات، وضوابط أمان، وقابلية للتفسير، وسجلات تدقيق، تمامًا مثل المشغلين البشريين. هذه الحاجة إلى الشفافية والمساءلة تتوازى مع الجهود المبذولة لفرض الشفافية في مراكز بيانات الذكاء الاصطناعي.

لم تواكب معظم المؤسسات هذا التطور بعد. فقد صُممت أطر الهوية للأشخاص، وتطبيق وكلاء الذكاء الاصطناعي عليها كفكرة لاحقة يخلق تمامًا نوع الوصول الخفي الذي تقضي فرق الأمن حياتها في محاولة القضاء عليه.

إن ما يقرب من 80% من القادة الذين يتعاملون بالفعل مع وكلاء الذكاء الاصطناعي كهويات مُدارة يسبقون غيرهم في هذا المجال. أما البقية، فهم يجمعون مخاطر لا يمكنهم تقديرها، حتى تتجسد في حادث أمني.

لتحقيق ذلك بشكل صحيح، يجب التعامل مع كل وكيل ككيان أساسي (principal) يتمتع بصلاحيات محددة، ووصول محدود زمنيًا، ومسار إلغاء واضح، بالإضافة إلى سجل كامل؛ ليس فقط لما فعله، بل لما سُمح له بفعله ولماذا.

الاستقلالية لا تُمنح، بل تُكتسب

تدرك فرق الشبكات والأمن السيبراني بالفعل كيفية تطبيق هذا المبدأ. فكل مؤسسة تمتلك أطر عمل للتحكم في الوصول تحدد ما يمكن للبشر الوصول إليه ومتى. فالمهندس المبتدئ لا يحصل على صلاحيات وصول كاملة للأنظمة الإنتاجية في يومه الأول، بل يكتسبها تدريجياً. ويجب تطبيق هذا المنطق نفسه على وكلاء الذكاء الاصطناعي.

لم نصل إلى هذه المرحلة بعد. ففي كثير من الأحيان، تُعامل الاستقلالية على أنها إما كل شيء أو لا شيء، وهذا ليس النموذج الصحيح. الثقة مع البشر لا تعمل بهذه الطريقة، ولا ينبغي أن تعمل كذلك مع الذكاء الاصطناعي. يجب أن تبدأ وكلاء الذكاء الاصطناعي في وضع الاقتراح، وتدعهم يثبتون كفاءتهم ضمن حدود واضحة ومحددة قبل توسيع نطاق صلاحياتهم. وتأكد من أن كل قرار يترك أثراً يوضح ليس فقط ما حدث، بل الأسباب الكامنة وراءه.

مع تزايد استخدام الذكاء الاصطناعي المستقل، ستحتاج المؤسسات إلى الموازنة بين الإشراف البشري والحوكمة المنهجية. يظل البشر مسؤولين عن مراجعة ليس فقط النتائج التي ينتجها الذكاء الاصطناعي، بل أيضاً، عند الضرورة، الإجراءات التي يتخذها والمنطق الذي استند إليه.

ومع ذلك، مع تزايد حجم وتعقيد القرارات المستقلة، يجب أن يُستكمل هذا الإشراف ببنية تحتية تدمج الهوية، وتطبيق السياسات، وإمكانية المراقبة، والمساءلة. تساعد هذه الضوابط مجتمعة في ضمان بقاء تصرفات الذكاء الاصطناعي شفافة، وقابلة للتتبع، ومتوافقة مع أهداف المؤسسة.

بناء أنظمة متعددة الوكلاء تصمد تحت الضغط

كلما ازدادت قدرة هذه الأنظمة، اتجهت المؤسسات أكثر نحو بنى متعددة الوكلاء. في هذه البنى، يتولى كل وكيل متخصص جزءًا من سير العمل، ويمرر السياق للوكيل التالي. وهنا تكمن التعقيدات.

يمكن تتبع سلوك وكيل واحد إذا أخطأ. أما سلسلة الوكلاء، حيث يتصرف كل منهم بناءً على مخرجات سابقه، فيصعب فك تشابكها كثيراً عند حدوث خطأ، ما لم تكن البنية والحوكمة الصحيحة مطبقة. يجب أن تعرف ما كان يعرفه كل وكيل، وليس فقط ما فعله.

أنجز المهام الأساسية

تستخدم منظمتان وكيل شبكات واحدًا يعمل بالذكاء الاصطناعي. إحداهما أنجزت المهام الأساسية غير الجذابة: إعداد صلاحيات وصول صارمة، وضوابط هوية مناسبة، وسجلات تدقيق توفر إجابات واضحة عند الحاجة. أما الأخرى، فلم تفعل.

لن تدرك الفارق إلا عندما يحدث خطأ ما.