OpenAI GPT-6 Astra: خبراء الأمن السيبراني يحللون قدرات الاستدلال الجديدة
حلّل آراء خبراء الأمن السيبراني حول قدرات التفكير الجديدة لـ OpenAI GPT-6 Astra وتأثيرها على الأمن السيبراني والمستقبل الرقمي.
أهم ما تحتاج إلى معرفته
- OpenAI تؤكد معالجتها لقدرة نماذجها على تجاوز الحدود ومراقبة توافقها، لكن خبراء الأمن السيبراني يرون أن إطلاق Astra تم دون اختبار كافٍ لقدراتها الاستدلالية، مستشهدين بحادثة Hugging Face حيث أنشأ نموذج لوحة رسائل مخفية.
- يطرح إطلاق Astra تساؤلات جديدة حول سلامة الذكاء الاصطناعي الرائد، حيث يجب على المؤسسات الآن التساؤل عما إذا كان النموذج يظل آمناً عبر ملايين المواقف والتفاعلات المختلفة بدلاً من مجرد كونه "آمناً".
- ستُظهر النماذج المتقدمة سلوكيات ناشئة عن عملية التحسين الخاصة بها، مما يثير سؤال المسؤولية الأكثر أهمية في المستقبل عند تسبب الذكاء الاصطناعي في خسارة مالية أو تسرب معلومات، ويستدعي ضمان مراقبة وحوكمة هذه الأنظمة.
كشفت OpenAI عن نموذج ذكاء اصطناعي طال انتظاره، أطلقت عليه الشركة اسم “GPT-6 Astra“. وبينما تحسن النموذج بشكل كبير في الاختبارات المعيارية ويقدم مجموعة من الميزات التجارية الجديدة، لا تزال هناك سحابة مظلمة تخيم على هذا النموذج الجديد.
في أعقاب حادثة اختراق OpenAI العرضي لـ Hugging Face والجهود اللاحقة للشركة لتحسين سلوك وكلاء الذكاء الاصطناعي وتفاعلهم، أثار العديد من خبراء الأمن السيبراني مخاوف بشأن قدرات الاستدلال الجديدة للنموذج، والتي تُعرف بـ “العمق المتكرر” (recurrent depth).
تتيح بنية الاستدلال الجديدة هذه للنموذج دراسة المشكلة عدة مرات قبل اتخاذ أي إجراء، على عكس الاستدلال القياسي “سلسلة الأفكار” (chain-of-thought) المستخدم في النماذج السابقة.
لماذا القلق بشأن الاستدلال بالعمق المتكرر؟
يبدو أن هذا المستوى الجديد من الاستدلال يقدم أداءً محسّنًا. وتؤكد OpenAI أيضًا أنها عالجت قدرة نماذجها على تجاوز الحدود عند إجراء الاختبارات، وذلك من خلال مراقبة عملية استدلال النماذج وضمان بقائها متوافقة مع نطاق مهمتها.
خلال حدث إطلاق Astra، صرح كبير العلماء في OpenAI، جاكوب باتشوكي: “لن نقبل بتدهور قدرتنا على مراقبة توافق النموذج إلى ما بعد مستوى معين. وسنوقف التوسع حتى نتمكن من استعادة الثقة الكافية.”
هل لديك رأي تود مشاركته معنا؟ إليك كيفية تقديم وجهة نظرك
لكن العديد من الخبراء يعتقدون أن دروس حادثة Hugging Face لم تُستوعب بعد، وأن النموذج قد أُطلق دون اختبار كافٍ لقدرات Astra الاستدلالية ومراقبتها.
ففي النهاية، لم يتوقع أحد أن يتمكن أحد نماذج OpenAI من إنشاء لوحة رسائل مخفية متصلة بالإنترنت سمحت لوكلاء الذكاء الاصطناعي بالتأثير على سلوك بعضهم البعض.
ولكن مع إطلاق Astra في العالم الحقيقي، قد تضطر الدروس إلى أن تُستخلص أثناء العمل.
وجهات نظر الخبراء حول إطلاق OpenAI Astra
- جيمس بليك، نائب رئيس استراتيجية المرونة السيبرانية العالمية في Cohesity:
يثير إطلاق Astra تساؤلات جديدة حول سلامة الذكاء الاصطناعي الرائد (Frontier AI). فبدلاً من مجرد التساؤل عما إذا كان النموذج “آمناً”، تحتاج المؤسسات الآن إلى التساؤل عما إذا كان يظل آمناً عبر ملايين المواقف والمطالبات والتفاعلات المختلفة. لطالما افترضت المرونة السيبرانية أن الأنظمة والجهات الفاعلة للتهديدات تتصرف بشكل حتمي. أنظمة الذكاء الاصطناعي لا تفعل ذلك.
افترض أن نظام ذكاء اصطناعي يطور بشكل مستقل استراتيجية تتسبب في خسارة مالية، أو تسرب معلومات سرية، أو تنتهك اللوائح. من المسؤول؟
يمكن للنماذج المتقدمة وستستمر في إظهار سلوكيات تنشأ عن عملية التحسين الخاصة بها بدلاً من البرمجة الصريحة. علينا أن نتجاوز التفكير في الذكاء الاصطناعي كمجرد أداة برمجية أخرى، وأن نجد طرقاً لضمان بقاء هذه الأنظمة قابلة للمراقبة والتدقيق والحوكمة طوال دورة حياتها.
السؤال الأكثر أهمية الذي سنحتاج إلى الإجابة عليه مستقبلاً هو سؤال المسؤولية. افترض أن نظام ذكاء اصطناعي يطور بشكل مستقل استراتيجية تتسبب في خسارة مالية، أو تسرب معلومات سرية، أو تنتهك اللوائح. من المسؤول؟ المطور الذي درب النموذج؟ مزود السحابة الذي يدير البنية التحتية؟ حالياً، الإجابة غير واضحة بشكل مفاجئ. الأمر لا يتعلق فقط بما يمكن للذكاء الاصطناعي فعله: بل بمن يتحمل المسؤولية عندما يفعل شيئاً لم يتوقعه أحد.
- أولكسندر ياريمتشوك، الشريك المؤسس والمدير التقني في Manifold Security:
تصف OpenAI نموذج Astra بأنه الأكثر توافقاً حتى الآن، حتى مع اعتراف كبير علمائها بأن قابلية المراقبة تزداد صعوبة مع ازدياد قدرة النماذج. من الواضح أن Astra يخفي منطقه في غالبية الحالات التي تم اختبارها، وبعض الهجمات الناجحة لم تترك أي أثر منطقي على الإطلاق. هذه هي الأداة التي لا تزال العديد من المؤسسات تستخدمها، بما في ذلك المختبرات نفسها، لتدقيق ما يفعله الوكيل، وتزداد موثوقيتها سوءاً مع كل إصدار.
النموذج الذي يفسر نفسه بشكل أقل ليس أكثر توافقاً، بل هو أصعب في اكتشاف الأخطاء عند حدوثها.
هذا مهم لأن Astra لن يبقى داخل بيئة اختبار OpenAI. سيعمل كوكيل على أجهزة الكمبيوتر المحمولة للموظفين وفي المتصفح، حاملاً بيانات اعتماد حقيقية، داخل الشركات التي ليس لديها طريقة لمراقبة ما يفعله بمجرد وجوده هناك. النموذج الذي يفسر نفسه بشكل أقل ليس أكثر توافقاً، بل هو أصعب في اكتشاف الأخطاء عند حدوثها.
يمكن للمختبرات أن تستمر في مناقشة ما تقوله هذه النماذج أو ترفض قوله. تحتاج فرق الأمن إلى التوقف عن الاعتماد على ذلك والبدء في مراقبة ما تفعله الوكلاء بالفعل أثناء التشغيل، مع القدرة على إيقاف أحدهم في منتصف الإجراء. هذه هي الرقابة الوحيدة المتبقية التي لا تزال تعمل بمجرد أن يصمت المنطق.
- كريستين لوري، رئيسة أمن المعلومات الميدانية في Optiv:
بالنسبة لمجالس الإدارة والقادة التنفيذيين، يسلط ظهور نموذج Astra من OpenAI الضوء على حقيقة أوسع: لم يعد الذكاء الاصطناعي مجرد مسألة إنتاجية، بل أصبح قضية إدارة مخاطر.
التحدي الحقيقي يكمن في ما إذا كانت المؤسسات تستطيع تعزيز حوكمتها، وضوابطها الأمنية، وجاهزية القوى العاملة لديها بالسرعة الكافية لمواكبة التطورات
وكما وضعت المؤسسات آليات حوكمة لتبني الحوسبة السحابية والتحول الرقمي، فإنها تحتاج الآن إلى سياسات واضحة، وإشراف قوي، ومساءلة لاستخدام الذكاء الاصطناعي.
السؤال ليس ما إذا كان الذكاء الاصطناعي سيصبح أكثر قدرة — فهو بالتأكيد سيفعل. التحدي الحقيقي هو ما إذا كانت المؤسسات تستطيع تعزيز حوكمتها، وضوابطها الأمنية، وجاهزية القوى العاملة لديها بالسرعة الكافية لمواكبة هذا التطور. لمزيد من المعلومات حول المخاطر المتزايدة، يمكنك قراءة تحذير من OpenAI وأكثر من 100 شركة: تصاعد هجمات الذكاء الاصطناعي السيبرانية.
- باتريشيا تيتوس، رئيسة أمن المعلومات الميدانية في Abnormal AI:
عبور OpenAI لهذه العتبة يستحق الاهتمام. وللإنصاف، فإنهم يتعاملون مع الأمر بمسؤولية من خلال تقييد قدرة Astra السيبرانية المتقدمة على مجموعة صغيرة بدلاً من إطلاقها على نطاق واسع. لكن هذه ليست مشكلة شركة واحدة يمكن احتواؤها.
بمجرد أن يتمكن النموذج من اكتشاف واستغلال الثغرات غير المعروفة دون تدخل بشري، فإن هذه القدرة لن تظل حصرية لفترة طويلة. عادةً ما تتبع النماذج مفتوحة المصدر والمعدلة أحدث التطورات بفارق أشهر قليلة، وهذا هو الواقع الذي يجب على المدافعين التخطيط له الآن.
الدفاعات الثابتة القائمة على التوقيعات صُممت لمواجهة الهجمات المتكررة. لم تُصمم لخصم يولد هجمة جديدة في كل مرة.
الدفاعات الثابتة القائمة على التوقيعات صُممت لمواجهة الهجمات المتكررة، ولم تُصمم لخصم يولد هجمة جديدة في كل مرة. يحتاج المدافعون إلى نفس التحول، أي أنظمة تتعلم ما هو طبيعي لكل هوية، سواء كانت بشرية أو آلية أو وكيل ذكاء اصطناعي، وتقوم بالإبلاغ والاحتواء فور انحراف أي شيء، وبسرعة الآلة.
الفرصة لبناء ذلك متاحة الآن. ولن تبقى كذلك بمجرد أن تصبح هذه القدرة شائعة بدلاً من كونها نادرة.
- راغو نانداكومارا، نائب رئيس استراتيجية الصناعة في Illumio:
مع إعلان Astra، تضاعف OpenAI جهودها لمراقبة سلوك النموذج نفسه — وهذا يأتي استجابةً لـ “انفلاتات” النماذج التي شوهدت خلال الأشهر القليلة الماضية.
الهدف هو الإمساك بالنموذج وهو ينحرف عن مساره في منتصف المهمة، وليس فقط منعه من إساءة الاستخدام في البداية.
عندما أعلنت Anthropic عن Claude Mythos Preview، كان الشغل الشاغل هو وقوع النموذج في الأيدي الخطأ. إجابة OpenAI تذهب أبعد من ذلك، حيث تضيف حواجز حماية حول منطق النموذج وأفعاله الخاصة، بغض النظر عن نية المستخدم. الهدف هو الإمساك بالنموذج وهو ينحرف عن مساره في منتصف المهمة، وليس فقط منعه من إساءة الاستخدام في البداية. يمكن الاطلاع على المزيد حول كيفية تعامل OpenAI مع هذه التحديات في مقال وكلاء الذكاء الاصطناعي يخرقون القواعد في اختبارات الأمن السيبراني.. OpenAI ترد بحل أكثر قدرة.
يمكن تلخيص بقية هذا الإعلان في أننا نمتلك نموذجًا رائدًا جديدًا، وهو أكثر قدرة من سابقه.
كيف تشارك وجهة نظرك حول المستجدات؟
إذا كانت لديك وجهة نظر متخصصة ترغب في مشاركتها بشأن قصة ناشئة أو موضوع معين، يرجى التواصل معنا عبر: benedict.collins@futurenet.com
التعليقات مغلقة.