دراسة جديدة تكشف سبب استمرار ChatGPT في اختلاق المعلومات
في أحد الأيام، كنت أتبادل الأفكار مع ChatGPT وفجأة انطلق في سرد قصة خيالية طويلة لا علاقة لها بطلباتي. كانت سخيفة لدرجة أنها أضحكتني. مؤخرًا، لم أعد أرى أخطاءً كهذه كثيرًا في المطالبات النصية، ولكنني ما زلت أراها بانتظام إلى حد ما مع توليد الصور.
تُعرف هذه اللحظات العشوائية التي يبتعد فيها برنامج الدردشة الآلي عن المهمة باسم “هلوسات”. الأمر الغريب هو ثقة هذا الروبوت في الإجابات الخاطئة التي يقدمها، وهو أحد أكبر نقاط الضعف في مساعدي الذكاء الاصطناعي اليوم. ومع ذلك، تشير دراسة جديدة من OpenAI إلى أن هذه الإخفاقات ليست عشوائية، بل هي نتيجة مباشرة لكيفية تدريب النماذج وتقييمها.
لماذا تستمر روبوتات الدردشة في التخمين بينما يفترض ألا تفعل ذلك؟
تشير الأبحاث إلى وجود مشكلة هيكلية تسبب هذه الهلوسات؛ حيث ينبع أصل المشكلة من المعايير ولوحات المتصدرين التي تقيّم نماذج الذكاء الاصطناعي وتكافئ الإجابات الواثقة.
بمعنى آخر، عندما يقول روبوت الدردشة “لا أعرف”، فإنه يعاقب في الاختبار. وهذا يعني أن النماذج يتم تشجيعها بشكل فعال على تقديم إجابة دائمًا، حتى لو لم تكن متأكدة من صحتها.
عمليًا، هذا يجعل مساعدك الذكي أقرب للتخمين بدلًا من الاعتراف بعدم اليقين. قد يكون هذا غير ضار للاستعلامات اليومية البسيطة. ولكن في الحالات الأكثر حساسية، من الأسئلة الطبية إلى النصائح المالية، يمكن أن تتحول تلك الأخطاء الواثقة بسرعة إلى مخاطر حقيقية.
بصفتي مستخدمًا متمرسًا، لهذا السبب أتحقق دائمًا من الحقائق وأطلب من روبوت الدردشة ذكر المصدر. في بعض الأحيان، إذا بدت المعلومات بعيدة المنال وطلبت مصدرًا، سيقول روبوت الدردشة شيئًا مثل، “أحسنت الملاحظة!” أو شيئًا مشابهًا، دون الاعتراف بأنه كان مخطئًا.
النماذج الأحدث ليست محصنة
المثير للاهتمام، وجدت ورقة OpenAI أن النماذج التي تركز على الاستدلال مثل o3 و o4-mini في الواقع تهلوس في كثير من الأحيان أكثر من بعض النماذج القديمة. لماذا؟ لأنها تنتج المزيد من الادعاءات بشكل عام، مما يعني المزيد من الفرص للخطأ.
إذًا، كون النموذج “أذكى” في الاستنتاج لا يجعله بالضرورة أكثر صدقًا بشأن ما لا يعرفه.
ما الحل لهذه المشكلة؟
يرى الباحثون أن الحل يكمن في تغيير طريقة تقييمنا وقياسنا للذكاء الاصطناعي. بدلًا من معاقبة النماذج على قول “لست متأكدًا”، يجب أن تكافئ الاختبارات الأكثر قيمة الاستجابات المعايرة، أو الإشارة إلى عدم اليقين، أو القدرة على الرجوع إلى مصادر أخرى.
قد يعني ذلك أن برنامج الدردشة المستقبلي الخاص بك قد يتحوط في إجاباته أكثر، ويقل اعتماده على أسلوب “هذه هي الإجابة” ويزيد من أسلوب “هذا ما أعتقده، ولكنني لست متأكدًا”. قد يبدو أبطأ، ولكنه قد يقلل بشكل كبير من الأخطاء الضارة. وهذا يثبت أن التفكير النقدي من جانبنا لا يزال مهمًا.
ما أهمية هذا لك؟
إذا كنت تستخدم روبوتات الدردشة الشهيرة مثل ChatGPT أو Gemini أو Claude أو Grok، فمن المؤكد أنك قد رأيت “هلوسة” من قبل. يشير هذا البحث إلى أن الأمر لا يتعلق بالكامل بالنموذج نفسه، بل بالطريقة التي يتم بها اختباره؛ وكأنه اختبار للعبة لمعرفة من يمكنه أن يكون على حق في أغلب الأحيان.
بالنسبة للمستخدمين، هذا يعني أننا بحاجة إلى أن نكون حريصين وأن نعتبر إجابات الذكاء الاصطناعي بمثابة اقتراح أولي وليس الكلمة الأخيرة. وبالنسبة للمطورين، هذه علامة على أن الوقت قد حان لإعادة التفكير في كيفية قياس النجاح حتى تتمكن مساعدات الذكاء الاصطناعي المستقبلية من الاعتراف بما لا تعرفه بدلاً من الوقوع في أخطاء فادحة.
