تجربتي مع Copilot Vision: شعور غريب، لكنه مفيد إلى حد ما – إليك رأيي

أصبح بإمكان المستخدمين في الولايات المتحدة الآن استخدام Copilot Vision على نظامي التشغيل Windows 11 (و 10)، وهو مساعد ذكاء اصطناعي يساعدك في أي شيء تقريبًا تفعله على جهاز الكمبيوتر الخاص بك. هل تريد أن تعرف ما إذا كان يعمل حقًا؟ حسنًا، لقد جربته، وفي هذا الدليل، سأشرح بالتفصيل ما تقدمه هذه الميزة وكيف يمكنك الحصول عليها، وسأشارك تجربتي الشخصية معها.

في تطبيق Copilot، تعتبر ميزة “Vision” وظيفة تتيح لك مشاركة الشاشة مع روبوت الدردشة، مما يسمح له برؤية وتفسير ما يظهر على شاشتك. إنه يعمل بمثابة زوج ثانٍ من العيون، مما يوفر مساعدة وإجابات ورؤى في الوقت الفعلي بناءً على المحتوى المعروض في تطبيقاتك أو متصفحك.

وهي أيضًا ميزة اختيارية، لذا يجب عليك تمكينها يدويًا في تطبيق Copilot الإصدار 1.25061.104.0 والإصدارات الأحدث. إذا كنت تستخدم متصفح Microsoft Edge، فيمكنك أيضًا الوصول إلى الميزة من خلال تكامل Copilot.

من المهم ملاحظة أن الذكاء الاصطناعي يمكنه عرض أي محتوى تقريبًا طالما أنه ليس مادة محمية بموجب إدارة الحقوق الرقمية DRM أو نوعًا آخر من المحتوى المقيد.

هذه الميزة متاحة لأي شخص ليس لديه اشتراك Copilot Pro على Windows 10 و 11. يمكنك أيضًا الوصول إلى Copilot Vision على نظامي التشغيل iOS و Android، ولكنك ستحتاج إلى اشتراك لاستخدامه على هذه الأجهزة المحمولة.

في هذا الدليل، سأحدد الخطوات اللازمة للبدء في استخدام هذه الميزة ومشاركة تجربتي.

كيفية الحصول على وتفعيل ميزة Copilot Vision على نظام Windows 11

تتوفر ميزة Copilot Vision حاليًا في الولايات المتحدة، بدءًا من تطبيق Copilot بالإصدار 1.25061.104.0 والإصدارات الأحدث. ولذلك، فإن الخطوة الأولى هي فتح تطبيق Microsoft Store ثم الانتقال إلى قسم “التنزيلات والتحديثات” والنقر على زر “الحصول على التحديثات” للتأكد من تثبيت أحدث إصدار من التطبيق على جهاز الكمبيوتر الخاص بك. هذه الخطوة ضرورية لضمان توافق جهازك مع الميزات الجديدة وتحسين الأداء العام لـ Copilot.

يمكنك الحصول على التطبيق من Microsoft Store إذا كنت قد قمت بإلغاء تثبيته مسبقًا. ابحث عن Copilot في المتجر وقم بتثبيته للاستمتاع بجميع الميزات التي يقدمها.

توضح Microsoft أن ميزة Vision هي ميزة اختيارية، وهذا صحيح من الناحية التقنية لأنك تحتاج إلى منحها الإذن لمشاركة الشاشة. ومع ذلك، فهي متاحة افتراضيًا لأنه لا يوجد خيار لإيقاف تشغيل الميزة تمامًا في صفحة الإعدادات. هذا يعني أنه بمجرد تحديث التطبيق، ستكون ميزة Vision جاهزة للاستخدام، ولكنها تتطلب موافقتك الصريحة قبل الوصول إلى محتوى الشاشة.

في صفحة إعدادات Copilot، ستجد فقط خيارًا لتشغيل وإيقاف “التمييزات”، ولكن هذه الميزة تتحكم فقط في قدرة الذكاء الاصطناعي على الإشارة إلى الإجراءات على الشاشة بصريًا. لا تتحكم في توفر الميزة في التطبيق. بمعنى آخر، حتى إذا قمت بتعطيل “التمييزات”، ستظل ميزة Vision متاحة، ولكنها لن تقوم بتسليط الضوء على العناصر المرئية على الشاشة.

إذا لم تكن مرتاحًا لفكرة استخدام Copilot بشكل عام، فمن الأفضل إزالته من الإعدادات > التطبيقات > التطبيقات المثبتة والنقر على خيار “إلغاء التثبيت” لإدخال “Copilot”. سيؤدي ذلك إلى إزالة التطبيق بالكامل من جهازك، مما يضمن عدم وصوله إلى بياناتك أو موارد النظام.

تجربتي مع استخدام Copilot Vision على نظام Windows 11: نظرة أولية

في أول تفاعل لي مع Copilot Vision على نظام Windows 11، شعرت ببعض الغرابة، فهو يمثل نقلة نوعية لم أعهدها من قبل. بدلاً من الاضطرار إلى صياغة أوامر نصية أو صوتية مفصلة لتحديد السياق، بدا أن مساعد Copilot الذكي يفهم السياق تلقائيًا، مما جعله قادراً على تقديم المساعدة بشكل فوري وفعال. هذه القدرة على فهم السياق دون الحاجة إلى توجيهات محددة تمثل تحولاً كبيراً في طريقة تفاعلنا مع أجهزة الكمبيوتر.

على الرغم من أن دقة Copilot Vision لا تزال قيد التطوير، إلا أنه يقدم لنا لمحة مبكرة عن مستقبل العمل على الكمبيوتر. إنه يمثل خطوة واعدة نحو تجربة حوسبة أكثر سلاسة وتكاملاً، حيث يصبح الكمبيوتر شريكاً ذكياً يفهم احتياجاتنا ويتوقعها بدلاً من مجرد أداة ننفذ عليها أوامر محددة. هذه التقنية لديها القدرة على تغيير طريقة عملنا وإبداعنا وتعلمنا بشكل جذري.

البدء في استخدام Copilot Vision

بعد التأكد من توفر Copilot Vision على جهاز الكمبيوتر الخاص بي، بدأت بتجربته مباشرة. قمت بفتح بعض التطبيقات، ثم شغّلت تطبيق Copilot من قائمة ابدأ. بعد ذلك، نقرت على زر “Vision” (النظارة)، ثم حددت التطبيق الذي أردت مشاركته مع Copilot، وقمت بتفعيل خيار “Share”.

اختبار سؤال حول تطبيق

أثناء استخدام تطبيق Notepad، طلبت من Copilot أن يريني كيفية تغيير الخط الافتراضي للتطبيق، لكنه قدم إجابة غير صحيحة.

اقترح Copilot البحث في قائمة “View” (عرض)، لكن هذا الخيار لم يكن موجودًا في هذا المكان. والسبب في ذلك، بحسب التصميم الحالي لتطبيق Notepad، هو أن إعدادات تغيير الخط موجودة في صفحة الإعدادات التي يمكن الوصول إليها من قائمة “Edit” (تحرير) أو عن طريق النقر على زر “Gear” (الترس) الموجود في الزاوية العلوية اليمنى من التطبيق.

في النهاية، توصل Copilot إلى الإجابة الصحيحة عن طريق عملية الحذف التدريجي. الأمر المثير للاهتمام هو أن برنامج الدردشة أشار إلى أنه ارتكب خطأ لأنه خلط بين إصدارات Notepad المختلفة. ومع ذلك، لا أتذكر أن أي إصدار من Notepad قد احتوى على إعدادات الخط في قائمة “View” (عرض) على الإطلاق. هذا يشير إلى أن Copilot ربما استند إلى معلومات قديمة أو غير دقيقة.

اختبار سؤال الإعدادات

كجزء من عملية الاختبار، قمت بتشغيل تطبيق الإعدادات في Windows 11 ثم طلبت من Copilot تحديث جهاز الكمبيوتر الخاص بي بأحدث تحديثات النظام.

في هذه الحالة، تمكن Microsoft Copilot مع Vision من تحديد أنني كنت داخل تطبيق الإعدادات بشكل صحيح. ووجهني بدقة إلى قسم “Windows Update” وقام بتمييز زر “Check for updates”.

بعد ذلك، قدمت له مطالبة أقل شيوعًا (ولكنها لا تزال ذات صلة). سألت عن كيفية منع جهاز الكمبيوتر الخاص بي من تحميل التحديثات إلى الأجهزة الأخرى أثناء عملية التحديث. على الرغم من أن هذا الطلب ليس معقدًا بشكل خاص، إلا أنه اختبر قدرة المساعد على تفسير نوايا المستخدم الأكثر دقة.

في المحاولة الأولى، أخطأ Vision في فهم الاستعلام وافتراضيًا إلى إرشادات عامة لتحديث الجهاز. في المحاولة الثانية، بعد تحسين صياغتي، تعرف على السؤال بشكل صحيح.

ومع ذلك، كان توجيهه غير متسق مع ما رأيته على الشاشة. على سبيل المثال، أشار إلى أنني قمت بتعطيل ميزة مشاركة التحديث بنجاح، على الرغم من أنني لم أتخذ أي إجراء. يشير هذا إلى أن المساعد كان يقدم افتراضات بناءً على السلوك المتوقع بدلاً من تحليل حالة النظام المباشرة فعليًا. هذا يسلط الضوء على الحاجة إلى تحسين قدرة Microsoft Copilot على فهم سياق المستخدم بدقة أكبر وتقديم استجابات أكثر دقة وموثوقية، خاصة فيما يتعلق بإعدادات Windows 11 وخيارات التحديث.

اختبار التعرف على العناصر: المرحلة الثالثة

في الاختبار التالي، أردت التحقق من قدرة Copilot على التعرف على العناصر المرئية على الشاشة. لهذا الغرض، قمت بفتح صورة محددة وطلبت من Copilot تحديد العنصر الموجود فيها بدقة.

في هذه الحالة، عرضت على Copilot صورة لسترة حمراء. نجح برنامج الدردشة الآلي في تحديد ووصف المنتج بدقة، بل وقدم معلومات إضافية ذات صلة عند الطلب. هذا يدل على قدرة Copilot Vision على تحليل الصور وتوفير معلومات مفصلة حول محتواها.

ومع ذلك، وعلى الرغم من أن برنامج الدردشة الآلي أدرك أن السترة معروضة للبيع على Amazon، حتى مع فتح الصورة في علامة تبويب منفصلة، إلا أنه لم يتمكن من تحديد أنني لم أكن أتصفح صفحة المنتج الفعلية. ونتيجة لذلك، لم يتمكن من تزويدي بمعلومات حول صفحة المنتج المباشرة على Amazon. هذا يشير إلى وجود قيود في قدرة Copilot على ربط المعلومات المرئية بسياق التصفح الحالي للمستخدم.

اختبار استخراج النصوص

ميزة أخرى يقدمها Copilot Vision هي استخراج النصوص من الصور. في السابق، كانت أنظمة التشغيل تعجز عن اكتشاف النصوص داخل الصور واستخراجها، ولكن الآن، توفرت طرق متعددة لإنجاز هذه المهمة بكفاءة.

على سبيل المثال، لديك الآن أدوات متخصصة لاستخراج النصوص مثل ميزة “مستخرج النصوص” المتوفرة عبر PowerToys، وأداة Snipping Tool، بالإضافة إلى Click to Do. والآن، يمكنك أيضاً الاعتماد على Copilot Vision في هذه العملية.

لتجربة هذه الميزة، قمت بفتح تطبيق Settings (الإعدادات) على صفحة Game Mode (وضع الألعاب) وسألت Copilot عما إذا كان بإمكانه استخراج النصوص الموجودة. نجح الروبوت الذكي في قراءة جميع النصوص الظاهرة على الصفحة بصوت عالٍ.

العائق الوحيد الذي واجهته هو عدم إمكانية نسخ النصوص المستخرجة إلى الحافظة أو تحديد النص مباشرة، كما هو ممكن في Click to Do. ومع ذلك، قام الروبوت بنسخ كل شيء في تطبيق Copilot كجزء من سجل المحادثة.

اختبار كتابة النصوص: قدرات الذكاء الاصطناعي في تحليل المحتوى وتحسينه

من الناحية التقنية، يمكنك طرح أي سؤال حول أي شيء يظهر على الشاشة. على سبيل المثال، إذا كنت تعمل على ملف معين، يمكنك توجيه الذكاء الاصطناعي لتحليل مخطط بياني أو أي نوع آخر من البيانات المعروضة.

تتيح لك هذه التقنية أيضاً إمكانية طلب وصف مشهد أو صورة معينة، أو تحديد معلم بارز أو موقع جغرافي، أو أي شيء آخر يمكنك تخيله. الاحتمالات لا حدود لها.

إذا كنت تعمل على نص مكتوب، يمكنك أن تطلب من الذكاء الاصطناعي قراءة النص واقتراح أفكار لتحسينه. هذه الميزة مفيدة بشكل خاص للمؤلفين والمدونين والطلاب الذين يسعون إلى تحسين جودة كتاباتهم.

في الاختبار الأخير الذي أجريته، قمت بتحميل نص بسيط في برنامج Notepad، وطلبت من برنامج الدردشة الآلي (chatbot) إطالة النص. وقد نجح البرنامج في اقتراح نسخة بديلة محسنة من النص الأصلي.

على الرغم من أن قدرة المساعد الذكي على فهم النص المعروض على الشاشة واقتراح نسخة بديلة كانت مثيرة للإعجاب، إلا أنه لم يكن دقيقاً جداً في فهم الإجراءات اللاحقة المطلوبة.

مع أنني كنت أعلم أنه من غير الممكن نسخ النص واستبداله بالاقتراح مباشرة، فقد سألت عما إذا كان من الممكن نسخ ولصق النسخة البديلة من النص، لكنه أشار إلى قسم في الملف لإجراء الإدراج بدلاً من ذلك.

يكمن الحل هنا في فتح وإغلاق Copilot Vision، ثم من واجهة Copilot، تحديد ونسخ النص من سجل الدردشة. هذه الطريقة تتيح لك الاستفادة من اقتراحات الذكاء الاصطناعي بسهولة وفعالية.

خلاصة القول

من وجهة نظر شخص يكتب الأدلة الإرشادية منذ سنوات طويلة، أرى أن هذه التقنية مثيرة للإعجاب حقًا في فهم محتوى الشاشة وتقديم المساعدة اللازمة.

ومع ذلك، يجب الاعتراف بأنها ترتكب الكثير من الأخطاء، وقد لا تكون مفيدة جدًا إذا لم يكن لديك بالفعل فهم أساسي للإجراء الذي تريد تنفيذه. بمعنى آخر، المعرفة المسبقة بالموضوع ضرورية لتحقيق أقصى استفادة.

بالإضافة إلى ذلك، يبدو وكأنها تتصرف بعلمٍ تام، ولكنها في الواقع مجرد ذكاء اصطناعي يكرر المحتوى المتاح بالفعل عبر الإنترنت. هذا يقلل من قيمتها كأداة مبتكرة.

في بعض الأحيان، يشبه استخدام Copilot Vision التحدث إلى الدعم الفني عبر الهاتف. على الرغم من أن برنامج الدردشة الآلي يمكنه رؤية الشاشة، إلا أنه يرشدك كما يفعل وكيل الدعم الفني، وغالبًا لا يفهم ما إذا كنت قد أكملت المهمة أم لا. هذا النقص في الوعي السياقي يمثل تحديًا كبيرًا.

علاوة على ذلك، في معظم الحالات، يجب أن تكون محددًا للغاية في تعليماتك، وغالبًا ما تصل إلى حد تحديد الإجراء الدقيق الذي تريد تنفيذه. هذا يتناقض بشكل أساسي مع الغرض من وجود ذكاء اصطناعي من المفترض أن يفهم نية المستخدم بشكل طبيعي. من المهم أن تتذكر أن هذه الميزة مصممة بشكل أساسي للمستخدمين غير التقنيين، حيث من غير المرجح أن يعتمد عليها الأفراد ذوو الخبرة التقنية.

بشكل عام، على الرغم من أن Vision يظهر وعدًا بأن يصبح مساعدك الشخصي، إلا أن وعيه الأعمق بالسياق ودقته لا يزالان بحاجة إلى تحسين. يبدو الأمر وكأنه “يخمن” بناءً على الأمر بدلاً من المراقبة النشطة والاستجابة للحالة الحالية للمحتوى على الشاشة. هذا يجعله أقل موثوقية في السيناريوهات المعقدة.

أخيرًا، من المهم ملاحظة أنني لا أذكر الأسئلة المحددة التي استخدمتها لهذا الدليل لأنها غير ذات صلة. فكرة برنامج الدردشة الآلي هي إجراء محادثة عادية كما لو كنت تتحدث إلى إنسان آخر. التركيز يجب أن يكون على سلاسة التفاعل.

أيضًا، لا يمكن لهذه الميزة اتخاذ إجراءات نيابة عنك. يمكنه فقط تحليل المحتويات الموجودة على الشاشة. لاتخاذ إجراء، يجب أن يكون الذكاء الاصطناعي وكيلاً، ولكن حاليًا، تتمتع أجهزة Copilot+ PCs فقط بهذه الإمكانية بقدرة محدودة في تطبيق الإعدادات.

أخيرًا، على الرغم من أن الميزة مجانية، إلا أنها متاحة بحدود. على سبيل المثال، على الرغم من أن لدي اشتراك Microsoft 365، بعد بضعة تفاعلات، يطالبني التطبيق بالترقية إلى Copilot Pro.

لذا، إذا كنت تقوم باستكشاف مشكلة وإصلاحها وكنت في منتصف العملية، فقد يُطلب منك الدفع حتى يكمل مساعد الذكاء الاصطناعي إصلاح المشكلة. هذا النهج قد يثير استياء المستخدمين الذين يعتمدون على المساعدة المجانية.