تُفسّر أنظمة الإجابة على الأسئلة المرئية (VQA) الصور للإجابة على أسئلة حول المحتوى المرئي، بينما تُركّز أنظمة الإجابة على الأسئلة النصية (Text QA) على استخراج أو توليد إجابات من النصوص المكتوبة. يندرج كلا النظامين ضمن معالجة اللغة الطبيعية، لكنهما يختلفان اختلافًا جوهريًا في طرق إدخال البيانات وتقنيات الذكاء الاصطناعي التي يعتمدان عليها.
مهمة الذكاء الاصطناعي التي تقوم فيها النماذج بتحليل الصور والإجابة على أسئلة اللغة الطبيعية حول محتواها المرئي.
مهمة الذكاء الاصطناعي حيث تقوم النماذج بقراءة وفهم النصوص المكتوبة للإجابة على الأسئلة بناءً على المعلومات النصية.
| الميزة | الإجابة على الأسئلة المرئية | الإجابة على الأسئلة النصية |
|---|---|---|
| طريقة الإدخال | صور مقترنة بأسئلة نصية | فقرات نصية مصحوبة بأسئلة نصية |
| تقنيات الذكاء الاصطناعي الأساسية | رؤية الحاسوب، المحولات متعددة الوسائط، نماذج لغة الرؤية | معالجة اللغة الطبيعية، نماذج المحولات، استرجاع المعلومات |
| نماذج معمارية نموذجية | فيليبرت، لافا، GPT-4V، بليب-2، فلامنغو | أنظمة BERT و RoBERTa و T5 و GPT وأنظمة الاسترجاع المعززة |
| المعايير الرئيسية | VQA v2، GQA، OK-VQA، TextVQA | SQuAD، أسئلة طبيعية، أسئلة وأجوبة معلومات عامة، MS MARCO |
| التحديات الرئيسية | التأسيس البصري، والتعرف الضوئي على الأحرف داخل الصور، والاستدلال المكاني، والتعامل مع المراجع البصرية الغامضة | فهم المقروء، والتعامل مع الأسئلة التي لا إجابة لها، والاستدلال متعدد الخطوات، وفهم السياق الطويل |
| متطلبات البيانات | مجموعات ثلاثية من الصور والأسئلة والأجوبة تتطلب شرحًا مرئيًا ونصيًا. | أزواج الأسئلة والأجوبة المستندة إلى المستندات، والتي غالباً ما تتطلب تعليقات بشرية من الخبراء |
| التعقيد الحسابي | أعلى بسبب معالجة البيانات المرئية والنصية في آن واحد | بشكل عام أقل، مع التركيز على تجزئة النص واهتمام المحول |
| تطبيقات عملية في العالم الحقيقي | التكنولوجيا المساعدة للمستخدمين المكفوفين، البحث القائم على الصور، التشخيص الطبي، المراقبة | محركات البحث، والمساعدون الافتراضيون، والأدوات التعليمية، وتحليل الوثائق القانونية |
| التطور التاريخي | برزت كمجال مستقل في الفترة ما بين عامي 2014 و2015 مع صعود التعلم العميق | تم تطويرها على مدى عقود، مع تحقيق تقدم كبير في أعقاب ثورة المحولات في عام 2017 |
يكمن الاختلاف الجوهري بين هاتين المهمتين في طبيعة البيانات التي تعالجها كل منهما. تتطلب الإجابة على الأسئلة المرئية من النماذج تحليل بيانات البكسل من الصور إلى جانب الأسئلة النصية، مما يستلزم استخدام مُشفِّرات رؤية متطورة قادرة على استخلاص السمات ذات الدلالة من المحتوى المرئي. في المقابل، تعمل الإجابة على الأسئلة النصية حصريًا مع اللغة المكتوبة، مما يسمح للنماذج بتركيز مواردها الحاسوبية على الفهم اللغوي بدلًا من تشتيت انتباهها بين نوعين مختلفين تمامًا من البيانات.
تجمع أنظمة الإجابة على الأسئلة المرئية عادةً بين مُشفِّر رؤية (مثل شبكة عصبية تلافيفية أو مُحوِّل رؤية) ونموذج لغوي، وتدمج هذه التمثيلات من خلال طبقات الانتباه المتبادل أو الإسقاط. تُضيف هذه البنية متعددة الوسائط تعقيدًا كبيرًا. يمكن لنماذج الإجابة على الأسئلة النصية الاعتماد كليًا على مُحوِّلات اللغة دون الحاجة إلى مكونات معالجة مرئية، مما يجعلها أسهل في التدريب والنشر عمومًا، على الرغم من أنها لا تزال تتطلب موارد حاسوبية كبيرة لفهم اللغة على نطاق واسع.
غالبًا ما تتطلب أسئلة الإجابة على النصوص تفكيرًا منطقيًا معقدًا في المقاطع الطويلة، بما في ذلك الاستدلال متعدد الخطوات حيث تتطلب الإجابات دمج معلومات من جمل أو وثائق متعددة. أما أسئلة الإجابة على النصوص المرئية فتُضيف تحديات تفكيرية أخرى مثل الفهم المكاني (مواقع الأشياء)، والعد (عدد العناصر الظاهرة)، والفطرة البصرية (ما يحدث عادةً في المشهد). تتطلب كلتا المهمتين معرفة بالعالم المحيط، ولكن يجب أن تستند أسئلة الإجابة على النصوص المرئية إلى أدلة بصرية.
شهدت تقنيات الإجابة على أسئلة النصوص تقدماً ملحوظاً، حيث باتت النماذج تضاهي أو تتفوق على الأداء البشري في معايير مثل SQuAD 2.0. كما شهدت تقنيات الإجابة على أسئلة الصور تقدماً كبيراً، إلا أن هذا المجال يواجه تحديات مستمرة تتعلق بالأسئلة التي تتطلب معرفة خارجية تتجاوز ما هو ظاهر في الصورة. وقد أبرز ظهور تقنية OK-VQA هذه الفجوة، مما دفع الباحثين نحو تبني مناهج استدلال بصري أكثر كثافة معرفية.
تهيمن تقنية ضمان جودة النصوص على سيناريوهات استرجاع المعلومات، إذ تدعم كل شيء بدءًا من مقتطفات البحث المميزة في جوجل وصولًا إلى قواعد المعرفة المؤسسية. أما تقنية ضمان جودة النصوص المرئية، فتجد تطبيقاتها الأقوى حيث يكون السياق المرئي أساسيًا، مثل مساعدة المستخدمين ضعاف البصر على فهم محيطهم، وتحليل الصور الطبية، أو تمكين الروبوتات من التفاعل مع بيئتها بناءً على استفسارات مرئية. وتتقارب هاتان التقنيتان بشكل متزايد في مساعدي الذكاء الاصطناعي متعددي الوسائط القادرين على التعامل مع النصوص والصور بسلاسة.
تستطيع نماذج VQA حقاً "رؤية" وفهم الصور بالطريقة التي يفعلها البشر.
تعالج أنظمة الإجابة المرئية على الأسئلة الصور كتمثيلات رقمية وتتعلم أنماطًا إحصائية بدلًا من تحقيق فهم بصري حقيقي. وقد تفشل في الإجابة على الأسئلة التي تتطلب تفكيرًا منطقيًا أو عندما تكون العناصر البصرية غامضة، حتى عندما تبدو الإجابة الصحيحة واضحة للمشاهد البشري.
توفر أنظمة ضمان جودة النصوص دائمًا إجابات دقيقة وواقعية.
حتى أحدث نماذج اللغة قد تُنتج إجابات تبدو معقولة ظاهريًا ولكنها غير صحيحة، وهي ظاهرة تُعرف بالهلوسة. كما قد تواجه أنظمة الإجابة على الأسئلة النصية صعوبة في التعامل مع الأسئلة التي تتطلب معلومات غير موجودة في بيانات التدريب أو المستندات المصدرية، ويختلف أداؤها اختلافًا كبيرًا باختلاف المجالات وأنواع الأسئلة.
VQA هو مجرد تصنيف للصور مع خطوات إضافية.
يتطلب تحليل جودة الصور المرئية قدرات أكثر تطوراً بكثير من مجرد التصنيف. يجب أن تفهم النماذج العلاقات المكانية، وأن تحصي العناصر، وأن تقرأ النصوص داخل الصور، وأن تفسر المشاهد سياقياً، وأن تستنتج العناصر المرئية في ضوء استفسارات اللغة الطبيعية. وهذا ما يجعلها مشكلة أصعب بكثير من مجرد تصنيف الصور.
سيصبح نظام ضمان جودة النصوص قديمًا مع تحول الذكاء الاصطناعي نحو الأنظمة متعددة الوسائط.
يظل ضمان جودة النصوص أساسيًا حتى مع نمو الذكاء الاصطناعي متعدد الوسائط. فمعظم المعلومات في العالم الحقيقي لا تزال موجودة في شكل نصي، وغالبًا ما تتفوق أنظمة النصوص البحتة على النماذج متعددة الوسائط في المهام النصية فقط، مع استهلاك موارد حاسوبية أقل. وعادةً ما تعتمد الأنظمة متعددة الوسائط على قدرات ضمان جودة النصوص بدلًا من استبدالها.
يتطلب كل من VQA و Text QA نفس النوع والكمية من بيانات التدريب.
يتطلب نظام الإجابة على الأسئلة المرئية مجموعات بيانات مُصنّفة ومكلفة تجمع بين الصور والأسئلة والأجوبة، وغالبًا ما يحتاج إلى عمال من مختلف القطاعات لتوليد أسئلة متنوعة حول المحتوى المرئي. أما نظام الإجابة على الأسئلة النصية فيمكنه الاستفادة من المستندات والمقاطع الموجودة، إلا أن إنشاء أزواج أسئلة وأجوبة عالية الجودة لا يزال يتطلب جهدًا بشريًا كبيرًا في التصنيف.
اختر الإجابة على الأسئلة المرئية عندما يتطلب تطبيقك فهم الصور أو إطارات الفيديو أو المستندات المرئية حيث لا يكفي النص وحده. أما الإجابة على الأسئلة النصية فتظل الخيار الأمثل لتحليل المستندات وأنظمة البحث والسيناريوهات التي توجد فيها المعلومات بشكل أساسي في شكل مكتوب. وتجمع أنظمة الذكاء الاصطناعي الحديثة بشكل متزايد بين كلا النوعين من القدرات، لذا فإن النهج الأكثر عملية غالبًا ما يتضمن نشر نماذج متعددة الوسائط تتعامل مع المدخلات المرئية والنصية على حد سواء.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
