يُثري نظام RAG ذو السياق المرئي نماذج اللغة من خلال استرجاع الصور والرسوم البيانية والمخططات إلى جانب النص، بينما يعتمد نظام RAG النصي فقط على النصوص المكتوبة. يتفوق نظام RAG المرئي في المهام متعددة الوسائط مثل فهم المستندات والإجابة على الأسئلة المرئية، في حين يظل نظام RAG النصي فقط أبسط وأسرع وأقل تكلفة في النشر.
نهج توليد معزز بالاسترجاع يقوم بسحب الصور والأشكال والبيانات المرئية لتأسيس استجابات نموذج اللغة.
إعداد توليد معزز بالاسترجاع التقليدي يعتمد على نماذج اللغة باستخدام المقاطع المكتوبة فقط من المستندات.
| الميزة | نظام ألوان RAG مع سياق مرئي | RAG مع سياق نصي فقط |
|---|---|---|
| طريقة الإدخال | نص + صور + بيانات مرئية | نص فقط |
| طريقة الاسترجاع | التضمينات متعددة الوسائط (مثل ColPali و CLIP) | تضمينات النص (على سبيل المثال، BGE، OpenAI ada) |
| الأفضل لـ | الرسوم البيانية، والمخططات، والمستندات الممسوحة ضوئيًا، وضمان الجودة المرئي | مقالات، أسئلة وأجوبة، شفرة برمجية، نص منظم |
| تعقيد | أعلى - يتطلب أجهزة تشفير الرؤية ومساحة تخزين أكبر | أقل - خطوط أنابيب وفهرسة أبسط |
| يكلف | أعلى بسبب معالجة الصور واستخدام الرموز المميزة | أسفل، خاصة مع أجزاء نصية صغيرة |
| كمون | أعلى قليلاً من ترميز الصورة | أسرع بشكل عام |
| الاعتماد على التعرف الضوئي على الأحرف | غالباً ما يتم التخلص منها عن طريق استرجاع الصور المباشر | مطلوب لملفات PDF الممسوحة ضوئيًا أو القائمة على الصور |
| نماذج توضيحية | GPT-4V، الجوزاء 1.5، LLaVA، Qwen-VL | GPT-4، كلود، ميسترال، لاما 3 |
تتبع تقنية RAG النصية مسارًا مألوفًا: حيث تُقسّم المستندات إلى أجزاء، وتُضمّن في متجهات، وتُخزّن في قاعدة بيانات للبحث عن التشابه. أما تقنية RAG المرئية، فتتبنى نهجًا مختلفًا جذريًا، إذ تُشفّر الصفحات أو الصور كاملةً كتضمينات مرئية، مما يسمح للنظام باسترجاع المعلومات بناءً على التخطيط والمخططات والأشكال، وليس الكلمات فقط. هذا التحوّل يعني أن تقنية RAG المرئية قادرة على إيجاد المعلومات الموجودة داخل الرسوم البيانية والجداول والملاحظات المكتوبة بخط اليد، والتي قد تُشوّهها تقنية التعرّف الضوئي على الحروف (OCR).
عندما تحتوي المستندات على عناصر بصرية غنية، مثل الرسوم البيانية المالية أو المخططات الهندسية أو الصور الطبية، يتفوق أسلوب RAG البصري عادةً على الأساليب النصية فقط. تُظهر الدراسات التي أُجريت على معايير DocVQA وChartQA أن النماذج التي تتلقى الصور المسترجعة مع النص تجيب على الأسئلة بدقة أكبر من تلك التي تعتمد على النص المستخرج فقط. أما بالنسبة للمصادر النصية البحتة، مثل منشورات المدونات أو مستودعات البرامج، فإن أسلوب RAG النصي فقط يؤدي أداءً جيدًا بنفس القدر دون الحاجة إلى عبء إضافي.
تتطلب تقنية RAG المرئية مواردَ أكبر من البنية التحتية. فاستخدام تضمينات الصور يتطلب مساحة تخزين أكبر، كما أن برامج ترميز الصور مثل ColPali تحتاج إلى وحدات معالجة رسومية (GPUs) لتعمل بكفاءة، بالإضافة إلى أن إدخال الصور في نماذج اللغة يستهلك عددًا أكبر بكثير من الرموز مقارنةً بالنصوص العادية. لذا، تبقى تقنية RAG النصية الخيار الأمثل من حيث التكلفة لمعظم الفرق، خاصةً عند العمل مع مجموعات كبيرة من المقالات أو الوثائق التي لا تحتاج إلى تفسير مرئي.
اختر نظام RAG المرئي عندما تتضمن قاعدة معارفك ملفات PDF ممسوحة ضوئيًا، أو عروضًا تقديمية، أو كتالوجات منتجات مع صور، أو أي محتوى يحمل فيه التصميم المرئي دلالة. أما نظام RAG النصي فقط، فهو مثالي لمواقع دعم العملاء، والعقود القانونية المكتوبة بنص عادي، وتوثيق البرامج، وأنظمة المحادثة الآلية حيث تُعدّ السرعة والتكلفة أهم من جودة التصميم المرئي. وتجمع العديد من أنظمة الإنتاج الآن بين النظامين، حيث تسترجع النصوص لبعض الاستعلامات والصور لأخرى.
يتطلب نظام RAG المرئي نموذجًا متعدد الوسائط قادرًا على معالجة الصور، مثل GPT-4V أو Claude 3.5 Sonnet أو Gemini 1.5 Pro، أو بدائل مفتوحة المصدر مثل LLaVA وQwen-VL. أما نظام RAG النصي فقط، فيعمل مع جميع نماذج اللغات تقريبًا، بما في ذلك النماذج الصغيرة مفتوحة المصدر مثل Llama 3 8B أو Mistral 7B، مما يجعله متاحًا حتى على الأجهزة ذات المواصفات المتواضعة. يتقلص هذا التفاوت في التوافق مع ازدياد قدرات الرؤية في النماذج، إلا أن أنظمة RAG النصية فقط لا تزال توفر خيارات نشر أوسع حتى اليوم.
يستبدل نظام RAG المرئي نظام RAG النصي بالكامل.
يُكمّل نظام Visual RAG أساليب البحث النصي فقط، ولا يحلّ محلّها. بالنسبة للمجموعات النصية البحتة، كالمقالات أو الشفرات البرمجية، يظلّ البحث النصي فقط أسرع وبدقة مماثلة. تستفيد معظم أنظمة الإنتاج من إعداد هجين يوجّه الاستعلامات إلى أداة الاسترجاع المناسبة.
لا يمكن لتقنية RAG النصية التعامل مع المستندات التي تحتوي على صور على الإطلاق.
لا يزال بإمكان نظام RAG النصي معالجة المستندات التي تحتوي على صور من خلال تشغيل تقنية التعرف الضوئي على الحروف (OCR) أولاً وفهرسة النص المستخرج. تعتمد الجودة بشكل كبير على مسار OCR، وغالبًا ما تفقد التنسيقات المعقدة معناها، ولكنه أسلوب عملي للعديد من حالات الاستخدام.
يُعطي نظام RAG المرئي دائمًا إجابات أفضل من نظام RAG النصي فقط.
لا يتفوق البحث المرئي التفاعلي (Visual RAG) على البحث النصي التفاعلي (Text-only RAG) إلا عندما تكون المعلومات المرئية المسترجعة ذات صلة فعلية بالاستعلام. أما بالنسبة للأسئلة المتعلقة بالنثر أو الشفرة أو النصوص المنظمة، فإن إضافة الصور قد تُدخل تشويشًا وتزيد التكاليف دون تحسين الدقة.
أنت بحاجة إلى GPT-4V أو Gemini للقيام بـ RAG المرئي.
تستطيع نماذج مفتوحة المصدر مثل LLaVA وQwen-VL وInternVL وMiniCPM-V التعامل بكفاءة مع مهام RAG المرئية. وتعمل مشفرات الرؤية الأصغر حجمًا، بالإضافة إلى أدوات الاسترجاع مثل ColPali، على وحدات معالجة الرسومات الاستهلاكية، مما يجعل RAG المرئية متاحًا دون الحاجة إلى واجهات برمجة تطبيقات احتكارية.
نظام Visual RAG مكلف للغاية للاستخدام في الإنتاج.
على الرغم من أن تكلفة نظام RAG المرئي أعلى من تكلفة النظام النصي فقط، إلا أن تقنيات مثل ضغط الصور، والتخزين المؤقت للتضمين، والاسترجاع الانتقائي تُبقي التكاليف ضمن حدود معقولة. بالنسبة للقطاعات التي تعتمد بشكل كبير على المستندات، مثل القانون والرعاية الصحية والمالية، فإن تحسينات الدقة غالباً ما تبرر التكلفة.
اختر نظام RAG المرئي عندما تكون بياناتك غنية بالصور أو عندما تحمل التصاميم والرسوم البيانية والمخططات أهمية بالغة، فهو الخيار الأمثل لذكاء المستندات الاصطناعي والإجابة على الأسئلة المرئية. استخدم نظام RAG النصي فقط لقواعد المعرفة التقليدية، وسرعة النشر، وانخفاض التكاليف، خاصةً عندما يكون محتواك نصيًا بالفعل. تجد العديد من الفرق أن النهج الهجين هو الأنسب، حيث يُترك لنوع الاستعلام تحديد مسار الاسترجاع.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
