تعتمد تقنية استرجاع المعلومات المعتمدة على الصور على تحليل المحتوى المرئي للعثور على النتائج المتطابقة، بينما تعتمد تقنية استرجاع المعلومات المعتمدة على النصوص على الاستعلامات المكتوبة وفهرسة المستندات. كلا النهجين يدعمان محركات البحث الحديثة، لكنهما يختلفان اختلافًا كبيرًا في كيفية فهمهما لنية المستخدم ومعالجة المعلومات عبر أنواع البيانات المختلفة.
نهج استرجاعي يحلل المحتوى المرئي باستخدام رؤية الكمبيوتر والتعلم العميق للعثور على التطابقات ذات الصلة.
طريقة استرجاع تقليدية تقوم بمطابقة الاستعلامات المكتوبة مع مستندات نصية مفهرسة باستخدام تحليل الكلمات الرئيسية والتحليل الدلالي.
| الميزة | استرجاع المعلومات مع مراعاة الصور | الاسترجاع النصي |
|---|---|---|
| المدخلات الأساسية | الصور والمحتوى المرئي، وأحيانًا يتم دمجها مع النصوص. | الاستفسارات المكتوبة، والكلمات المفتاحية، والأسئلة باللغة الطبيعية |
| التكنولوجيا الأساسية | رؤية الحاسوب، الشبكات العصبية التلافيفية، محولات الرؤية، نماذج CLIP | معالجة اللغة الطبيعية، BM25، التضمينات الكثيفة، BERT |
| أفضل حالات الاستخدام | البحث المرئي عن المنتجات، وتحديد المعالم، والبحث العكسي عن الصور | البحث عن المستندات، البحث عبر الإنترنت، البحث الأكاديمي، قواعد المعرفة المؤسسية |
| تعقيد الاستعلام | يمكن أن يكون الأمر بسيطاً مثل تحميل صورة | يتطلب من المستخدمين التعبير عن نواياهم بالكلمات |
| الفهم الدلالي | يفهم التشابه البصري والأسلوب والتكوين والسياق | يفهم المرادفات، والقصد، والسياق، والفروق اللغوية الدقيقة |
| متطلبات البيانات | مجموعات بيانات صور كبيرة مصنفة، قواعد بيانات للميزات المرئية | مجموعات النصوص، وفهارس المستندات، وقواعد بيانات الكلمات المفتاحية |
| سرعة المعالجة | أبطأ بشكل عام بسبب تكاليف معالجة الصور | عادةً ما تكون أسرع مع هياكل الفهرسة المحسّنة |
| دقة الاستعلامات الغامضة | يمكن للسياق البصري أن يزيل الغموض بشكل طبيعي | قد يواجه صعوبة بدون سياق نصي كافٍ |
تبدأ عملية استرجاع المعلومات المُعتمدة على الصور بتحليل المحتوى المرئي للصورة المُحمّلة، وتقسيمها إلى خصائص مثل الأشكال والألوان والنسيج والأشياء المُتعرّف عليها. تُحوّل هذه الخصائص إلى تمثيلات رياضية تُسمى التضمينات، والتي تُجسّد المعنى الدلالي للصورة. أما عملية استرجاع المعلومات النصية فتسلك مسارًا مختلفًا تمامًا، حيث تُحلّل الاستعلامات المكتوبة لتحديد الكلمات المفتاحية، وفهم العلاقات بينها، ومطابقتها مع المستندات المُفهرسة مسبقًا باستخدام خوارزميات تُقيّم مدى الصلة بناءً على تكرار المصطلح والتشابه الدلالي.
عندما تقع عينك على قطعة أثاث تعجبك ولكنك لا تعرف كيف تصفها، يبرز البحث القائم على الصور، إذ يتيح لك التقاط صورة والعثور على قطع مشابهة فورًا. أما البحث النصي، فيُهيمن عندما تحتاج إلى استرجاع معلومات دقيقة من مجموعات وثائق ضخمة، مثل العثور على سوابق قانونية محددة أو أوراق بحثية أكاديمية. في الواقع، يُكمّل هذان النهجان بعضهما البعض بشكل ممتاز في الأنظمة الحديثة، حيث تُقدّم العديد من المنصات الآن بحثًا هجينًا يجمع بين كلا الأسلوبين.
تختلف البنى العصبية التي تدعم هذه الأنظمة اختلافًا كبيرًا. يعتمد استرجاع المعلومات المُدرك للصور على نماذج رؤية مُدرَّبة على مجموعات بيانات صور ضخمة مثل LAION-5B، حيث تتعلم التعرف على الأنماط عبر ملايين الأمثلة المرئية. أما استرجاع المعلومات القائم على النصوص، فيستند إلى عقود من أبحاث استرجاع المعلومات، ويشمل كلاً من الخوارزميات الكلاسيكية مثل BM25 والأساليب الحديثة القائمة على المحولات. وقد بدأت التطورات الحديثة في النماذج متعددة الوسائط في طمس هذه الحدود، مما يُتيح أنظمة تفهم كلاً من الصور والنصوص ضمن أطر عمل موحدة.
يُسهّل البحث المُعتمد على الصور عملية وصف ما تبحث عنه بالكلمات، وهو أمرٌ بالغ الأهمية عندما يصعب وصف السمات البصرية. يوفر البحث النصي دقةً أكبر عندما تعرف المعلومات التي تحتاجها تحديدًا وتستطيع التعبير عنها بوضوح. غالبًا ما يجد المستخدمون البحث النصي أكثر قابلية للتنبؤ لأنهم يستطيعون رؤية كيفية ارتباط استعلامهم بالنتائج بدقة، بينما قد يُظهر البحث المرئي أحيانًا نتائج مُفاجئة ولكنها ذات صلة بناءً على التشابه البصري.
يواجه استرجاع المعلومات المعتمد على الصور صعوبةً في التعامل مع المفاهيم المجردة التي لا تملك تمثيلات بصرية واضحة، كما يتطلب موارد حاسوبية كبيرة للمعالجة الآنية. أما استرجاع المعلومات المعتمد على النصوص، فيواجه تحدياتٍ تتعلق بعدم تطابق المفردات، حيث يصف المستخدمون شيئًا ما باستخدام مصطلحات مختلفة عن تلك الواردة في المستندات. كلا النهجين في تطور مستمر، ويعمل الباحثون بنشاط على تحسين الفهم متعدد الوسائط، مما قد يجعل التمييز بينهما أقل أهمية في نهاية المطاف.
يمكن لتقنية استرجاع المعلومات المعتمدة على الصور قراءة النصوص داخل الصور بنفس كفاءة أنظمة التعرف الضوئي على الأحرف (OCR) المخصصة.
مع أن أنظمة التعرف الضوئي على الصور الحديثة قادرة على إجراء التعرف الضوئي على الأحرف، إلا أنها عادةً لا تكون مُحسَّنة لهذا الغرض. توفر أنظمة التعرف الضوئي على الأحرف المتخصصة، مثل Tesseract أو الخدمات السحابية من Google وAWS، دقةً أعلى في مهام استخراج النصوص، لا سيما مع التنسيقات المعقدة أو المحتوى المكتوب بخط اليد.
أصبحت عمليات الاسترجاع القائمة على النصوص قديمة الطراز بسبب التطورات في مجال الذكاء الاصطناعي.
لا يزال البحث النصي هو الشكل السائد للبحث عالميًا. وقد حسّن الذكاء الاصطناعي هذا الأسلوب من خلال فهم دلالي أفضل، لكن النهج الأساسي المتمثل في مطابقة الاستعلامات النصية مع المستندات النصية لا يزال يُشغّل معظم محركات البحث وأنظمة المؤسسات وقواعد البيانات البحثية.
يؤدي الاسترجاع المعتمد على الصور دائمًا إلى نتائج أكثر دقة من الاسترجاع المعتمد على النصوص.
تعتمد الدقة كلياً على حالة الاستخدام. ففي البحث عن مستند محدد أو الإجابة عن سؤال واقعي، يتفوق البحث النصي عادةً على الأساليب المرئية. أما البحث القائم على الصور فيتفوق تحديداً عندما يكون التشابه البصري هو المعيار الأساسي للصلة بالموضوع.
أنت بحاجة إلى مجموعات بيانات ضخمة لتطبيق أي من أساليب الاسترجاع.
أتاحت النماذج المدربة مسبقًا وواجهات برمجة التطبيقات (APIs) إمكانية الوصول إلى كلا النهجين دون الحاجة إلى تدريب من الصفر. توفر خدمات مثل Google Cloud Vision وAWS Rekognition وCLIP من OpenAI إمكانيات جاهزة للاستخدام يمكن للفرق الصغيرة دمجها دون الحاجة إلى خبرة واسعة في مجال التعلم الآلي.
يُغني البحث المرئي تماماً عن الحاجة إلى الأوصاف النصية في التجارة الإلكترونية.
تعتمد معظم منصات التجارة الإلكترونية الناجحة على أساليب هجينة. تظل الأوصاف النصية أساسية لتحسين محركات البحث، وسهولة الوصول، والمستخدمين الذين يفضلون كتابة استفساراتهم. أما البحث المرئي، فيُعدّ ميزة مكملة وليست بديلة، وهو مفيد بشكل خاص لمستخدمي الهواتف المحمولة ومن يجدون صعوبة في وصف ما يريدونه.
اختر البحث القائم على الصور عندما يكون التشابه البصري بالغ الأهمية، مثل التسوق لشراء المنتجات، أو تحديد الأشياء، أو إيجاد تصاميم متشابهة بصريًا. أما البحث النصي فيظل الخيار الأمثل للمهام التي تتطلب كميات كبيرة من المعلومات، مثل البحث، والبحث عن المستندات، والحالات التي تُحقق فيها الاستعلامات النصية الدقيقة أفضل النتائج. وتستفيد العديد من التطبيقات الحديثة من الجمع بين كلا النهجين للحصول على إمكانيات بحث شاملة.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
