تعمل تقنية توسيع الاستعلام على إثراء استعلامات البحث ديناميكيًا بمصطلحات إضافية أثناء التشغيل، بينما تعتمد تقنية تضمين الاستعلام الثابت على تمثيلات متجهة محسوبة مسبقًا تظل ثابتة. تعالج كلتا الطريقتين مشكلة عدم تطابق المفردات في استرجاع المعلومات، لكنهما تختلفان اختلافًا كبيرًا في المرونة والتكلفة الحسابية والقدرة على التكيف مع المحتوى الجديد.
تقنية استرجاع تعمل على تعزيز الاستعلام الأصلي بمصطلحات ذات صلة أو مرادفات أو سياق لتحسين استرجاع البحث.
تمثيلات متجهة كثيفة محسوبة مسبقًا للاستعلامات التي تظل ثابتة ويتم إعادة استخدامها عبر عمليات البحث دون تعديل وقت التشغيل.
| الميزة | توسيع الاستعلام | تضمينات الاستعلام الثابتة |
|---|---|---|
| الآلية الأساسية | يضيف مصطلحات إلى الاستعلام أثناء التشغيل | يقوم بتشفير الاستعلام إلى متجه ثابت |
| القدرة على التكيف مع المحتوى الجديد | مرتفع - يمكنه استيعاب إشارات جديدة | منخفض - مجمد وقت التدريب |
| التكلفة الحسابية لكل استعلام | متوسط إلى مرتفع (مكالمات ماجستير القانون ممكنة) | تمريرة واحدة منخفضة - مشفر واحد |
| التعامل مع المصطلحات النادرة | مطابقة المصطلحات القوية والصريحة | ضعيف - يعتمد على تغطية المُجزئ |
| المفاضلة بين الدقة والاستدعاء | يعزز الاستدعاء، لكنه قد يضر بالدقة | متوازن ولكنه يعتمد على مجموعة النصوص |
| متطلبات الفهرسة | أعمال المؤشر المعكوس القياسي | يتطلب فهرسة متجهة (FAISS، ScaNN) |
| حالات الاستخدام النموذجية | البحث المعجمي، الاسترجاع الهجين | البحث الدلالي، مسارات RAG |
| قابلية التفسير | عالية - المصطلحات مرئية | فضاء متجهي منخفض - معتم |
تعتمد تقنية توسيع الاستعلام على التمثيل النصي للاستعلام، بإضافة المرادفات والمفاهيم ذات الصلة أو المصطلحات المستخرجة من المستندات الأعلى تصنيفًا. أما تقنية تضمين الاستعلام الثابتة فتسلك مسارًا مختلفًا تمامًا: حيث يقوم مُشفِّر عصبي بتحويل الاستعلام إلى متجه متصل، ويتم قياس التشابه في فضاء التضمين هذا. تبقى الأولى ضمن عالم الرموز المنفصلة، بينما تُدمج الثانية المعنى في شكل هندسي.
بما أن توسيع الاستعلام يُنشئ مصطلحات جديدة أثناء البحث، فإنه يتفاعل مع مجموعة المستندات الفعلية، وسلوك المستخدم، والاتجاهات الحديثة. في المقابل، تُدمج تضمينات الاستعلام الثابتة أثناء التدريب، ولا يمكنها التكيف مع تغير المفردات أو المحتوى المفهرس حديثًا دون إعادة التدريب. هذا يجعل التوسيع أكثر استجابة، ولكنه أيضًا أكثر تباينًا بين عمليات التشغيل.
تتفوق التضمينات الثابتة في التطبيقات الحساسة للتأخير، إذ أن تمريرة واحدة عبر المُشفِّر لا تتطلب تكلفة عالية، ويمكن تخزين المتجه الناتج مؤقتًا. يُضيف توسيع الاستعلام، خاصةً عند استخدام نماذج لغوية ضخمة، عبئًا إضافيًا لكل استعلام. مع ذلك، يُجنِّب التوسيع تكلفة البنية التحتية الباهظة لصيانة فهرس المتجهات، والتي قد تُشكِّل عبئًا حقيقيًا عند التعامل مع مليارات المستندات.
غالبًا ما تستفيد الاستعلامات القصيرة والغامضة من التوسيع لأن السياق الإضافي يُزيل الغموض عن المقصود. أما الاستعلامات الطويلة والواضحة، فقد تتأثر سلبًا بالتوسيع لأن المصطلحات المضافة تُضعف الإشارة الأصلية. تتعامل التضمينات الثابتة مع أسئلة اللغة الطبيعية بسلاسة، لكنها تتعثر في التعامل مع الأسماء العلمية النادرة، أو المصطلحات التقنية المتخصصة، أو المصطلحات المُستحدثة التي لم يتعلمها المُشفِّر.
تجمع معظم أنظمة استرجاع البيانات المستخدمة حاليًا بين هاتين الفكرتين. يعتمد النمط الشائع على تضمين الاستعلام الثابت للاستدعاء الدلالي وتوسيع الاستعلام للدقة المعجمية، ثم يدمج قائمتي النتائج. وقد زادت الأبحاث الحديثة حول تقنيات مثل HyDE (تضمين المستندات الافتراضية) من غموض هذا التداخل باستخدام نموذج خطي لغوي (LLM) لإنشاء مستند افتراضي يتم تضمينه، مما يدمج فعليًا التوسيع والتضمين في خطوة واحدة.
يؤدي توسيع الاستعلام دائمًا إلى تحسين نتائج البحث.
يُحسّن التوسيع من استرجاع المعلومات، ولكنه غالبًا ما يُؤثر سلبًا على الدقة عندما تكون المصطلحات المُضافة خارجة عن الموضوع. قد يُؤدي التوسيع العشوائي إلى طمس النتائج ذات الصلة وسط الضوضاء، ولهذا السبب تستخدم الأنظمة الحديثة استراتيجيات توسيع انتقائية أو مُتعلمة.
تفهم تضمينات الاستعلام الثابتة أي كلمة تُلقيها عليها.
تُقيّد أدوات التشفير ببيانات التجزئة والتدريب الخاصة بها. غالبًا ما تُقسّم الأخطاء الإملائية، أو أسماء المنتجات الجديدة، أو المصطلحات المتخصصة في مجال معين إلى كلمات فرعية لم يسبق للنموذج رؤيتها، مما يؤدي إلى تمثيلات ضعيفة.
البحث المتجهي يجعل تقنية استرجاع المعلومات التقليدية قديمة الطراز.
لا تزال الطرق المعجمية مثل BM25 تتفوق على الاسترجاع الكثيف في العديد من المعايير، خاصةً للاستعلامات التي تحتوي على عدد كبير من الكلمات المفتاحية. أقوى الأنظمة هي الأنظمة الهجينة، وليست أنظمة متجهة خالصة.
توسيع الاستعلام هو أسلوب قديم لم يعد ذا أهمية.
لقد أعادت أساليب التوسيع المدعومة بتقنية LLM مثل query2doc و HyDE إحياء هذا المجال، مما يدل على أن التوسيع الحديث يتفوق على أساليب حقيبة الكلمات الساذجة بهوامش واسعة.
نماذج التضمين الأكبر تعني دائمًا استرجاعًا أفضل.
يبدأ تناقص العوائد بسرعة، وغالبًا ما يتطابق جهاز التشفير الصغير المُعد جيدًا مع تعدين البيانات السلبية الصعبة مع نموذج ضخم بجزء بسيط من التكلفة.
اختر توسيع الاستعلام عندما يكون لديك مجموعة بيانات كبيرة، وتحتوي استعلاماتك على مصطلحات نادرة أو تقنية، وتحتاج إلى استرجاع قابل للتفسير والتكييف. اختر تضمينات الاستعلام الثابتة عندما يكون زمن الاستجابة مهمًا، وتكون استعلاماتك أسئلة بلغة طبيعية، ويمكنك تحمل تكلفة بنية فهرسة المتجهات. عمليًا، تستخدم أقوى الأنظمة كلا الخيارين معًا بدلًا من اختيار أحدهما.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
