يمثل استخدام الميزات المتفرقة والكثيفة نهجين مختلفين جذريًا لتمثيل البيانات في نماذج التعلم الآلي. تعتمد الميزات المتفرقة على متجهات عالية الأبعاد حيث تكون معظم القيم أصفارًا، بينما تضغط الميزات الكثيفة المعلومات في تمثيلات مضغوطة ذات أبعاد أقل. ويؤثر اختيار أحدهما على أداء النموذج وقابليته للتفسير وكفاءته الحسابية.
استراتيجية تمثيل تستخدم متجهات عالية الأبعاد حيث تكون معظم المدخلات صفرًا، وهي شائعة في البيانات النصية والفئوية.
تمثيل مضغوط تكون فيه معظم القيم غير صفرية، ويتم تعلمه عادةً من خلال التضمينات أو طبقات الشبكة العصبية.
| الميزة | استخدام الميزات بشكل محدود | استخدام الميزات الكثيف |
|---|---|---|
| الأبعاد النموذجية | من آلاف إلى ملايين الأبعاد | من عشرات إلى مئات الأبعاد |
| نسبة القيم غير الصفرية | عادة أقل من 1% | جميع القيم تقريباً غير صفرية |
| قابلية التفسير | عالي - لكل بُعد معنى واضح | الأبعاد المنخفضة هي سمات كامنة مجردة |
| كفاءة التخزين | يتطلب تنسيقات متفرقة (CSR، CSC) لتحقيق الكفاءة | يتم تخزينها كمصفوفات كثيفة قياسية |
| حالات الاستخدام الشائعة | تصنيف النصوص، وأنظمة التوصية، والتنبؤ بنسبة النقر إلى الظهور | التعلم العميق، البحث الدلالي، معالجة الصور والصوت |
| التكلفة الحسابية | فعال للنماذج الخطية، ومكلف للشبكات العصبية | مُحسَّن لتسريع معالجة الرسومات بواسطة وحدة معالجة الرسومات/وحدة معالجة الموتر في الشبكات العصبية |
| سلوك التعميم | محدود — يتعامل مع كل ميزة بشكل مستقل | قوي — يلتقط التشابه بين السمات ذات الصلة |
| طريقة التوليد | ترميز أحادي ساخن، TF-IDF، متجهات العد | التضمينات، والطبقات العصبية، وتحليل المصفوفات |
يؤدي استخدام الميزات المتفرقة إلى إنتاج متجهات تكون فيها الغالبية العظمى من المدخلات أصفارًا، وهو ما يحدث بشكل طبيعي عند ترميز المتغيرات الفئوية أو رموز النصوص في فضاءات عالية الأبعاد. في المقابل، يؤدي استخدام الميزات الكثيفة إلى تجميع المعلومات في متجهات مضغوطة حيث يحمل كل بُعد تقريبًا قيمة عددية عشرية ذات دلالة. ويؤثر هذا الاختلاف الهيكلي بشكل متسلسل على كيفية معالجة النماذج للبيانات وتخزينها والتعلم منها.
تتفوق النماذج الخطية، مثل الانحدار اللوجستي وآلات المتجهات الداعمة، على المدخلات المتفرقة لأنها تتجاهل الأبعاد الصفرية أثناء الحساب. أما الشبكات العصبية، فهي مصممة حول عمليات الموترات الكثيفة، وتؤدي أداءً ضعيفًا عند تغذيتها بمتجهات متفرقة خام دون تحويل. لذلك، تقوم العديد من أنظمة الإنتاج بتحويل الميزات المتفرقة إلى تضمينات كثيفة قبل إدخالها إلى البنى العميقة.
تتفوق الميزات المتفرقة في سهولة التفسير، إذ يرتبط كل بُعد منها مباشرةً بسمة واقعية، ككلمة محددة أو فئة منتج. أما الميزات الكثيفة، فتُضحي بهذه الشفافية مقابل تعميم أقوى، لأن العناصر المتشابهة دلاليًا تتقارب في فضاء التضمين. هذه المفاضلة تُفسر شيوع الأساليب الهجينة: ميزات متفرقة للمكونات الخطية القابلة للتفسير، وتضمينات كثيفة للطبقات العميقة.
يُعدّ تخزين متجه متفرق ذي مليون بُعد يحتوي على 50 عنصرًا غير صفري فقط أرخص بكثير من تخزين متجه كثيف ذي 1024 بُعدًا لكل عنصر، خاصةً عند التعامل مع كميات كبيرة من البيانات. مع ذلك، تُعرف عمليات المصفوفات المتفرقة على وحدات معالجة الرسومات (GPUs) بانخفاض كفاءتها بشكل ملحوظ، نظرًا لأن هذه الوحدات مُحسّنة لضرب المصفوفات الكثيفة. غالبًا ما يُجبر هذا التباين الممارسين على تكثيف الميزات قبل الاستفادة من مُسرّعات الأجهزة.
اعتمدت محركات البحث وأنظمة التوصية تاريخيًا على تمثيلات متفرقة مثل TF-IDF والترميز الأحادي الساخن لترتيب النتائج والتنبؤ بنسبة النقر. أما الأنظمة الحديثة، فتدمج هذه التمثيلات بشكل متزايد مع تمثيلات كثيفة من نماذج مثل BERT أو الشبكات العصبية ثنائية البرج لاستخلاص المعنى الدلالي. ويعتمد الاختيار في النهاية على ما إذا كان التطبيق يُعطي الأولوية للتفسير، أو قابلية التوسع، أو دقة التنبؤ.
تعتبر الميزات الكثيفة دائمًا أفضل من الميزات المتفرقة لأنها تستخدم ذاكرة أقل.
تستخدم المتجهات الكثيفة أبعادًا أقل، لكن كل بُعد منها يخزن قيمة عددية كاملة. في الواقع، قد يستهلك المتجه المتفرق الذي يحتوي على عدد قليل من القيم غير الصفرية ذاكرة أقل بكثير من المتجه الكثيف مهما كان حجمه. يعتمد الاختيار الأمثل على بنية البيانات والنموذج المستخدم.
لا تستطيع السمات المتفرقة التقاط العلاقات الدلالية بين الكلمات أو العناصر.
على الرغم من أن الأبعاد المتفرقة الفردية لا تُشفّر التشابه بشكل مباشر، إلا أن تقنيات مثل ترجيح TF-IDF والتمثيلات المتفرقة المُتعلمة مثل SPLADE قادرة على استخلاص أهمية المصطلحات ذات الدلالة. مع ذلك، تظل التضمينات الكثيفة أكثر فعالية في نمذجة التشابه الدلالي الدقيق.
لا تستطيع الشبكات العصبية العمل مع ميزات الإدخال المتفرقة.
تستطيع الشبكات العصبية استقبال مدخلات متفرقة، لكنها عادةً ما تحولها إلى تمثيلات كثيفة في الطبقة الأولى. وتتعامل نماذج مثل DeepFM وWide and Deep وأنظمة التوصية المختلفة مع السمات الفئوية المتفرقة بشكل صريح من خلال جداول بحث التمثيل.
تؤدي عمليات التضمين الكثيفة إلى الاستغناء عن الحاجة إلى هندسة الميزات.
تُسهّل التضمينات الكثيفة عملية تعلم بعض الميزات، لكن المعالجة المسبقة المدروسة، واختيار الميزات، وتصميم البنية لا تزال أمورًا بالغة الأهمية. فبيانات غير دقيقة تُنتج تضمينات غير دقيقة بغض النظر عن مدى تطور النموذج.
أصبحت التمثيلات المتفرقة قديمة ولم تعد تستخدم في الذكاء الاصطناعي الحديث.
لا تزال الميزات المتفرقة أساسية في الأنظمة واسعة النطاق مثل محرك بحث جوجل، والإعلانات عبر الإنترنت، والعديد من محركات التوصيات الإنتاجية. وغالبًا ما يتم دمجها مع التضمينات الكثيفة بدلاً من استبدالها بالكامل.
يُعدّ استخدام الميزات المتفرقة الخيار الأمثل عندما تكون قابلية التفسير، والنمذجة الخطية، وكفاءة التخزين على نطاق واسع للغاية أمورًا بالغة الأهمية، كما هو الحال في التنبؤ بنسبة النقر إلى الظهور أو مسارات معالجة اللغة الطبيعية التقليدية. أما استخدام الميزات الكثيفة فهو الأفضل عند العمل مع نماذج التعلم العميق، أو الفهم الدلالي، أو المهام التي تتطلب تعميمًا قويًا عبر مدخلات متشابهة. وتجمع العديد من أنظمة الإنتاج بين كلا النوعين، حيث تستخدم الميزات المتفرقة للمكونات القابلة للتفسير، والتضمينات الكثيفة لنمذجة لاحقة فعّالة.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
