يُضيّق اختيار الميزات نطاق المتغيرات الموجودة ليقتصر على أكثرها فائدة، بينما يُنشئ توسيع هندسة الميزات ميزات جديدة من البيانات الأولية. يؤثر كلاهما على أداء نماذج التعلم الآلي، لكنهما يعملان في اتجاهين متعاكسين على مسار الميزات.
عملية تحديد والاحتفاظ فقط بمتغيرات الإدخال الأكثر صلة من مجموعة بيانات موجودة لتدريب النموذج.
ممارسة توليد متغيرات إدخال جديدة من خلال التحويلات أو التركيبات أو الاستخلاصات من البيانات الأولية أو الموجودة.
| الميزة | اختيار الميزات | توسيع هندسة الميزات |
|---|---|---|
| الاتجاه الرئيسي | يقلل من الميزات الحالية | توسيع أو إنشاء ميزات جديدة |
| الهدف النموذجي | تحسين التركيز وتقليل الضوضاء | إثراء البيانات بإشارات تنبؤية أكثر |
| التقنيات الشائعة | طرق التصفية والتغليف والتضمين | التحويلات، والتفاعلات، والتضمينات، والترميز |
| التأثير على حجم مجموعة البيانات | يقلل عدد الميزات | زيادة عدد الميزات |
| الدور في خط الأنابيب | يتم تطبيقها عادة بعد هندسة الميزات | يتم تطبيقها عادة قبل اختيار الميزات |
| التأثير على قابلية التفسير | يزيد بشكل عام من قابلية التفسير | قد يؤدي الإفراط في استخدامه إلى تقليل قابلية التفسير |
| خطر الإفراط في التخصيص | أقل عند القيام بذلك بشكل صحيح | أعلى إذا تمت إضافة الكثير من الميزات |
| الاعتماد على المعرفة المتخصصة | معتدل؛ المعايير الإحصائية غالباً ما تكون كافية. | الميزات العالية والهامة غالباً ما تتطلب خبرة |
تعتمد عملية اختيار الميزات على مبدأ "الأقل هو الأكثر". فمن خلال استبعاد المتغيرات غير ذات الأهمية، تتدرب النماذج بشكل أسرع، وغالبًا ما يكون تعميمها أفضل. أما توسيع هندسة الميزات فيتبنى نهجًا معاكسًا، إذ يفترض أن التمثيلات الأكثر ثراءً للمشكلة الأساسية قادرة على كشف أنماط قد يغفل عنها النموذج لولا ذلك. عمليًا، تستخدم معظم مسارات المعالجة الناجحة كلا النهجين: التوسيع أولًا، ثم الاختيار.
يُحقق اختيار الميزات عادةً أفضل النتائج عندما تكون مجموعات البيانات واسعة، أي تحتوي على عدد كبير من الأعمدة مقارنةً بالصفوف، أو عندما تكون قابلية التفسير مهمة، كما هو الحال في القطاعات الخاضعة للتنظيم مثل الرعاية الصحية أو المالية. ويُؤتي توسيع هندسة الميزات ثماره بشكلٍ أكبر عندما تكون البيانات الأولية غير منظمة أو متفرقة أو مُقيدة بتنسيقات لا تستطيع النماذج استهلاكها مباشرةً، مثل الطوابع الزمنية أو النصوص أو التصنيفات الفئوية. وقد تتفوق ميزة مُهندسة مُتقنة في بعض الأحيان على عشرات الميزات الأولية.
تُضيف أساليب الاختيار، مثل الاستبعاد المتكرر للميزات أو الترشيح القائم على خوارزمية لاسّو، عبئًا حسابيًا بسيطًا، بل ويمكنها تقليل وقت التدريب لاحقًا بتقليص مساحة الإدخال. أما أساليب التوسيع، وخاصةً ميزات كثيرات الحدود أو توليد الميزات التلقائي، فتُضخّم عدد الميزات بشكلٍ كبير. فمجموعة بيانات تحتوي على 50 عمودًا، عند توسيعها إلى حدود كثيرات حدود من الدرجة الثالثة، يُمكن أن تُنتج بسهولة آلاف الميزات، مما يتطلب ذاكرة أكبر ودورات تدريب أطول.
تتعامل النماذج القائمة على الأشجار، مثل XGBoost وLightGBM، مع الميزات غير ذات الصلة بسلاسة، مما يقلل من الحاجة إلى اختيار الميزات بشكل مكثف. من ناحية أخرى، تستفيد نماذج التعلم العميق بشكل كبير من هندسة الميزات لأنها تتعلم تمثيلات مع اعتمادها على المدخلات المفيدة. كما يمكن للشبكات العصبية إجراء هندسة الميزات ضمنيًا من خلال طبقات التضمين، مما يطمس الخط الفاصل بين الممارستين.
قد يؤدي الانتقاء المفرط إلى استبعاد خصائص تبدو ضعيفة منفردة، لكنها مهمة عند دمجها مع خصائص أخرى. في المقابل، يُولّد التوسع المفرط خطرًا معاكسًا: تدفق هائل من الخصائص المشوشة أو المترابطة التي تُربك النموذج وتُضخّم التباين. يُعدّ التحقق المتبادل وسيلة الحماية القياسية لكلا الحالتين، إذ يُساعد المختصين على قياس ما إذا كانت الخصائص المضافة أو المحذوفة تُحسّن أداء النموذج خارج نطاق العينة بشكلٍ فعلي.
اختيار الميزات وهندسة الميزات هما نفس الشيء.
هما عمليتان متكاملتان لكنهما متميزتان. فهندسة الميزات تُنشئ متغيرات جديدة من البيانات الأولية، بينما يختار اختيار الميزات المتغيرات التي يجب الاحتفاظ بها. الأولى تُوسّع نطاق الميزات، والثانية تُقلّصه.
المزيد من الميزات يؤدي دائماً إلى نماذج أفضل.
غالباً ما تؤدي إضافة ميزات دون مبرر إلى ظهور التشويش، والارتباط الخطي المتعدد، والتخصيص الزائد. وتعني لعنة الأبعاد أن أداء النماذج قد يتراجع مع ازدياد عدد الميزات دون تحسن مماثل في الإشارة.
لا يكون اختيار الميزات مفيدًا إلا لمجموعات البيانات الصغيرة.
يُساعد اختيار الميزات على أي نطاق. حتى مع وجود ملايين الصفوف، فإن إزالة الميزات غير ذات الصلة أو الزائدة عن الحاجة تُقلل من وقت التدريب، وتُخفض تكاليف التخزين، وغالبًا ما تُحسّن التعميم.
التعلم العميق يلغي الحاجة إلى هندسة الميزات.
يعمل التعلم العميق على أتمتة بعض عمليات تعلم التمثيل، ولكن الميزات المصممة جيدًا لا تزال تعمل على تحسين الأداء وتقليل متطلبات البيانات وتسريع التقارب في معظم التطبيقات العملية.
تختار أدوات اختيار الميزات الآلية دائمًا أفضل الميزات.
تعتمد الأساليب الآلية على معايير إحصائية لا تتوافق دائمًا مع أهداف العمل أو العلاقات السببية. ويظل التقييم البشري مهمًا، لا سيما عندما تحمل الخصائص دلالة خاصة بالمجال.
اختر اختيار الميزات عندما تحتوي مجموعة بياناتك بالفعل على العديد من المتغيرات وتحتاج إلى نموذج أبسط وأكثر قابلية للتفسير. اختر توسيع هندسة الميزات عندما تفتقر البيانات الأولية إلى البنية أو القدرة التنبؤية، ولديك الخبرة اللازمة في المجال لإنشاء متغيرات جديدة ذات مغزى. في معظم المشاريع الواقعية، تتحقق أفضل النتائج من خلال الجمع بين الطريقتين: التوسيع المدروس، ثم الاختيار الدقيق.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
