تمثل نماذج المحولات والبنى القائمة على الشبكات العصبية التلافيفية نهجين رئيسيين في التعلم العميق، يتفوق كل منهما في مجالات مختلفة. تعتمد نماذج المحولات على الانتباه الذاتي لالتقاط العلاقات العالمية، بينما تستخدم الشبكات العصبية التلافيفية مرشحات الالتفاف لاكتشاف الأنماط المكانية المحلية بكفاءة.
بنى التعلم العميق التي تستخدم آليات الانتباه الذاتي لمعالجة البيانات المتسلسلة والسياقية عبر طرائق متنوعة.
الشبكات العصبية التي تطبق مرشحات الالتفاف على بيانات الإدخال لاستخراج السمات المكانية الهرمية للتعرف على الأنماط.
| الميزة | نماذج المحولات | بنى معمارية قائمة على الشبكات العصبية التلافيفية |
|---|---|---|
| الآلية الأساسية | الاهتمام الذاتي في جميع المناصب | مرشحات الالتفاف على المنطقة المحلية |
| سنة الإصدار | 2017 | ثمانينيات القرن العشرين (نيوكوجنيترون)، 1998 (لينيت-5) |
| المجال الاستقبالي | عالمي من الطبقة الأولى | محلي، يتوسع بعمق |
| كفاءة البيانات | يحتاج إلى مجموعات بيانات ضخمة ليتألق | يؤدي أداءً جيداً مع البيانات المتوسطة |
| التكلفة الحسابية | التعقيد التربيعي مع طول التسلسل | خطي مع حجم الإدخال |
| النطاقات الأساسية | معالجة اللغة الطبيعية، الرؤية الحاسوبية، الذكاء الاصطناعي متعدد الوسائط | رؤية الحاسوب، التصوير الطبي |
| قابلية التفسير | توفر خرائط الانتباه بعض الأفكار | خرائط الميزات تصور المرشحات المتعلمة |
| التحيز الاستقرائي | الحد الأدنى من الافتراضات المضمنة | خاصية التوطين القوية وثبات الترجمة |
| قابلية التوسع | يتناسب بشكل ملحوظ مع المعايير | تناقص العوائد بعد حجم معين |
تتخلى نماذج المحولات عن افتراضات التسلسل أو الموقع المكاني المتأصلة في البنى السابقة، وتترك النموذج يتعلم العلاقات المهمة من خلال آلية الانتباه. أما الشبكات العصبية الالتفافية، فتتبنى نهجًا معاكسًا، حيث تُدمج الموقع في التصميم باستخدام مرشحات منزلقة تلتقط الأنماط القريبة بشكل طبيعي. هذا الاختلاف الفلسفي يؤثر على كل شيء لاحقًا، بدءًا من كمية بيانات التدريب التي يحتاجها كل نموذج وصولًا إلى مدى سهولة تعميمه على مهام جديدة.
في مجال معالجة اللغات الطبيعية، حلت المحولات محل الأساليب السابقة بشكل أساسي، محققةً نتائج متقدمة في معايير مثل GLUE وSuperGLUE. لا تزال الشبكات العصبية الالتفافية (CNNs) تهيمن على العديد من مسارات معالجة رؤية الحاسوب، خاصةً عندما تكون سرعة الاستدلال مهمة، على الرغم من أن محولات الرؤية (ViT) قد قلصت الفجوة في الدقة. أما بالنسبة للمهام التي تتضمن كلاً من الصور والنصوص، فإن النماذج الهجينة والمحولات البحتة أصبحت شائعة بشكل متزايد.
يتناسب الانتباه الذاتي طرديًا مع مربع طول التسلسل، ما يعني أن مُحوِّلًا يُعالج مدخلاتٍ تحتوي على 4000 رمز يُنجز ما يقارب 16 ضعف العمل الذي يُنجزه مُحوِّل يُعالج 1000 رمز. أما الشبكات العصبية الالتفافية (CNNs) فتتناسب طرديًا مع أبعاد المدخلات، ما يجعلها أكثر كفاءةً بكثير للصور عالية الدقة أو مقاطع الفيديو في الوقت الفعلي. في المقابل، يُمكن مُوازاة المُحوِّلات بسهولة عبر وحدات معالجة الرسومات (GPUs)، بينما قد تُعاني الشبكات العصبية الالتفافية العميقة جدًا من اختناقات في الذاكرة أثناء عملية الانتشار العكسي.
تُعرف نماذج Transformers باستهلاكها الكبير للبيانات، إذ غالبًا ما تحتاج إلى ملايين الأمثلة قبل أن تُؤتي مرونتها ثمارها، على الرغم من أن النماذج المدربة مسبقًا مثل BERT قد غيّرت هذه المعادلة من خلال التعلم بالنقل. تستطيع الشبكات العصبية الالتفافية (CNNs) تحقيق نتائج قوية باستخدام مجموعات بيانات أصغر بفضل تحيزاتها الاستقرائية المدمجة، وهذا ما يجعلها شائعة في مجالات مثل التصوير الطبي حيث البيانات المصنفة نادرة. يستفيد كلا النوعين بشكل كبير من التدريب المسبق، ولكن عادةً ما يكون الوصول إلى نموذج فعال أقصر مع الشبكات العصبية الالتفافية في بيئات البيانات المحدودة.
بالنسبة للأجهزة الطرفية وتطبيقات الجوال، لا تزال الشبكات العصبية التلافيفية (CNNs) تتفوق من حيث الكفاءة، حيث تم تحسين بنى مثل MobileNet وEfficientNet للاستدلال منخفض الطاقة. وتلحق بها شبكات Transformer من خلال تقنيات مثل تقطير المعرفة، والتكميم، وأنواع الانتباه الفعالة مثل Linformer وPerformer. في الأنظمة السحابية حيث الدقة هي الأهم، غالباً ما تبرر شبكات Transformer تكلفتها الحسابية الأعلى.
لقد حلت المحولات محل الشبكات العصبية التلافيفية تمامًا في مجال رؤية الكمبيوتر.
لا تزال الشبكات العصبية التلافيفية (CNNs) تُستخدم على نطاق واسع في أنظمة الرؤية الإنتاجية، وخاصةً للتطبيقات الآنية وتطبيقات الأجهزة المحمولة. وقد حققت نماذج المحولات (Transformers) دقة مماثلة أو أفضل من الشبكات العصبية التلافيفية في الاختبارات المعيارية، إلا أن المفاضلات المتعلقة بالكفاءة تُبقي النماذج التلافيفية ذات أهمية في العديد من سيناريوهات النشر.
لا تستطيع الشبكات العصبية التلافيفية التقاط التبعيات بعيدة المدى.
على الرغم من أن لكل طبقة من طبقات الشبكات العصبية الالتفافية حقول استقبال محلية، إلا أن تكديس العديد من الطبقات واستخدام الالتفافات المتوسعة يُوسع حقل الاستقبال الفعال بشكل ملحوظ. تستطيع الشبكات العصبية الالتفافية الحديثة نمذجة العلاقات عبر مناطق كبيرة من الصورة، مع أن المحولات تجعل ذلك أكثر مباشرة.
لا تحتوي المحولات على انحيازات حثية.
تتمتع نماذج المحولات بتحيزات استقرائية أضعف من الشبكات العصبية التلافيفية، لكنها ليست خالية من التحيز. فترميز المواقع، ومخططات التجزئة، والخيارات المعمارية مثل إخفاء السببية، كلها تُدخل افتراضات حول بنية البيانات في النموذج.
نماذج المحولات الأكبر حجماً هي الأفضل دائماً.
تُظهر قوانين التوسع أن الأداء يتحسن مع زيادة الحجم، لكن العائدات تتضاءل، وغالبًا ما تتفوق النماذج الأصغر حجمًا على النماذج الأكبر في مهام محددة بعد ضبطها بدقة. غالبًا ما تجعل تكلفة الحوسبة وزمن الاستجابة وقيود النشر النماذج الأصغر حجمًا الخيار العملي الأمثل.
تُعتبر الشبكات العصبية التلافيفية تقنية عفا عليها الزمن.
تستمر الشبكات العصبية التلافيفية في التطور مع ابتكارات مثل الالتفافات القابلة للفصل العميق، والبحث عن بنية الشبكة العصبية، والتصاميم الحديثة مثل ConvNeXt التي تنافس أداء الشبكات المحولة. ولا تزال هذه الشبكات أساسية في العديد من الأنظمة المتطورة.
اختر البنى القائمة على الشبكات العصبية التلافيفية (CNN) عندما تحتاج إلى استدلال فعال، أو عند العمل مع بيانات تدريب محدودة، أو عند النشر في بيئات محدودة الموارد مثل الأجهزة المحمولة. استخدم نماذج المحولات عند التعامل مع البيانات المتسلسلة، أو المهام متعددة الوسائط، أو في الحالات التي يُحقق فيها التقاط التبعيات بعيدة المدى والتوسع مع الحوسبة مكاسب ملموسة في الدقة.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
