تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تقنيات تسمح لنماذج الرؤية بالتركيز بشكل انتقائي على المناطق أو الميزات المكانية المهمة داخل الصور ومقاطع الفيديو.
الأساليب التي تمكّن نماذج اللغة من تقدير أهمية الكلمات والرموز المختلفة عند معالجة بيانات النصوص المتسلسلة.
| الميزة | آليات الانتباه في الرؤية | الانتباه في معالجة اللغة الطبيعية |
|---|---|---|
| نوع الإدخال الأساسي | صور، أو إطارات فيديو، أو رقع مرئية | رموز النص أو الكلمات أو وحدات الكلمات الفرعية |
| مستوى تفصيل الانتباه | المناطق المكانية أو الرقع أو قنوات الميزات | العلاقات بين الرموز عبر التسلسلات |
| أوريجين أركيتكتشر | محول الرؤية (ViT)، DETR، SE-Net | جهاز التشفير وفك التشفير الأصلي من نوع Transformer (Vaswani et al., 2017) |
| التعقيد الحسابي | تربيعي مع دقة الصورة؛ تقلل الطرق القائمة على الرقع من التكلفة | تربيعي مع طول التسلسل؛ توجد متغيرات الانتباه المتفرق |
| حالات الاستخدام النموذجية | تصنيف الصور، اكتشاف الكائنات، تجزئة الصور، فهم الفيديو | الترجمة، إنشاء النصوص، الإجابة على الأسئلة، التلخيص |
| استراتيجية التمويه | لا يوجد عادةً إخفاء سببي؛ الانتباه ثنائي الاتجاه شائع | إخفاء السببية لأجهزة فك التشفير؛ ثنائي الاتجاه لأجهزة التشفير |
| معلومات الموقع | تمثيلات موضعية ثنائية الأبعاد للبنية المكانية | تمثيلات موضعية أحادية البعد لترتيب الرموز |
| متطلبات البيانات | مجموعات بيانات الصور واسعة النطاق مثل ImageNet أو JFT-300M | مجموعات النصوص الكبيرة مثل Common Crawl أو ويكيبيديا |
تساعد آلية الانتباه البصري النماذج على تحديد موضع النظر في الصورة، حيث تُبرز المناطق المكانية التي تحمل المعلومات الأكثر صلة بمهمة معينة. أما آلية الانتباه في معالجة اللغة الطبيعية، فتُحدد كيفية ارتباط الكلمات ببعضها داخل الجملة أو عبر المستند، مُلتقطةً التبعيات الدلالية بغض النظر عن المسافة. يشترك كلا النوعين في الفكرة الأساسية نفسها، وهي الأهمية المرجحة، لكن البنى التي يعملان عليها تختلف اختلافًا كبيرًا.
ظهر مفهوم الانتباه في معالجة اللغة الطبيعية (NLP) بشكله الحديث أولاً، حيث رسّخت ورقة بحثية نُشرت عام 2017 بعنوان "المُحوّل" (Transformer) مفهوم الانتباه الذاتي كركيزة أساسية لفهم اللغة. وقد استفاد الانتباه في مجال الرؤية بشكل كبير من هذه الإنجازات في معالجة اللغة الطبيعية، إذ أثبتت "مُحوّلات الرؤية" (Vision Transformers) في عام 2020 أن البنى القائمة على الانتباه الخالص يمكن أن تُضاهي أو تتفوق على الشبكات الالتفافية. ومنذ ذلك الحين، استمرّ التفاعل بين المجالين، حيث تربط تقنيات مثل الانتباه المتبادل بين الرؤية واللغة في النماذج متعددة الوسائط.
يواجه كلا المجالين تحديات تعقيد تربيعي، لكن النطاق يختلف. تتعامل نماذج معالجة اللغة الطبيعية مع تسلسلات تتراوح من مئات إلى مئات الآلاف من الرموز، بينما يتعين على نماذج الرؤية التعامل مع صور قد تحتوي على آلاف الأجزاء بدقة عالية. وقد طور باحثو الرؤية متغيرات فعالة مثل آلية الانتباه المُجزأة في نموذج سوين ترانسفورمر، بينما أنتجت معالجة اللغة الطبيعية أساليب انتباه متفرقة وخطية للتعامل مع سياقات أطول.
يكمن أحد الفروق الرئيسية في كيفية تدفق الانتباه. تستخدم نماذج فك تشفير معالجة اللغة الطبيعية تقنية الإخفاء السببي، بحيث لا يرى كل رمز إلا الرموز السابقة له، وهو أمر ضروري لتوليد النصوص التراجعي الذاتي. أما نماذج الرؤية، فتستخدم عادةً الانتباه ثنائي الاتجاه، لأن فهم الصورة لا يتطلب ترتيبًا من اليسار إلى اليمين. مع ذلك، تستخدم بعض مهام الرؤية الانتباه المقنّع، لا سيما في المشفرات التلقائية المقنّعة حيث تُخفى أجزاء من المدخلات أثناء التدريب.
نظرًا لأن النصوص لها ترتيب تسلسلي طبيعي، تستخدم معالجة اللغة الطبيعية تمثيلات موضعية أحادية البعد لتحديد موقع كل رمز في التسلسل. أما الرؤية الحاسوبية فتتطلب تمثيلات موضعية ثنائية البعد للحفاظ على العلاقات المكانية بين أجزاء الصورة، لأن الصور لها أبعاد طول وعرض. يؤثر هذا الاختلاف على كيفية تصميم كل مجال لأنظمة التمثيل الخاصة به، وكيفية تعميم النماذج على أحجام إدخال مختلفة.
لقد تلاشت الحدود بين الانتباه البصري وانتباه معالجة اللغة الطبيعية بشكل ملحوظ. تستخدم نماذج مثل CLIP وDALL-E وFlamingo الانتباه المتبادل لربط التمثيلات المرئية والنصية، مما يُمكّن من أداء مهام مثل التعليق على الصور، والإجابة على الأسئلة المرئية، وتحويل النصوص إلى صور. تُظهر هذه الأنظمة متعددة الوسائط أن آليات الانتباه تتمتع بمرونة فائقة، ويمكنها توحيد أنواع البيانات المختلفة ضمن بنية واحدة.
آليات الانتباه في مجال الرؤية ومعالجة اللغة الطبيعية هي تقنيات مختلفة تمامًا.
يشتركان في نفس الأساس الرياضي لحساب المجاميع المرجحة بناءً على تفاعلات الاستعلام-المفتاح-القيمة. وتكمن الاختلافات بشكل رئيسي في كيفية هيكلة المدخلات والمعلومات الموضعية المضافة، وليس في الآلية الأساسية نفسها.
تعمل محولات الرؤية بشكل جيد حتى مع مجموعات البيانات الصغيرة.
على عكس الشبكات العصبية التلافيفية التي تتضمن تحيزات استقرائية مدمجة، تتطلب تقنيات التحقق من صحة الصور عادةً مجموعات بيانات ضخمة (غالباً مئات الملايين من الصور) لتتفوق على أساليب الشبكات التلافيفية. أما على مجموعات البيانات الأصغر، فغالباً ما تتفوق الشبكات العصبية التلافيفية ما لم يتم تطبيق تنظيم قوي أو تدريب مسبق.
الانتباه في معالجة اللغة الطبيعية يعني أن النموذج يفهم اللغة حقاً.
الانتباه آلية حسابية لترجيح المدخلات، وليس ضمانًا للفهم. يمكن لنماذج اللغة الكبيرة إنتاج نصوص سلسة مع أنها قد ترتكب أخطاء في الاستدلال، أو تتخيل حقائق خاطئة، أو تفشل في المهام المنطقية البسيطة.
يحل الانتباه محل الشبكات الالتفافية والمتكررة بشكل كامل.
لا تزال البنى الهجينة شائعة، وغالبًا ما تتفوق على نماذج الانتباه البحتة. ولا تزال الطبقات الالتفافية تظهر في العديد من أنظمة الرؤية الحديثة، كما تستفيد بعض نماذج معالجة اللغة الطبيعية من دمج الانتباه مع مناهج أخرى.
تُظهر خرائط الانتباه بشكل مباشر ما يفكر فيه النموذج.
لا تُعدّ أوزان الانتباه دائمًا تفسيرات موثوقة لسلوك النموذج. فقد أظهرت الأبحاث أن توزيعات الانتباه لا ترتبط بالضرورة بأهمية الميزات، ويتطلب تفسيرها الحذر.
اختر الانتباه البصري عندما تتطلب مهمتك فهم العلاقات المكانية في الصور أو مقاطع الفيديو، خاصةً عند التعامل مع مجموعات بيانات ضخمة والحاجة إلى تحديد دقيق للموقع. اختر الانتباه اللغوي عند العمل مع بيانات نصية متسلسلة تتطلب فهم السياق أو توليده أو ترجمته. في المشاريع متعددة الوسائط، غالبًا ما يحقق الجمع بين النوعين من خلال الانتباه المتبادل أفضل النتائج.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
تربط منصات الذكاء الاصطناعي المستخدمين بأدوات أو وكلاء أو خدمات مؤتمتة مدعومة بالذكاء الاصطناعي، بينما تركز منصات العمل الحر التقليدية على توظيف محترفين بشريين للعمل على أساس المشاريع. ويهدف كلا النوعين إلى حل المهام بكفاءة، لكنهما يختلفان في التنفيذ، وقابلية التوسع، ونماذج التسعير، والتوازن بين الأتمتة والإبداع البشري في تحقيق النتائج.
