يقوم تعميم التجزئة ببناء مفردات الكلمات الفرعية من مجموعات ضخمة ومتنوعة للتعامل مع أي نص، بينما يقوم التجزئة الخاصة بالمجال بصياغة مفردات متخصصة لمجالات ضيقة مثل الطب أو القانون لتعزيز الدقة وتقليل تضخم الرموز في اللغة التقنية.
أدوات تجزئة الكلمات الفرعية العالمية المدربة على مجموعات بيانات واسعة ومتعددة اللغات لمهام معالجة اللغة الطبيعية ذات الأغراض العامة.
أدوات تجزئة مخصصة مُحسَّنة للمفردات المتخصصة في مجالات مثل الطب الحيوي والقانون والتمويل.
| الميزة | تعميم التجزئة | تجزئة الكلمات الخاصة بالمجال |
|---|---|---|
| مجموعة التدريب | نصوص متنوعة ضخمة (الويب، الكتب، ويكيبيديا) | مجموعات بيانات منسقة من مجالات محددة (أوراق بحثية، براءات اختراع، ملاحظات سريرية) |
| حجم المفردات | عادةً ما تتراوح بين 30 ألف و100 ألف رمز مميز | غالباً ما تتراوح بين 50 ألف و250 ألف كلمة في مصطلحات النطاق |
| التعامل مع المصطلحات الفنية | غالباً ما ينقسم إلى كلمات فرعية | يحافظ على المصطلحات الكاملة كرموز مفردة |
| الأداء عبر المجالات | خط أساس متسق عبر المجالات | يتدهور خارج نطاق الهدف |
| تكلفة النشر | نموذج واحد، صيانة أقل | يتطلب ذلك تحديد المجال أو نماذج متعددة |
| كفاءة الرموز في نص المجال | عدد أكبر من الرموز، تسلسلات أطول | عدد أقل من الرموز لكل مستند، واستدلال أسرع |
| أمثلة | مُجزئات الكلمات BERT و GPT-4 و T5 | الرموز المميزة BioBERT وSciBERT وLegal-BERT |
تستقي أدوات تجزئة النصوص العامة من نطاق واسع من اللغة البشرية - صفحات الويب، والكتب، والمحادثات - لبناء مفردات شاملة لا تتخصص في مجال محدد. أما أدوات تجزئة النصوص المتخصصة، فتركز بشكل دقيق على المجلات الطبية، والوثائق القانونية، والأوراق العلمية لاستخلاص المصطلحات التي نادرًا ما تتناولها المدونات اللغوية العامة. هذا التركيز الدقيق يعني أن أداة تجزئة النصوص الكيميائية تتعرف على مصطلح "1,2-ثنائي كلورو الإيثان" كمصطلح مألوف، وليس مجرد سلسلة نصية تُجزأ إلى أجزاء لا معنى لها.
كل رمز إضافي يزيد من استهلاك الذاكرة ووقت المعالجة. غالبًا ما تُقسّم مُجزئات الكلمات العامة المصطلحات المتخصصة إلى أجزاء تتراوح بين 5 و8 كلمات فرعية، مما يُطيل طول التسلسلات ويُبطئ عملية الاستدلال. أما مُجزئات الكلمات الخاصة بالمجالات، فتُبقي المصطلحات مُختصرة، مُقلّصةً عدد الرموز بنسبة 20-40% في المستندات التقنية. بالنسبة للتطبيقات ذات الأحجام الكبيرة، مثل معالجة ملخصات خروج المرضى من المستشفيات، تتراكم هذه الوفورات لتُؤدي إلى تقليل زمن الاستجابة والتكاليف بشكل ملحوظ.
في المقارنات المباشرة، تتفوق أدوات تجزئة النصوص المتخصصة باستمرار على الأدوات العامة في المهام المتخصصة - يتفوق BioBERT على BERT في التعرف على الكيانات المسماة في المجال الطبي الحيوي، ويتفوق Legal-BERT في تصنيف الجمل. ومع ذلك، يتلاشى هذا التفوق خارج نطاق التخصص؛ إذ تتعثر أداة تجزئة النصوص القانونية في نصوص وسائل التواصل الاجتماعي غير الرسمية بينما تعمل أداة تجزئة النصوص العامة بسلاسة. ويعكس فارق الأداء مدى توافق مفردات اللغة مع لغة المهمة.
توفر أدوات تجزئة الكلمات العامة سهولة النشر لمرة واحدة: نموذج واحد يخدم البحث، وبرامج الدردشة الآلية، وتحليل المستندات في مختلف القطاعات. أما أدوات تجزئة الكلمات الخاصة بالمجالات فتتطلب تحديثًا مستمرًا - فالأدوية الجديدة، والسوابق القانونية المتطورة، والمصطلحات العلمية الناشئة، كلها تستلزم تحديثات للمفردات. يجب على الفرق أن توازن بين تحسينات الأداء والجهد الهندسي المبذول في مراقبة تغيرات المجال وإعادة تدريب أدوات تجزئة الكلمات بشكل دوري.
تُوحّد أدوات تجزئة الكلمات متعددة اللغات العامة، مثل XLM-R، تمثيل الكلمات عبر اللغات، مما يُتيح نقلها دون الحاجة إلى تدريب مسبق. ولا تزال تجزئة الكلمات متعددة اللغات الخاصة بمجالات محددة مجالًا غير مستكشف بشكل كافٍ؛ إذ تُركز معظم الجهود المبذولة في هذا المجال على اللغة الإنجليزية. وبالنسبة لشركات الأدوية العالمية أو مكاتب المحاماة الدولية، يُمثل بناء مفردات خاصة بالمجالات تشمل لغات متعددة تحديًا لم يُحل بعد، مما يُجبر في كثير من الأحيان على اتباع مناهج هجينة تجمع بين قواعد عامة متعددة اللغات وقواعد تجزئة خاصة بالمجال.
المفردات الأكبر تعني دائمًا تجزئة أفضل للكلمات.
يتأثر حجم المفردات بحجم مصفوفة التضمين وندرة الرموز. قد يؤدي استخدام مفردات مجال تضم 250,000 رمز إلى إعاقة التعميم إذا ظهرت العديد من المدخلات بشكل نادر جدًا بحيث لا يمكن تعلم تمثيلات جيدة لها. يعتمد الحجم الأمثل على تنوع المدونة والمهمة اللاحقة، وليس فقط على العدد الإجمالي للرموز.
لا تُعدّ أدوات تحليل النطاقات ذات صلة إلا بالمجالات العلمية المتخصصة.
أي فائدة لغوية متخصصة - كالعقود المالية، وتذاكر دعم العملاء التي تحتوي على رموز المنتجات، وحتى مجتمعات الألعاب ذات المصطلحات العامية المتطورة. إذا كان نصك يحتوي على أنماط متكررة غير معروفة في المدونات اللغوية العامة، فإن تكييفه مع المجال يستدعي النظر فيه.
تحتاج إلى تدريب نموذج كامل من الصفر للحصول على فوائد تجزئة المجال.
يبدأ العديد من الممارسين باستخدام أدوات تجزئة الكلمات العامة، ثم يقومون بتطويرها تدريجيًا بإضافة رموز خاصة بالمجال إلى المفردات الموجودة، أو باستخدام تقنيات توسيع المفردات. يحافظ هذا النهج الوسطي على الأوزان المدربة مسبقًا مع توسيع نطاق تغطية المجال.
تُعد جودة التجزئة مشكلة محلولة باستخدام أساليب الكلمات الفرعية الحديثة.
تتفوق خوارزميات الكلمات الجزئية في التعامل مع الكلمات غير المعروفة على أساليب تحليل الكلمات الكاملة، إلا أنها لا تزال تواجه صعوبات في التعامل مع الصرف غير التجميعي، وخلط الرموز، والنصوص الغنية بالرموز كالبراهين الرياضية أو الصيغ الكيميائية. ويستمر البحث النشط عن بدائل تراعي خصائص الأحرف والصرف.
أصبحت أدوات تجزئة الكلمات العامة قديمة الطراز مع توسع نطاق النماذج.
لا تزال نماذج GPT-4 والنماذج الكبيرة المماثلة تعتمد على التجزئة العامة، وتُظهر كفاءتها الواسعة أن الحجم يُعوض جزئيًا عن عدم تطابق المجال. ومع ذلك، فإن مخاوف الكفاءة والدقة العالية تُبقي الأساليب الخاصة بالمجال ذات أهمية، لا سيما بالنسبة للتطبيقات ذات قيود النشر.
اختر تعميم التجزئة عند التعامل مع أنواع نصوص متنوعة، أو دعم لغات متعددة، أو عند نقص الموارد اللازمة لتنظيم المحتوى الخاص بالمجال. اختر التجزئة الخاصة بالمجال عندما تؤثر دقة المصطلحات التقنية بشكل مباشر على قيمة العمل - مثل دعم القرارات السريرية، أو البحث عن براءات الاختراع، أو الامتثال التنظيمي - ويكون محتوى المجال غنيًا بما يكفي لتبرير الاستثمار.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
