تعمیم توکنسازی، واژگان زیرکلمات را از پیکرههای عظیم و متنوع میسازد تا هر متنی را مدیریت کند، در حالی که توکنسازی مختص هر حوزه، واژگان تخصصی را برای حوزههای محدودی مانند پزشکی یا حقوق ایجاد میکند تا دقت را افزایش داده و از حجم زیاد توکن در زبان فنی بکاهد.
توکنسازهای زیرکلمات جهانی که بر روی پیکرههای گسترده و چندزبانه برای وظایف پردازش زبان طبیعی عمومی آموزش دیدهاند.
توکنسازهای سفارشی برای واژگان تخصصی در زمینههایی مانند زیستپزشکی، حقوق یا امور مالی بهینه شدهاند.
| ویژگی | عمومیسازی توکنساز | توکنسازی مختص دامنه |
|---|---|---|
| مجموعه آموزشی | متنهای متنوع و گسترده (وب، کتابها، ویکیپدیا) | مجموعه مقالات برگزیده (مقالات، اختراعات، یادداشتهای بالینی) |
| اندازه واژگان | معمولاً 30 هزار تا 100 هزار توکن | اغلب ۵۰ تا ۲۵۰ هزار با اصطلاحات دامنه |
| مدیریت اصطلاحات فنی | اغلب به زیرکلمات تقسیم میشود | کل عبارات را به عنوان توکنهای واحد حفظ میکند |
| عملکرد بین دامنهای | خط پایه ثابت در سراسر دامنهها | خارج از دامنه هدف تنزل مییابد |
| هزینه استقرار | مدل تکی، نگهداری کمتر | نیاز به تشخیص دامنه یا چندین مدل دارد |
| کارایی توکن روی متن دامنه | تعداد توکنهای بیشتر، توالیهای طولانیتر | توکنهای کمتر به ازای هر سند، استنتاج سریعتر |
| مثالها | توکنسازهای BERT، GPT-4، T5 | توکن سازهای BioBERT، SciBERT، Legal-BERT |
توکنسازهای عمومی، وسعت زبان انسان - صفحات وب، کتابها، مکالمات - را میخراشند تا واژگانی بسازند که همه جا کاربرد دارند اما در هیچ کجا تخصصی نیستند. توکنسازهای خاص حوزه، عمداً نگاه خود را محدود میکنند و از مجلات پزشکی، پروندههای حقوقی یا مقالات علمی برای ثبت اصطلاحاتی استفاده میکنند که پیکرههای عمومی به سختی به آنها میپردازند. این رژیم متمرکز به این معنی است که یک توکنساز شیمی، «۱،۲-دیکلرواتان» را به عنوان یک دوست آشنا میشناسد، نه رشتهای که باید به قطعات بیمعنی تقسیم شود.
هر توکن اضافی، استفاده از حافظه و زمان محاسبه را افزایش میدهد. توکنسازهای عمومی اغلب اصطلاحات تخصصی را به قطعات زیرکلمه ۵ تا ۸ تایی تقسیم میکنند، طول توالی را افزایش میدهند و استنتاج را کند میکنند. توکنسازهای دامنه، اصطلاحات را فشرده نگه میدارند و ۲۰ تا ۴۰ درصد از تعداد توکنها را برای اسناد فنی کاهش میدهند. برای برنامههای با حجم بالا مانند پردازش خلاصه ترخیص بیمارستان، این صرفهجوییها به کاهش واقعی تأخیر و هزینه منجر میشوند.
در معیارهای رو در رو، توکنسازهای دامنه به طور مداوم در وظایف خاص از توکنسازهای عمومی پیشی میگیرند - BioBERT در NER زیستپزشکی از BERT بهتر عمل میکند، Legal-BERT در طبقهبندی بندها برتری دارد. با این حال، این مزیت خارج از حوزه تخصصی از بین میرود؛ یک توکنساز حقوقی در متنهای غیررسمی رسانههای اجتماعی دچار مشکل میشود، در حالی که یک توکنساز عمومی به خوبی با آن همخوانی دارد. شکاف عملکرد نشان میدهد که ترازبندی واژگان چقدر با زبان وظیفه مطابقت دارد.
توکنسازهای عمومی، راحتیِ یکبار نصب را ارائه میدهند: یک مدل، جستجو، چتباتها و تحلیل اسناد را در صنایع مختلف ارائه میدهد. توکنسازهای دامنه نیازمند بهروزرسانی مداوم هستند - داروهای جدید، رویههای قانونی در حال تکامل، نمادهای علمی نوظهور، همگی نیاز به بهروزرسانی واژگان دارند. تیمها باید بسنجند که آیا افزایش عملکرد، سربار مهندسی نظارت بر تغییر دامنه و آموزش مجدد توکنسازها را به صورت دورهای توجیه میکند یا خیر.
توکنسازهای چندزبانه عمومی مانند XLM-R، نمایش بین زبانها را یکپارچه میکنند و انتقال بدون وقفه را امکانپذیر میسازند. توکنسازی چندزبانه مختص دامنه همچنان ناشناخته مانده است؛ بیشتر تلاشهای مربوط به دامنه بر زبان انگلیسی متمرکز است. برای شرکتهای داروسازی جهانی یا شرکتهای حقوقی بینالمللی، ایجاد واژگان دامنهای که زبانها را در بر میگیرد، یک چالش حل نشده است و اغلب رویکردهای ترکیبی را که پایههای چندزبانه عمومی را با قوانین توکن مختص دامنه لایهبندی میکنند، مجبور میکند.
واژگان بزرگتر همیشه به معنای توکنسازی بهتر است.
اندازه واژگان با اندازه ماتریس تعبیه و پراکندگی توکنهای کمیاب، رابطهای معکوس دارد. یک دامنه واژگان ۲۵۰،۰۰۰ توکنی میتواند به تعمیمپذیری آسیب برساند، اگر ورودیهای زیاد به ندرت ظاهر شوند تا بازنماییهای خوب را یاد بگیرند. اندازه بهینه به تنوع پیکره و وظیفه پاییندستی بستگی دارد، نه فقط تعداد خام.
توکنسازهای دامنه فقط برای حوزههای علمی خاص مناسب هستند.
هرگونه مزایای زبان تخصصی - قراردادهای مالی، تیکتهای پشتیبانی مشتری با کدهای محصول، حتی انجمنهای بازی با اصطلاحات عامیانه در حال تکامل. اگر متن شما حاوی الگوهای تکراری ناشناخته برای پیکرههای عمومی است، تطبیق دامنه شایسته بررسی است.
برای بهرهمندی از مزایای توکنسازی دامنه، باید یک مدل کامل را از ابتدا آموزش دهید.
بسیاری از متخصصان با توکنسازهای عمومی شروع میکنند و به تدریج خود را با آن وفق میدهند - توکنهای دامنه را به واژگان موجود اضافه میکنند یا از تکنیکهای گسترش واژگان استفاده میکنند. این مسیر میانی، وزنهای از پیش آموزشدیده را حفظ میکند و در عین حال پوشش دامنه را افزایش میدهد.
کیفیت توکنسازی یک مشکل حلشده با روشهای مدرن زیرکلمه است.
الگوریتمهای زیرکلمه، کلمات ناشناخته را بهتر از رویکردهای سطح کلمه مدیریت میکنند، اما هنوز با ریختشناسی غیرالحاقپذیر، ترکیب کد و متنهای سنگین نماد مانند اثباتهای ریاضی یا فرمولهای شیمیایی مشکل دارند. تحقیقات فعال روی جایگزینهای آگاه از کاراکتر و ریختشناسی ادامه دارد.
با افزایش مقیاس مدلها، توکنسازهای عمومی منسوخ میشوند.
GPT-4 و مدلهای بزرگ مشابه هنوز به توکنسازی عمومی متکی هستند و قابلیت گسترده آنها نشان میدهد که مقیاس تا حدی عدم تطابق دامنه را جبران میکند. با این حال، نگرانیهای مربوط به کارایی و دقت دقیق، رویکردهای خاص دامنه را مرتبط نگه میدارد، به خصوص برای برنامههای کاربردی با محدودیت استقرار.
وقتی انواع متن متنوع ارائه میدهید، از چندین زبان پشتیبانی میکنید یا منابع کافی برای گزینش دامنه ندارید، تعمیم توکنی را انتخاب کنید. وقتی دقت در اصطلاحات فنی مستقیماً بر ارزش کسبوکار تأثیر میگذارد - پشتیبانی از تصمیمگیری بالینی، جستجوی ثبت اختراع یا انطباق با مقررات - و مجموعه دامنه به اندازه کافی غنی است که سرمایهگذاری را توجیه کند، توکنیسازی مختص دامنه را انتخاب کنید.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
