رمزگذاری جفت بایت و WordPiece دو الگوریتم توکنسازی زیرکلمات هستند که به طور گسترده مورد استفاده قرار میگیرند و مدلهای مدرن NLP را پشتیبانی میکنند و تفاوت اصلی آنها در نحوه ادغام توکنها در طول آموزش و معیارهای امتیازدهی آنهاست.
یک الگوریتم توکنسازی زیرکلمه که به صورت تکراری جفتهای کاراکتر مجاورِ پرتکرار را در توکنهای جدید ادغام میکند.
یک روش توکنسازی زیرکلمه که توکنها را بر اساس حداکثرسازی احتمال به جای فراوانی خام ادغام میکند.
| ویژگی | رمزگذاری جفت بایت | توکنسازی WordPie |
|---|---|---|
| معیار ادغام | فراوانی جفتهای مجاور | احتمال دادههای آموزشی |
| موارد استفاده اولیه | سری GPT، Roberta، CLIP | برت، دیستیل برت، آلبرت |
| مقداردهی اولیه واژگان | کاراکترها یا بایتهای تکی | شخصیتهای فردی |
| مدیریت کلمات نادر | به واحدهای زیرکلمه مکرر تقسیم میشود | تقسیمبندی بر اساس تقسیمبندی مبتنی بر احتمال |
| سرعت تمرین | به دلیل شمارش ساده، معمولاً سریعتر است | به دلیل محاسبه احتمال، کمی کندتر است |
| سبک خروجی توکن | اغلب دانهبندیشدهتر | اغلب برای کلمات رایج، تلفیقیتر است |
| توسعه اصلی | ۱۹۹۴ به عنوان فشردهسازی؛ ۲۰۱۶ برای NLP | تیم تشخیص گفتار گوگل |
BPE به توکنسازی به عنوان یک مسئله فشردهسازی نگاه میکند و با حرص و ولع هر جفتی را که بیشتر در مجموعه آموزشی ظاهر میشود، ادغام میکند. این رویکرد ساده مبتنی بر فرکانس، آن را شهودی و نسبتاً سریع برای محاسبه میکند. WordPiece زاویه احتمالاتیتری را در نظر میگیرد و میپرسد کدام ادغام، دادههای آموزشی را تحت فرض مدل زبانی یونیگرام، محتملتر میکند. این تغییر ظریف در چارچوببندی، به ویژه برای زبانهای غنی از نظر مورفولوژی، منجر به مرزهای توکن متفاوتی میشود.
از آنجا که BPE صرفاً به دنبال تکرار است، گاهی اوقات کلمات را در نقاط غیرطبیعی از نظر زبانی تقسیم میکند، اگر این نقاط الگوهای رایجی در دادهها باشند. رویکرد مبتنی بر احتمال WordPiece تمایل دارد مرزهای تکواژ را بهتر رعایت کند و توکنهایی تولید کند که با واحدهای معنادار همترازتر باشند. برای انگلیسی، هر دو روش عملکرد مشابهی دارند، اما این تفاوت در زبانهایی با مورفولوژی غنیتر مانند آلمانی یا ترکی بارزتر میشود.
انتخاب بین این توکنسازها اغلب به معماری مدلی که استفاده میکنید بستگی دارد، نه به ترجیح عمیق خود الگوریتم. خانواده GPT شرکت OpenAI بر اساس BPE استانداردسازی شدهاند، بنابراین هر کسی که این مدلها را تنظیم دقیق یا مستقر میکند، از آن طرح توکنسازی بهره میبرد. اکوسیستم BERT گوگل، WordPiece را به عنوان انتخاب بالفعل برای مدلهای تبدیلکننده فقط رمزگذار تثبیت کرد. این تثبیت اکوسیستم به این معنی است که متخصصان به ندرت توکنسازها را مستقل از معماریهای مدل تغییر میدهند.
هر دو الگوریتم با موارد مرزی خاصی دست و پنجه نرم میکنند، اما به روشهای مختلف. BPE میتواند در مورد فضای خالی و علائم نگارشی شکننده باشد و گاهی اوقات هنگام تغییر قالببندی، توکنهای غیرمنتظرهای تولید میکند. WordPiece معمولاً یک نماد پیشوند ویژه (مانند ## در BERT) برای نشان دادن زیرکلمات ادامه اضافه میکند، که بازسازی متن اصلی را صریحتر میکند، اما همچنین مصنوعات توکنسازی را معرفی میکند که مدلهای پاییندستی باید یاد بگیرند که چگونه آنها را مدیریت کنند.
سالهای اخیر شاهد تکامل قابل توجهی فراتر از هر دو الگوریتم بودهایم. SentencePiece یک چارچوب یکپارچه ارائه میدهد که میتواند توکنسازی مدل زبان BPE، WordPiece یا Unigram را با یک کتابخانه واحد پیادهسازی کند. BPE سطح بایت (که در GPT-2 استفاده میشود) به جای کاراکترهای یونیکد، روی بایتهای خام عمل میکند و مشکلات توکن ناشناخته را به طور کامل از بین میبرد. در همین حال، رویکردهای جدیدتر مانند BPE-dropout در طول آموزش، تصادفی بودن را برای بهبود استحکام ایجاد میکنند. این پیشرفتها نشان میدهد که در حالی که BPE و WordPiece همچنان بنیادی هستند، این حوزه همچنان در حال پیشرفت است.
BPE و WordPiece همیشه توکنسازیهای متفاوتی برای یک متن یکسان تولید میکنند.
برای بسیاری از کلمات رایج انگلیسی، هر دو الگوریتم در واقع به تقسیمبندیهای یکسان یا تقریباً یکسانی میرسند. این تفاوتها در کلمات نادر، اصطلاحات پیچیده از نظر مورفولوژیکی و در زبانهایی با الگوهای صرفی غنیتر از انگلیسی، آشکارتر میشوند.
WordPiece در طول توکنسازی از یک شبکه عصبی استفاده میکند.
با وجود استفاده از WordPiece در مدلهای عصبی، خود WordPiece کاملاً غیرعصبی است. محاسبه احتمال بر اساس آمار فرکانس یونیگرام ساده است، نه بر اساس هیچ نمایش عصبی آموختهشده. «مدل زبانی» در WordPiece فقط یک جدول فرکانس است، نه یک ترانسفورماتور یا شبکه بازگشتی.
BPE نمیتواند زبانهایی با مجموعه کاراکترهای بزرگ مانند چینی را مدیریت کند.
BPE سطح بایت به طور خاص با عمل بر روی بایتهای خام UTF-8 به جای کاراکترها، این مشکل را برطرف میکند. این بدان معناست که میتواند هر متن یونیکد را بدون مواجهه با کاراکتر ناشناخته نمایش دهد، اگرچه ممکن است برای اسکریپتهایی با هزاران کاراکتر، به توکنهای بیشتری نیاز داشته باشد.
انتخاب توکنایزر به طور قابل توجهی بر عملکرد مدل در وظایف پاییندستی تأثیر میگذارد.
اگرچه توکنسازی اهمیت دارد، اما معماری مدل و مقیاس دادههای آموزشی معمولاً انتخاب توکنساز را از اهمیت میاندازند. مطالعات نشان دادهاند که BPE و WordPiece وقتی همه عوامل دیگر برابر باشند، عملکرد قابل مقایسهای دارند و تفاوتها معمولاً کوچک و وابسته به وظیفه هستند.
WordPiece به طور خاص برای BERT اختراع شد.
WordPiece چندین سال قبل از BERT وجود داشته است. گوگل در ابتدا آن را برای جستجوی صوتی ژاپنی و کرهای در اوایل دهه ۲۰۱۰ توسعه داد، سپس قبل از اینکه در BERT ظاهر شود، آن را برای ترجمه ماشینی عصبی تطبیق داد. ارتباط آن با BERT بسیار قوی است زیرا BERT آن را در جامعه تحقیقاتی NLP مشهور کرد.
اندازه واژگان BPE تا زمانی که به اندازه کافی بزرگ باشد، مهم نیست.
اندازه واژگان به طور قابل توجهی بر عملکرد مدل و کارایی محاسباتی تأثیر میگذارد. اگر خیلی کوچک باشد، مدل ظرفیت را برای توالیهای توکن طولانی هدر میدهد. اگر خیلی بزرگ باشد، ماتریسهای جاسازی دشوار میشوند در حالی که توکنهای نادر نمایش ضعیفی دریافت میکنند. اکثر متخصصان این ابرپارامتر را با دقت تنظیم میکنند و معمولاً بین 30،000 تا 50،000 توکن قرار میدهند.
هنگام کار با مدلهای سبک GPT یا زمانی که به توکنسازی ساده و سریع نیاز دارید که متنهای متنوع از جمله کد و دادههای چندزبانه را مدیریت کند، BPE را انتخاب کنید. هنگام ساخت بر اساس معماریهای مبتنی بر BERT یا زمانی که میخواهید مرزهای توکن با تکواژهای زبانی همسوتر باشند، WordPiece را انتخاب کنید. برای اکثر متخصصان، تصمیم به طور مؤثر توسط مدل از پیش آموزشدیدهای که انتخاب میکنید، گرفته میشود.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
