توکنسازی دادهمحور، قوانین تقسیمبندی را از پیکرههای متنی بزرگ با استفاده از روشهای آماری یا عصبی یاد میگیرد، در حالی که توکنسازی مبتنی بر قانون به الگوهای زبانی دستساز و فرهنگ لغتها متکی است. هر دو رویکرد، متن را به واحدهای معنادار میشکنند، اما از نظر انعطافپذیری، دقت و نیازهای محاسباتی تفاوتهای چشمگیری دارند.
یک رویکرد یادگیری ماشینی که با تجزیه و تحلیل الگوها در مجموعه دادههای متنی بزرگ، مرزهای توکن را به طور خودکار کشف میکند.
یک رویکرد سنتی که متن را با استفاده از قوانین زبانی از پیش تعریف شده، عبارات منظم و فهرستهای کلمات گزینشی، تقسیم میکند.
| ویژگی | توکنسازی مبتنی بر داده | توکنسازی مبتنی بر قانون |
|---|---|---|
| رویکرد | با استفاده از روشهای آماری یا عصبی، از پیکرههای متنی بزرگ یاد میگیرد | از قوانین دستساز، الگوهای regex و دیکشنریها استفاده میکند |
| آموزش مورد نیاز | بله، به دادههای متنی خام یا حاشیهنویسیشدهی قابل توجهی نیاز دارد | خیر، قوانین به صورت دستی توسط توسعهدهندگان نوشته میشوند |
| مدیریت کلمات ناشناخته | کلمات نادر را به واحدهای زیرکلمه شناخته شده تجزیه میکند | اغلب با شکست مواجه میشود یا نیاز به بهروزرسانی دستی دیکشنری دارد |
| تفسیرپذیری | پایینتر، زیرا الگوهای آموختهشده در وزنهای مدل تعبیه شدهاند | والا، هر قانونی قابل خواندن و حسابرسی است |
| سازگاری با زبانهای جدید | به راحتی در شرکتهای جدید آموزش مجدد داده میشود | نیاز به ساخت مجموعه قوانین جدید از ابتدا دارد |
| هزینه محاسباتی | در طول آموزش بالاتر، در استنتاج سریع | در کل، عملکرد ضعیف، اجرا روی حداقل سختافزار |
| الگوریتمهای رایج | BPE، WordPiece، Unigram LM، SentencePiece | تقسیم عبارت منظم، حذف پیوست، جستجوی فرهنگ لغت |
| استفاده شده توسط | GPT، BERT، RoBERTa، T5 و اکثر LLM های مدرن | NLTK، خطوط لوله قانون spaCy، سیستمهای NLP قدیمی |
توکنسازهای دادهمحور، الگوهای فراوانی را در میلیونها جمله تجزیه و تحلیل میکنند تا تصمیم بگیرند که یک توکن کجا تمام میشود و توکن دیگر کجا شروع میشود. به عنوان مثال، BPE با کاراکترهای منفرد شروع میکند و مکرراً جفتهای مجاور پرتکرار را ادغام میکند تا به اندازه واژگان هدف برسد. در مقابل، توکنسازهای مبتنی بر قانون، یک توالی ثابت از عملیات مانند تقسیم فضای خالی، حذف علائم نگارشی یا حذف پسوندهایی مانند "-ing" و "-ed" را بر اساس جداول مورفولوژیکی از پیش تعریف شده اعمال میکنند.
یکی از بزرگترین نقاط قوت روشهای مبتنی بر داده، مدیریت دقیق کلماتی است که مدل هرگز ندیده است. یک اصطلاح پزشکی نادر مانند "pneumonoultramicroscopicsilicovolcanoconiosis" به قطعات زیرکلمه آشنا که مدل از قبل آنها را میفهمد، تجزیه میشود. سیستمهای مبتنی بر قانون معمولاً در برخورد با چنین کلماتی دچار مشکل میشوند، یا آنها را به عنوان یک توکن بزرگ باقی میگذارند یا آنها را به طور کامل حذف میکنند، مگر اینکه کسی آنها را به صورت دستی به فرهنگ لغت اضافه کند.
توکنسازهای مبتنی بر قانون، شفافیت را ترجیح میدهند. یک توسعهدهنده میتواند فایل قانون را باز کند، دقیقاً نحوه تقسیم متن را بخواند و هرگونه خروجی غیرمنتظره را به یک الگوی خاص ردیابی کند. توکنسازهای مبتنی بر داده بیشتر شبیه جعبههای سیاه رفتار میکنند، جایی که ورودی یکسان همیشه خروجی یکسانی تولید میکند، اما توضیح اینکه چرا یک تقسیم خاص انتخاب شده است، نیاز به بررسی آمار آموزشی یا داخلی مدل دارد.
آموزش یک توکنساز دادهمحور نیازمند محاسبات و ذخیرهسازی قابل توجهی است و اغلب دهها گیگابایت متن را برای ساخت یک واژگان باکیفیت پردازش میکند. پس از آموزش، استنتاج سریع و فایل توکنساز کوچک است. توکنسازهای مبتنی بر قانون تقریباً به هیچ منبعی برای ساخت یا اجرا نیاز ندارند، که آنها را برای سیستمهای با تأخیر کم، دستگاههای تعبیهشده یا پروژههایی که زیرساخت آموزشی در دسترس نیست، جذاب میکند.
رویکردهای دادهمحور به طور طبیعی با آموزش مجدد روی یک مجموعه داده جدید، به زبانهای جدید مقیاسپذیر میشوند، به همین دلیل است که مدلهای چندزبانه مانند XLM-Roberta میتوانند دهها زبان را با یک توکنساز پوشش دهند. سیستمهای مبتنی بر قانون برای هر زبان جدید به تخصص زبانی نیاز دارند، زیرا قوانین پیوست، کلاسهای کاراکتر و فهرست کلمات باید توسط کسی که مورفولوژی را به خوبی میداند، ساخته شوند.
برای وظایف مدرن NLP، توکنسازهای مبتنی بر داده، در معیارهایی که شامل متن نویزدار، رسانههای اجتماعی یا کد میشوند، به طور مداوم از توکنسازهای مبتنی بر قانون بهتر عمل میکنند. توکنسازهای مبتنی بر قانون هنوز هم در حوزههای ساختاریافته مانند اسناد حقوقی یا نوشتار رسمی، که در آنها تقسیمبندی قابل پیشبینی و قوانین قابل خواندن توسط انسان، بیش از رسیدگی به موارد حاشیهای اهمیت دارند، جایگاه خود را حفظ کردهاند.
توکنسازی مبتنی بر قانون منسوخ شده است و دیگر در هوش مصنوعی مدرن استفاده نمیشود.
توکنسازهای مبتنی بر قانون همچنان در خطوط تولید پردازش زبان طبیعی (NLP) رایج هستند، به خصوص برای مراحل پیشپردازش مانند تقسیم جمله، نرمالسازی و تشخیص زبان. بسیاری از سیستمهای مدرن به جای جایگزینی یکی با دیگری، روشهای مبتنی بر قانون و دادهمحور را با هم ترکیب میکنند.
توکنسازی مبتنی بر داده همیشه نتایج بهتری نسبت به روشهای مبتنی بر قانون ارائه میدهد.
کیفیت به شدت به مجموعه آموزشی و وظیفه بستگی دارد. یک توکنساز دادهمحور با آموزش ضعیف میتواند عملکرد بدتری نسبت به یک توکنساز قانونمحور با تنظیم خوب داشته باشد، به خصوص در متنهای مختص دامنه که دادههای آموزشی با توزیع هدف مطابقت ندارند.
توکنسازی صرفاً تقسیم متن بر اساس فاصله است.
توکنسازهای دنیای واقعی، علائم نگارشی، انقباضات، عبارات چند کلمهای، ایموجیها و واحدهای زیرکلمه را مدیریت میکنند. تقسیم سادهی فضای خالی، بیشتر پیچیدگیهایی را که توکنسازی برای حل آنها طراحی شده است، از دست میدهد.
یک توکنساز دادهمحور، پس از آموزش، دیگر هرگز نیازی به بهروزرسانی ندارد.
با تکامل زبان، ظهور اصطلاحات عامیانه جدید و ظهور اصطلاحات خاص هر حوزه، واژگان نیز دچار تغییر میشوند. بسیاری از تیمها به صورت دورهای توکنسازهای خود را بازآموزی یا گسترش میدهند تا با تغییرات توزیع متن همگام باشند.
همه LLM های مدرن از یک توکنایزر یکسان استفاده میکنند.
خانوادههای مختلف مدل از طرحهای توکنسازی متفاوتی استفاده میکنند. مدلهای GPT از BPE، BERT از WordPiece و T5 از SentencePiece استفاده میکنند. این انتخابها بر اندازه واژگان، تعداد توکنها و عملکرد پاییندستی به روشهای قابل اندازهگیری تأثیر میگذارند.
هنگام ساخت سیستمهای مدرن NLP یا LLM که باید واژگان متنوع، زبانهای متعدد یا متنهای پر سر و صدای دنیای واقعی را مدیریت کنند، توکنسازی مبتنی بر داده را انتخاب کنید. توکنسازی مبتنی بر قانون را زمانی انتخاب کنید که به شفافیت کامل، حداقل محاسبات نیاز دارید یا در یک دامنه محدود کار میکنید که در آن قوانین دستساز از قبل زبان را به خوبی پوشش میدهند.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
