نمایش پیوسته، دادهها را به صورت بردارهای هموار و متراکم در فضای با ابعاد بالا کدگذاری میکند، در حالی که نمایش گسسته، اطلاعات را به توکنها یا نمادهای متمایز تجزیه میکند. هر دو رویکرد، نحوه یادگیری، استدلال و تولید خروجی سیستمهای مدرن هوش مصنوعی را در وظایف زبانی، بینایی و صوتی شکل میدهند.
بردارهای عددی متراکم که از طریق جاسازیهای هموار و سازگار با گرادیان که در شبکههای عصبی استفاده میشوند، معنا را ثبت میکنند.
نمادها، نشانهها یا کدهای متمایزی که اطلاعات را به واحدهای قابل شمارش برگرفته از یک واژگان محدود تجزیه میکنند.
| ویژگی | نمایش پیوسته | نمایش گسسته |
|---|---|---|
| قالب داده | بردارهای چگال با مقادیر حقیقی | توکنها یا نمادهای واژگان متناهی |
| ابعاد | صدها تا هزاران بُعد | معمولاً یک بُعد برای هر موقعیت توکن |
| سازگاری گرادیان | کاملاً مشتقپذیر | به ترفندهایی مانند تخمینگرهای مستقیم نیاز دارد |
| تفسیرپذیری | بازرسی مستقیم آن دشوار است | تبدیل آسانتر به نمادهای قابل خواندن توسط انسان |
| راندمان ذخیرهسازی | به دلیل دقت اعشاری، حافظه زیادی مصرف میکند | فشردهسازی هنگام استفاده از شاخصهای عدد صحیح |
| موارد استفاده رایج | جاسازیها، مدلهای انتشار، یادگیری ویژگی | توکنسازی، VQ-VAE، استدلال نمادین |
| تراکم اطلاعات | بالا، با ویژگیهای معنایی همپوشانی | کمتر به ازای هر توکن اما دقیق به ازای هر نماد |
| مدلهای نمونه | برت، کلیپ، انتشار پایدار | توکنسازهای GPT، VQ-VAE، درختهای تصمیمگیری |
نمایشهای پیوسته در فضاهای برداری با اعداد حقیقی قرار دارند که در آنها هر بُعد دارای یک مقدار کسری است و امکان درونیابی روان بین مفاهیم را فراهم میکند. در مقابل، نمایشهای گسسته روی مجموعهای قابل شمارش از نمادها عمل میکنند که در آن هر موقعیت شامل یک نشانه از یک واژگان ثابت است. این تفاوت اساسی همه چیز را از نحوه آموزش مدلها گرفته تا نحوه بررسی خروجیهای آنها شکل میدهد.
پسانتشار به طور طبیعی با بردارهای پیوسته کار میکند زیرا تغییرات کوچک در ورودی، تغییرات کوچکی در خروجی ایجاد میکند و سیگنال گرادیان را حفظ میکند. توکنهای گسسته این فرض را نقض میکنند زیرا تغییر از یک نماد به نماد دیگر، یک پرش ناپیوسته ایجاد میکند. محققان راهحلهایی مانند تخمینگر مستقیم و گامبل-سافتمکس را برای پر کردن این شکاف توسعه دادهاند، اما آموزش مدلهای گسسته همچنان دشوارتر از مدلهای پیوسته است.
جاسازیهای پیوسته در ثبت معانی مبهم و همپوشانی عالی هستند، زیرا مفاهیم مشابه به طور طبیعی در فضای برداری جمع میشوند. مثال معروف نشان میدهد که شاه منهای مرد به علاوه زن، نزدیک ملکه قرار میگیرد، رابطهای که از هندسه ناشی میشود نه از قوانین. توکنهای گسسته نمیتوانند این نوع استدلال قیاسی را مستقیماً بیان کنند، اگرچه با دقت و توانایی انجام جستجوهای دقیق، این نقص را جبران میکنند.
اکثر سیستمهای هوش مصنوعی مدرن در واقع هر دو رویکرد را با هم ترکیب میکنند. یک مدل زبانی مانند GPT از بردارهای پیوسته به صورت داخلی برای لایههای توجه و پیشخور استفاده میکند، سپس خروجی پیوسته نهایی را برای تولید به توکنهای گسسته تبدیل میکند. تولید تصویر نیز تکامل مشابهی را طی کرده است، مدلهای انتشار به نهانهای پیوسته تمایل دارند در حالی که رویکردهای قبلی مانند DALL-E به کدهای گسسته VQ-VAE متکی بودهاند.
انتخاب بین نمایشهای پیوسته و گسسته اغلب به این بستگی دارد که آیا به بهینهسازی روان نیاز دارید یا دقت نمادین. نمایشهای پیوسته برای کیفیت تولیدی و یادگیری سرتاسری مناسب هستند، در حالی که نمایشهای گسسته برای فشردهسازی، بازیابی و هر کاری که نیاز به تطابق دقیق دارد، مناسب هستند. معماریهای ترکیبی به طور فزایندهای رایج هستند و از توکنهای گسسته به عنوان رابط استفاده میکنند و در عین حال استدلال پیوسته را در زیر خود نگه میدارند.
نمایشهای پیوسته همیشه بهتر هستند زیرا یادگیری عمیق از آنها استفاده میکند.
هر دو فرمت نقاط قوتی دارند و بسیاری از سیستمهای برتر برای ورودیها و خروجیها به توکنهای گسسته متکی هستند. انتخاب بستگی به وظیفه دارد، نه اینکه کدام رویکرد مدرنتر است.
بازنماییهای گسسته نمیتوانند معنا را مانند جاسازیها (embeddings) ثبت کنند.
توکنهای گسسته میتوانند وقتی با کتابهای کد آموختهشده جفت میشوند، معانی غنی را رمزگذاری کنند، همانطور که توسط VQ-VAE و مدلهای مدرن مبتنی بر توکنساز نشان داده شده است. تمایز در مورد قالب است، نه قابلیت.
پس از توکنیزه شدن دادهها، مدل دیگر از نمایشهای پیوسته استفاده نمیکند.
توکنسازی فقط اولین قدم است. مبدلها بلافاصله قبل از اینکه هرگونه محاسبه معناداری انجام شود، توکنهای گسسته را به جاسازیهای پیوسته تبدیل میکنند.
بردارهای پیوسته برای کارهای پاییندستی بیش از حد انتزاعی هستند.
جاسازیهای پیوسته، موتورهای جستجو، سیستمهای توصیه و تولید افزوده بازیابی را تقویت میکنند. ماهیت انتزاعی آنها دقیقاً همان چیزی است که آنها را در حوزههای مختلف انعطافپذیر میکند.
مدلهای انتشار و مدلهای زبانی از انواع نمایش کاملاً متفاوتی استفاده میکنند.
هر دو در طول پردازش به نمایشهای پیوسته متکی هستند. تفاوت این است که مدلهای انتشار، پیکسلهای پیوسته را خروجی میدهند در حالی که مدلهای زبانی در پایان به توکنهای گسسته تبدیل میشوند.
وقتی وظیفه شما از یادگیری مبتنی بر گرادیان و روابط معنایی روان، مانند بازیابی جاسازیشده یا مدلسازی مولد، بهره میبرد، نمایش پیوسته را انتخاب کنید. وقتی به کنترل نمادین دقیق، ذخیرهسازی کارآمد یا سازگاری با خطوط لوله سنتی NLP نیاز دارید، نمایش گسسته را انتخاب کنید. در عمل، قویترین سیستمهای مدرن هر دو را با هم ترکیب میکنند و از بردارهای پیوسته برای محاسبه و توکنهای گسسته برای ورودی و خروجی استفاده میکنند.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
