فشردهسازی مدل، شبکههای عصبی را کوچک میکند تا روی دستگاههای کوچکتر سریعتر اجرا شوند، در حالی که گسترش مدل، آنها را برای انجام وظایف پیچیدهتر و بهبود دقت، بزرگ میکند. هر دو رویکرد، هدف یکسانی را دنبال میکنند - عملکرد بهتر هوش مصنوعی - اما از نظر اندازه و کارایی، در دو جهت مخالف.
مجموعهای از تکنیکها که اندازه و نیازهای محاسباتی شبکههای عصبی را کاهش میدهند و در عین حال دقت را تا حد امکان حفظ میکنند.
راهبردی که اندازه، پارامترها یا ظرفیت شبکههای عصبی را افزایش میدهد تا توانایی یادگیری و عملکرد وظیفهای آنها را تقویت کند.
| ویژگی | فشردهسازی مدل | گسترش مدل |
|---|---|---|
| هدف اصلی | کاهش اندازه مدل و افزایش سرعت استنتاج | افزایش ظرفیت و بهبود دقت |
| تکنیکهای رایج | هرس کردن، کمیسازی، تقطیر دانش | پارامترهای مقیاسبندی، MoE، معماریهای عمیقتر |
| تأثیر بر اندازه مدل | مدل را به طور قابل توجهی کوچک میکند | مدل را به طور قابل توجهی رشد میدهد |
| الزامات سختافزاری | روی سختافزارهای معمولی از جمله دستگاههای تلفن همراه اجرا میشود | به پردازندههای گرافیکی قدرتمند یا خوشههای توزیعشده نیاز دارد |
| مورد استفاده معمول | استقرار لبه، برنامههای تلفن همراه، استنتاج بلادرنگ | تحقیق، مدلهای بنیادی، وظایف استدلال پیچیده |
| تأثیر بر دقت | افت جزئی دقت رایج است اما اغلب قابل قبول است | به طور کلی دقت و قابلیت را بهبود میبخشد |
| هزینه آموزش | پایینتر، زیرا مدلهای کوچکتر سریعتر آموزش میبینند | بسیار بالا، اغلب میلیونها دلار |
| سرعت استنتاج | به دلیل عملیات کمتر، بسیار سریعتر است | کندتر در هر درخواست مگر اینکه بهینه شود |
فشردهسازی مدل و گسترش مدل، دو فلسفه متضاد در یادگیری عمیق را نشان میدهند. فشردهسازی میپرسد: «چگونه میتوانیم این مدل را بدون از دست دادن عملکرد زیاد، کوچکتر کنیم؟» گسترش، سوال متضادی را میپرسد: «چگونه میتوانیم این مدل را بزرگتر کنیم تا از پس مسائل دشوارتر برآید؟» هر دو مسیر نتایج چشمگیری داشتهاند و آزمایشگاههای مدرن هوش مصنوعی اغلب از آنها با هم استفاده میکنند - ابتدا یک مدل عظیم را آموزش میدهند، سپس آن را برای استقرار فشرده میکنند.
فشردهسازی به روشهایی مانند هرس کردن (حذف وزنهای غیرضروری)، کوانتیزاسیون (کاهش دقت عددی) و تقطیر دانش (آموزش یک مدل دانشآموز کوچک برای تقلید از یک معلم بزرگتر) متکی است. از سوی دیگر، توسعه بر افزودن لایههای بیشتر، پارامترهای بیشتر یا ماژولهای تخصصی مانند Mixture of Experts تمرکز دارد. هر رویکرد ابزار خاص خود را دارد و انتخاب آن به شدت به سناریوی استقرار بستگی دارد.
مدلهای فشردهشده برای اجرای کارآمد روی تلفنها، مرورگرها و دستگاههای اینترنت اشیا که حافظه و محاسبات محدود است، طراحی شدهاند. مدلهای توسعهیافته به مراکز دادهای مملو از پردازندههای گرافیکی سطح بالا نیاز دارند و در طول آموزش، مقادیر عظیمی برق مصرف میکنند. یک اجرای آموزشی واحد برای یک مدل در مقیاس مرزی میتواند چندین میلیون دلار فقط از نظر محاسباتی هزینه داشته باشد، در حالی که یک مدل فشردهشده ممکن است روی یک ایستگاه کاری واحد آموزش داده شود.
فشردهسازی معمولاً درصد کمی از دقت را در ازای افزایش چشمگیر سرعت و اندازه از دست میدهد. گسترش معمولاً دقت را بهبود میبخشد، اما به قیمت استنتاج کندتر و هزینههای عملیاتی بالاتر. جالب توجه است که تحقیقات نشان میدهد مدلهای بسیار بزرگ گاهی اوقات میتوانند سریعتر از مدلهای کوچکتر فشرده شوند، زیرا حاوی دانش اضافی بیشتری هستند که میتوان با خیال راحت آنها را حذف کرد.
فشردهسازی، محصولاتی مانند تشخیص گفتار روی دستگاه، برنامههای ترجمه موبایل و طبقهبندی تصویر در لحظه را قدرتمند میکند. توسعه، سیستمهای پیشرفتهای مانند مدلهای زبانی بزرگ، مولدهای تصویر و ابزارهای تحقیقات علمی را هدایت میکند. بسیاری از شرکتها اکنون از خط لوله «آموزش بزرگ، استقرار کوچک» پیروی میکنند - از توسعه در طول توسعه و فشردهسازی برای محصول نهایی که به دست کاربران میرسد استفاده میکنند.
مدلهای بزرگتر همیشه بهتر از مدلهای کوچکتر هستند.
مدلهای بزرگتر اغلب در معیارها عملکرد بهتری دارند، اما برای بسیاری از وظایف دنیای واقعی، یک مدل کوچکتر که به خوبی فشرده شده باشد میتواند با آنها مطابقت داشته باشد یا از آنها پیشی بگیرد. اندازه مناسب به مسئله، دادهها و محدودیتهای استقرار بستگی دارد، نه به تعداد پارامترهای خام.
فشردهسازی مدل همیشه باعث افت شدید دقت میشود.
تکنیکهای فشردهسازی مدرن مانند آموزش مبتنی بر کوانتیزاسیون و تقطیر دانش میتوانند ۹۵ تا ۹۹ درصد از دقت مدل اصلی را حفظ کنند. افت واقعی به میزان فشردهسازی مدل و روش مورد استفاده بستگی دارد.
مدلهای فشرده نسبت به مدلهای تمامسایز، امنیت کمتری دارند.
فشردهسازی ذاتاً یک مدل را در برابر حملات خصمانه آسیبپذیرتر یا کمخطرتر نمیکند. امنیت به دادههای آموزشی، معماری و تکنیکهای دفاعی اعمالشده بستگی دارد، نه به اندازه مدل.
بسط مدل صرفاً افزودن پارامترهای بیشتر است.
گسترش همچنین شامل دادههای بهتر، آموزش طولانیتر، معماریهای بهبود یافته و اهداف آموزشی هوشمندانهتر میشود. صرفاً اضافه کردن پارامترهای بیشتر به یک مسئله بدون دادههای باکیفیت، اغلب منجر به کاهش بازده میشود.
شما باید بین فشردهسازی و انبساط یکی را انتخاب کنید.
بیشتر سیستمهای هوش مصنوعی تولیدی از هر دو استفاده میکنند. تیمها مدلهای بزرگ را برای افزایش دقت آموزش میدهند، سپس آنها را فشرده میکنند تا محصول نهایی سریع و مقرونبهصرفه برای اجرا در مقیاس بزرگ باشد.
فشردهسازی مدل را زمانی انتخاب کنید که به هوش مصنوعی سریع و کارآمدی نیاز دارید که روی سختافزار محدود اجرا شود یا باید در زمان واقعی پاسخ دهد. گسترش مدل را زمانی انتخاب کنید که با مسائل پیچیدهای روبرو هستید که دقت و قابلیت بیش از هزینه اهمیت دارند، یا هنگام ساخت مدلهای پایه که بعداً برای توزیع فشرده میشوند.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
