ترکیبی از متخصصان و شبکههای عصبی متراکم، دو رویکرد اساساً متفاوت برای مقیاسبندی مدلهای هوش مصنوعی را نشان میدهند. در حالی که شبکههای متراکم هر پارامتر را برای هر ورودی فعال میکنند، معماریهای وزارت آموزش و پرورش به صورت انتخابی ورودیها را به زیرشبکههای تخصصی هدایت میکنند و افزایش بهرهوری را ارائه میدهند که طراحی مدل زبان بزرگ مدرن را تغییر شکل داده است.
یک معماری شبکه عصبی که به طور انتخابی فقط زیرمجموعهای از پارامترها را برای هر ورودی فعال میکند و کارایی محاسباتی را بهبود میبخشد.
معماری شبکه عصبی سنتی که در آن هر پارامتر برای هر ورودی عبوری از مدل فعال و محاسبه میشود.
| ویژگی | ترکیبی از متخصصان | شبکههای عصبی متراکم |
|---|---|---|
| فعالسازی پارامتر | فقط زیرمجموعهای از متخصصان در هر ورودی فعال میشوند | تمام پارامترها برای هر ورودی فعال میشوند |
| هزینه محاسباتی | مقیاسبندی زیرخطی با پارامترهای کل | مقیاسبندی خطی با پارامترهای کل |
| پیچیدگی آموزش | نیاز به شبکه گیت و متعادلسازی بار | پسانتشار استاندارد مستقیماً کار میکند |
| الزامات حافظه | باید تمام پارامترها را بارگذاری کند اما تعداد فلاپهای کمتری را محاسبه کند | باید روی همه پارامترها بارگذاری و محاسبه شود |
| مقیاسپذیری | میتواند به طور مؤثر به تریلیونها پارامتر برسد | محدودیتهای عملی حدود صدها میلیارد |
| سرعت استنتاج | به دلیل فعالسازی پراکنده، سرعت بیشتر به ازای هر توکن | کندتر به ازای هر توکن اما تأخیر قابل پیشبینی |
| بهینهسازی سختافزار | به دلیل الگوهای محاسباتی نامنظم، چالش برانگیز است | بهینهسازی بالا روی پردازندههای گرافیکی (GPU) و پردازندههای TPU |
| نمونههای مدل | Mixtral 8x7B، ترانسفورماتور سوئیچ، DeepSeek-V3 | GPT-3، LLaMA، BERT، ResNet |
تمایز اساسی در نحوه پردازش اطلاعات در هر معماری نهفته است. شبکههای متراکم، هر پارامتر را برای هر محاسبه ضروری میدانند و جریان یکنواختی از دادهها را در تمام لایهها ایجاد میکنند. در مقابل، مدلهای MoE بیشتر شبیه تیمی از متخصصان عمل میکنند که در آن یک روتر تصمیم میگیرد کدام متخصص هر ورودی خاص را مدیریت کند. این بدان معناست که یک مدل MoE ممکن است ۱۴۰ میلیارد پارامتر در کل داشته باشد، اما فقط از ۲۰ میلیارد برای هر توکن مشخص استفاده کند و محاسبات واقعی انجام شده را به طرز چشمگیری کاهش دهد.
شبکههای متراکم از دینامیکهای آموزشیِ بهخوبی درکشده و جریان گرادیانِ سرراست بهرهمند میشوند که بهینهسازی و اشکالزدایی آنها را آسانتر میکند. معماریهای MoE از طریق مکانیسم دروازهای، پیچیدگی بیشتری را ایجاد میکنند، که باید یاد بگیرد ورودیها را بهطور مؤثر مسیریابی کند و در عین حال استفاده متعادل از متخصصان را حفظ کند. بدون تعادل بار دقیق، مدلهای MoE میتوانند از فروپاشی مسیریابی رنج ببرند، جایی که اکثر ورودیها فقط به چند متخصص جریان مییابند و هدف داشتن چندین متخصص را شکست میدهند.
در طول استنتاج، مدلهای متراکم، تأخیر قابل پیشبینی و ثابتی را ارائه میدهند، زیرا محاسبات یکسانی صرف نظر از ورودی رخ میدهد. مدلهای MoE میتوانند به طور متوسط سریعتر باشند، اما به دلیل اینکه ورودیهای مختلف، ترکیبات متخصص متفاوتی را ایجاد میکنند، تنوع ایجاد میکنند. این بینظمی چالشهایی را برای شتابدهی سختافزاری ایجاد میکند و میتواند باعث ایجاد تنگناهای حافظه شود، زیرا همه وزنهای متخصص باید بارگذاری شوند، حتی اگر فقط برخی از آنها استفاده شوند.
شبکههای متراکم در سناریوهایی که نیاز به عملکرد پایدار، استقرار سادهتر و ابزارهای جاافتاده دارند، بهویژه در بینایی کامپیوتر و مدلهای زبانی کوچکتر، غالب باقی میمانند. معماریهای MoE زمانی میدرخشند که سازمانها نیاز به استقرار مدلهای بسیار بزرگ با بودجه محاسباتی محدود دارند، مانند ارائه مدلهای زبانی تریلیون پارامتری به صورت مقرونبهصرفه. انتخاب اغلب به این بستگی دارد که آیا اولویت شما سادگی استقرار است یا حداکثر تعداد پارامترها در یک بودجه محاسباتی.
اینجاست که MoE جالب میشود: این مدل حافظه را فدای کارایی محاسباتی میکند. یک مدل متراکم ۷۰ بیتی در FP16 به ۱۴۰ گیگابایت حافظه نیاز دارد و ۷۰ میلیارد فلاپس به ازای هر توکن انجام میدهد. یک مدل MoE با پارامترهای کلی ۱۴۰ بیتی ممکن است به حافظه مشابهی نیاز داشته باشد اما فقط معادل ۲۰ بایت فلاپس به ازای هر توکن انجام میدهد. این امر MoE را زمانی جذاب میکند که حافظه اضافی دارید اما میخواهید زمان محاسباتی پرهزینه GPU را به حداقل برسانید.
مدلهای MoE همیشه سریعتر از مدلهای متراکم با همان کیفیت هستند.
مدلهای MoE میتوانند به ازای هر توکن سریعتر باشند، اما نیاز به بارگذاری تمام وزنهای متخصص در حافظه دارند که میتواند باعث ایجاد گلوگاه شود. مزیت سرعت به شدت به سختافزار، اندازه دسته و میزان توزیع کار بین متخصصان توسط مسیریابی بستگی دارد.
اکنون که وزارت آموزش و پرورش وجود دارد، شبکههای متراکم منسوخ شدهاند.
شبکههای متراکم همچنان استاندارد اکثر استقرارهای تولیدی، به ویژه در بینایی کامپیوتر، گفتار و مدلهای زبانی کوچکتر، هستند. MoE ابزاری تخصصی برای چالشهای مقیاسپذیری خاص است، نه یک جایگزین جهانی.
مدلهای MoE پارامترهای کمتری نسبت به مدلهای متراکم دارند.
مدلهای MoE معمولاً پارامترهای کلی بسیار بیشتری نسبت به مدلهای متراکم دارند، گاهی اوقات 10 برابر یا بیشتر. نکته کلیدی این است که فقط یک زیرمجموعه برای هر ورودی فعال میشود، اما تعداد کل پارامترها، نیازهای حافظه را تعیین میکند.
امروزه همه مدلهای زبانهای بزرگ از معماری MoE استفاده میکنند.
بیشتر LLM های مستقر هنوز از معماریهای متراکم، از جمله LLaMA، Claude (نسخههای اولیه) و بیشتر مدلهای متنباز استفاده میکنند. پذیرش MoE در حال رشد است اما هنوز در بین مدلهای پیشرو فراگیر نشده است.
آموزش وزارت آموزش و پرورش درست مثل آموزش فشرده با مراحل اضافی است.
آموزش MoE نیازمند تنظیم دقیق تلفات کمکی، طراحی روتر و عوامل ظرفیت متخصص است. آموزش سادهلوحانه یک MoE اغلب به دلیل خرابی مسیریابی یا تخصص ناهموار متخصص، منجر به عملکرد ضعیف میشود.
وقتی نیاز دارید که تعداد پارامترهای زیادی را مقیاسبندی کنید و در عین حال هزینههای استنتاج را قابل مدیریت نگه دارید و تیم شما بتواند پیچیدگی اضافی مسیریابی و متعادلسازی بار را مدیریت کند، Mixture of Experts را انتخاب کنید. شبکههای عصبی متراکم همچنان انتخاب بهتری برای اکثر کاربردهای عملی هستند که در آنها سادگی، عملکرد قابل پیشبینی و ابزارهای بالغ، مهمتر از رساندن تعداد پارامترها به محدودیتهای مطلق خود هستند.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
