بهینهسازی کارایی بر انجام کارهای بیشتر با محاسبات کمتر تمرکز دارد، در حالی که حداکثر مقیاسپذیری عملکرد، سیستمهای هوش مصنوعی را به مرزهای توانایی مطلق خود میرساند. هر دو رویکرد مهم هستند، اما اهداف اساساً متفاوتی را در توسعه و استقرار هوش مصنوعی مدرن دنبال میکنند.
یک استراتژی برای بهبود خروجی مدل هوش مصنوعی به ازای هر واحد محاسبه، انرژی یا هزینه.
رویکردی که اندازه مدل، دادههای آموزشی و محاسبات را گسترش میدهد تا سقف قابلیتها را افزایش دهد.
| ویژگی | بهینهسازی کارایی | مقیاسبندی حداکثر عملکرد |
|---|---|---|
| هدف اصلی | به حداکثر رساندن کیفیت خروجی به ازای هر واحد محاسباتی | صرف نظر از هزینه، حداکثر ظرفیت خام را فراهم کنید |
| تکنیکهای معمول | کوانتیزاسیون، هرس کردن، تقطیر، PEFT | مدلهای بزرگتر، دادههای بیشتر، آموزش طولانیتر |
| الزامات محاسباتی | اغلب روی سختافزار متوسط اجرا میشود | به خوشهها و زیرساختهای بزرگ GPU نیاز دارد |
| مشخصات هزینه | هزینههای آموزش و استنتاج کمتر | هزینههای اولیه و عملیاتی بسیار بالا |
| بهترین مورد استفاده | استقرار در محیط عملیاتی، دستگاههای لبه، برنامههای کاربردی حساس به هزینه | تحقیق، معیارهای مرزی، اکتشاف قابلیتها |
| رویکرد مقیاسپذیری | بهینهسازی مدلهای موجود برای انجام کارهای بیشتر با هزینه کمتر | مدل و اندازه مجموعه داده را برای باز کردن قابلیتهای جدید افزایش دهید |
| ردپای انرژی | کاهش مصرف برق به ازای هر استنتاج | مصرف قابل توجه انرژی در طول تمرین و سرویس |
| زمان رسیدن به نتایج | چرخههای تکرار سریعتر در تنظیمات کوچکتر | تمرینات طولانی مدت که بر حسب هفته یا ماه اندازهگیری میشوند |
بهینهسازی کارایی، محاسبات را به عنوان یک منبع کمیاب در نظر میگیرد و میپرسد چگونه میتوان بیشترین قابلیت را از یک بودجه ثابت به دست آورد. مقیاسبندی حداکثر عملکرد، دیدگاه مخالف را اتخاذ میکند و فرض میکند که اختصاص محاسبات بیشتر به یک مسئله، به طور قابل اعتمادی رفتارهای جدید را ایجاد میکند. هر دو فلسفه نتایج واقعی به بار آوردهاند، اما منعکسکننده شرطبندیهای متفاوتی در مورد منشأ پیشرفت هوش مصنوعی هستند.
از نظر کارایی، متخصصان برای کاهش دقت وزنی به کوانتیزاسیون، برای حذف پارامترهای اضافی به هرس کردن و برای انتقال دانش به مدلهای کوچکتر دانشجویی به تقطیر متکی هستند. روشهای تنظیم دقیق پارامتر-کارآمد مانند LoRA، سفارشیسازی را مقرونبهصرفه کردهاند. در عوض، کارهای متمرکز بر مقیاسپذیری، روی معماریهای ترانسفورماتور بزرگتر، مجموعه دادههای تریلیون توکنی و چارچوبهای آموزشی توزیعشده که هزاران شتابدهنده را بهطور همزمان هماهنگ میکنند، سرمایهگذاری میکنند.
تکنیکهای بهرهوری، هوش مصنوعی را با فراهم کردن امکان اجرای مدلهای توانمند روی یک ایستگاه کاری یا حتی یک لپتاپ توسط استارتآپها و محققان انفرادی، دموکراتیزه میکنند. حداکثر مقیاسپذیری، قدرت را در بین آزمایشگاههای دارای بودجهی کافی و ابرمقیاسپذیرها متمرکز میکند، زیرا آموزش یک مدل پیشرو میتواند هزینهای بیش از درآمد سالانهی یک شرکت متوسط داشته باشد. این شکاف هزینه، تعیین میکند که چه کسی میتواند سیستمهای پیشرفته بسازد.
کار با بهرهوری بالا، ناگزیر مقداری از کیفیت را فدا میکند، هرچند این شکاف در سالهای اخیر به طور قابل توجهی کاهش یافته است. یک مدل ۷ میلیارد پارامتری بهینه شده میتواند در بسیاری از وظایف با سیستمهای ۷۰ میلیارد پارامتری قدیمیتر رقابت کند. از سوی دیگر، مقیاسبندی، به ویژه برای استدلال، کدنویسی و درک چندوجهی، تمایل به ایجاد جهشهای کیفی دارد تا دستاوردهای افزایشی.
بهینهسازی کارایی برای هر استقراری که در آن تأخیر، هزینه یا محدودیتهای سختافزاری غالب هستند، مانند برنامههای تلفن همراه، دستیارهای بلادرنگ و APIهای با حجم بالا، برنده است. حداکثر مقیاسپذیری عملکرد زمانی برنده میشود که هدف، پیشبرد مرز در معیارهای سخت، تحقیقات علمی یا وظایفی باشد که مدلهای فعلی در آنها به سادگی کم میآورند. بسیاری از سیستمهای تولیدی هر دو را با هم ترکیب میکنند و از مدلهای مقیاسبندی شده در طول تحقیق و انواع بهینه شده در زمان ارائه خدمات استفاده میکنند.
مدلهای بزرگتر همیشه بهتر از مدلهای کوچکتر و بهینهسازیشده هستند.
در بسیاری از وظایف عملی، یک مدل کوچکترِ بهینهشده، با یک مدل بزرگترِ بهینهسازینشده برابری میکند یا آن را شکست میدهد. این شکاف به شدت به حجم کار بستگی دارد، به طوری که مدلهای تنظیمشده بر اساس کارایی اغلب در برنامههای حساس به تأخیر برنده میشوند، در حالی که مدلهای مقیاسپذیر در معیارهای استدلال سخت غالب هستند.
بهینهسازی کارایی فقط در مورد کوچکتر کردن مدلها است.
بهرهوری، ابزارهای گستردهای از جمله کوانتیزاسیون، هرس، تقطیر، معماریهای بهتر و رویههای آموزشی هوشمندانهتر را در بر میگیرد. کاهش اندازه یکی از نتایج است، اما هدف گستردهتر، به حداکثر رساندن خروجی مفید به ازای هر ژول یا به ازای هر دلار صرف شده است.
قوانین مقیاسپذیری به این معنی است که هوش مصنوعی با محاسبات بیشتر، برای همیشه به بهبود خود ادامه خواهد داد.
قوانین مقیاسبندی، دستاوردهای قابل پیشبینی را در چارچوبهای خاص توصیف میکنند، اما بازده کاهش مییابد و تنگناهای داده به محدودیتهای واقعی تبدیل میشوند. تحقیقات اخیر نشان میدهد که مقیاسبندی سادهلوحانه بدون نوآوریهای الگوریتمی در کنار آن، به بنبست میرسد.
شما باید یکی از این دو رویکرد را انتخاب کنید.
اکثر سیستمهای موفق هوش مصنوعی از هر دو استفاده میکنند. آزمایشگاهها در طول پیشآموزش، مدلها را مقیاسبندی میکنند تا قابلیتها را کشف کنند، سپس تکنیکهای بهرهوری را اعمال میکنند تا آن قابلیتها را برای کاربران واقعی مقرونبهصرفه کنند. این دو استراتژی به جای رقابت، یکدیگر را تقویت میکنند.
مدلهای کارآمد فقط برای استقرار مفید هستند، نه تحقیق.
تحقیقات در مورد بهرهوری، نوآوریهای معماری بزرگی از جمله FlashAttention، توجه به پرسوجوی گروهی و مسیریابی ترکیبی از متخصصان را به دنبال داشته است. این پیشرفتها اغلب از محدودیتهای بهرهوری سرچشمه میگیرند و سپس به سیستمهای مقیاسپذیر نیز سود میرسانند.
وقتی بودجه، تأخیر یا محدودیتهای سختافزاری بیشترین اهمیت را دارند، بهینهسازی کارایی را انتخاب کنید، بهویژه برای سیستمهای تولیدی که به کاربران واقعی خدمات میدهند. وقتی هدف، پیشبرد مرزهای قابلیت در وظایف دشوار است و بودجه محاسباتی لازم برای پشتیبانی از آن را دارید، حداکثر مقیاسپذیری عملکرد را انتخاب کنید. در عمل، قویترین محصولات هوش مصنوعی هر دو فلسفه، یعنی مقیاسپذیری در طول توسعه و بهینهسازی برای استقرار را با هم ترکیب میکنند.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
