بهینهسازی کارایی و گسترش قابلیت، دو استراتژی متفاوت اما مکمل در توسعه هوش مصنوعی هستند که اولی بر به حداکثر رساندن عملکرد به ازای هر واحد منبع تمرکز دارد و دومی مرزهای توانایی سیستمهای هوش مصنوعی را جابجا میکند.
به حداکثر رساندن عملکرد هوش مصنوعی و در عین حال به حداقل رساندن هزینههای محاسباتی، انرژی و مالی از طریق بهبودهای معماری و الگوریتمی.
گسترش مرزهای عملکردی سیستمهای هوش مصنوعی برای مدیریت وظایف جدید، زمینههای طولانیتر، ورودیهای چندوجهی و رفتارهای نوظهور.
| ویژگی | بهینهسازی کارایی | گسترش قابلیتها |
|---|---|---|
| هدف اصلی | با کمترین هزینه، بیشترین کار را انجام دهید - هزینه، تأخیر و انرژی را به ازای هر واحد خروجی کاهش دهید | کاری را انجام دهید که قبلاً غیرممکن بود - مرزهای عملکردی و پیچیدگی وظیفه را گسترش دهید |
| تکنیکهای کلیدی | کوانتیزاسیون، هرس کردن، تقطیر، معماریهای کارآمد (ترکیبی از متخصصان، مدلهای فضای حالت) | مقیاسپذیری، ادغام چندوجهی، معماریهای زمینه طولانی، چارچوبهای عاملگرا، یادگیری تقویتی از بازخورد انسانی |
| شدت منابع | معمولاً برای وظایف معادل، نیازهای محاسباتی را 10 تا 100 برابر کاهش میدهد | اغلب نیازهای محاسباتی را 10 تا 1000 برابر افزایش میدهد تا به آستانههای قابلیت جدید برسد |
| جدول زمانی توسعه | چرخههای تکرار سریع، ماهها برای استقرار بهینهسازیها | افقهای تحقیقاتی طولانیتر، سالها برای توسعهی پیشرفتهای بنیادی |
| مشخصات ریسک | ریسک کمتر، بهبودهای تدریجی با نتایج قابل پیشبینی | ریسک بالاتر، بازده نامشخص در سرمایهگذاریهای عظیم |
| قابلیت تجاری | صرفهجویی فوری در هزینه، جذاب برای کاربردهای حساس به حاشیه سود | پتانسیل محصولات نوآورانه و ایجاد بازارهای جدید |
| تأثیر زیستمحیطی | کاهش ردپای کربن در هر استنتاج، که برای اهداف پایداری حیاتی است | افزایش مصرف انرژی مطلق، نگرانیهایی را در مورد انتشار گازهای گلخانهای مراکز داده ایجاد میکند |
| دسترسیپذیری | با فعال کردن استقرار روی سختافزار محدود، هوش مصنوعی را دموکراتیزه میکند | اغلب قابلیتهای پیشرفته را در سازمانهای دارای منابع کافی متمرکز میکند |
بهینهسازی کارایی از فلسفهی بسندگی پیروی میکند - تعیین چگونگی ارائه نتایج کافی یا برتر با منابع بسیار کمتر. تیمهایی که این مسیر را دنبال میکنند، اغلب قابلیتهای موجود را تا حد زیادی کافی میدانند و میپرسند که چگونه میتوان آنها را در مقیاس اقتصادی، قابل اجرا کرد. در مقابل، گسترش قابلیتها توسط فلسفهی امکانسنجی هدایت میشود و میپرسد که اگر محدودیتهای مقیاس مدل، طول زمینه یا روشهای ورودی کاهش یابد، چه رفتارها و خدمات اساساً جدیدی ممکن است پدیدار شوند. اینها صرفاً تفاوتهای فنی نیستند؛ بلکه منعکسکنندهی باورهای متفاوت در مورد این هستند که آیا ارزش کوتاهمدت هوش مصنوعی در دسترسیپذیری نهفته است یا در حرکت به سمت هوش مصنوعی عمومی.
اردوگاه بهرهوری، نوآوریهای چشمگیری در فشردهسازی مدل و طراحی معماری ایجاد کرده است. معماریهای ترکیبی از متخصصان (MoE) مانند معماریهای Mistral و DeepSeek تنها زیرمجموعههایی از پارامترها را در هر ورودی فعال میکنند، در حالی که مدلهای فضای حالت مانند Mamba جایگزینهایی برای مکانیسمهای توجه با پیچیدگی خطی به جای درجه دوم ارائه میدهند. در سمت قابلیت، محققان پنجرههای زمینه را از طریق تکنیکهایی مانند تعبیههای موقعیتی چرخشی و توجه حلقهای گسترش دادهاند و تجزیه و تحلیل کل کتابها یا پایگاههای کد را امکانپذیر میکنند. رویکردهای آموزش چندوجهی اکنون بینایی، صدا و درک متن را به روشهایی ترکیب میکنند که به جای اتصال ساده سیستمهای جداگانه، استدلال بین وجهی واقعی را ممکن میسازند.
افزایش بهرهوری، هزینه استنتاج هوش مصنوعی را به میزان قابل توجهی کاهش داده و به استارتآپها این امکان را داده است که با بازیگران تثبیتشده رقابت کنند و به شرکتها اجازه میدهد هوش مصنوعی را در هزاران برنامه به جای تعداد انگشتشماری از موارد استفاده با ارزش بالا، مستقر کنند. این فشار کالاییسازی، حاشیه سود شرکتهای هوش مصنوعی مبتنی بر API را تهدید میکند. در همین حال، گسترش قابلیتها، ارزش اقتصادی عظیمی را ایجاد کرده است که در آزمایشگاههای پیشرو متمرکز شده است - ارزشگذاری بیش از 80 میلیارد دلاری OpenAI نشان دهنده این باور بازار است که رهبری قابلیتها به مزیت رقابتی پایدار تبدیل میشود. تنش بین این مسیرها، معضلات استراتژیکی ایجاد میکند: آیا سازمانها باید روی ارزانتر کردن مدلهای امروز سرمایهگذاری کنند یا روی مدلهای فردا که به اندازه کافی متحولکننده هستند تا قیمتگذاری بالا را توجیه کنند، شرطبندی کنند؟
مسیر بهرهوری، مزایای زیستمحیطی واقعی ارائه میدهد؛ اجرای مدلهای بهینهشده روی سختافزار کارآمد میتواند انتشار کربن به ازای هر پرسوجو را تا ۹۰٪ یا بیشتر کاهش دهد. این موضوع با توجه به افزایش حجم پرسوجوهای هوش مصنوعی به تریلیونها در سال، بسیار مهم است. با این حال، افزایش بهرهوری اغلب باعث ایجاد اثرات بازگشتی میشود - افزایش استفادهای که تا حدی یا کاملاً بهبود بهرهوری را جبران میکند. هزینههای زیستمحیطی گسترش قابلیت، مستقیمتر و قابل مشاهدهتر هستند: آموزش مدلهای کلاس GPT-4 معادل مصرف سالانه صدها خانوار برق مصرف میکند. از نظر اجتماعی، گسترش قابلیت، نگرانیهایی را در مورد تمرکز قدرت و دسترسی ایجاد میکند، زیرا تنها تعداد انگشتشماری از سازمانها میتوانند تحقیقات پیشرو را تأمین مالی کنند، در حالی که بهینهسازی بهرهوری نویدبخش دموکراتیزاسیون گستردهتر است، اما ممکن است قابلیتهای موجود را به جای به چالش کشیدن، تثبیت کند.
قرار دادن این موارد به عنوان تضادهای محض، واقعیت را بیش از حد ساده میکند. بسیاری از پیشرفتها هر دو مسیر را به طور همزمان امکانپذیر میکنند - بهبود بهرهوری آموزش، مدلهای بزرگتری را در بودجههای ثابت امکانپذیر میکند و قابلیتهای جدید اغلب از نوآوریهای معماری با انگیزه بهرهوری پدیدار میشوند. خودِ این تحول تا حدودی با انگیزه بهرهوری محاسباتی نسبت به شبکههای بازگشتی ایجاد شده است. در عمل، سازمانهای بالغ هوش مصنوعی هر دو را دنبال میکنند: بهینهسازی استقرار قابلیتهای فعلی در عین حفظ سرمایهگذاریهای تحقیقاتی در توسعه نسل بعدی. سازندهترین سوال ممکن است این نباشد که کدام را انتخاب کنیم، بلکه این باشد که چگونه سازمانها و بودجه را ساختار دهیم تا تعامل سازنده بین تحقیقات بهرهوری و توسعه را ممکن سازیم.
بهینهسازی کارایی به سادگی به معنای کوچکتر کردن مدلها بدون تأثیر معنادار بر قابلیتها است.
تکنیکهای مدرن بهرهوری، قابلیتها را از طریق معماریهای بهتر حفظ یا حتی افزایش میدهند. مدلهایی مانند MiniCPM و Phi نشان میدهند که آموزش دقیق و انتخابهای معماری میتوانند مدلهای کوچکی با قابلیتهای شگفتانگیز قوی تولید کنند و این فرض را که مقیاس، محرک اصلی عملکرد است، به چالش بکشند.
گسترش قابلیتها در درجه اول به معنای افزایش محاسبات در رویکردهای موجود است.
اگرچه مقیاسپذیری اهمیت دارد، اما گسترش واقعی قابلیتها نیازمند نوآوری الگوریتمی قابل توجهی است. جهش از GPT-3 به GPT-4 نه تنها شامل پارامترهای بیشتر، بلکه شامل بهبود تکنیکهای آموزشی، گردآوری دادهها و روشهای همترازی نیز بوده است. مقیاسپذیری خام بدون نوآوری، نشانههایی از رسیدن به سطوح ثابت در حوزههای خاص را نشان میدهد.
سازمانها باید منحصراً بین کارایی و توسعه یکی را انتخاب کنند.
موفقترین آزمایشگاههای هوش مصنوعی هر دو را همزمان دنبال میکنند. برای مثال، تیم Gemini گوگل، سرمایهگذاری زیادی روی زیرساختهای خدماتی کارآمد انجام میدهد و در عین حال قابلیتهای پیشرو را ارتقا میدهد. انتخاب بیشتر به نسبتهای تخصیص منابع مربوط میشود تا تعهد انحصاری.
مدلهای کارآمد همیشه سازگارتر با محیط زیست هستند.
افزایش بهرهوری اغلب باعث افزایش استفاده میشود که مزایای زیستمحیطی را از طریق اثرات بازگشتی جبران میکند. مدلی که ده برابر کارآمدتر است و بیست برابر بیشتر استفاده میشود، کل مصرف انرژی را افزایش میدهد. تأثیر مطلق زیستمحیطی به الگوهای پذیرش بستگی دارد، نه فقط بهرهوری به ازای هر پرسوجو.
گسترش قابلیتها فقط برای شرکتهای بزرگ فناوری با منابع عظیم مرتبط است.
جوامع متنباز و آزمایشگاههای دانشگاهی، گاهی با منابع اندک، سهم قابل توجهی در گسترش قابلیتها دارند. مدلهای لاما، انتشار پایدار و مقالات تحقیقاتی متعدد نشان میدهند که پیشرفتهای معنادار در قابلیتها از مدلهای تأمین مالی متنوع، و نه صرفاً تحقیق و توسعه شرکتی، حاصل میشود.
بهینهسازی کارایی، مشکل دسترسی به هوش مصنوعی را حل کرده است.
در حالی که هزینههای استنتاج به شدت کاهش یافته است، استقرار معنادار هنوز به تخصص مهندسی قابل توجه، زیرساخت داده و نگهداری مداوم نیاز دارد. شکاف بین دسترسی نظری و اجرای عملی برای بسیاری از سازمانها، به ویژه در صنایع تحت نظارت، همچنان قابل توجه است.
سازمانهایی که موارد استفاده پایدار و شناختهشدهای دارند، باید بهینهسازی کارایی را برای بهبود حاشیه سود و دسترسی در اولویت قرار دهند، در حالی که سازمانهایی که به دنبال مزیت رقابتی متحولکننده یا پرداختن به مشکلاتی فراتر از قابلیتهای فعلی هوش مصنوعی هستند، باید روی گسترش قابلیتها سرمایهگذاری کنند. اکثر استراتژیهای بلندمدت موفق، هر دو را متعادل میکنند و از دستاوردهای کارایی برای تأمین مالی و استقرار تحقیقات توسعه اینترنت اشیا استفاده میکنند.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
