پیشآموزش، دانش بنیادی مدل را از مجموعه دادههای عظیم میسازد، در حالی که بهینهسازی پس از آموزش، آن پایه را برای وظایف خاص و همترازی با انسان اصلاح میکند. هر دو مرحله در توسعه هوش مصنوعی مدرن ضروری هستند و به جای نقشهای رقیب، نقشهای مکمل یکدیگر را ایفا میکنند.
مرحله آموزش اولیه که در آن یک مدل الگوهای کلی را از مقادیر عظیمی از متن یا داده خام یاد میگیرد.
تکنیکهایی که پس از پیشآموزش برای تخصصی کردن مدل، بهبود همترازی و افزایش عملکرد وظیفه اعمال میشوند.
| ویژگی | پیشآموزش | بهینهسازی پس از آموزش |
|---|---|---|
| مرحله در خط لوله | مرحله اول توسعه مدل | پیش آموزش را دنبال میکند |
| هدف اصلی | دانش و الگوهای عمومی را بیاموزید | مدل را تخصصی و همسو کنید |
| الزامات داده | تریلیونها توکن، بدون برچسب | هزاران تا میلیونها نمونه برچسبگذاری شده |
| محاسبه هزینه | بسیار بالا (میلیون دلار) | متوسط (هزار دلار) |
| تکنیکهای رایج | یادگیری خودنظارتی، مدلسازی زبان پنهان | SFT، RLHF، DPO، هوش مصنوعی قانون اساسی |
| خروجی | مدل پایه با قابلیتهای گسترده | مدل هماهنگ و آماده برای انجام وظیفه |
| مدت زمان | هفتهها تا ماهها در خوشههای بزرگ | ساعتها تا روزها |
| برگشت پذیری | نقطه شروع برای همه کارهای بعدی | قابل تکرار یا تنظیم است |
پیشآموزش به عنوان مرحلهای برای ایجاد پایه و اساس عمل میکند که در آن یک مدل دانش عمومی را از حجم عظیمی از دادههای خام جذب میکند. بدون آن، مدل هیچ درک اساسی از زبان، استدلال یا حقایق جهان نخواهد داشت. بهینهسازی پس از آموزش، این پایه و اساس را میگیرد و آن را به چیزی مفید تبدیل میکند و به مدل میآموزد که چگونه از دستورالعملها پیروی کند، درخواستهای مضر را رد کند و در وظایف خاص برتری یابد. پیشآموزش را به عنوان کسب یک آموزش عمومی و پس از آموزش را به عنوان آموزش شغلی تخصصی که در پی آن میآید، در نظر بگیرید.
تفاوت مقیاس بین این دو مرحله حیرتانگیز است. پیشآموزش به مجموعه دادههای عظیمی، اغلب تریلیونها توکن، نیاز دارد و برای هفتهها یا ماهها روی هزاران پردازنده گرافیکی اجرا میشود. پسآموزش در مقیاس بسیار کوچکتری عمل میکند و معمولاً از مجموعه دادههای گزینششدهای شامل هزاران تا میلیونها نمونه استفاده میکند. این امر، پسآموزش را برای تیمها و محققان کوچکتری که میخواهند مدلهای موجود را بدون ساختن آنها از ابتدا سفارشیسازی کنند، بسیار قابل دسترستر میکند.
پیشآموزش بر اهداف خودنظارتی متکی است که در آن مدل اساساً با پیشبینی توکنهای از دست رفته یا بعدی در توالیها، خود را آموزش میدهد. بهینهسازی پس از آموزش شامل مجموعهای از ابزارهای متنوع از جمله تنظیم دقیق نظارتشده روی جفتهای دستورالعمل-پاسخ، RLHF که از رتبهبندی ترجیحات انسانی برای آموزش یک مدل پاداش استفاده میکند و روشهای جدیدتری مانند DPO است که فرآیند همترازی را ساده میکند. هر تکنیک پس از آموزش، اهداف مختلفی را از مفید بودن اولیه تا قابلیتهای استدلال پیچیده، دنبال میکند.
یک مدل از پیش آموزشدیده به خودی خود اساساً یک تکمیل خودکار پیچیده است، میتواند متن منسجمی تولید کند اما به طور قابل اعتمادی از دستورالعملها پیروی نمیکند یا رفتار ایمن ندارد. پس از آموزش چیزی است که یک مدل زبان خام را به یک دستیار چتبات تبدیل میکند که واقعاً میخواهید با آن تعامل داشته باشید. کار همترازی انجام شده در پس از آموزش تعیین میکند که آیا مدل مفید، بیضرر، صادق و قادر به مکالمه ظریف است یا خیر.
آموزش پس از آموزش، انعطافپذیری بسیار بیشتری را ارائه میدهد، زیرا میتوان آن را بدون شروع مجدد تکرار، ترکیب و تنظیم کرد. تیمها میتوانند یک مدل را برای کاربردهای پزشکی به دقت تنظیم کنند، سپس بهینهسازیهای اضافی را برای نیازهای خاص یک بیمارستان اعمال کنند. آموزش پیش از آموزش، پس از اتمام، یک پایه ثابت ایجاد میکند که همه بر اساس آن کار خود را انجام میدهند. به همین دلیل است که جامعه هوش مصنوعی تمرکز خود را به سمت تحقیقات پس از آموزش تغییر داده است، جایی که سفارشیسازی و تمایز با سرعت بیشتری اتفاق میافتد.
پیشآموزش به تنهایی برای تبدیل شدن به یک دستیار هوش مصنوعی مفید کافی است.
یک مدل از پیش آموزشدیده اساساً یک تکمیلکننده متن پیچیده است. بدون بهینهسازی پس از آموزش، نمیتواند به طور قابل اعتمادی دستورالعملها را دنبال کند، درخواستهای مضر را رد کند یا مکالمات منسجمی را حفظ کند. همه چتباتهای تولیدی به کار قابل توجهی پس از آموزش نیاز دارند.
بهینهسازی پس از آموزش، صرفاً تنظیم دقیق است.
آموزش پس از عمل مدرن شامل مجموعهای پیچیده از تکنیکها از جمله RLHF، DPO، هوش مصنوعی مبتنی بر قانون اساسی و آموزش متمرکز بر استدلال است. این روشها شامل مدلسازی پاداش پیچیده، یادگیری ترجیحی و اصلاح تکراری هستند که بسیار فراتر از تنظیم دقیق تحت نظارت اولیه عمل میکنند.
پیشآموزش بیشتر همیشه منجر به مدلهای بهتری میشود.
تحقیقات نشان داده است که مقیاسبندی صرف دادههای پیشآموزش، بازده نزولی دارد. این حوزه به طور فزایندهای به این نتیجه رسیده است که بهبودهای پس از آموزش، به ویژه در زمینه استدلال و همترازی، میتواند دستاوردهای بزرگتری نسبت به محاسبات اضافی پیشآموزش داشته باشد.
RLHF و DPO یکسان هستند.
اگرچه هر دو هدفشان همسو کردن مدلها با ترجیحات انسانی است، اما عملکرد متفاوتی دارند. RLHF یک مدل پاداش جداگانه را آموزش میدهد که یادگیری تقویتی را هدایت میکند، در حالی که DPO سیاست را مستقیماً با استفاده از جفتهای ترجیحی و بدون نیاز به مدل پاداش بهینه میکند. DPO سادهتر است اما ممکن است ویژگیهای عملکردی متفاوتی داشته باشد.
آموزش پس از آموزش میتواند هر مشکلی را با یک مدل پایه برطرف کند.
آموزش پس از یادگیری نمیتواند قابلیتهایی را ایجاد کند که در مدل پایه وجود ندارند. اگر یک مدل از پیش آموزشدیده فاقد دانش یا تواناییهای استدلال خاصی باشد، هیچ تنظیم دقیقی نمیتواند آنها را اضافه کند. پایه و اساس تعیینشده در طول آموزش پیش از یادگیری، آنچه را که بعداً امکانپذیر است، محدود میکند.
بهینهسازی پیش از آموزش و پس از آموزش، رویکردهای رقیب نیستند، بلکه مراحل متوالی هستند که هر دو اهمیت فوقالعادهای دارند. پیشآموزش زمانی ضروری است که شما در حال ساخت یک مدل بنیادی جدید از ابتدا هستید و به قابلیتهای گستردهای نیاز دارید، در حالی که بهینهسازی پس از آموزش، انتخاب عملی برای اکثر تیمهایی است که میخواهند مدلهای موجود را برای موارد استفاده خاص تطبیق دهند. برای اکثر سازمانها، پس از آموزش بهترین بازگشت سرمایه را ارائه میدهد، زیرا بر اساس کاری است که قبلاً توسط آزمایشگاههای بزرگ انجام شده است.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
