بهینهسازی سیاست مبتنی بر گرادیان، استراتژیهای کنترل را از طریق سیگنالهای پاداش آزمون و خطا یاد میگیرد، در حالی که سیستمهای کنترل مبتنی بر قانون از منطق کدگذاری دستی پیروی میکنند. یکی از طریق تجربه با محیطهای پیچیده سازگار میشود، دیگری رفتار قابل پیشبینی و شفافی را بدون دادههای آموزشی ارائه میدهد.
یک رویکرد یادگیری تقویتی که پارامترهای سیاست را با استفاده از سیگنالهای گرادیان مشتق شده از بازخورد پاداش تنظیم میکند.
معماریهای کنترلی که بر اساس شرایط منطقی از پیش تعریفشده، آستانهها و عبارات اگر-آنگاه نوشتهشده توسط مهندسان عمل میکنند.
| ویژگی | بهینهسازی سیاست مبتنی بر گرادیان | سیستمهای کنترل مبتنی بر قانون |
|---|---|---|
| رویکرد یادگیری | از طریق بهروزرسانیهای گرادیان، از سیگنالهای پاداش یاد میگیرد | قوانین از پیش برنامهریزیشده را بدون یادگیری اجرا میکند |
| الزامات داده | به حجم زیادی از دادههای تعاملی نیاز دارد | بدون نیاز به دادههای آموزشی |
| تفسیرپذیری | اغلب یک جعبه سیاه؛ وزنهای سیاستی مبهم هستند | کاملاً شفاف؛ قوانین را میتوان مستقیماً خواند |
| سازگاری | از طریق آموزش مداوم با موقعیتهای جدید سازگار میشود | در زمان طراحی رفع شد؛ نیاز به بهروزرسانی دستی دارد |
| سرعت استقرار | آهسته؛ اغلب به هفتهها تا ماهها آموزش نیاز است | سریع؛ پس از نوشتن و آزمایش قوانین، مستقر میشود |
| مدیریت ورودیهای با ابعاد بالا | با پیکسلهای خام، آرایههای حسگر و فضاهای حالت پیچیده عالی عمل میکند | بدون مهندسی دستی ویژگیها با مشکل مواجه میشود |
| ضمانتهای ایمنی | تأیید رسمی آن دشوار است؛ میتواند رفتار غیرمنتظرهای از خود نشان دهد | تأیید آسانتر از طریق روشهای رسمی و آزمایش |
| هزینه محاسباتی در زمان اجرا | بالاتر؛ نیاز به استنتاج شبکه عصبی دارد | پایینتر؛ عملیات منطقی ساده کافی است |
بهینهسازی سیاست مبتنی بر گرادیان با پارامتربندی یک سیاست، معمولاً به عنوان یک شبکه عصبی، و سپس تغییر وزنهای آن در جهتهایی که پاداش مورد انتظار را افزایش میدهند، کار میکند. سیستم اقدامات را بررسی میکند، نتایج را مشاهده میکند و از گرادیان سیگنال پاداش برای بهبود در طول زمان استفاده میکند. در مقابل، سیستمهای مبتنی بر قانون، از یک درخت تصمیمگیری ثابت یا مجموعهای از شرایط منطقی پیروی میکنند. یک مهندس چیزی مانند «اگر دما از ۹۰ درجه سانتیگراد بیشتر شد، توان را کاهش دهید» مینویسد و کنترلکننده هر بار بدون انحراف از آن قانون پیروی میکند.
به کار انداختن یک روش گرادیان سیاست شامل تعریف یک تابع پاداش، ایجاد محیطی برای تعامل و اجرای بهینهسازی تا همگرایی سیاست است که میتواند روزها یا هفتهها محاسبه طول بکشد. سیستمهای مبتنی بر قانون از همه این موارد صرف نظر میکنند. یک متخصص حوزه، دانش را به کد تبدیل میکند، آن را آزمایش میکند و ارسال میکند. نکته مهم این است که سیستمهای مبتنی بر قانون فقط آنچه را که به آنها میگویید میدانند، در حالی که سیاستهای آموخته شده میتوانند استراتژیهایی را که هیچ برنامهنویس صریحاً ننوشته است، کشف کنند.
وقتی یک کنترلکننده مبتنی بر قانون، رفتار نادرستی از خود نشان میدهد، میتوانید شرایط دقیقی را که باعث ایجاد خروجی بد شده است، ردیابی کنید. این نوع قابلیت حسابرسی، دلیل تسلط سیستمهای مبتنی بر قانون بر کنترلهای هوانوردی، تجهیزات پزشکی و نیروگاههای هستهای است. روشهای گرادیان سیاست چنین مزیتی را ارائه نمیدهند. رفتار آنها از میلیونها مقدار وزنی پدیدار میشود و حتی محققان گاهی اوقات برای توضیح اینکه چرا یک عامل آموزشدیده، یک عمل خاص را در یک حالت خاص انتخاب کرده است، دچار مشکل میشوند.
برای کارهایی با ورودیهای حسی غنی، مانند انجام بازیهای آتاری از پیکسلهای خام یا کنترل یک ربات انساننما با دهها مفصل، روشهای مبتنی بر گرادیان برتری آشکاری دارند. آنها ویژگیهای سلسله مراتبی را به طور خودکار یاد میگیرند و میتوانند فضاهای عملیاتی پیوستهای را که با کدنویسی دستی غیرممکن است، مدیریت کنند. سیستمهای مبتنی بر قانون در چنین شرایطی تمایل به ثابت ماندن دارند، زیرا تعداد قوانین مورد نیاز با پیچیدگی ورودی به صورت تصاعدی افزایش مییابد.
صنایع تحت نظارت عموماً سیستمهای مبتنی بر قانون را ترجیح میدهند، زیرا میتوان آنها را به طور رسمی تأیید کرد. شما میتوانید ثابت کنید که یک کنترلکننده هرگز وارد حالتهای ناامن خاصی نمیشود. سیاستهای آموختهشده در برابر این نوع تحلیل مقاومت میکنند، اگرچه تحقیقات در مورد یادگیری تقویتی قابل تأیید در حال انجام است. رویکردهای ترکیبی، که در آن یک لایه ایمنی مبتنی بر قانون دور یک سیاست آموختهشده میپیچد، به عنوان یک راه حل میانی در حال محبوب شدن هستند.
روشهای گرادیان سیاست همیشه از سیستمهای مبتنی بر قانون بهتر عمل میکنند.
در وظایف کنترل صنعتی که به خوبی تعریف شدهاند، یک کنترلکننده مبتنی بر قانون که به درستی تنظیم شده باشد، اغلب با استفاده از کسری از محاسبات، با یک سیاست آموختهشده مطابقت دارد یا از آن پیشی میگیرد. روشهای آموختهشده در حوزههایی میدرخشند که نوشتن قوانین با دست غیرعملی است، نه در هر مسئلهای.
سیستمهای مبتنی بر قانون در هوش مصنوعی مدرن منسوخ شدهاند.
سیستمهای مبتنی بر قانون، از خلبان خودکار هواپیما گرفته تا پمپهای تزریق پزشکی، همچنان ستون فقرات زیرساختهای حیاتی ایمنی هستند. آنها اغلب به جای جایگزینی کامل، با اجزای آموختهشده در معماریهای ترکیبی ترکیب میشوند.
پس از آموزش، یک عامل گرادیان سیاست «تمام» شده و دیگر نیازی به بهروزرسانی ندارد.
تغییر توزیع، رانش حسگرها و محیطهای متغیر میتوانند عملکرد یک سیاست آموزشدیده را کاهش دهند. بسیاری از سیستمهای مستقر شامل یادگیری مداوم یا بازآموزی دورهای برای حفظ اثربخشی هستند.
سیستمهای مبتنی بر قانون نمیتوانند عدم قطعیت را مدیریت کنند.
کنترلکنندههای منطق فازی و سیستمهای قاعده احتمالاتی برای دههها عدم قطعیت را مدیریت کردهاند. آنها از توابع عضویت و آستانههای اطمینان به جای شرایط بولی قطعی برای استدلال در مورد ورودیهای نویزی استفاده میکنند.
روشهای گرادیان سیاست همیشه به سیاست بهینه همگرا میشوند.
تضمینهای همگرایی فقط تحت فرضیات محدودکننده وجود دارند. در عمل، سیاستها اغلب در بهینه محلی قرار میگیرند و طراحی تابع پاداش به شدت بر معنای «بهینه» تأثیر میگذارد.
بهینهسازی سیاست مبتنی بر گرادیان را زمانی انتخاب کنید که محیط برای کدنویسی دستی بسیار پیچیده باشد، زمانی که دادههای شبیهسازی یا تعاملی فراوانی دارید و زمانی که عملکرد اوج بیش از قابلیت تفسیر اهمیت دارد. سیستمهای کنترل مبتنی بر قانون را زمانی انتخاب کنید که گواهینامه ایمنی مورد نیاز است، زمانی که مشکل به خوبی درک شده است، یا زمانی که امروز به یک راهحل کاربردی بدون زیرساخت آموزشی نیاز دارید.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
