Siyasət daxilində və siyasətdən kənar öyrənmə, agentlərin təcrübəni necə topladığı və istifadə etdiyinə görə fərqlənən gücləndirmə öyrənməsində iki əsas yanaşmadır. Siyasət daxilində metodlar agentin faktiki olaraq gördüyü hərəkətlərdən öyrənir, siyasətdən kənar metodlar isə digər siyasətlər tərəfindən toplanan məlumatlardan və ya keçmiş davranışlardan öyrənə bilər.
Agentin hazırda təkmilləşdirilən eyni siyasət çərçivəsində yerinə yetirdiyi hərəkətlərdən öyrəndiyi gücləndirmə öyrənmə yanaşması.
Agentin optimallaşdırılan siyasətdən fərqli bir siyasət tərəfindən yaradılan təcrübələrdən öyrəndiyi gücləndirmə öyrənmə yanaşması.
| Xüsusiyyət | Siyasət üzrə öyrənmə | Siyasətdənkənar Təlim |
|---|---|---|
| Məlumat mənbəyi | Yalnız mövcud siyasətdən | İstənilən siyasət və ya tarixi məlumat |
| Nümunə Səmərəliliyi | Aşağı, təzə məlumatlara ehtiyac var | Daha yüksək, keçmiş təcrübədən təkrar istifadə edir |
| Təlim Sabitliyi | Ümumiyyətlə daha sabitdir | Paylanma dəyişikliyinə görə daha az sabit ola bilər |
| Kəşfiyyat | Mövcud siyasətlə əlaqəli | Davranış siyasətindən ayrılıb |
| Nümunə Alqoritmlər | SARSAA, PPO, A2C, MÖHKƏMƏ | Q-Öyrənmə, DQN, DDPG, SAC, TD3 |
| Yaddaş Tələbləri | Aşağı, təkrar oxutma buferinə ehtiyac yoxdur | Daha yüksək, böyük təkrarlama buferləri tələb edir |
| Ümumi İstifadə Halları | Oyun süni intellekt, robototexnika simulyasiyası, dil modelləri | Robototexnika, tövsiyə sistemləri, muxtar sürücülük |
| Qərəz-Dəyişiklik Müqaviləsi | Daha aşağı variasiya, bəzi qərəzlər | Aşağı qərəz, daha yüksək variasiya |
Əsas fərq, təlim məlumatlarını hansı siyasətin yaratdığındadır. Siyasət daxilində öyrənmə, araşdırma zamanı izlənilən dəqiq siyasəti qiymətləndirir və təkmilləşdirir, yəni hər yeniləmə agentin əslində görəcəyi tədbirləri əks etdirir. Siyasətdən kənar öyrənmə bu narahatlıqları tamamilə ayırır və agentə özünün köhnə versiyası, təsadüfi siyasət və ya hətta insan nümayişçisi tərəfindən toplana bilən məlumatlardan optimal davranışı öyrənməyə imkan verir.
Siyasətdənkənar metodlar məlumatlar bahalı və ya qıt olduqda daha təsirli olur. Keçidləri təkrar buferində saxlamaq və ondan dəfələrlə nümunə götürməklə DQN və SAC kimi alqoritmlər ətraf mühitlə hər qarşılıqlı təsirdən maksimum öyrənmə dəyəri əldə edə bilər. Siyasətdənkənar metodlar adətən məlumatları birdəfəlik istifadədən sonra atır ki, bu da ucuz simulyasiya mühitlərində yaxşı işləyir, lakin hər bir qarşılıqlı təsir real vaxta və ya pula başa gəldikdə, məsələn, fiziki robototexnikada praktik olaraq mümkün deyil.
Siyasət daxilində yanaşmalar ümumiyyətlə daha proqnozlaşdırıla bilən konvergensiya təklif edir, çünki optimallaşdırılan siyasət həmişə məlumat yaradandır və paylanma uyğunsuzluğunu aradan qaldırır. Siyasətdən kənar metodlar paylanma dəyişikliyi problemi ilə üzləşir, burada məlumatların paylanması mövcud siyasətin yaratdığından kənara çıxır və bəzən qeyri-sabitliyə və ya fikir ayrılığına səbəb olur. Hədəf şəbəkələri, əhəmiyyət nümunələri və siyasət məhdudiyyətləri kimi üsullar bu problemləri azaltmağa kömək edir, lakin mürəkkəblik artırır.
Siyasət daxilində öyrənmə ilə bağlı araşdırma, mahiyyət etibarilə mövcud siyasətlə bağlıdır və çox vaxt stoxastik hərəkət seçimi və ya entropiya bonusları vasitəsilə əldə edilir. Siyasətdən kənar öyrənmə, tədqiqatı öyrənmədən ayırır və hədəf siyasəti istismar etməyi öyrənərkən geniş şəkildə araşdırıla bilən ayrı davranış siyasətlərinə imkan verir. Bu ayrılıq, epsilon-acgözlük kimi mürəkkəb tədqiqat strategiyalarına, məsələn, azalan cədvəllərə və ya maraq əsaslı davranış siyasətlərinə imkan verir.
Siyasətdənkənar metodlar simulyasiyanın ucuz və sabitliyin vacib olduğu sahələrdə, məsələn, oyun agentlərinin təlimi və RLHF ilə böyük dil modellərinin təkmilləşdirilməsi kimi sahələrdə üstünlük təşkil edir. Siyasətdənkənar metodlar real dünya məlumatlarının toplanmasının baha başa gəldiyi robototexnikada və istifadəçi qarşılıqlı əlaqələrinin kütləvi qeydlərinin zəngin təlim məlumatları təmin etdiyi tövsiyə sistemlərində üstündür. Seçim çox vaxt bol simulyasiyaya və ya dəyərli real dünya məlumatlarına sahib olub-olmamanızdan asılıdır.
Siyasətdən kənar öyrənmə həmişə daha yaxşıdır, çünki məlumatları təkrar istifadə edir.
Siyasətdənkənar metodlar daha çox nümunə səmərəli olsa da, onlar tez-tez təlim qeyri-sabitliyindən əziyyət çəkir və hədəf şəbəkələri və vacib nümunə götürmə kimi texnikaların diqqətlə tənzimlənməsini tələb edir. Siyasətdənkənar metodlar simulyasiyanın ucuz və sabitliyin vacib olduğu mühitlərdə siyasətdənkənar yanaşmalardan daha yaxşı nəticə göstərə bilər.
Siyasət üzrə öyrənmə keçmiş məlumatlardan istifadə edə bilməz.
Siyasət üzrə metodlar texniki olaraq keçmiş məlumatlardan istifadə edə bilər, lakin bunu etmək yüksək variasiya yaradan nümunə götürmə düzəlişlərinə əhəmiyyət tələb edir. Praktikada, onlar mövcud siyasətdən təzə məlumatlarla ən yaxşı şəkildə işləyir, buna görə də PPO kimi alqoritmlər tətbiqləri toplayır, onlar üzərində təlim keçir və onları atır.
Q-öyrənmə siyasətdən kənardır, çünki optimal fəaliyyət dəyərini öyrənir.
Q-öyrənmə, araşdırma zamanı potensial olaraq fərqli bir davranış siyasətinə əməl edərkən optimal siyasət haqqında məlumat əldə etdiyinə görə siyasətdən kənar kimi təsnif edilir. Başlatdığı hədəf, məlumatların yaradılması üçün əslində görülən hərəkətlərdən fərqli ola biləcək acgöz hərəkət seçimini fərz edir.
Bütün dərin möhkəmləndirmə öyrənmə alqoritmləri siyasətdən kənardır.
PPO, A2C və TRPO da daxil olmaqla bir çox məşhur dərin RL alqoritmləri siyasətdədir. Siyasətdə olan və siyasətdən kənar olanlar arasındakı fərq neyron şəbəkələrinin istifadə olunub-olunmamasından asılı olmayaraq mövcuddur və hər iki kateqoriyanın uğurlu dərin öyrənmə tətbiqləri mövcuddur.
Siyasətdən kənar öyrənmə həmişə siyasət daxilində öyrənmədən daha sürətli birləşir.
Konvergensiya sürəti mühitdən və tətbiqdən asılıdır. Siyasətdən kənar metodlar daha az mühit qarşılıqlı əlaqəsinə ehtiyac duya bilər, lakin tez-tez daha çox qradiyent yeniləmələri və diqqətli hiperparametr tənzimləməsi tələb edir. Bəzi tapşırıqlarda, daha çox nümunə istifadə etməsinə baxmayaraq, siyasətdə olan metodlar divar saatı vaxtında yaxşı siyasətlərə daha tez çatır.
Təlim sabitliyinə ehtiyac duyduğunuz və ucuz simulyasiya mühitlərinə, xüsusən də oyun süni intellektinə və ya dil modellərində siyasət qradiyent metodlarına çıxışınız olduqda siyasətdən kənar öyrənməni seçin. Nümunə səmərəliliyi vacib olduqda, məlumatların toplanması baha olduqda və ya nümayişlər və ya qeyd olunmuş qarşılıqlı təsirlər kimi mövcud məlumat dəstlərindən öyrənməli olduğunuz zaman siyasətdən kənar öyrənməni seçin.
Açar söz axtarış motorları tərs indekslərdən istifadə edərək dəqiq terminləri uyğunlaşdırır, vektor oxşarlığı axtarışı isə yüksək ölçülü yerləşdirmələr vasitəsilə semantik cəhətdən əlaqəli məzmun tapır. Hər iki yanaşma müasir məlumat axtarışını gücləndirir, lakin istifadəçi niyyətini necə şərh etdikləri və nəticələri necə sıraladıqları baxımından əsaslı şəkildə fərqlənir.
Açıq çəkili modellər təlim keçmiş parametrlərini ictimaiyyətə açıq şəkildə yayımlayır və hər kəsin onları yükləməsinə, yoxlamasına və dəqiq tənzimləməsinə imkan verir. Qapalı mənbəli modellər çəkilərini gizli saxlayır və yalnız API və ya hostinq məhsulları vasitəsilə giriş təklif edir. Aralarındakı seçim, tərtibatçıların süni intellekt sistemlərini necə qurduğunu, yerləşdirdiyini və etibar etdiyini formalaşdırır.
Bu müqayisə açıq mənbəli süni intellekt ilə xüsusi mülkiyyətli süni intellekt arasındakı əsas fərqləri araşdırır, əlçatanlıq, fərdiləşdirmə, xərclər, dəstək, təhlükəsizlik, performans və real dünyada tətbiq hallarını əhatə edir, təşkilatların və tərtibatçıların hansı yanaşmanın onların məqsədlərinə və texniki imkanlarına uyğun gəldiyini müəyyən etməsinə kömək edir.
Açıq mənbəli LLM-lər tam kod girişi ilə özelleştirilebilir, özünəməxsus süni intellekt modelləri təklif edir, mülkiyyətçi LLM API-ləri isə istifadəyə əsaslanan qiymətlərlə bulud əsaslı son nöqtələr vasitəsilə idarə olunan, cilalanmış xidmətlər təqdim edir.
Adaptiv axtarış sistemin sorğuya əsasən hansı məlumatı və necə əldə etdiyini dinamik şəkildə tənzimləyir, statik axtarış boru kəmərləri isə kontekstdən asılı olmayaraq sabit qaydalara əməl edir. Hər ikisi müasir süni intellekt tətbiqlərini gücləndirir, lakin onlar elastiklik, qiymət və dəqiqlik baxımından kəskin şəkildə fərqlənir. Aralarında seçim iş yükünün mürəkkəbliyindən və büdcədən asılıdır.
