PPO, sabitlik və miqyaslanma qabiliyyətinə görə qiymətləndirilən siyasət qradiyenti gücləndirmə öyrənmə metodudur, Q-Learning isə fəaliyyət-dəyər funksiyalarını öyrənən dəyər əsaslı bir yanaşmadır. Hər ikisi agentləri sınaq və səhv yolu ilə öyrədir, lakin onlar biliyi necə təmsil etdikləri və davranışı yeniləmələri baxımından əsaslı şəkildə fərqlənirlər.
Sabit təlim üçün kəsilmiş obyektiv funksiyalar vasitəsilə siyasətləri yeniləyən siyasət qradiyenti gücləndirmə öyrənmə alqoritmi.
Müəyyən ştatlarda hərəkətlərin gözlənilən mükafatını qiymətləndirən dəyər əsaslı möhkəmləndirmə öyrənmə yanaşması.
| Xüsusiyyət | Proksimal Siyasət Optimallaşdırması (PPO) | Q-Öyrənmə Alqoritmləri |
|---|---|---|
| Alqoritm Növü | Siyasət qradiyenti (siyasət üzrə) | Dəyər əsaslı (siyasətdən kənar) |
| Təqdim olunduğu il | 2017 (Açıq Süni İntellekt) | 1989 (Uotkins) |
| Əsas Öyrənmə Hədəfi | Siyasət funksiyası dövlətləri hərəkətlərə uyğunlaşdırır | Q-dəyər funksiyası hərəkət keyfiyyətini qiymətləndirir |
| Fəaliyyət Məkanı Dəstəyi | Davamlı və diskret | Əsasən diskret (davamlı üçün uzantılar mövcuddur) |
| Nümunə Səmərəliliyi | Orta (hər yeniləmə üçün təzə məlumatlar tələb olunur) | Daha yüksək (təcrübə təkrarlama buferini təkrar istifadə edir) |
| Təlim Sabitliyi | Yüksək (qırılan obyektiv çökmənin qarşısını alır) | Aşağı (həddindən artıq qiymətləndirmə qərəzliliyinə meylli) |
| Kəşfiyyat Strategiyası | Entropiya bonusları ilə stoxastik siyasət | Epsilon acgözlüyü və ya Boltzman kəşfiyyatı |
| Ümumi İstifadə Halları | Robototexnika, LLM uyğunlaşdırması, davamlı idarəetmə | Oyun oynamaq, diskret qərar tapşırıqları, naviqasiya |
| Əsas Variantlar | Kəsmə ilə PPO, adaptiv KL cəzası ilə PPO | DQN, İkiqat DQN, Dueling DQN, Göy qurşağı |
PPO, verilən vəziyyətə əsasən hərəkət ehtimallarını çıxaran parametrləşdirilmiş bir siyasət öyrənərək birbaşa yanaşma tətbiq edir. Gözlənilən mükafatlar üzərində qradiyent yüksəlişindən istifadə edərək bu siyasəti optimallaşdırır. Q-Learning əvvəlcə hər bir hərəkətin hər bir vəziyyətdə nə qədər yaxşı olduğunu qiymətləndirərək, sonra isə bu qiymətləndirmələrdən davranış çıxararaq dolayı yol tutur. Bu fəlsəfi bölünmə, məlumat tələblərindən tutmuş son performansa qədər hər şeyi formalaşdırır.
PPO-nun ən böyük üstünlüklərindən biri, siyasətin tək bir yeniləmədə nə qədər dəyişə biləcəyini məhdudlaşdıran kəsilmiş məqsəd funksiyasıdır. Bu, hətta səs-küylü tapşırıqlarda belə təlimi olduqca sabit edir. Q-Learning, xüsusən də dərin variantlarında, həddindən artıq qiymətləndirmə qərəzi və hərəkət edən hədəf problemi səbəbindən qeyri-sabitlikdən əziyyət çəkə bilər. Hədəf şəbəkələri və ikiqat Q-Learning kimi üsullar kömək edir, lakin PPO ümumiyyətlə etibarlı şəkildə konvergent olmaq üçün daha az hiperparametr tənzimləməsi tələb edir.
Q-Learning, təcrübələri təkrar buferində saxlaya və onlardan dəfələrlə öyrənə bildiyi üçün nümunə səmərəliliyində üstünlük qazanmağa meyllidir. PPO siyasətdədir, yəni adətən hər yeniləmə dövründən sonra məlumatları atır, bu da daha çox mühit qarşılıqlı əlaqəsinə ehtiyac olduğunu göstərir. Məlumatların yaradılmasının ucuz olduğu simulyasiya edilmiş mühitlərdə bu nadir hallarda əhəmiyyət kəsb edir. Lakin real robototexnika və ya bahalı simulyasiyalarda Q-Learning-in keçmiş məlumatlardan təkrar istifadəsi böyük üstünlük ola bilər.
PPO, hərəkətlər üzərində ehtimal paylanmasını, çox vaxt Qauss olduğunu göstərdiyinə görə davamlı fəaliyyət fəzalarını təbii şəkildə idarə edir. Q-Öyrənmə əvvəlcə diskret hərəkətlər üçün nəzərdə tutulmuşdu, burada hər bir seçim üçün Q-dəyərinə baxa bilərsiniz. Normallaşdırılmış Üstünlük Funksiyası (NAF) və ya paylama Q-Öyrənməsi kimi genişləndirmələr mövcuddur, lakin PPO robot manipulyasiyası kimi davamlı idarəetmə problemləri üçün daha çox yayılmış seçim olaraq qalır.
PPO, deterministik davranışa vaxtından əvvəl yaxınlaşmanın qarşısını alan stoxastik siyasətlər və entropiya bonusları vasitəsilə araşdırmanı təşviq edir. Q-Learning, agentin müəyyən ehtimalla təsadüfi hərəkətləri seçdiyi epsilon-acgözlük kimi açıq araşdırma qaydalarına əsaslanır. PPO-nun yanaşması yüksək ölçülü fəaliyyət fəzalarına daha yaxşı miqyaslanmağa meyllidir, Q-Learning-in daha sadə araşdırması isə idarəolunan hərəkət sayıları olan diskret mühitlərdə yaxşı işləyir.
PPO, böyük dil modellərini öyrətmək üçün istifadə edilən insan rəyindən gücləndirmə öyrənməsi (RLHF) da daxil olmaqla, bir çox istehsal sistemi üçün standart seçim halına gəlmişdir. Q-Learning və onun dərin variantları oyun oyunu etalonlarında və diskret qərar tapşırıqlarında dominant olaraq qalır. Hər iki alqoritm zəngin tətbiq ekosistemlərinə malikdir, PPO Stable Baselines3 və RLlib kimi kitabxanalarda, Q-Learning variantları isə demək olar ki, hər RL çərçivəsində mövcuddur.
PPO və Q-Learning eyni problemləri həll edən bir-birini əvəz edə bilən alqoritmlərdir.
Onlar möhkəmləndirmə öyrənməsinə əsaslı şəkildə fərqli yanaşmaları təmsil edirlər. PPO birbaşa siyasəti optimallaşdırır, Q-Learning isə fəaliyyət dəyərlərini qiymətləndirir. Hər biri fərqli ssenarilərdə üstündür və onlar arasında seçim etmək fəaliyyət sahənizdən, məlumatların mövcudluğundan və sabitlik tələblərinizdən asılıdır.
Q-Learning köhnəlib və yeni alqoritmlərlə əvəz olunub.
Q-Learning, xüsusən də DQN və Rainbow kimi dərin öyrənmə genişləndirmələri sayəsində olduqca aktual olaraq qalır. Bu variantlar bir çox etalonlarda ən müasir nəticələr əldə etməyə və yeni metodlar üçün konseptual əsas təşkil etməyə davam edir.
PPO həmişə Q-Learning-dən daha yaxşı nəticə göstərir, çünki o, daha yenidir.
Daha yenisi universal olaraq daha yaxşı demək deyil. PPO davamlı nəzarət və genişmiqyaslı təlimdə üstündür, lakin Q-Learning məhdud məlumatlarla diskret mühitlərdə ondan daha yaxşı nəticə göstərə bilər. Performans, konkret problemdən və tətbiq detallarından çox asılıdır.
Q-Öyrənmə davamlı fəaliyyət sahələri ilə işləyə bilməz.
Standart Q-Öyrənmə diskret hərəkətlər üçün nəzərdə tutulsa da, NAF, paylayıcı Q-Öyrənmə və hərəkətə inteqrasiya yanaşmaları kimi bir neçə genişləndirmə davamlı nəzarətə imkan verir. Lakin bunlar davamlı tapşırıqlar üçün siyasət qradiyent metodlarından daha az yaygındır.
PPO-nun yaxşı işləməsi üçün heç bir hiperparametr tənzimləməsinə ehtiyac yoxdur.
PPO bir çox alqoritmdən daha bağışlayıcıdır, lakin yenə də kəsmə parametrinin, öyrənmə sürətinin və entropiya əmsalının diqqətlə tənzimlənməsini tələb edir. Zəif seçimlər yavaş konvergensiyaya və ya suboptimal siyasətlərə səbəb ola bilər.
Davamlı idarəetmə, robototexnika və ya sabitliyin ən vacib olduğu genişmiqyaslı siyasət təlimi ilə işləyərkən PPO-nu seçin. Diskret fəaliyyət sahələri, nümunə ilə məhdud ssenarilər və ya təcrübənin təkrarından istifadə etmək lazım olduqda Q-Learning-i seçin. Hər ikisi əsas alqoritmlər olaraq qalır və onların kompromislərini anlamaq, konkret möhkəmləndirmə öyrənmə probleminiz üçün düzgün vasitəni seçməyə kömək edir.
Açar söz axtarış motorları tərs indekslərdən istifadə edərək dəqiq terminləri uyğunlaşdırır, vektor oxşarlığı axtarışı isə yüksək ölçülü yerləşdirmələr vasitəsilə semantik cəhətdən əlaqəli məzmun tapır. Hər iki yanaşma müasir məlumat axtarışını gücləndirir, lakin istifadəçi niyyətini necə şərh etdikləri və nəticələri necə sıraladıqları baxımından əsaslı şəkildə fərqlənir.
Açıq çəkili modellər təlim keçmiş parametrlərini ictimaiyyətə açıq şəkildə yayımlayır və hər kəsin onları yükləməsinə, yoxlamasına və dəqiq tənzimləməsinə imkan verir. Qapalı mənbəli modellər çəkilərini gizli saxlayır və yalnız API və ya hostinq məhsulları vasitəsilə giriş təklif edir. Aralarındakı seçim, tərtibatçıların süni intellekt sistemlərini necə qurduğunu, yerləşdirdiyini və etibar etdiyini formalaşdırır.
Bu müqayisə açıq mənbəli süni intellekt ilə xüsusi mülkiyyətli süni intellekt arasındakı əsas fərqləri araşdırır, əlçatanlıq, fərdiləşdirmə, xərclər, dəstək, təhlükəsizlik, performans və real dünyada tətbiq hallarını əhatə edir, təşkilatların və tərtibatçıların hansı yanaşmanın onların məqsədlərinə və texniki imkanlarına uyğun gəldiyini müəyyən etməsinə kömək edir.
Açıq mənbəli LLM-lər tam kod girişi ilə özelleştirilebilir, özünəməxsus süni intellekt modelləri təklif edir, mülkiyyətçi LLM API-ləri isə istifadəyə əsaslanan qiymətlərlə bulud əsaslı son nöqtələr vasitəsilə idarə olunan, cilalanmış xidmətlər təqdim edir.
Adaptiv axtarış sistemin sorğuya əsasən hansı məlumatı və necə əldə etdiyini dinamik şəkildə tənzimləyir, statik axtarış boru kəmərləri isə kontekstdən asılı olmayaraq sabit qaydalara əməl edir. Hər ikisi müasir süni intellekt tətbiqlərini gücləndirir, lakin onlar elastiklik, qiymət və dəqiqlik baxımından kəskin şəkildə fərqlənir. Aralarında seçim iş yükünün mürəkkəbliyindən və büdcədən asılıdır.
