PPO-da siyasət kəsilməsi, hər yeniləmə zamanı yeni siyasətin köhnəsindən nə qədər uzaqlaşa biləcəyini məhdudlaşdırır və təlimi sabit saxlayır. Sərhədsiz siyasət yeniləmələri yeni siyasətin sərbəst şəkildə dəyişməsinə imkan verir ki, bu da öyrənməni sürətləndirə bilər, lakin çox vaxt mürəkkəb mühitlərdə qeyri-sabitliyə və ya çökməyə səbəb olur.
Proksimal Siyasət Optimallaşdırmasında siyasətin hər yeniləmə addımında nə qədər dəyişə biləcəyini məhdudlaşdıran bir texnika.
Siyasət parametrlərinin tək bir təlim iterasiyası zamanı açıq məhdudiyyətlər olmadan istənilən miqdarda dəyişə biləcəyi bir yanaşma.
| Xüsusiyyət | PPO-da Siyasət Kəsmə | Limitsiz Siyasət Yeniləmələri |
|---|---|---|
| Yeniləmə Məhdudiyyəti | 0.1–0.2 nisbətində kəsilmişdir | Açıq məhdudiyyət yoxdur |
| Təlim Sabitliyi | Ümumiyyətlə, təkrarlamalar boyunca sabitdir | Salınımlara və çökməyə meyllidir |
| Nümunə Səmərəliliyi | Yüksək, toplanmış trayektoriyaları təkrar istifadə edir | Dəyişkən, tez-tez təzə məlumatlar tələb edir |
| Tətbiq Mürəkkəbliyi | Orta, tək kəsikli obyektiv | Sadə, standart qradiyent qalxışı |
| Hiperparametr Həssaslığı | Aşağı, kəsmə diapazonu bağışlayıcıdır | Daha yüksək, öyrənmə sürəti vacibdir |
| Siyasətin Çökməsi Riski | Yaxınlıq məhdudiyyətinə görə aşağı | Xarici təhlükəsizlik tədbirləri olmadan yüksək |
| Ümumi İstifadə Halları | Robototexnika, oyun süni intellekt, RLHF, davamlı idarəetmə | Sadə oyuncaq məsələləri, nəzəri təhlil |
| Mənşəyi | OpenAI, 2017 PPO sənədi | Erkən siyasət qradiyent ədəbiyyatı, 1990-2000-ci illər |
PPO-da siyasət kəsimi yeni və köhnə hərəkət ehtimalları arasındakı nisbəti hesablamaqla, sonra dar bir diapazonda qalmaq üçün bu nisbəti kəsməklə işləyir (adətən 0,8-dən 1,2-yə qədər). Nisbət bu diapazondan kənara çıxmağa çalışdıqda, qradiyent siqnalı sıfırlanır və bu da optimallaşdırıcıya "bu istiqamətdə daha da irəliləmə" deyir. Sərhədsiz yeniləmələr bu qorunmanı tamamilə atlayır və optimallaşdırıcıya siyasət parametrlərini qradiyentin göstərdiyi hər yerə, nə qədər dramatik dəyişiklik olursa olsun, hərəkət etdirməyə imkan verir.
Qısaldılmış yanaşma etibarlılıq şöhrətini qazanır, çünki məhdudiyyətsiz metodları bəlaya salan fəlakətli unutmanın qarşısını alır. Yaxşı bir siyasət tapıldıqda, qırılma onun həddindən artıq özünəinamlı bir yeniləmə tərəfindən məhv edilməsinin qarşısını alır. Məhdudiyyətsiz yeniləmələr bəzən irəliləyişləri daha tez tapa bilər, lakin eyni zamanda həftələrlə davam edən irəliləyişi bir pis addımda itirmək vərdişinə malikdirlər, buna görə də əksər istehsal sistemləri onlardan qaçır.
PPO-nun kəsilməsi, toplanmış təcrübənin eyni dəsti üzərində birdən çox dövr optimallaşdırmasına imkan verir və nümunə səmərəliliyini əhəmiyyətli dərəcədə artırır. Siyasət çox uzağa gedə bilmədiyi üçün məlumatlar bir neçə qradiyent addımında aktuallığını qoruyur. Sərhədsiz yeniləmələr adətən hər iterasiyada təzə nümunələr tələb edir, çünki siyasət o qədər dəyişmiş ola bilər ki, köhnə trayektoriyalar artıq mövcud davranışı əks etdirmir və hesablama və ətraf mühit resurslarını israf edir.
Kəsmə PPO-nu hiperparametrlərlə olduqca bağışlayıcı edir. 0.2 klip diapazonu çox tənzimləmə olmadan çoxlu sayda tapşırıq üzərində yaxşı işləyir. Məhdudiyyətsiz yeniləmələr öyrənmə sürəti ilə yaşayır və ölür: çox kiçik və öyrənmə sürünür, çox böyük və siyasət fərqlidir. Bu həssaslıq, geniş təhlillər üçün vaxtı olmayan praktiklər üçün məhdudiyyətsiz metodları məyus edir.
İstənilən müasir RL kod bazasına nəzər yetirsəniz, OpenAI-nin öz işlərindən tutmuş robototexnika laboratoriyalarına və RLHF kimi dil modellərinin təkmilləşdirilməsinə qədər PPO-nun bütün sahələrdə dominant mövqe tutduğunu görəcəksiniz. Sərhədsiz siyasət yeniləmələri əsasən dərsliklərdə və nəzəri müzakirələrdə qalır, bəzən müqayisə üçün bazaya ehtiyacı olan tədqiqat sənədlərində də üzə çıxır. Tətbiqdəki boşluq, hansı yanaşmanın praktikada həqiqətən işlədiyinə dair onilliklər ərzində toplanmış dəlilləri əks etdirir.
Kəsmə siyasətin əhəmiyyətli dərəcədə dəyişməsinin qarşısını tamamilə alır.
Qırış yalnız siyasətin tək bir yeniləmə addımında nə qədər dəyişə biləcəyini məhdudlaşdırır. Bir çox təkrarlama zamanı, hər bir fərdi addım qırış diapazonunda qaldığı müddətcə siyasət yenə də əhəmiyyətli dərəcədə dəyişə bilər. Məhdudiyyət daimi deyil, hər addım üçündür.
Sərhədsiz yeniləmələr həmişə kəsilmiş metodlardan daha sürətli birləşir.
Sərhədsiz yeniləmələr əvvəlcə daha sürətli görünə bilər, lakin onlar tez-tez ayrılır və ya çökür, bu da erkən qazancları silən yenidən başlatmalara səbəb olur. Praktikada, PPO kimi kəsilmiş metodlar tez-tez daha az vaxtda daha yaxşı yekun performansa çatır, çünki pis yeniləmələrdən sonra bərpa olunmaq üçün səy sərf etmirlər.
PPO-nun kəsilməsi onu TRPO-ya bərabər edir.
Hər iki metod siyasət yeniləmələrini məhdudlaşdırır, lakin TRPO xətt axtarışı ilə sərt KL divergensiya məhdudiyyətindən istifadə edir, PPO isə ehtimal nisbətində yumşaq bir klip istifadə edir. PPO daha sadədir, hər dəstədə birdən çox dövrü dəstəkləyir və böyük modellərə daha yaxşı miqyaslanır, buna görə də praktikada əsasən TRPO-nu əvəz etmişdir.
Daha böyük bir klip diapazonu həmişə daha aqressiv öyrənmə deməkdir.
Klip diapazonunun artırılması daha böyük yeniləmələrə imkan verir, eyni zamanda kəsmənin qoruyucu təsirini azaldır. Müəyyən bir nöqtədən sonra alqoritm daha çox məhdudiyyətsiz bir yeniləmə kimi davranır və sabitlik üstünlüklərini itirir. Standart 0.2 diapazonu yuxarıya doğru tənzimləmə üçün başlanğıc nöqtəsi deyil, ən uyğun nöqtədir.
Məhdudiyyətsiz siyasət yeniləmələri köhnəlmiş və faydasızdır.
Sərhədsiz yeniləmələr tədqiqatlarda əsas göstəricilər kimi dəyərli olaraq qalır və kiçik şəbəkə dünyaları və ya aşağı ölçülü nəzarət tapşırıqları kimi sadə mühitlərdə kifayət qədər yaxşı işləyir. Onlar həmçinin etibar bölgəsi metodlarının ilk növbədə niyə hazırlandığını anlamaq üçün pedaqoji vasitələr kimi xidmət edir.
Xüsusilə sabitliyin xam sürətdən daha çox əhəmiyyət kəsb etdiyi istehsal və ya tədqiqat mühitlərində müxtəlif mühitlərdə etibarlı, təkrarlana bilən təlimə ehtiyac duyduğunuz zaman PPO-da siyasət kəsimini seçin. Məhdudiyyətsiz siyasət yeniləmələri yalnız sadə, aşağı ölçülü problemlər və ya kəsimləmənin qarşısını almaq üçün nəzərdə tutulmuş uğursuzluq rejimlərini xüsusi olaraq müşahidə etmək istədiyiniz nəzəri tədqiqatlar üçün məna kəsb edir.
Açar söz axtarış motorları tərs indekslərdən istifadə edərək dəqiq terminləri uyğunlaşdırır, vektor oxşarlığı axtarışı isə yüksək ölçülü yerləşdirmələr vasitəsilə semantik cəhətdən əlaqəli məzmun tapır. Hər iki yanaşma müasir məlumat axtarışını gücləndirir, lakin istifadəçi niyyətini necə şərh etdikləri və nəticələri necə sıraladıqları baxımından əsaslı şəkildə fərqlənir.
Açıq çəkili modellər təlim keçmiş parametrlərini ictimaiyyətə açıq şəkildə yayımlayır və hər kəsin onları yükləməsinə, yoxlamasına və dəqiq tənzimləməsinə imkan verir. Qapalı mənbəli modellər çəkilərini gizli saxlayır və yalnız API və ya hostinq məhsulları vasitəsilə giriş təklif edir. Aralarındakı seçim, tərtibatçıların süni intellekt sistemlərini necə qurduğunu, yerləşdirdiyini və etibar etdiyini formalaşdırır.
Bu müqayisə açıq mənbəli süni intellekt ilə xüsusi mülkiyyətli süni intellekt arasındakı əsas fərqləri araşdırır, əlçatanlıq, fərdiləşdirmə, xərclər, dəstək, təhlükəsizlik, performans və real dünyada tətbiq hallarını əhatə edir, təşkilatların və tərtibatçıların hansı yanaşmanın onların məqsədlərinə və texniki imkanlarına uyğun gəldiyini müəyyən etməsinə kömək edir.
Açıq mənbəli LLM-lər tam kod girişi ilə özelleştirilebilir, özünəməxsus süni intellekt modelləri təklif edir, mülkiyyətçi LLM API-ləri isə istifadəyə əsaslanan qiymətlərlə bulud əsaslı son nöqtələr vasitəsilə idarə olunan, cilalanmış xidmətlər təqdim edir.
Adaptiv axtarış sistemin sorğuya əsasən hansı məlumatı və necə əldə etdiyini dinamik şəkildə tənzimləyir, statik axtarış boru kəmərləri isə kontekstdən asılı olmayaraq sabit qaydalara əməl edir. Hər ikisi müasir süni intellekt tətbiqlərini gücləndirir, lakin onlar elastiklik, qiymət və dəqiqlik baxımından kəskin şəkildə fərqlənir. Aralarında seçim iş yükünün mürəkkəbliyindən və büdcədən asılıdır.
