Siyasət əsaslı və dəyər əsaslı metodlar möhkəmləndirmə təlimində iki əsas yanaşmanı təmsil edir. Siyasət əsaslı metodlar birbaşa fəaliyyət seçimi strategiyasını öyrənir, dəyər əsaslı metodlar isə hər bir hərəkətin nə qədər yaxşı olduğunu qiymətləndirir və bu qiymətləndirmələrdən davranış çıxarır. Hər birinin müxtəlif problem növlərinə uyğun fərqli güclü tərəfləri var.
Dəyər funksiyasına ehtiyac olmadan agentin fəaliyyət seçimi siyasətini birbaşa optimallaşdıran gücləndirmə öyrənmə yanaşmaları.
Vəziyyətlərin və ya vəziyyət-fəaliyyət cütlüklərinin nə qədər yaxşı olduğunu öyrənən gücləndirmə öyrənmə yanaşmaları, sonra bu dəyər qiymətləndirmələrindən siyasət çıxarır.
| Xüsusiyyət | Siyasətə əsaslanan metodlar | Dəyərə Əsaslanan Metodlar |
|---|---|---|
| Əsas yanaşma | Siyasəti birbaşa optimallaşdırır | Dəyər funksiyasını öyrənir, sonra onun üzərində hərəkət edir |
| Fəaliyyət Məkanı | Davamlı və yüksək ölçülü hərəkətlərlə yaxşı işləyir | Diskret, aşağı ölçülü hərəkətlər üçün ən uyğundur |
| Nümunə Səmərəliliyi | Ümumiyyətlə, nümunə baxımından daha az səmərəlidir, çox vaxt daha çox məlumat tələb edir | Adətən, xüsusən də təkrar oxutma buferləri ilə daha səmərəli nümunələr |
| Sabitlik | Sabit yeniləmələr, lakin yerli optimallaşdırmaya uyğunlaşa bilər | Funksiya yaxınlaşması ilə qeyri-sabit ola bilər, fəndlər tələb edir |
| Kəşfiyyat | Stoxastik siyasətlər təbii kəşfiyyata imkan verir | Epsilon-acgöz və ya səs-küy inyeksiyası kimi evristikaya əsaslanır |
| Qradiyent Variansı | Yüksək variasiya qradiyentləri, variasiyanın azaldılmasını tələb edir | Siyasət qradiyenti yoxdur, buna görə də eyni mənada heç bir variasiya problemi yoxdur |
| Görkəmli Alqoritmlər | MÖHKƏMLƏNDİRMƏ, PPO, TRPO, A2C | Q-öyrənmə, DQN, İkiqat DQN, Dueling DQN |
| Konvergensiya Zəmanəti | Standart şərtlər altında lokal optimala çevrilir | Cədvəl parametrlərində optimal siyasətə uyğunlaşır |
Siyasətə əsaslanan metodlar daha birbaşa yol tutur: onlar siyasətin özünü parametrləşdirir, çox vaxt hərəkət ehtimallarını çıxaran neyron şəbəkəsi kimi və bu parametrləri daha yüksək mükafatlara səbəb olan hərəkətlərə üstünlük vermək üçün tənzimləyirlər. Dəyər əsaslı metodlar əvvəlcə hər bir hərəkətin hər bir ştatda nə qədər dəyərli olduğunu təxmin etməklə, sonra sadəcə ən yaxşı görünən variantı seçməklə mənzərəli yolu tutur. Bu fundamental fərq iki ailənin praktikada necə davranması ilə bağlı hər şeyi formalaşdırır.
Fəaliyyət sahəsi davamlı olduqda, məsələn, robot qolunu idarə etmək və ya avtomobili idarə etmək kimi, siyasətə əsaslanan metodlar parlaqdır, çünki onlar davamlı diapazonda ehtimal paylanmasını çıxara bilirlər. Dəyər əsaslı metodlar burada çətinlik çəkir, çünki maksimumu tapmaq üçün bütün mümkün hərəkətləri sadalamağın yolu yoxdur. Atari oynamaq və ya bəli və ya xeyr qərarları vermək kimi kiçik bir diskret hərəkətlər dəsti ilə bağlı problemlər üçün dəyərə əsaslanan metodlar çox vaxt daha sadə və daha effektiv olur.
DQN kimi dəyər əsaslı metodlar, təkrar buferlərində saxlanılan keçmiş təcrübələri təkrar istifadə etdikləri və hər keçiddən dəfələrlə öyrəndikləri üçün nümunə baxımından daha səmərəli olmağa meyllidirlər. Lakin, dərin neyron şəbəkələri ilə birləşdirildikdə qeyri-sabit ola bilərlər, buna görə də hədəf şəbəkələri kimi üsullar tətbiq edilmişdir. Siyasət əsaslı metodlar daha rahat yenilənir, lakin adətən bir araya gəlmək üçün daha çox nümunə tələb olunur və onların qradiyent qiymətləndirmələri səs-küylü ola bilər.
Siyasət əsaslı metodların gözəl bir xüsusiyyəti, siyasətin özünün stoxastik ola bilməsidir, yəni agent təbii olaraq fəaliyyət paylanmasından nümunə götürərək araşdırır. Dəyər əsaslı metodlar açıq tədqiqat strategiyalarına ehtiyac duyur, epsilon acgözlüyü klassik seçimdir, baxmayaraq ki, səs-küylü şəbəkələr və ya yuxarı etimad hədləri kimi daha mürəkkəb yanaşmalar da mövcuddur. Bu, siyasət əsaslı metodları tədqiqatın çətin olduğu mühitlərdə xüsusilə cəlbedici edir.
Bu iki ailə arasındakı sərhəd həmişə dəqiq olmur. PPO və A2C də daxil olmaqla, aktyor-tənqidçi metodları, siyasətə (aktyor) yeniləmələri istiqamətləndirmək üçün dəyər funksiyasından (tənqidçi) istifadə edərək hər iki ideyanı birləşdirir. Bu hibrid yanaşma çox vaxt hər iki dünyanın ən yaxşısını əldə edir: təmiz siyasət qradiyentlərinə nisbətən daha aşağı dispersiya və təmiz dəyər əsaslı metodlara nisbətən davamlı hərəkətlərin daha yaxşı idarə olunması. Bir çox sahədə müasir ən müasir alqoritmlər aktyor-tənqidçi variantlarıdır.
Siyasətə əsaslanan metodlar dərin möhkəmləndirmə təlimində həmişə dəyərə əsaslanan metodlardan daha yaxşı nəticə göstərir.
Heç bir ailə universal olaraq üstün deyil. DQN kimi dəyər əsaslı metodlar Atari üzərində irəliləyişlər əldə etdi, siyasət əsaslı metodlar isə davamlı nəzarətdə üstün oldu. Ən yaxşı seçim fəaliyyət sahəsindən, mühit dinamikasından və nə qədər məlumatın mövcudluğundan asılıdır.
Dəyərə əsaslanan metodlar davamlı fəaliyyət sahələri ilə işləyə bilməz.
Standart Q-öyrənmə davamlı hərəkətlərlə mübarizə aparsa da, Dərin Deterministik Siyasət Qradiyenti (DDPG) və İkiz Gecikmiş DDPG (TD3) kimi variantlar aktyor-tənqidçi arxitekturalarından istifadə edərək dəyər əsaslı ideyaları davamlı sahələrə genişləndirir. İki ailə arasındakı ciddi ayrılıq sərt bir qaydadan daha çox tədris sadələşdirməsidir.
Siyasət qradiyentləri həmişə optimal siyasətə yaxınlaşır.
Siyasət qradiyent metodlarının qlobal optimal deyil, standart hamarlıq fərziyyələri altında yerli optimal siyasətə yaxınlaşması təmin edilir. Optimallaşdırma mənzərəsinin bir çox zirvəsi ola bilər və alqoritm başlanğıc nöqtəsinin hansına aparacağından asılı olaraq qərarlaşacaq.
Dəyərə əsaslanan metodların heç bir siyasət təmsilçiliyinə ehtiyacı yoxdur.
Hətta dəyər əsaslı metodlar belə, siyasəti dolayı yolla, məsələn, acgöz və ya epsilon acgöz kimi hərəkət seçimi qaydası ilə müəyyən edir. Fərq ondadır ki, siyasət birbaşa parametrləşdirilmir və öyrənilmir; o, dəyər qiymətləndirmələrindən əldə edilir.
Daha çox nümunə həmişə dərin dəyər əsaslı metodlarda qeyri-sabitlik problemini həll edir.
Dərin Q-öyrənməsindəki qeyri-sabitlik, dəyər funksiyasının öz yeniləmələrini izlədiyi hərəkətli hədəf problemindən irəli gəlir. Sadəcə daha çox məlumat əlavə etmək bunu həll etmir; təlimi sabitləşdirmək üçün hədəf şəbəkələri, ikiqat Q-öyrənmə və prioritetləşdirilmiş təkrarlama kimi üsullar lazımdır.
Probleminiz davamlı hərəkətlərlə əlaqəli olduqda, təbii stoxastik araşdırma tələb etdikdə və ya hamar, sabit siyasət yeniləmələri istədiyiniz zaman siyasətə əsaslanan metodlar seçin. Nümunə səmərəliliyinin vacib olduğu və təcrübənin təkrarından istifadə edə biləcəyiniz diskret hərəkət problemləri üçün dəyərə əsaslanan metodlardan istifadə edin. Bir çox real dünya tapşırıqları üçün aktyor-tənqidçi hibridləri hər ikisinin güclü tərəflərini birləşdirən praktik orta səviyyə təklif edir.
Açar söz axtarış motorları tərs indekslərdən istifadə edərək dəqiq terminləri uyğunlaşdırır, vektor oxşarlığı axtarışı isə yüksək ölçülü yerləşdirmələr vasitəsilə semantik cəhətdən əlaqəli məzmun tapır. Hər iki yanaşma müasir məlumat axtarışını gücləndirir, lakin istifadəçi niyyətini necə şərh etdikləri və nəticələri necə sıraladıqları baxımından əsaslı şəkildə fərqlənir.
Açıq çəkili modellər təlim keçmiş parametrlərini ictimaiyyətə açıq şəkildə yayımlayır və hər kəsin onları yükləməsinə, yoxlamasına və dəqiq tənzimləməsinə imkan verir. Qapalı mənbəli modellər çəkilərini gizli saxlayır və yalnız API və ya hostinq məhsulları vasitəsilə giriş təklif edir. Aralarındakı seçim, tərtibatçıların süni intellekt sistemlərini necə qurduğunu, yerləşdirdiyini və etibar etdiyini formalaşdırır.
Bu müqayisə açıq mənbəli süni intellekt ilə xüsusi mülkiyyətli süni intellekt arasındakı əsas fərqləri araşdırır, əlçatanlıq, fərdiləşdirmə, xərclər, dəstək, təhlükəsizlik, performans və real dünyada tətbiq hallarını əhatə edir, təşkilatların və tərtibatçıların hansı yanaşmanın onların məqsədlərinə və texniki imkanlarına uyğun gəldiyini müəyyən etməsinə kömək edir.
Açıq mənbəli LLM-lər tam kod girişi ilə özelleştirilebilir, özünəməxsus süni intellekt modelləri təklif edir, mülkiyyətçi LLM API-ləri isə istifadəyə əsaslanan qiymətlərlə bulud əsaslı son nöqtələr vasitəsilə idarə olunan, cilalanmış xidmətlər təqdim edir.
Adaptiv axtarış sistemin sorğuya əsasən hansı məlumatı və necə əldə etdiyini dinamik şəkildə tənzimləyir, statik axtarış boru kəmərləri isə kontekstdən asılı olmayaraq sabit qaydalara əməl edir. Hər ikisi müasir süni intellekt tətbiqlərini gücləndirir, lakin onlar elastiklik, qiymət və dəqiqlik baxımından kəskin şəkildə fərqlənir. Aralarında seçim iş yükünün mürəkkəbliyindən və büdcədən asılıdır.
