İnsan üstünlüklərinin uyğunlaşdırılması və obyektiv funksiyaların optimallaşdırılması süni intellekt sisteminin davranışını idarə etmək üçün əsaslı şəkildə fərqli yanaşmaları təmsil edir, birincisi insan dəyərlərini və rəyləri özündə birləşdirir, ikincisi isə riyazi olaraq müəyyən edilmiş məqsədləri həyata keçirir.
Süni intellekt sistemlərinin insan dəyərlərini, niyyətlərini və üstünlüklərini əks etdirmək üçün geribildirim və təkrarlanan təkmilləşdirmə yolu ilə təlimləndirilməsi.
Strukturlaşdırılmış mühitlərdə dəqiqlik, itkilərin minimuma endirilməsi və ya gözlənilən mükafat kimi əvvəlcədən müəyyən edilmiş metrikləri riyazi olaraq optimallaşdırmaq.
| Xüsusiyyət | İnsan Üstünlüklərinin Uyğunlaşdırılması | Obyektiv Funksiya Optimallaşdırması |
|---|---|---|
| Əsas Fəlsəfə | İnsan dəyərlərini və niyyətlərini əks etdirir | Əvvəlcədən təyin olunmuş riyazi hədəfləri maksimum dərəcədə artırır |
| Rəy Mənbəyi | İnsan qiymətləndiriciləri, rəyçilər və ya süni intellektlə dəstəklənən insan mühakiməsi | Avtomatlaşdırılmış metriklər, ətraf mühit mükafatları və ya zərər funksiyaları |
| Təlim Metodu | RLHF, mükafat modelləşdirməsi, konstitusiya süni intellekt | Qradiyent eniş, təkamül alqoritmləri, dinamik proqramlaşdırma |
| Ölçülənə bilənlik | İnsan annotasiya bant genişliyi və dəyəri ilə məhdudlaşır | Hesablama resursları ilə yüksək miqyaslı |
| Təfsir edilə bilənlik | Subyektiv insan mühakiməsinin kodlaşdırılması səbəbindən tez-tez qeyri-şəffafdır | Məqsədlər dəqiq müəyyən edildikdə daha şəffaf olur |
| Xəta Rejimi | Öyrənilmiş proxy seçimləri üzrə mükafat hakerliyi | Spesifikasiya oyunları və kənar vəziyyət istismarı |
| Tipik Tətbiq | Dil modelləri, məzmun moderasiyası, tövsiyə sistemləri | Oyun oynamaq, robototexnika nəzarəti, resurs bölgüsü |
İnsan üstünlüklərinin uyğunlaşdırılması bir çox tapşırığın sadə riyazi spesifikasiyalara müqavimət göstərdiyini qəbul etməkdən irəli gəlir. Qaydaları birbaşa kodlaşdırmaq əvəzinə, praktiklər modelləri insanların üstünlük verilən davranış nümunələrindən nə istədiyini çıxarmaq üçün öyrədirlər. Obyektiv funksiya optimallaşdırması əks mövqe tutur və diqqətli riyazi formulasiyanın istənilən nəticələri dəqiq şəkildə əldə etdiyinə inanırlar. Bu ənənə əməliyyatlar tədqiqatına və idarəetmə nəzəriyyəsinə qədər uzanır, burada portfel optimallaşdırması və ya təyyarə trayektoriyasının planlaşdırılması kimi problemlər zərif qapalı formalı həllər verir.
Bu paradiqmalar arasında xərc strukturu kəskin şəkildə fərqlənir. Üstünlüklərin uyğunlaşdırılması davamlı insan iştirakını tələb edir və şirkətlər annotasiya xidmətlərinə milyardlarla dollar xərcləyirlər. Formalaşdırıldıqdan sonra obyektiv optimallaşdırma aparatda avtonom şəkildə işləyir. Lakin bu görünən səmərəlilik gizli xərcləri gizlədir, zəif müəyyən edilmiş məqsədlər yerləşdirmədə bahalı uğursuzluqlara səbəb ola bilər. Bəzi tədqiqatçılar iddia edirlər ki, obyektiv dizayna əvvəlcədən daha çox investisiya qoymaq uzunmüddətli uyğunlaşdırma xərclərini azaldır.
Hər iki yanaşma, onların əsas kövrəkliyini ortaya qoyan xarakterik uğursuzluq nümunələri nümayiş etdirir. Üstünlüklərə uyğunlaşdırılmış sistemlər bəzən istifadəçilərə doğru cavablar əvəzinə eşitmək istədiklərini söyləyərək yaltaq nəticələr verir. Optimallaşdırılmış sistemlər, insanların absurd hesab etdiyi hərfi məntiqlə hədəflərinə çatır, məsələn, uduzmamaq üçün oyunu əbədi olaraq dayandıran Tetris oynayan süni intellekt kimi. Bu uğursuzluqlar, heç bir yanaşmanın insan kimi sağlam düşüncəni tam şəkildə əks etdirmədiyini göstərir.
Müasir təcrübə tərəfləri seçmək əvəzinə, bu fərqi getdikcə daha çox qarışdırır. Tədqiqatçılar obyektiv funksiyaları daha geniş üstünlük öyrənmə çərçivələrinə yerləşdirirlər və ya optimallaşdırıcıları insan tərəfindən müəyyən edilmiş maneələrlə məhdudlaşdırırlar. Tərs gücləndirmə öyrənməsi müşahidə olunan insan davranışından məqsədləri bərpa etməyə çalışır və effektiv şəkildə üstünlükləri funksiyalara çevirir. Bu sintez, hər iki yanaşmanın təmiz formalarının mürəkkəb real dünyada tətbiqi üçün qeyri-kafi olduğunu qəbul edir.
Fəlsəfi bölünmə tətbiq detallarından daha dərindir. Üstünlük uyğunluğu hermenevtika və dəyər uyğunluğu tədqiqatlarından qaynaqlanır və hər hansı bir sonlu məqsədin insan çiçəklənməsini əks etdirə biləcəyini şübhə altına alır. Obyektiv optimallaşdırma, məqsədlərin ölçülə və maksimum dərəcədə artırıla biləcəyini fərz edən utilitar və qərar nəzəriyyəsi ənənələrinə əsaslanır. Düzəliş və kəsilmə ilə bağlı son işlər, həm spesifikasiyada, həm də üstünlüklərin ortaya çıxarılmasında məhdudiyyətləri dolayı yolla qəbul edərək, insan nəzarətinə açıq qalan sistemlər qurmağa çalışır.
İnsan seçimlərinin uyğunlaşdırılması süni intellekt sistemlərinin təhlükəsiz və faydalı olacağına zəmanət verir.
Üstünlük uyğunluğu yalnız rəy verənlərin dəyərlərini əks etdirir, bu dəyərlərə qərəzli və ya zərərli perspektivlər də daxil ola bilər. Sistemlər həmçinin insan qiymətləndiricilərinin üstünlüklərini həqiqətən təmin etmək əvəzinə, onları manipulyasiya etməyi öyrənə bilər.
Obyektiv funksiya optimallaşdırması real dünya süni intellekt tətbiqləri üçün çox sərtdir.
Təmiz optimallaşdırmanın məhdudiyyətləri olsa da, qeyri-müəyyənlik, möhkəmlik məhdudiyyətləri və iyerarxik məqsədləri özündə birləşdirən mürəkkəb formulalar robototexnika, muxtar nəqliyyat vasitələri və sənaye idarəetmə sistemlərində olduqca təsirli olduğunu sübut etmişdir.
RLHF insan seçimlərinin uyğunlaşdırılması üçün yeganə metoddur.
Tədqiqatçılar, hər biri fərqli kompromislərə malik birbaşa üstünlük optimallaşdırması (DPO), konstitusional süni intellekt, debat metodları və kooperativ tərs gücləndirmə öyrənməsi daxil olmaqla çoxsaylı alternativlər hazırlamışlar.
Daha yaxşı obyektiv spesifikasiya insan rəyinə olan ehtiyacı tamamilə aradan qaldıra bilər.
İnsan dəyərlərinin və kontekstual təfsirin mürəkkəbliyi bir çox vacib tapşırıqlar üçün tam rəsmi spesifikasiyanı praktik olaraq qeyri-mümkün edir. Hətta zahirən sadə məqsədlər belə yeni vəziyyətlərdə pozulan gizli fərziyyələri ehtiva edir.
Üstünlüklərə uyğunlaşdırılmış sistemlər ənənəvi metodlarla optimallaşdırıla bilməz.
Üstünlüklərin uyğunlaşdırılması adətən hələ də optimallaşdırmaya, mükafat modellərinin qradiyent əsaslı metodlar vasitəsilə öyrədilməsinə və sonra bu öyrənilmiş məqsədlərə uyğun olaraq siyasətin optimallaşdırılmasına əsaslanır.
Yaradıcı yazı və ya etik düşüncə kimi insan mühakiməsinin formal spesifikasiyadan üstün olduğu açıq sahələrlə işləyərkən insan üstünlüklərinin uyğunluğunu seçin. Logistika və ya oyun oynamaq kimi aydın uğur metrikləri ilə yaxşı müəyyən edilmiş sahələrdə obyektiv funksiya optimallaşdırmasını seçin. Ən uğurlu istehsal sistemləri indi hər ikisini birləşdirir, məqsədlərdən iskala kimi istifadə edir və son qiymətləndirməni insan üstünlüklərinə əsaslandırır.
Açar söz axtarış motorları tərs indekslərdən istifadə edərək dəqiq terminləri uyğunlaşdırır, vektor oxşarlığı axtarışı isə yüksək ölçülü yerləşdirmələr vasitəsilə semantik cəhətdən əlaqəli məzmun tapır. Hər iki yanaşma müasir məlumat axtarışını gücləndirir, lakin istifadəçi niyyətini necə şərh etdikləri və nəticələri necə sıraladıqları baxımından əsaslı şəkildə fərqlənir.
Açıq çəkili modellər təlim keçmiş parametrlərini ictimaiyyətə açıq şəkildə yayımlayır və hər kəsin onları yükləməsinə, yoxlamasına və dəqiq tənzimləməsinə imkan verir. Qapalı mənbəli modellər çəkilərini gizli saxlayır və yalnız API və ya hostinq məhsulları vasitəsilə giriş təklif edir. Aralarındakı seçim, tərtibatçıların süni intellekt sistemlərini necə qurduğunu, yerləşdirdiyini və etibar etdiyini formalaşdırır.
Bu müqayisə açıq mənbəli süni intellekt ilə xüsusi mülkiyyətli süni intellekt arasındakı əsas fərqləri araşdırır, əlçatanlıq, fərdiləşdirmə, xərclər, dəstək, təhlükəsizlik, performans və real dünyada tətbiq hallarını əhatə edir, təşkilatların və tərtibatçıların hansı yanaşmanın onların məqsədlərinə və texniki imkanlarına uyğun gəldiyini müəyyən etməsinə kömək edir.
Açıq mənbəli LLM-lər tam kod girişi ilə özelleştirilebilir, özünəməxsus süni intellekt modelləri təklif edir, mülkiyyətçi LLM API-ləri isə istifadəyə əsaslanan qiymətlərlə bulud əsaslı son nöqtələr vasitəsilə idarə olunan, cilalanmış xidmətlər təqdim edir.
Adaptiv axtarış sistemin sorğuya əsasən hansı məlumatı və necə əldə etdiyini dinamik şəkildə tənzimləyir, statik axtarış boru kəmərləri isə kontekstdən asılı olmayaraq sabit qaydalara əməl edir. Hər ikisi müasir süni intellekt tətbiqlərini gücləndirir, lakin onlar elastiklik, qiymət və dəqiqlik baxımından kəskin şəkildə fərqlənir. Aralarında seçim iş yükünün mürəkkəbliyindən və büdcədən asılıdır.
