Cütlüklü üstünlük öyrənməsi modelləri iki elementi birbaşa müqayisə edərək hansının üstünlük verildiyini müəyyən etməklə öyrədir, mütləq bal modelləri isə elementləri sabit reytinq şkalalarından istifadə edərək müstəqil şəkildə qiymətləndirir. Hər ikisi süni intellekt sistemlərində güc tövsiyə sistemlərinə, axtarış sıralamasına və insan üstünlüklərinin uyğunlaşdırılmasına yaxınlaşır, lakin onlar insan mühakiməsini necə ələ keçirdikləri və təmsil etdikləri baxımından əsaslı şəkildə fərqlənir.
Fərdi qiymətləndirmələrdən daha çox, element cütləri arasında nisbi müqayisələrdən öyrənən təlim yanaşması.
Ardıcıl qiymətləndirmə meyarlarından istifadə edərək elementlərə müstəqil ədədi ballar təyin edən modellər.
| Xüsusiyyət | Cütlüklü Üstünlük Öyrənməsi | Mütləq Qiymətləndirmə Modelləri |
|---|---|---|
| Əsas Mexanizm | İki elementi müqayisə edin, nisbi üstünlükləri öyrənin | Hər bir elementə müstəqil bal təyin edin |
| Ölçü Tələbləri | Sıra və ya ikilik seçim kifayətdir | Kalibrlənmiş interval və ya nisbət şkalası tələb olunur |
| Qiymətləndiricinin Ardıcıllığı | Fərdi miqyas dəyişikliyinə dözür | Miqyasın vahid təfsirini fərz edir |
| Tranzitlik Fərziyyəsi | Tranzitivlik üçün açıq şəkildə modellər və ya testlər | Dolayı yolla tranzitivliyi fərz edir |
| Hesablama Xərci | Daha yüksək (əşyalar sayında kvadrat) | Aşağı (əşyalar sayında xətti) |
| İnsan səyi | Daha çox müqayisə lazımdır, amma hər biri daha asandır | Daha az reytinq tələb olunur, lakin hər biri daha çətindir |
| Çıxış Təfsiri | Reytinqlər və ehtimallar | Birbaşa ədədi ballar |
| Ən Yaxşı İstifadə Halları | Subyektiv üstünlüklər, estetika, keyfiyyət | Obyektiv xüsusiyyətlər, aydın meyarlar |
Cütlüklü üstünlük öyrənmə mühakiməni əsasən müqayisəli hesab edir. Kimdənsə A tətilini, yoxsa B tətilini üstün tutduğunu soruşduğunuzda, adətən inamla cavab verə bilərlər. Onlardan hər tətili 1-10 şkalası ilə qiymətləndirmələrini xahiş edin və siz uyğunsuz nəticələr əldə edirsiniz. Mütləq bal modelləri isə, əksinə, hər kəsin eyni şəkildə şərh etdiyi universal ölçülər qura biləcəyimizi fərz edir. Bu fəlsəfi bölünmə sistem dizaynında hər bir sonrakı qərarı formalaşdırır.
Cütlük seçimlərini toplamaq annotatorlar üçün çox vaxt daha asan görünür. "Sola daha yaxşıdır" düyməsini basmaq dəqiq ədədi dəyərlər təyin etməkdən daha az idrak yükü tələb edir. Bununla belə, tam reytinq yaratmaq üçün daha çox cütlük etiketinə ehtiyacınız var. Mütləq qiymətləndirmə, seyrək məlumatları toplamağa imkan verir - əgər on nəfər bir filmi 7/10 qiymətləndirirsə, mənalı bir siqnalınız var. Cütlük müqayisələri ilə müqayisədə çatışmazlıqlar reytinq qrafikinizdə çıxarılmalı olan boşluqlar yaradır.
Cütlük metodları sosial seçim nəzəriyyəsi və turnir sıralaması alqoritmləri ilə əlaqələndirilir. Şahmatda Elo reytinq sistemi cütlük oyun nəticələrini davamlı xallara çevirir. Mütləq xal klassik test nəzəriyyəsindən və element cavabı nəzəriyyəsindən qaynaqlanır, burada gizli xüsusiyyətlər müşahidə olunan cavablardan qiymətləndirilir. Dərin inteqrasiyalı Bredli-Terri modeli kimi müasir neyron yanaşmaları hər iki ənənəni birləşdirir.
OpenAI-dən GPT-4 və Anthropic-dən Claude, RLHF təlimi zamanı cütlüklü insan seçimlərinə çox güvənir. İnsan şərhçiləri model nəticələrini müqayisə edir və seçim məlumatları mükafat modellərini dəqiq tənzimləyir. Netflix tarixən ulduz reytinqlərindən (mütləq) istifadə edirdi, lakin sonuncunun daha etibarlı siqnallar yaratdığını aşkar etdikdən sonra yuxarı/aşağı (effektiv olaraq cütlüklü) baş barmaqlara keçdi. Google Search-in reytinqi hər ikisini birləşdirir: sorğu-sənəd cütləri üçün mütləq uyğunluq qiymətləri, üstəgəl canlı qiymətləndirmə üçün cütlüklü interleaving təcrübələri.
Qiymətləndiricilər şkalalardan fərqli istifadə etdikdə mütləq qiymətləndirmə pozulur - bir şəxsin 5/10-u digərinin 7/10-una bərabər ola bilər. Cütlük metodları bu monoton şkala məsələsinə qarşı immunitetlidir, lakin qeyri-transitiv üstünlüklərə qarşı həssasdır. Əgər A B-ni, B C-ni, lakin C A-nı məğlub edirsə, model bu dövrü həll etməlidir. Həqiqi insan üstünlükləri tez-tez tranzitivliyi pozur və hər iki yanaşma üçün əsl fəlsəfi və praktik çətinliklər yaradır.
Mürəkkəb sistemlər getdikcə hər iki paradiqmanı birləşdirir. Mütləq ballar lövbər təmin edir; cütlük müqayisələri reytinqləri dəqiqləşdirir. Bəzi platformalar mütləq reytinqlər toplayır, lakin reytinq paylanmasından müqayisə cütlərini dinamik şəkildə yaradaraq cütlük modelləri öyrədir. Bu hibrid strategiya cütlük öyrənmənin möhkəmliyi ilə mütləq toplamanın səmərəliliyini ələ keçirməyə çalışır.
Cütlük metodları həmişə mütləq bal verməkdən daha çox məlumat tələb edir.
Cüt müqayisələrin sayı kvadratik olaraq artsa da, hər bir annotasiya daha sürətli və daha etibarlıdır. Kraudsorsinq sahəsində aparılan tədqiqatlar göstərir ki, ekvivalent dəqiqlik hədəfləri üçün ümumi annotasiya müddəti çox vaxt cüt metodlara üstünlük verir. Səmərəlilik, maksimum məlumatverici cütlükləri seçən aktiv təlim strategiyalarından çox asılıdır.
Mütləq ballar daha çox şərh edilə bilər, çünki onlar ədədlərdir.
"10-dan 7" konkret görünsə də, mənası mədəniyyətlər, kontekstlər və fərdi əhval-ruhiyyələr arasında kəskin şəkildə dəyişir. Reytinq inflyasiyası ilə bağlı araşdırmalar göstərir ki, əvvəllər 3 ulduz verən Netflix istifadəçiləri indi eyni məzmuna görə baş barmağını göstərirlər. Cüt reytinqlər çox vaxt faktiki istifadəçi davranışına daha sabit şəkildə çevrilir.
Mütləq balları cütlük reytinqlərinə trivial olaraq çevirə bilərsiniz.
Sadə bal müqayisəsi qeyri-müəyyənliyi və inamı nəzərə almır. 7.0 və 7.1 qiymətləndirilən iki element statistik cəhətdən fərqləndirilməz ola bilər, lakin sadəlövh çevrilmə nizamlılığa səbəb olur. Düzgün çevrilmə reytinq dəyişkənliyinin modelləşdirilməsini tələb edir ki, bu da cütlük metodlarının yerli olaraq idarə etdiyi mürəkkəbliyi yenidən təqdim edir.
İnsan üstünlükləri təbii olaraq keçidlidir.
Psixoloji tədqiqatlar ardıcıl olaraq real seçimlərdə qeyri-transitivliyi nümayiş etdirir. İnsanlar qiymətə görə daha böyük, rahatlığa görə orta, sağlamlıq üçün isə kiçik pizzaya üstünlük verə bilərlər - bu da dövrlər yaradır. Hər iki modelləşdirmə yanaşması bu reallığı idarə etməli və ya fərz etməlidir, cüt metodlar isə bunu etmək üçün daha aydın vasitələrə malikdir.
Cütlük metodları yalnız ikili seçimlər üçün işləyir.
Müasir cüt-cüt çərçivələr dərəcəli üstünlükləri, qismən sifarişləri və hətta çoxaspektli müqayisələri idarə edir. "Cüt-cüt" etiketi cavab formatını deyil, müqayisə strukturunu ifadə edir. Annotatorlar cüt-cüt çərçivələr daxilində üstünlük gücünü, qeyri-müəyyənliyi və ya çoxölçülü mühakimələri ifadə edə bilərlər.
Subyektiv insan mühakiməsini - tövsiyə keyfiyyətini, məzmunun faydalılığını və ya estetik üstünlükləri - ələ keçirərkən cütlüklü üstünlük öyrənməsini seçin, burada fərdi şkalaların gözlənilməz şəkildə dəyişməsi müşahidə olunur. Obyektiv, yaxşı müəyyən edilmiş atributları sabit meyarlarla qiymətləndirərkən və ya nəticələr üzərində hesab əməliyyatlarına ehtiyac duyduğunuz zaman mütləq bal verməyi seçin. Bir çox istehsal sistemi artıq hər ikisini birləşdirir: qaba filtrasiya üçün mütləq reytinqlər, yekun reytinq üçün cütlüklü dəqiqləşdirmə.
Açar söz axtarış motorları tərs indekslərdən istifadə edərək dəqiq terminləri uyğunlaşdırır, vektor oxşarlığı axtarışı isə yüksək ölçülü yerləşdirmələr vasitəsilə semantik cəhətdən əlaqəli məzmun tapır. Hər iki yanaşma müasir məlumat axtarışını gücləndirir, lakin istifadəçi niyyətini necə şərh etdikləri və nəticələri necə sıraladıqları baxımından əsaslı şəkildə fərqlənir.
Açıq çəkili modellər təlim keçmiş parametrlərini ictimaiyyətə açıq şəkildə yayımlayır və hər kəsin onları yükləməsinə, yoxlamasına və dəqiq tənzimləməsinə imkan verir. Qapalı mənbəli modellər çəkilərini gizli saxlayır və yalnız API və ya hostinq məhsulları vasitəsilə giriş təklif edir. Aralarındakı seçim, tərtibatçıların süni intellekt sistemlərini necə qurduğunu, yerləşdirdiyini və etibar etdiyini formalaşdırır.
Bu müqayisə açıq mənbəli süni intellekt ilə xüsusi mülkiyyətli süni intellekt arasındakı əsas fərqləri araşdırır, əlçatanlıq, fərdiləşdirmə, xərclər, dəstək, təhlükəsizlik, performans və real dünyada tətbiq hallarını əhatə edir, təşkilatların və tərtibatçıların hansı yanaşmanın onların məqsədlərinə və texniki imkanlarına uyğun gəldiyini müəyyən etməsinə kömək edir.
Açıq mənbəli LLM-lər tam kod girişi ilə özelleştirilebilir, özünəməxsus süni intellekt modelləri təklif edir, mülkiyyətçi LLM API-ləri isə istifadəyə əsaslanan qiymətlərlə bulud əsaslı son nöqtələr vasitəsilə idarə olunan, cilalanmış xidmətlər təqdim edir.
Adaptiv axtarış sistemin sorğuya əsasən hansı məlumatı və necə əldə etdiyini dinamik şəkildə tənzimləyir, statik axtarış boru kəmərləri isə kontekstdən asılı olmayaraq sabit qaydalara əməl edir. Hər ikisi müasir süni intellekt tətbiqlərini gücləndirir, lakin onlar elastiklik, qiymət və dəqiqlik baxımından kəskin şəkildə fərqlənir. Aralarında seçim iş yükünün mürəkkəbliyindən və büdcədən asılıdır.
