Pāru preferenču apguve apmāca modeļus, tieši salīdzinot divus vienumus, lai noteiktu, kuram tiek dota priekšroka, savukārt absolūtās vērtēšanas modeļi vienumus novērtē neatkarīgi, izmantojot fiksētas vērtēšanas skalas. Abas pieejas izmanto jaudas ieteikumu sistēmas, meklēšanas rangu un cilvēka preferenču saskaņošanu mākslīgā intelekta sistēmās, taču tās būtiski atšķiras ar to, kā tās uztver un attēlo cilvēka spriedumus.
Apmācības pieeja, kas mācās no relatīviem salīdzinājumiem starp vienību pāriem, nevis no atsevišķiem vērtējumiem.
Modeļi, kas piešķir neatkarīgus skaitliskus vērtējumus vienumiem, izmantojot konsekventus vērtēšanas kritērijus.
| Funkcija | Pāru preferenču mācīšanās | Absolūtās vērtēšanas modeļi |
|---|---|---|
| Galvenais mehānisms | Salīdziniet divus vienumus, uzziniet relatīvās preferences | Piešķiriet katram vienumam neatkarīgu vērtējumu |
| Mēroga prasības | Pietiek ar ordinālo vai bināro preferenci | Nepieciešama kalibrēta intervāla vai attiecības skala |
| Vērtētāja konsekvence | Pieļauj individuālas mēroga variācijas | Pieņem vienotu mēroga interpretāciju |
| Tranzitivitātes pieņēmums | Skaidri modeļi vai testi tranzitīvitātei | Netieši pieņem tranzitivitāti |
| Aprēķina izmaksas | Augstāks (vienību skaita kvadrāts) | Zemāks (lineārs vienību skaita ziņā) |
| Cilvēka piepūle | Nepieciešami vairāk salīdzinājumu, taču katrs no tiem ir vienkāršāks. | Nepieciešams mazāk vērtējumu, bet katrs ir grūtāks |
| Izvades interpretējamība | Rangs un varbūtības | Tiešie skaitliskie rādītāji |
| Labākais lietošanas gadījums | Subjektīvās preferences, estētika, kvalitāte | Objektīvas īpašības, skaidri kritēriji |
Pāru preferenču mācīšanās uztver spriedumus kā principiāli salīdzinošus. Kad kādam jautājat, vai viņš dotu priekšroku atvaļinājumam A vai atvaļinājumam B, viņš parasti var atbildēt pārliecinoši. Ja palūdzat viņam novērtēt katru atvaļinājumu skalā no 1 līdz 10, jūs iegūstat nekonsekventus rezultātus. Turpretī absolūtās vērtēšanas modeļi pieņem, ka mēs varam izveidot universālus kritērijus, kurus visi interpretē identiski. Šī filozofiskā plaisa ietekmē katru pakārtoto lēmumu sistēmas projektēšanā.
Pāru preferenču apkopošana anotētājiem bieži vien šķiet vieglāka. Noklikšķinot uz “pa kreisi ir labāk”, tiek prasīta mazāka kognitīvā slodze nekā precīzu skaitlisku vērtību piešķiršana. Tomēr, lai izveidotu pilnīgu rangu, ir nepieciešams ievērojami vairāk pāru etiķešu. Absolūtā vērtēšana ļauj apkopot retus datus — ja desmit cilvēki novērtē filmu ar 7/10, jums ir nozīmīgs signāls. Izmantojot pāru vērtēšanu, trūkstošie salīdzinājumi rada nepilnības rangu grafikā, kas ir jāsecina.
Pāru metodes ir saistītas ar sociālās izvēles teoriju un turnīru rangu algoritmiem. Šaha Elo vērtēšanas sistēma pāru spēles rezultātus pārvērš nepārtrauktos rezultātos. Absolūtā vērtēšana ir cēlusies no klasiskās testu teorijas un uzdevumu atbilžu teorijas, kur latentās iezīmes tiek novērtētas no novērotajām atbildēm. Mūsdienu neironu pieejas, piemēram, Bredlija-Terija modelis ar dziļiem iegulšanas paņēmieniem, apvieno abas tradīcijas.
OpenAI GPT-4 un Anthropic Claude RLHF apmācības laikā lielā mērā paļaujas uz cilvēku pāru preferencēm. Cilvēku anotatori salīdzina modeļu rezultātus, un preferenču dati precīzi noregulē atlīdzības modeļus. Netflix vēsturiski izmantoja zvaigžņu vērtējumus (absolūtus), bet pārgāja uz īkšķiem uz augšu/uz leju (faktiski pāru vērtējumus) pēc tam, kad atklāja, ka pēdējie ģenerē uzticamākus signālus. Google meklēšanas rangs apvieno abus: absolūtās atbilstības pakāpes vaicājumu-dokumentu pāriem, kā arī pāru savstarpējas savietošanas eksperimentus tiešraides novērtēšanai.
Absolūtā vērtēšana sabrūk, ja vērtētāji skalas izmanto atšķirīgi — viena cilvēka 5/10 var būt vienāds ar cita cilvēka 7/10. Pāru metodes ir imūnas pret šo monotono mērogošanas problēmu, bet ir neaizsargātas pret intransitīvām vēlmēm. Ja A ir labāks par B, B ir labāks par C, bet C ir labāks par A, modelim ir jāatrisina šis cikls. Reālas cilvēku vēlmes bieži vien pārkāpj tranzitivitāti, radot patiesas filozofiskas un praktiskas problēmas abām pieejām.
Sarežģītas sistēmas arvien vairāk apvieno abas paradigmas. Absolūtie rādītāji nodrošina enkurus; pāru salīdzinājumi precizē reitingus. Dažas platformas apkopo absolūtos vērtējumus, bet apmāca pāru modeļus, dinamiski ģenerējot salīdzināšanas pārus no vērtējumu sadalījuma. Šī hibrīdstratēģija mēģina aptvert absolūtās apkopošanas efektivitāti ar pāru mācīšanās robustumu.
Pāru metodēm vienmēr ir nepieciešams vairāk datu nekā absolūtajai vērtēšanai.
Lai gan pāru salīdzināšanas skaits pieaug kvadrātiski, katra anotācija ir ātrāka un uzticamāka. Pētījumi pūļa finansēšanas jomā liecina, ka līdzvērtīgu precizitātes mērķu sasniegšanai kopējais anotācijas laiks bieži vien ir labvēlīgs pāru metodēm. Efektivitāte lielā mērā ir atkarīga no aktīvām mācīšanās stratēģijām, kas atlasa maksimāli informatīvus pārus.
Absolūtie rādītāji ir vieglāk interpretējami, jo tie ir skaitļi.
“7 no 10” šķiet konkrēts vērtējums, taču tā nozīme krasi mainās dažādās kultūrās, kontekstos un individuālajos noskaņojumos. Pētījums par vērtējumu inflāciju liecina, ka Netflix lietotāji, kuri iepriekš piešķīra 3 zvaigznes, tagad novērtē identisku saturu pozitīvi. Pāru vērtējumi bieži vien stabilāk atspoguļojas faktiskajā lietotāju uzvedībā.
Absolūtos rezultātus var vienkārši pārvērst pāru rangos.
Vienkārša rezultātu salīdzināšana ignorē nenoteiktību un pārliecību. Divi vienumi, kas novērtēti ar 7,0 un 7,1, var būt statistiski neatšķirami, tomēr naiva konvertēšana piespiež veikt secību. Pareiza konvertēšana prasa vērtējuma dispersijas modelēšanu, kas atkal ievieš sarežģītību, ko pāru metodes apstrādā dabiski.
Cilvēka preferences dabiski ir pārejošas.
Psiholoģiskie pētījumi konsekventi pierāda reālu preferenču intranzitīvitāti. Cilvēki var dot priekšroku lielākai picai cenas dēļ, vidējai picai ērtības dēļ, bet mazai veselības dēļ, radot ciklus. Abām modelēšanas pieejām ir jāapgūst vai jāpieņem, ka šī realitāte ir jāņem vērā, un pāru metodēm ir precīzāki rīki, lai to izdarītu.
Pāru metodes darbojas tikai binārajām preferencēm.
Mūsdienu pāru sistēmas apstrādā pakāpeniskas preferences, daļējas secības un pat vairāku aspektu salīdzinājumus. Apzīmējums “pāru” attiecas uz salīdzināšanas struktūru, nevis atbildes formātu. Anotatori pāru sistēmās var izteikt preferences stiprumu, nenoteiktību vai daudzdimensionālus spriedumus.
Izvēlieties pāru preferenču apguvi, ja vēlaties uztvert subjektīvu cilvēka spriedumu — ieteikuma kvalitāti, satura noderīgumu vai estētisko izvēli —, ja atsevišķas skalas atšķiras neparedzami. Izvēlieties absolūto vērtēšanu, novērtējot objektīvus, precīzi definētus atribūtus ar stabiliem kritērijiem vai ja jums ir nepieciešamas aritmētiskas darbības ar rezultātiem. Daudzas ražošanas sistēmas tagad apvieno abus: absolūtos vērtējumus rupjai filtrēšanai un pāru precizēšanu galīgajam rangam.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
