Paarispõhine eelistuste õppimine treenib mudeleid, võrreldes kahte elementi otse, et teha kindlaks, kumb on eelistatud, samas kui absoluutse hindamise mudelid hindavad elemente sõltumatult, kasutades fikseeritud hindamisskaalasid. Mõlemad lähenemisviisid põhinevad võimsussoovitussüsteemidel, otsingu paremusjärjestusel ja inimese eelistuste vastavusse viimisel tehisintellekti süsteemides, kuid need erinevad põhimõtteliselt selle poolest, kuidas nad jäädvustavad ja esindavad inimese hinnanguid.
Koolitusmeetod, mis õpib pigem tootepaaride omavahelisest võrdlusest kui individuaalsetest hinnangutest.
Mudelid, mis määravad objektidele sõltumatud numbrilised hinded, kasutades järjepidevaid hindamiskriteeriume.
| Funktsioon | Paarikaupa eelistuste õppimine | Absoluutsete punktide mudelid |
|---|---|---|
| Põhimehhanism | Võrdle kahte eset ja saa teada suhtelise eelistuse | Määrake igale üksusele sõltumatu skoor |
| Skaala nõuded | Piisab ordinaal- või binaarsest eelistusest | Nõuab kalibreeritud intervalli või suhtarvu skaalat |
| Hindaja järjepidevus | Talub individuaalset skaala varieerumist | Eeldab skaala ühtlast tõlgendamist |
| Transitiivsuse eeldus | Selgesõnaliselt modelleerige või testige transitiivsust | Eeldab kaudselt transitiivsust |
| Arvutuslik maksumus | Kõrgem (üksuste arvus ruutkeskmine) | Madalam (üksuste arvus lineaarne) |
| Inimese pingutus | Vaja on rohkem võrdlusi, aga igaüks neist on lihtsam | Vaja on vähem hinnanguid, aga iga hinnangut on raskem |
| Väljundi tõlgendatavus | Edetabelid ja tõenäosused | Otsesed numbrilised hinded |
| Parim kasutusjuhtum | Subjektiivsed eelistused, esteetika, kvaliteet | Objektiivsed omadused, selged kriteeriumid |
Paarispõhine eelistuste õppimine käsitleb otsustusvõimet põhimõtteliselt võrdlevana. Kui küsida kelleltki, kas ta eelistaks puhkust A või B, saab ta tavaliselt enesekindlalt vastata. Kui paluda tal hinnata iga puhkust skaalal 1-10, saad vastuolulisi tulemusi. Absoluutsete hindamismudelite puhul seevastu eeldatakse, et saame luua universaalseid mõõdupuid, mida kõik tõlgendavad identselt. See filosoofiline lõhe kujundab iga järgnevat otsust süsteemi kujundamisel.
Paarikaupa eelistuste kogumine tundub annotaatorite jaoks sageli kergem. Nupu „vasakule on parem” klõpsamine nõuab vähem kognitiivset koormust kui täpsete numbriliste väärtuste määramine. Täieliku edetabeli koostamiseks on aga vaja oluliselt rohkem paarikaupa silte. Absoluutne punktisüsteem võimaldab koondada nappe andmeid – kui kümme inimest hindavad filmi hindega 7/10, on tegemist olulise signaaliga. Paarikaupa hindamisel tekitavad puuduvad võrdlused edetabeligraafikus lünki, mis tuleb järeldada.
Paaripõhised meetodid on seotud sotsiaalse valiku teooria ja turniiride edetabeli algoritmidega. Males kasutatav Elo hindamissüsteem teisendab paaripõhise mängu tulemused pidevateks punktisummadeks. Absoluutne punktiarvestus pärineb klassikalisest testiteooriast ja eseme-vastuste teooriast, kus varjatud tunnuseid hinnatakse vaadeldud vastuste põhjal. Kaasaegsed neuraalsed lähenemisviisid, nagu näiteks Bradley-Terry mudel sügavate manustustega, ühendavad mõlemad traditsioonid.
OpenAI GPT-4 ja Anthropicu Claude toetuvad RLHF-i treenimisel suuresti paarikaupa inimeste eelistustele. Inimestest annotaatorid võrdlevad mudeli väljundeid ja eelistuste andmed peenhäälestavad preemiamudeleid. Netflix kasutas ajalooliselt tärnihinnanguid (absoluutseid), kuid nihutas pöidlahoidmise peale (sisuliselt paarikaupa) pärast seda, kui avastas, et viimased genereerivad usaldusväärsemaid signaale. Google'i otsingu järjestus ühendab mõlemad: päringu-dokumendi paaride absoluutsed asjakohasuse hinded ja paarikaupa põimimise katsed reaalajas hindamiseks.
Absoluutne punktiarvestus langeb kokku, kui hindajad kasutavad skaalasid erinevalt – ühe inimese 5/10 võib võrduda teise inimese 7/10-ga. Paaripõhised meetodid on selle monotoonse skaleerimisprobleemi suhtes immuunsed, kuid haavatavad intransitiivsete eelistuste suhtes. Kui A on parem kui B, B on parem kui C, aga C on parem kui A, peab mudel selle tsükli lahendama. Tegelikud inimlikud eelistused rikuvad sageli transitiivsust, tekitades mõlema lähenemisviisi jaoks tõsiseid filosoofilisi ja praktilisi väljakutseid.
Keerukad süsteemid ühendavad üha enam mõlemat paradigmat. Absoluutskoorid pakuvad tugipunkte; paarikaupa võrdlused täpsustavad edetabeleid. Mõned platvormid koguvad absoluutseid hinnanguid, kuid treenivad paarikaupa mudeleid, genereerides dünaamiliselt võrdluspaare hinnangute jaotusest. See hübriidstrateegia püüab tabada absoluutse kogumise efektiivsust paarikaupa õppimise robustsusega.
Paaripõhised meetodid vajavad alati rohkem andmeid kui absoluutne punktiarvestus.
Kuigi paarikaupa võrdluste arv kasvab ruutvõrdeliselt, on iga annotatsioon kiirem ja usaldusväärsem. Rahvahanke uuringud näitavad, et samaväärse täpsuse eesmärkide korral soosib kogu annotatsiooniaeg sageli paarikaupa meetodeid. Tõhusus sõltub suuresti aktiivõppe strateegiatest, mis valivad maksimaalselt informatiivsed paarid.
Absoluutskoori on lihtsam tõlgendada, kuna need on numbrid.
„7 tärni kümnest” tundub konkreetne, kuid selle tähendus muutub kultuuriti, kontekstiti ja individuaalselt oluliselt. Hinnangute inflatsiooni uuringud näitavad, et Netflixi kasutajad, kes varem andsid 3 tärni, annavad nüüd identse sisu eest pöidla püsti. Paaripõhised edetabelid kajastuvad sageli stabiilsemalt tegelikus kasutajate käitumises.
Absoluutskoori saab paarikaupa paremusjärjestusse teisendada lihtsalt.
Lihtne skoorivõrdlus ignoreerib ebakindlust ja kindlustunnet. Kaks punkti, mis on hinnatud punktidega 7,0 ja 7,1, võivad olla statistiliselt eristamatud, kuid naiivne teisendamine sunnib neid järjestama. Nõuetekohane teisendamine nõuab hinnangu dispersiooni modelleerimist, mis taaskehtestab keerukuse, millega paarikaupa meetodid natiivselt hakkama saavad.
Inimese eelistused on loomupäraselt transitiivsed.
Psühholoogilised uuringud näitavad järjepidevalt intransitiivsust reaalsetes eelistustes. Inimesed võivad eelistada suuremat pitsat hinna pärast, keskmist mugavuse pärast, kuid väikest tervise pärast – luues tsükleid. Mõlemad modelleerimisviisid peavad seda reaalsust käsitlema või eeldama, kusjuures paarismeetoditel on selleks selgemad vahendid.
Paaripõhised meetodid toimivad ainult binaarsete eelistuste korral.
Kaasaegsed paarikaupa raamistikud käsitlevad astmelisi eelistusi, osalist järjestust ja isegi mitme aspekti võrdlusi. Silt „paarikaupa” viitab võrdlusstruktuurile, mitte vastuse vormingule. Annotaatorid saavad paarikaupa raamistikes väljendada eelistuse tugevust, ebakindlust või mitmemõõtmelisi hinnanguid.
Subjektiivse inimliku hinnangu – soovituse kvaliteedi, sisu kasulikkuse või esteetiliste eelistuste – jäädvustamiseks, kus individuaalsed skaalad varieeruvad ettearvamatult, valige paarikaupa eelistuste õppimine. Objektiivsete, täpselt määratletud atribuutide hindamisel stabiilsete kriteeriumide alusel või väljunditega aritmeetiliste tehtete tegemisel valige absoluutne hindamine. Paljud tootmissüsteemid ühendavad nüüd mõlemat: absoluutsed hinnangud jämeda filtreerimise jaoks ja paarikaupa täpsustamise lõpliku järjestuse jaoks.
Mudeliteenuse A/B-testimine suunab liiklust konkureerivate mudeliversioonide vahel, et mõõta reaalset toimivust, samas kui ühe mudeli juurutamine saadab kõigile kasutajatele ühe mudeli. Meeskonnad valivad nende vahel riskitaluvuse, liiklusmahu ja statistilise valideerimise vajaduse alusel enne täielikku juurutamist.
Sisuväljaannete A/B-testimine hõlmab variatsioonide levitamist erinevatele sihtrühmadele ja tulemuslikkuse mõõtmist, samas kui ühekordsed sisuväljaanded suunavad ühe versiooni korraga kõigile. Igal lähenemisviisil on erinevad eesmärgid, kusjuures A/B-testimine eelistab andmepõhist optimeerimist ja ühekordsed väljaanded seavad esikohale kiiruse ja lihtsuse.
See detailne võrdlus uurib adaptiivsete intelligentsete mootorite arhitektuurilisi erinevusi, operatsioonilisi piiranguid ja reaalset jõudlust võrreldes fikseeritud käitumisega automatiseerimissüsteemidega. Vaatleme, kuidas süsteemid, mis pidevalt õpivad uutest keskkonnaandmetest, sobivad kokku jäikade ja ennustatavate reeglipõhiste raamistikega.
Adaptiivne otsing kohandab dünaamiliselt, kuidas ja millist teavet süsteem päringu põhjal hangib, samas kui staatilised otsingukanalid järgivad fikseeritud reegleid olenemata kontekstist. Mõlemad toetavad tänapäevaseid tehisintellekti rakendusi, kuid erinevad oluliselt paindlikkuse, maksumuse ja täpsuse poolest. Nende vahel valimine sõltub töökoormuse keerukusest ja eelarvest.
Agentide koolitamine keskkondades hõlmab õppimist reaalajas simuleeritud või füüsilise keskkonnaga suhtlemise kaudu, samas kui võrguühenduseta andmestiku koolitamine tugineb eelnevalt kogutud andmetele ilma täiendava keskkonnale juurdepääsuta. Mõlemad lähenemisviisid treenivad masinõppe mudeleid, kuid erinevad põhimõtteliselt selle poolest, kuidas agendid kogemusi koguvad ja jõudlust parandavad.
