Parno učenje preferenc trenira modele tako, da neposredno primerja dva elementa, da ugotovi, kateri je prednostnejši, medtem ko modeli absolutnega točkovanja neodvisno ocenjujejo elemente z uporabo fiksnih lestvic ocenjevanja. Oba pristopa izboljšujeta sisteme priporočil, razvrščanje iskanja in usklajevanje človeških preferenc v sistemih umetne inteligence, vendar se bistveno razlikujeta v tem, kako zajemata in predstavljata človeško presojo.
Pristop k usposabljanju, ki se uči iz relativnih primerjav med pari postavk in ne iz posameznih ocen.
Modeli, ki postavkam dodeljujejo neodvisne numerične ocene z uporabo doslednih meril za ocenjevanje.
| Funkcija | Parno preferenčno učenje | Modeli absolutnega točkovanja |
|---|---|---|
| Osnovni mehanizem | Primerjajte dva predmeta in spoznajte relativne preference | Vsaki postavki dodelite neodvisno oceno |
| Zahteve glede obsega | Ordinalna ali binarna preferenca zadostuje | Zahteva kalibrirano intervalno ali razmernostno lestvico |
| Doslednost ocenjevalcev | Prenaša individualne razlike v lestvici | Predpostavlja enotno interpretacijo merila |
| Predpostavka o tranzitivnosti | Eksplicitno modelira ali testira tranzitivnost | Implicitno predpostavlja tranzitivnost |
| Računalniški stroški | Višje (kvadratno število elementov) | Nižje (linearno po številu elementov) |
| Človeški napor | Potrebnih je več primerjav, vendar je vsaka lažja | Potrebnih je manj ocen, vendar je vsaka težja |
| Interpretabilnost izhoda | Uvrstitve in verjetnosti | Neposredni numerični rezultati |
| Najboljši primer uporabe | Subjektivne preference, estetika, kakovost | Objektivne lastnosti, jasna merila |
Parno preferenčno učenje obravnava presojo kot temeljno primerjalno. Ko nekoga vprašate, ali bi raje imel počitnice A ali B, lahko običajno odgovori samozavestno. Če ga prosite, naj vsake počitnice oceni na lestvici od 1 do 10, dobite nedosledne rezultate. Modeli absolutnega točkovanja pa nasprotno predpostavljajo, da lahko konstruiramo univerzalna merila, ki jih vsi razlagajo enako. Ta filozofska razdelitev oblikuje vsako nadaljnjo odločitev pri načrtovanju sistema.
Zbiranje parnih preferenc se komentatorjem pogosto zdi lažje. Klik na »levo je bolje« zahteva manj kognitivne obremenitve kot dodeljevanje natančnih številskih vrednosti. Vendar pa za vzpostavitev popolne uvrstitve potrebujete bistveno več parnih oznak. Absolutno točkovanje vam omogoča združevanje redkih podatkov – če deset ljudi oceni film s 7/10, imate smiseln signal. Pri parnih primerjavah manjkajoče primerjave ustvarijo vrzeli v grafu uvrstitve, ki jih je treba ugotoviti.
Parne metode so povezane s teorijo socialne izbire in algoritmi za razvrščanje na turnirjih. Sistem ocenjevanja Elo v šahu prevaja izide parnih iger v neprekinjene rezultate. Absolutno točkovanje izhaja iz klasične teorije testov in teorije odgovorov na elemente, kjer se latentne lastnosti ocenjujejo iz opazovanih odzivov. Sodobni nevronski pristopi, kot je model Bradley-Terry z globokimi vdelavami, združujejo obe tradiciji.
OpenAI-jev GPT-4 in Anthropicov Claude se med učenjem RLHF močno zanašata na parne človeške preference. Človeški komentatorji primerjajo izhode modela, podatki o preferencah pa natančno uglašujejo modele nagrajevanja. Netflix je v preteklosti uporabljal ocene z zvezdicami (absolutno), vendar je prešel na ocene palec gor/dol (dejansko parno), potem ko je odkril, da slednje ustvarjajo zanesljivejše signale. Razvrščanje v Iskanju Google združuje oboje: absolutne ocene ustreznosti za pare poizvedb in dokumentov ter poskuse parnega prepletanja za vrednotenje v živo.
Absolutno ocenjevanje se sesuje, ko ocenjevalci uporabljajo lestvice različno – 5/10 ene osebe je lahko enako 7/10 druge. Parne metode so imune na to težavo monotonega skaliranja, vendar ranljive za neprehodne preference. Če A premaga B, B premaga C, vendar C premaga A, mora model razrešiti ta cikel. Resnične človeške preference pogosto kršijo tranzitivnost, kar ustvarja resnične filozofske in praktične izzive za oba pristopa.
Sofisticirani sistemi vse bolj združujejo obe paradigmi. Absolutni rezultati zagotavljajo sidra; parne primerjave izboljšujejo uvrstitve. Nekatere platforme zbirajo absolutne ocene, vendar parne modele usposabljajo z dinamičnim generiranjem primerjalnih parov iz porazdelitve ocen. Ta hibridna strategija poskuša zajeti učinkovitost absolutnega zbiranja z robustnostjo parnega učenja.
Parne metode vedno potrebujejo več podatkov kot absolutno točkovanje.
Čeprav število parnih primerjav raste kvadratno, je vsaka anotacija hitrejša in zanesljivejša. Študije množičnega izvajanja kažejo, da je za enakovredne cilje natančnosti skupni čas anotacije pogosto v korist parnih metod. Učinkovitost je močno odvisna od strategij aktivnega učenja, ki izberejo maksimalno informativne pare.
Absolutne rezultate je lažje interpretirati, ker so številke.
Ocena »7 od 10« se zdi konkretna, vendar se njen pomen dramatično spreminja glede na kulture, kontekste in individualna razpoloženja. Raziskave o inflaciji ocen kažejo, da uporabniki Netflixa, ki so prej dajali 3 zvezdice, zdaj dajejo palec gor za identično vsebino. Parne razvrstitve se pogosto bolj stabilno prevedejo v dejansko vedenje uporabnikov.
Absolutne ocene lahko preprosto pretvorite v parne uvrstitve.
Preprosta primerjava rezultatov ignorira negotovost in zaupanje. Dve postavki, ocenjeni s 7,0 in 7,1, sta morda statistično nerazločljivi, vendar naivna pretvorba vsili vrstni red. Pravilna pretvorba zahteva modeliranje variance ocen, kar ponovno uvaja kompleksnost, ki jo parne metode obvladujejo izvorno.
Človeške preference so po naravi prehodne.
Psihološke raziskave dosledno kažejo na intranzitivnost v resničnih preferencah. Ljudje imajo morda raje večjo pico zaradi cene, srednjo zaradi udobja, a majhno zaradi zdravja – kar ustvarja cikle. Oba pristopa modeliranja morata to realnost upoštevati ali pa jo predpostaviti, pri čemer imajo parne metode za to bolj eksplicitna orodja.
Parne metode delujejo samo za binarne preference.
Sodobni parni ogrodji obravnavajo stopnjevane preference, delne vrstne rede in celo večvidikovne primerjave. Oznaka »parno« se nanaša na strukturo primerjave, ne na format odgovora. Anotatorji lahko znotraj parnih ogrodij izrazijo moč preference, negotovost ali večdimenzionalne sodbe.
Pri zajemanju subjektivne človeške presoje – kakovosti priporočil, uporabnosti vsebine ali estetskih preferenc – kjer se posamezne lestvice nepredvidljivo razlikujejo, izberite učenje preferenc po parih. Pri ocenjevanju objektivnih, dobro opredeljenih atributov s stabilnimi merili ali kadar potrebujete aritmetične operacije na izhodih se odločite za absolutno točkovanje. Številni produkcijski sistemi zdaj združujejo oboje: absolutne ocene za grobo filtriranje in izpopolnjevanje po parih za končno razvrščanje.
A/B testiranje pri izdajah vsebin vključuje uvajanje različic za različne segmente občinstva in merjenje uspešnosti, medtem ko enkratne izdaje vsebin hkrati vsem ponudijo eno različico. Vsak pristop ustreza različnim ciljem, pri čemer A/B testiranje daje prednost optimizaciji, ki temelji na podatkih, enkratne izdaje pa dajejo prednost hitrosti in preprostosti.
A/B testiranje pri streženju modelov usmerja promet med konkurenčnimi različicami modelov za merjenje učinkovitosti v resničnem svetu, medtem ko uvedba enega modela vsem uporabnikom dostavi en model. Ekipe izbirajo med njimi glede na toleranco tveganja, količino prometa in potrebo po statistični potrditvi pred popolno uvedbo.
Agenti umetne inteligence so avtonomni, ciljno usmerjeni sistemi, ki lahko načrtujejo, sklepajo in izvajajo naloge v različnih orodjih, medtem ko tradicionalne spletne aplikacije sledijo fiksnim delovnim procesom, ki jih vodijo uporabniki. Primerjava poudarja premik od statičnih vmesnikov k prilagodljivim, kontekstualno ozaveščenim sistemom, ki lahko proaktivno pomagajo uporabnikom, avtomatizirajo odločitve in dinamično komunicirajo med več storitvami.
Ta arhitekturna primerjava primerja deterministično inženirstvo agentov, ki temeljijo na pravilih, s prilagodljivo naravo učnih agentov, ki temeljijo na podatkih, ter ocenjuje njihovo uporabnost v resničnem svetu, omejitve skaliranja in delovanje v negotovosti.
Agentni sistemi umetne inteligence lahko načrtujejo, izvajajo večstopenjske naloge in avtonomno komunicirajo z zunanjimi orodji, medtem ko tradicionalni klepetalni roboti LLM primarno ustvarjajo besedilne odgovore v enem samem pogovornem koraku. Ključna razlika je v agenciji: agentni sistemi delujejo na podlagi ciljev, medtem ko klepetalni roboti reagirajo na pozive.
