Modeliranje preferenc se uči relativnih uvrstitev in izbir med alternativami, medtem ko modeliranje neposrednega napovedovanja ocenjuje absolutne rezultate iz vhodnih značilnosti. Ti dve paradigmi umetne inteligence se bistveno razlikujeta v tem, kako predstavljata odločanje, pri čemer modeli preferenc odlično zajamejo človeško presojo, modeli neposrednega napovedovanja pa optimizirajo točkovne ocene.
Uči se relativnih uvrstitev in parnih preferenc med možnostmi namesto absolutnih vrednosti.
Z nadzorovanim učenjem neposredno iz vhodnih značilnosti napove absolutne ciljne vrednosti ali klasifikacije.
| Funkcija | Modeliranje preferenc | Neposredno napovedno modeliranje |
|---|---|---|
| Temeljni cilj | Naučite se relativnih uvrstitev med elementi | Napoved absolutnih izhodnih vrednosti |
| Oblika podatkov o usposabljanju | Parne primerjave, razvrstitve ali podatki o izbiri | Označeni vhodno-izhodni pari z resnico o podlagah |
| Funkcija izgube | Izguba parov, izguba tečaja ali izguba uvrstitve (npr. BPR, RankNet) | MSE, MAE, navzkrižna entropija ali Huberjeva izguba |
| Interpretacija izhodov | Rezultat ali verjetnost, da je bil element A boljši od elementa B. | Točkovna ocena ali porazdelitev verjetnosti po razredih |
| Tipične uporabe | Priporočilo, uvrstitev v iskanju, RLHF, conjoint analiza | Napovedovanje, diagnosticiranje, prepoznavanje slik, regresijske naloge |
| Zahteve za kalibracijo | Pogosto je potrebna kalibracija za preslikavo v absolutne verjetnosti | Naravno ustvari kalibrirane verjetnosti z ustreznim točkovanjem |
| Učinkovitost podatkov | Pogosto učinkovitejše za subjektivne presoje; ljudem se lažje primerjajo kot pa absolutne ocene | Zahteva eksplicitne oznake; lahko zahteva veliko podatkov za redke dogodke |
Modeliranje preferenc v osnovi sprašuje "kaj je boljše?" in ne "kakšna je vrednost?". Ta premik spremeni vse v načinu, kako modeli sprejemajo informacije. Neposredno napovedovanje išče oznake resnice, medtem ko modeliranje preferenc išče doslednost v relativni presoji. V praksi to pomeni, da model preferenc morda nikoli ne pozna absolutne kakovosti filma, vendar zanesljivo ve, da imajo uporabniki raje Botra kot Giglija.
Ljudje se težko dosledno ocenjujejo z absolutnimi ocenami. Če nekoga prosite, naj restavracijo oceni z 1–5 zvezdicami, boste dobili šum. Če ga prosite, naj izbere med dvema restavracijama, se bo signal dramatično izostril. Modeliranje preferenc izkorišča to kognitivno posebnost. Neposredno napovedovanje zahteva dražje in pogosto bolj hrupne absolutne oznake, čeprav nedavne raziskave kažejo, da lahko sintetični podatki o preferencah zmanjšajo to vrzel.
Modeli neposrednega napovedovanja običajno dovajajo funkcije prek standardnih arhitektur proti eni sami izhodni glavi. Modeli preferenc pogosto uporabljajo dvojne kodirnike ali siamske arhitekture, ki obdelujejo pare skupaj, čeprav sodobne implementacije vse pogosteje uporabljajo posamezne modele s posebnim spodbujanjem. Bradley-Terryjev model in njegove nevronske različice ustvarjajo implicitne funkcije uporabnosti, ki ustvarjajo uvrstitve, kar je strukturna razlika brez neposrednega napovednega analoga.
Neposredna napoved je odvisna od natančnosti, RMSE ali F1 – ali smo zadeli cilj? Modeliranje preferenc govori v Kendallovem tau, NDCG in parni natančnosti. Te metrike zajemajo različne načine odpovedi. Model neposredne napovedi z odličnim RMSE lahko še vedno slabo uvrsti alternative, medtem ko model preferenc z odličnimi uvrstitvami ne razkrije ničesar o absolutnih magnitudah.
Revolucija RLHF v jezikovnih modelih je v središče pozornosti postavila modeliranje preferenc. Neposredno napovedovanje ne more zlahka zajeti "koristnega in neškodljivega" kot cilja – ni oznake temeljne resnice. Modeliranje preferenc pa v nasprotju s tem izzove človeške presoje o tem, kateri odziv je boljši, kar omogoča usklajevanje vrednosti brez eksplicitne specifikacije vrednosti. To razlikovanje oblikuje trenutne usmeritve raziskav varnosti umetne inteligence.
Modeliranje preferenc in neposredno napovedovanje sta za večino nalog zamenljiva.
Strukturne razlike so zelo pomembne. Model preferenc, usposobljen na parnih podatkih, ne more neposredno izpisati absolutnih vrednosti brez dodatnih korakov kalibracije. Nasprotno pa vsiljevanje neposrednega napovedovanja v naloge razvrščanja pogosto ne dosega rezultatov kot modeli, ki so izvorno usposobljeni na podatkih o preferencah.
Modeliranje preferenc je uporabno le za sisteme priporočil.
Medtem ko so priporočilni sistemi popularizirali te metode, modeliranje preferenc zdaj spodbuja RLHF v jezikovnih modelih, razvrščanju zdravstvenih tretmajev in celo robotiki. Paradigma sega daleč preko priporočil izdelkov na katero koli področje, kjer relativne presoje zajemajo pomembno strukturo.
Neposredno napovedovanje sploh ne more ustvariti uvrstitev.
Vsak model neposrednega napovedovanja lahko ustvari uvrstitve z individualnim točkovanjem elementov in razvrščanjem. Vendar pa ta posredni pristop pogosto ne dosega rezultatov kot modeli, ki so bili neposredno usposobljeni na podlagi podatkov o preferencah, zlasti kadar so absolutne vrednosti šumne ali kadar naloga razvrščanja vključuje subtilne razlike.
Modeliranje preferenc zahteva več podatkov kot neposredno napovedovanje.
Pogosto velja ravno nasprotno. Ljudje lažje in bolj dosledno sprejemajo primerjalne presoje kot absolutne ocene, kar pomeni, da je podatke o preferencah mogoče zbrati hitreje z manj šuma na presojo. Skupna obremenitev z opombami pogosto daje prednost preferenčnim pristopom pri subjektivnih nalogah.
RLHF uporablja čisto modeliranje preferenc brez kakršne koli neposredne komponente napovedovanja.
Sodobni cevovodi RLHF dejansko združujejo obe paradigmi. Model preferenc (model nagrajevanja) zagotavlja signal za razvrščanje, vendar je osnovni jezikovni model običajno predhodno naučen z uporabo neposrednega napovedovanja (napovedovanje naslednjega žetona). Končni sistem je hibridna, ne pa čista arhitektura preferenc.
Modeliranje preferenc izberite, kadar so relativne presoje naravne, absolutne oznake so drage ali nemogoče ali kadar sisteme usklajujete s človeškimi vrednotami. Neposredno napovedovanje ostaja boljše, kadar so pomembne natančne kvantitativne ocene, kadar obstaja resnična resnica ali kadar nadaljnje odločitve zahtevajo kalibrirane verjetnosti. Mnogi proizvodni sistemi zdaj hibridizirajo oba pristopa.
A/B testiranje pri izdajah vsebin vključuje uvajanje različic za različne segmente občinstva in merjenje uspešnosti, medtem ko enkratne izdaje vsebin hkrati vsem ponudijo eno različico. Vsak pristop ustreza različnim ciljem, pri čemer A/B testiranje daje prednost optimizaciji, ki temelji na podatkih, enkratne izdaje pa dajejo prednost hitrosti in preprostosti.
A/B testiranje pri streženju modelov usmerja promet med konkurenčnimi različicami modelov za merjenje učinkovitosti v resničnem svetu, medtem ko uvedba enega modela vsem uporabnikom dostavi en model. Ekipe izbirajo med njimi glede na toleranco tveganja, količino prometa in potrebo po statistični potrditvi pred popolno uvedbo.
Agenti umetne inteligence so avtonomni, ciljno usmerjeni sistemi, ki lahko načrtujejo, sklepajo in izvajajo naloge v različnih orodjih, medtem ko tradicionalne spletne aplikacije sledijo fiksnim delovnim procesom, ki jih vodijo uporabniki. Primerjava poudarja premik od statičnih vmesnikov k prilagodljivim, kontekstualno ozaveščenim sistemom, ki lahko proaktivno pomagajo uporabnikom, avtomatizirajo odločitve in dinamično komunicirajo med več storitvami.
Ta arhitekturna primerjava primerja deterministično inženirstvo agentov, ki temeljijo na pravilih, s prilagodljivo naravo učnih agentov, ki temeljijo na podatkih, ter ocenjuje njihovo uporabnost v resničnem svetu, omejitve skaliranja in delovanje v negotovosti.
Agentni sistemi umetne inteligence lahko načrtujejo, izvajajo večstopenjske naloge in avtonomno komunicirajo z zunanjimi orodji, medtem ko tradicionalni klepetalni roboti LLM primarno ustvarjajo besedilne odgovore v enem samem pogovornem koraku. Ključna razlika je v agenciji: agentni sistemi delujejo na podlagi ciljev, medtem ko klepetalni roboti reagirajo na pozive.
