Modelovanie preferencií sa učí relatívne poradie a voľby medzi alternatívami, zatiaľ čo modelovanie priamej predikcie odhaduje absolútne výsledky zo vstupných prvkov. Tieto dve paradigmy umelej inteligencie sa zásadne líšia v tom, ako reprezentujú rozhodovanie, pričom modely preferencií vynikajú v zachytávaní ľudského úsudku a modely priamej predikcie optimalizujú bodové odhady.
Učí sa relatívne poradie a párové preferencie medzi možnosťami, a nie absolútne hodnoty.
Predpovedá absolútne cieľové hodnoty alebo klasifikácie priamo zo vstupných prvkov pomocou riadeného učenia.
| Funkcia | Modelovanie preferencií | Priame predikčné modelovanie |
|---|---|---|
| Hlavný cieľ | Zistite relatívne poradie medzi položkami | Predpovedať absolútne výstupné hodnoty |
| Formát tréningových údajov | Párové porovnania, poradia alebo údaje o výbere | Označené vstupno-výstupné páry so základnou pravdou |
| Stratová funkcia | Strata párov, strata pántu alebo strata poradia (napr. BPR, RankNet) | MSE, MAE, krížová entropia alebo Huberova strata |
| Interpretácia výstupu | Skóre alebo pravdepodobnosť, že položka A bola uprednostnená pred položkou B | Bodový odhad alebo rozdelenie pravdepodobnosti v rámci tried |
| Typické aplikácie | Odporúčanie, poradie vo vyhľadávaní, RLHF, conjoint analýza | Predpovedanie, diagnostika, rozpoznávanie obrazov, regresné úlohy |
| Požiadavky na kalibráciu | Často je potrebná kalibrácia na mapovanie na absolútne pravdepodobnosti | Prirodzene vytvára kalibrované pravdepodobnosti so správnym bodovaním |
| Efektívnosť dát | Často efektívnejšie pre subjektívne úsudky; ľudia porovnávajú veci ľahšie ako porovnávajú absolútne hodnotenia. | Vyžaduje explicitné označenia; môže byť dátovo náročné pre zriedkavé udalosti |
Modelovanie preferencií sa v zásade pýta „čo je lepšie?“ namiesto „aká je hodnota?“. Táto zmena mení všetko v tom, ako modely prijímajú informácie. Priama predikcia sa zameriava na označenia základnej pravdy, zatiaľ čo modelovanie preferencií sa zameriava na konzistentnosť v relatívnom úsudku. V praxi to znamená, že model preferencií nikdy nemusí poznať absolútnu kvalitu filmu, ale spoľahlivo vie, že používatelia uprednostňujú Krstného otca pred Giglim.
Ľudia majú problém s konzistentným priraďovaním absolútnych skóre. Požiadajte niekoho, aby ohodnotil reštauráciu 1 až 5 hviezdičkami, a dostanete šum. Požiadajte ho, aby si vybral medzi dvoma reštauráciami, a signál sa dramaticky zvýši. Modelovanie preferencií využíva túto kognitívnu zvláštnosť. Priama predikcia vyžaduje drahšie, často hlučnejšie absolútne označenia, hoci nedávna práca ukazuje, že syntetické údaje o preferenciách môžu tento rozdiel zmenšiť.
Modely priamej predikcie typicky posielajú funkcie cez štandardné architektúry smerom k jednej výstupnej hlave. Preferenčné modely často používajú duálne kodéry alebo siamské architektúry, ktoré spracovávajú páry spoločne, hoci moderné implementácie čoraz častejšie používajú jednotlivé modely so špeciálnym navádzaním. Bradley-Terryho model a jeho neurónové varianty vytvárajú implicitné úžitkové funkcie, ktoré generujú poradie, čo je štrukturálny rozdiel bez priameho predikčného analógu.
Priama predikcia závisí od presnosti, RMSE alebo F1 – dosiahli sme cieľ? Modelovanie preferencií hovorí Kendallovým tau, NDCG a párovou presnosťou. Tieto metriky zachytávajú rôzne spôsoby zlyhania. Model priamej predikcie s vynikajúcim RMSE môže stále zle hodnotiť alternatívy, zatiaľ čo model preferencií s dokonalým hodnotením neodhalí nič o absolútnych magnitúdach.
Revolúcia RLHF v jazykových modeloch postavila modelovanie preferencií do centra pozornosti. Priama predikcia nedokáže ľahko zachytiť „užitočné a neškodné“ ako cieľ – neexistuje žiadne označenie základnej pravdy. Modelovanie preferencií naopak vyvoláva ľudské úsudky o tom, ktorá reakcia je lepšia, čo umožňuje zosúladenie hodnôt bez explicitnej špecifikácie hodnoty. Toto rozlíšenie formuje súčasné trajektórie výskumu bezpečnosti umelej inteligencie.
Modelovanie preferencií a priama predikcia sú pre väčšinu úloh zameniteľné.
Štrukturálne rozdiely sú veľmi dôležité. Preferenčný model trénovaný na párových dátach nemôže priamo generovať absolútne hodnoty bez dodatočných kalibračných krokov. Naopak, vynucovanie priamej predikcie do úloh hodnotenia často zaostáva za modelmi trénovanými natívne na preferenčných dátach.
Modelovanie preferencií je užitočné iba pre odporúčacie systémy.
Zatiaľ čo odporúčacie systémy spopularizovali tieto metódy, modelovanie preferencií teraz poháňa RLHF v jazykových modeloch, hodnotení lekárskych ošetrení a dokonca aj v robotike. Táto paradigma siaha ďaleko za rámec odporúčaní produktov do akejkoľvek oblasti, kde relatívne úsudky zachytávajú dôležitú štruktúru.
Priama predikcia vôbec nemôže viesť k hodnoteniu.
Akýkoľvek model priamej predikcie dokáže generovať poradie individuálnym hodnotením položiek a ich triedením. Tento nepriamy prístup však často zaostáva za modelmi trénovanými priamo na preferenčných údajoch, najmä keď sú absolútne hodnoty zašumené alebo keď úloha poradia zahŕňa jemné rozdiely.
Modelovanie preferencií vyžaduje viac údajov ako priama predikcia.
Často platí opak. Ľudia považujú porovnávacie úsudky za jednoduchšie a konzistentnejšie ako absolútne hodnotenia, čo znamená, že údaje o preferenciách sa dajú zhromažďovať rýchlejšie s menším šumom na úsudok. Celková záťaž anotácií často uprednostňuje preferenčné prístupy pri subjektívnych úlohách.
RLHF používa čisté preferenčné modelovanie bez akejkoľvek priamej predikčnej zložky.
Moderné RLHF kanály v skutočnosti kombinujú obe paradigmy. Preferenčný model (model odmeňovania) poskytuje signál poradia, ale podkladový jazykový model je zvyčajne predtrénovaný pomocou priamej predikcie (predikcia ďalšieho tokenu). Výsledný systém je hybridná, nie čisto preferenčná architektúra.
Modelovanie preferencií zvoľte vtedy, keď sú relatívne úsudky prirodzené, absolútne označenia sú drahé alebo nemožné, alebo keď zosúlaďujete systémy s ľudskými hodnotami. Priama predikcia zostáva lepšia, keď sú dôležité presné kvantitatívne odhady, existuje základná pravda alebo keď následné rozhodnutia vyžadujú kalibrované pravdepodobnosti. Mnohé produkčné systémy teraz hybridizujú oba prístupy.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
