Párové preferenčné učenie trénuje modely priamym porovnaním dvoch položiek s cieľom určiť, ktorá je preferovaná, zatiaľ čo modely absolútneho hodnotenia hodnotia položky nezávisle pomocou pevných hodnotiacich stupníc. Oba prístupy posilňujú systémy odporúčaní, hodnotenie vyhľadávania a zosúladenie ľudských preferencií v systémoch umelej inteligencie, ale zásadne sa líšia v tom, ako zachytávajú a reprezentujú ľudský úsudok.
Tréningový prístup, ktorý sa učí z relatívnych porovnaní medzi pármi položiek, a nie z individuálnych hodnotení.
Modely, ktoré priraďujú nezávislé číselné skóre položkám pomocou konzistentných hodnotiacich kritérií.
| Funkcia | Párové preferenčné učenie | Modely absolútneho bodovania |
|---|---|---|
| Základný mechanizmus | Porovnajte dve položky a zistite relatívne preferencie | Priraďte každej položke nezávislé skóre |
| Požiadavky na mierku | Postačujúca ordinálna alebo binárna preferencia | Vyžaduje kalibrovanú intervalovú alebo pomerovú stupnicu |
| Konzistentnosť hodnotiteľov | Toleruje individuálne odchýlky v mierke | Predpokladá jednotnú interpretáciu mierky |
| Predpoklad tranzitívnosti | Explicitne modeluje alebo testuje tranzitivitu | Implicitne predpokladá tranzitivitu |
| Výpočtové náklady | Vyššia (kvadratická v počte položiek) | Nižšia (lineárne v počte položiek) |
| Ľudské úsilie | Je potrebných viac porovnaní, ale každé z nich je jednoduchšie. | Je potrebných menej hodnotení, ale každé z nich je ťažšie |
| Interpretovateľnosť výstupu | Poradie a pravdepodobnosti | Priame numerické skóre |
| Najlepší prípad použitia | Subjektívne preferencie, estetika, kvalita | Objektívne atribúty, jasné kritériá |
Párové preferenčné učenie vníma úsudok ako zásadne porovnávací. Keď sa niekoho opýtate, či by uprednostnil dovolenku A alebo dovolenku B, zvyčajne vie odpovedať s istotou. Ak ho požiadate, aby ohodnotil každú dovolenku na stupnici od 1 do 10, dostanete nekonzistentné výsledky. Modely absolútneho hodnotenia naopak predpokladajú, že dokážeme vytvoriť univerzálne kritériá, ktoré každý interpretuje rovnako. Toto filozofické rozdelenie formuje každé následné rozhodnutie v návrhu systému.
Zhromažďovanie párových preferencií sa anotátorom často zdá jednoduchšie. Kliknutie na „vľavo je lepšie“ vyžaduje menšiu kognitívnu záťaž ako priradenie presných číselných hodnôt. Na vytvorenie úplného poradia však potrebujete podstatne viac párových označení. Absolútne bodovanie umožňuje agregovať riedke údaje – ak desať ľudí ohodnotí film 7/10, máte zmysluplný signál. Pri párovom porovnávaní chýbajúce porovnania vytvárajú medzery v grafe poradia, ktoré je potrebné odvodiť.
Párové metódy súvisia s teóriou sociálnej voľby a algoritmami na hodnotenie turnajov. Systém hodnotenia Elo v šachu prekladá výsledky párových hier do spojitých skóre. Absolútne bodovanie pochádza z klasickej teórie testov a teórie položkových odpovedí, kde sa latentné znaky odhadujú z pozorovaných odpovedí. Moderné neurónové prístupy, ako napríklad model Bradleyho-Terryho s hlbokým vnorením, spájajú obe tradície.
GPT-4 od OpenAI a Claude od Anthropic sa počas trénovania RLHF vo veľkej miere spoliehajú na párové ľudské preferencie. Ľudskí anotátori porovnávajú výstupy modelu a údaje o preferenciách dolaďujú modely odmien. Netflix historicky používal hviezdičkové hodnotenia (absolútne), ale prešiel na palec hore/dole (v skutočnosti párové) po zistení, že druhé generuje spoľahlivejšie signály. Poradie vo Vyhľadávaní Google kombinuje oboje: absolútne známky relevantnosti pre páry dopyt-dokument a experimenty s párovým prekladaním pre živé vyhodnotenie.
Absolútne skóre sa zrúti, keď hodnotitelia používajú škály odlišne – 5/10 jednej osoby sa môže rovnať 7/10 inej. Párové metódy sú imúnne voči tomuto problému monotónneho škálovania, ale sú zraniteľné voči intranzitívnym preferenciám. Ak A porazí B, B porazí C, ale C porazí A, model musí tento cyklus vyriešiť. Skutočné ľudské preferencie často porušujú tranzitívnosť, čo vytvára skutočné filozofické a praktické výzvy pre oba prístupy.
Sofistikované systémy čoraz častejšie kombinujú obe paradigmy. Absolútne skóre poskytujú kotvy; párové porovnania spresňujú poradie. Niektoré platformy zhromažďujú absolútne hodnotenia, ale párové modely trénujú dynamickým generovaním porovnávacích párov z distribúcie hodnotení. Táto hybridná stratégia sa snaží zachytiť efektívnosť absolútneho zhromažďovania s robustnosťou párového učenia.
Párové metódy vždy potrebujú viac údajov ako absolútne bodovanie.
Zatiaľ čo počet párových porovnaní rastie kvadraticky, každá anotácia je rýchlejšia a spoľahlivejšia. Štúdie v oblasti crowdsourcingu ukazujú, že pri rovnakých cieľoch presnosti celkový čas anotácie často uprednostňuje párové metódy. Efektivita silne závisí od stratégií aktívneho učenia, ktoré vyberajú maximálne informatívne páry.
Absolútne skóre je lepšie interpretovateľné, pretože sú to čísla.
Hodnotenie „7 z 10“ sa zdá byť konkrétne, ale jeho význam sa dramaticky mení v závislosti od kultúry, kontextu a individuálnej nálady. Výskum inflácie hodnotení ukazuje, že používatelia Netflixu, ktorí predtým udeľovali 3 hviezdičky, teraz dávajú palec hore za identický obsah. Párové hodnotenia sa často stabilnejšie premietajú do skutočného správania používateľov.
Absolútne skóre môžete triviálne previesť na párové poradie.
Jednoduché porovnanie skóre ignoruje neistotu a istotu. Dve položky s hodnotením 7,0 a 7,1 môžu byť štatisticky nerozlíšiteľné, no naivná konverzia si vynúti zoradenie. Správna konverzia vyžaduje modelovanie rozptylu hodnotenia, čo opäť zavádza zložitosť, ktorú párové metódy natívne riešia.
Ľudské preferencie sú prirodzene tranzitívne.
Psychologický výskum opakovane preukazuje intranzitivitu v reálnych preferenciách. Ľudia môžu uprednostňovať väčšiu pizzu kvôli cene, strednú kvôli pohodliu, ale malú kvôli zdraviu – čo vytvára cykly. Oba modelovacie prístupy musia túto realitu zohľadniť alebo predpokladať úplne, pričom párové metódy majú na to explicitnejšie nástroje.
Párové metódy fungujú iba pre binárne preferencie.
Moderné párové rámce spracovávajú stupňované preferencie, čiastočné poradia a dokonca aj viacaspektové porovnania. Označenie „párové“ sa vzťahuje na štruktúru porovnávania, nie na formát odpovede. Anotátori môžu v rámci párových rámcov vyjadriť silu preferencie, neistotu alebo viacrozmerné úsudky.
Pri zachytávaní subjektívneho ľudského úsudku – kvality odporúčaní, užitočnosti obsahu alebo estetických preferencií – kde sa jednotlivé stupnice nepredvídateľne líšia, zvoľte párové preferenčné učenie. Pri hodnotení objektívnych, dobre definovaných atribútov so stabilnými kritériami alebo keď potrebujete aritmetické operácie na výstupoch, zvoľte absolútne bodovanie. Mnohé produkčné systémy teraz kombinujú oboje: absolútne hodnotenia pre hrubé filtrovanie a párové spresňovanie pre konečné hodnotenie.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
