Eelistuste modelleerimine õpib alternatiivide suhtelist järjestust ja valikuid, samas kui otsese ennustuse modelleerimine hindab sisendtunnuste põhjal absoluutseid tulemusi. Need kaks tehisintellekti paradigmat erinevad põhimõtteliselt selle poolest, kuidas nad otsustusprotsessi esindavad, kusjuures eelistusmudelid on suurepärased inimhinnangute jäädvustamisel ja otsese ennustuse mudelid optimeerivad punkthinnangute saamiseks.
Õpib valikute suhtelist järjestust ja paarikaupa eelistusi absoluutväärtuste asemel.
Ennustab absoluutseid sihtväärtusi või klassifikatsioone otse sisendtunnuste põhjal, kasutades juhendatud õppimist.
| Funktsioon | Eelistuste modelleerimine | Otsese ennustamise modelleerimine |
|---|---|---|
| Põhieesmärk | Siit saad teada üksuste suhtelise paremusjärjestuse | Ennustage absoluutseid väljundväärtusi |
| Treeningandmete vorming | Paaripõhised võrdlused, edetabelid või valikuandmed | Märgistatud sisend-väljundpaarid koos tõepärasusega |
| Kaotusfunktsioon | Paarikaupa kaotus, hingekaotus või edetabelikaotus (nt BPR, RankNet) | MSE, MAE, rist-entroopia või Huberi kadu |
| Väljundi tõlgendus | Skoor või tõenäosus, et üksus A on eelistatud B-le | Punkthinnang või tõenäosusjaotus klasside lõikes |
| Tüüpilised rakendused | Soovitus, otsingu paremusjärjestus, RLHF, konjointanalüüs | Prognoosimine, diagnoosimine, pildituvastus, regressiooniülesanded |
| Kalibreerimisnõuded | Absoluutsete tõenäosuste kaardistamiseks on sageli vaja kalibreerimist | Loomulikult tekitab kalibreeritud tõenäosused õige punktisummaga |
| Andmete tõhusus | Subjektiivsete hinnangute puhul on see sageli tõhusam; inimestel on võrdlused lihtsamad kui absoluutsed hinnangud | Nõuab selgesõnalisi silte; haruldaste sündmuste korral võib see olla andmemahukas |
Eelistuste modelleerimine küsib põhimõtteliselt küsimust „kumb on parem?“, mitte „milline on väärtus“. See nihe muudab kõike selles, kuidas mudelid infot sisestavad. Otsene ennustamine ajab taga tõesuse silte, samas kui eelistuste modelleerimine ajab taga suhtelise hinnangu järjepidevust. Praktikas tähendab see, et eelistuste mudel ei pruugi kunagi teada filmi absoluutset kvaliteeti, kuid see teab usaldusväärselt, et kasutajad eelistavad filmi „Ristiisa“ Giglile.
Inimestel on raskusi absoluutsete hinnete järjepideva määramisega. Kui paluge kellelgi restorani hinnata 1–5 tärniga, saate müra. Kui paluge neil valida kahe restorani vahel, teravneb signaal dramaatiliselt. Eelistuste modelleerimine kasutab seda kognitiivset iseärasust ära. Otsene ennustamine nõuab kallimaid ja sageli mürasemaid absoluutseid hindeid, kuigi hiljutised uuringud näitavad, et sünteetilised eelistusandmed võivad seda lõhet vähendada.
Otsese ennustuse mudelid edastavad tunnuseid tavaliselt standardsete arhitektuuride kaudu ühele väljundpeale. Eelistusmudelid kasutavad sageli kahekordseid kodeerijaid või Siiami arhitektuure, mis töötlevad paare ühiselt, kuigi tänapäevased rakendused kasutavad üha enam üksikuid mudeleid spetsiaalse viipaga. Bradley-Terry mudel ja selle neuraalsed variandid loovad implitsiitseid kasulikke funktsioone, mis genereerivad järjestusi – struktuuriline erinevus, millel puudub otsene ennustuse analoog.
Otsene ennustus elab ja sureb täpsuse, RMSE või F1 järgi – kas me tabasime sihtmärgi? Eelistuste modelleerimine räägib Kendalli tau, NDCG ja paarikaupa täpsuse kaudu. Need mõõdikud tabavad erinevaid rikkeid. Suurepärase RMSE-ga otsene ennustusmudel võib siiski alternatiive halvasti reastada, samas kui täiusliku järjestusastmega eelistusmudel ei näita absoluutsete suuruste kohta midagi.
Keelemudelite RLHF-revolutsioon tõi eelistuste modelleerimise rambivalgusesse. Otsene ennustamine ei saa kergesti tabada sihtmärgina „kasulikku ja kahjutut” – puudub kindel tõesuse silt. Eelistuste modelleerimine seevastu kutsub esile inimeste hinnanguid selle kohta, milline vastus on parem, võimaldades väärtuste ühtlustamist ilma selgesõnalise väärtusspetsifikatsioonita. See eristamine kujundab praeguseid tehisintellekti ohutusalaste uuringute trajektoore.
Eelistuste modelleerimine ja otsene ennustamine on enamiku ülesannete puhul omavahel asendatavad.
Struktuurilised erinevused on väga olulised. Paaripõhiste andmete põhjal treenitud eelistusmudel ei saa absoluutväärtusi otse väljastada ilma täiendavate kalibreerimisetappideta. Seevastu otsese ennustamise sundimine järjestamisülesannetesse annab sageli eelistusandmete põhjal natiivselt treenitud mudelitele halvema tulemuse.
Eelistuste modelleerimine on kasulik ainult soovitussüsteemide puhul.
Kuigi soovitussüsteemid populariseerisid neid meetodeid, juhib eelistuste modelleerimine nüüd RLHF-i keelemudelites, meditsiinilise ravi järjestuses ja isegi robootikas. See paradigma ulatub tootesoovitustest kaugemale igasse valdkonda, kus suhtelised hinnangud hõlmavad olulist struktuuri.
Otsene ennustamine ei saa üldse edetabeleid luua.
Iga otsene ennustusmudel suudab genereerida järjestusi, hinnates üksusi individuaalselt ja sorteerides. See kaudne lähenemisviis annab aga sageli eelistusandmete põhjal otse treenitud mudelitest kehvema tulemuse, eriti kui absoluutväärtused on mürarikkad või kui järjestusülesanne hõlmab peeneid erinevusi.
Eelistuste modelleerimine nõuab rohkem andmeid kui otsene ennustamine.
Sageli kehtib vastupidine. Inimesed leiavad, et võrdlevad hinnangud on absoluutsete hinnangutega võrreldes lihtsamad ja järjepidevamad, mis tähendab, et eelistusandmeid saab koguda kiiremini ja väiksema müraga hinnangute kohta. Kogu annotatsioonikoormus soosib subjektiivsete ülesannete puhul sageli eelistuslähenemisviise.
RLHF kasutab puhast eelistuste modelleerimist ilma otsese ennustuskomponendita.
Kaasaegsed RLHF-torustikud ühendavad tegelikult mõlemad paradigmad. Eelistusmudel (tasustamismudel) annab järjestussignaali, kuid aluseks olev keelemudel on tavaliselt eelnevalt treenitud otsese ennustamise (järgmise märgi ennustamine) abil. Lõplik süsteem on hübriid, mitte puhas eelistuste arhitektuur.
Eelistuste modelleerimine on soovitatav siis, kui suhtelised hinnangud on loomulikud, absoluutsed märgised on kallid või võimatud või kui süsteeme tuleb ühtlustada inimlike väärtustega. Otsene ennustamine on parem, kui täpsed kvantitatiivsed hinnangud on olulised, kui eksisteerib põhitõde või kui järgnevad otsused nõuavad kalibreeritud tõenäosusi. Paljud tootmissüsteemid hübridiseerivad nüüd mõlemat lähenemisviisi.
Mudeliteenuse A/B-testimine suunab liiklust konkureerivate mudeliversioonide vahel, et mõõta reaalset toimivust, samas kui ühe mudeli juurutamine saadab kõigile kasutajatele ühe mudeli. Meeskonnad valivad nende vahel riskitaluvuse, liiklusmahu ja statistilise valideerimise vajaduse alusel enne täielikku juurutamist.
Sisuväljaannete A/B-testimine hõlmab variatsioonide levitamist erinevatele sihtrühmadele ja tulemuslikkuse mõõtmist, samas kui ühekordsed sisuväljaanded suunavad ühe versiooni korraga kõigile. Igal lähenemisviisil on erinevad eesmärgid, kusjuures A/B-testimine eelistab andmepõhist optimeerimist ja ühekordsed väljaanded seavad esikohale kiiruse ja lihtsuse.
See detailne võrdlus uurib adaptiivsete intelligentsete mootorite arhitektuurilisi erinevusi, operatsioonilisi piiranguid ja reaalset jõudlust võrreldes fikseeritud käitumisega automatiseerimissüsteemidega. Vaatleme, kuidas süsteemid, mis pidevalt õpivad uutest keskkonnaandmetest, sobivad kokku jäikade ja ennustatavate reeglipõhiste raamistikega.
Adaptiivne otsing kohandab dünaamiliselt, kuidas ja millist teavet süsteem päringu põhjal hangib, samas kui staatilised otsingukanalid järgivad fikseeritud reegleid olenemata kontekstist. Mõlemad toetavad tänapäevaseid tehisintellekti rakendusi, kuid erinevad oluliselt paindlikkuse, maksumuse ja täpsuse poolest. Nende vahel valimine sõltub töökoormuse keerukusest ja eelarvest.
Agentide koolitamine keskkondades hõlmab õppimist reaalajas simuleeritud või füüsilise keskkonnaga suhtlemise kaudu, samas kui võrguühenduseta andmestiku koolitamine tugineb eelnevalt kogutud andmetele ilma täiendava keskkonnale juurdepääsuta. Mõlemad lähenemisviisid treenivad masinõppe mudeleid, kuid erinevad põhimõtteliselt selle poolest, kuidas agendid kogemusi koguvad ja jõudlust parandavad.
