Pirmenybių modeliavimas mokosi santykinių reitingų ir alternatyvų pasirinkimų, o tiesioginio prognozavimo modeliavimas įvertina absoliučius rezultatus pagal įvesties ypatybes. Šios dvi dirbtinio intelekto paradigmos iš esmės skiriasi tuo, kaip jos reprezentuoja sprendimų priėmimą: pirmenybių modeliai puikiai fiksuoja žmogaus sprendimus, o tiesioginio prognozavimo modeliai optimizuoja taškinius įverčius.
Mokosi santykinių reitingų ir porinių pirmenybių tarp variantų, o ne absoliučių verčių.
Numato absoliučias tikslines vertes arba klasifikacijas tiesiai iš įvesties požymių, naudodamas prižiūrimą mokymąsi.
| Funkcija | Pirmenybių modeliavimas | Tiesioginio prognozavimo modeliavimas |
|---|---|---|
| Pagrindinis tikslas | Sužinokite santykinį elementų reitingą | Numatyti absoliučias išvesties vertes |
| Mokymo duomenų formatas | Poriniai palyginimai, reitingai arba pasirinkimo duomenys | Pažymėtos įvesties-išvesties poros su pagrindine tiesa |
| Praradimo funkcija | Porų praradimas, vyrių praradimas arba reitingavimo praradimas (pvz., BPR, RankNet) | MSE, MAE, kryžminė entropija arba Huberio nuostoliai |
| Išvesties interpretacija | Įvertinimas arba tikimybė, kad A elementas buvo labiau pageidaujamas nei B | Taškinis įvertis arba tikimybių pasiskirstymas pagal klases |
| Tipinės taikymo sritys | Rekomendavimas, paieškos reitingavimas, RLHF, jungtinė analizė | Prognozavimas, diagnostika, vaizdų atpažinimas, regresinės užduotys |
| Kalibravimo reikalavimai | Dažnai reikia kalibravimo, kad būtų galima susieti su absoliučiomis tikimybėmis | Natūraliai sukuria kalibruotas tikimybes su tinkamu balų skaičiavimu |
| Duomenų efektyvumas | Dažnai efektyviau subjektyviems sprendimams; žmonėms lyginti lengviau nei absoliučius įvertinimus | Reikalingos aiškios etiketės; retų įvykių atveju gali būti daug duomenų |
Pirmenybių modeliavimas iš esmės klausia „kuris geresnis?“, o ne „kokia vertė?“. Šis pokytis pakeičia viską, kaip modeliai apdoroja informaciją. Tiesioginis prognozavimas siekia pamatinių teisingumo etikečių, o pirmenybių modeliavimas – santykinio vertinimo nuoseklumo. Praktiškai tai reiškia, kad pirmenybių modelis gali niekada nežinoti absoliučios filmo kokybės, tačiau jis patikimai žino, kad vartotojai labiau mėgsta „Krikštatėvį“ nei „Gigli“.
Žmonėms sunku nuosekliai priskirti absoliučius balus. Paprašykite ko nors įvertinti restoraną 1–5 žvaigždutėmis ir gausite triukšmą. Paprašykite jų pasirinkti vieną iš dviejų restoranų ir signalas smarkiai sustiprėja. Pirmenybių modeliavimas išnaudoja šią kognityvinę savybę. Tiesioginis prognozavimas reikalauja brangesnių, dažnai triukšmingesnių absoliučių etikečių, nors naujausi darbai rodo, kad sintetiniai preferencijų duomenys gali sumažinti šį skirtumą.
Tiesioginio prognozavimo modeliai paprastai perduoda funkcijas per standartines architektūras į vieną išvesties galvutę. Pirmenybės modeliuose dažnai naudojami dvigubi kodavimo įrenginiai arba „Siamo“ architektūros, kurios apdoroja poras kartu, nors šiuolaikiniuose įgyvendinimuose vis dažniau naudojami pavieniai modeliai su specialiu raginimu. Bradley-Terry modelis ir jo neuroniniai variantai sukuria netiesiogines naudingumo funkcijas, kurios generuoja reitingus – tai struktūrinis skirtumas, neturintis tiesioginio prognozavimo analogo.
Tiesioginis prognozavimas gyvuoja ir miršta pagal tikslumą, RMSE arba F1 – ar pataikėme į taikinį? Pirmenybių modeliavimas kalba Kendallo tau, NDCG ir porinio tikslumo metodais. Šie rodikliai atspindi skirtingus gedimo režimus. Tiesioginio prognozavimo modelis su puikiu RMSE vis tiek gali prastai reitinguoti alternatyvas, o pirmenybių modelis su idealiu reitingavimu nieko neatskleidžia apie absoliučius dydžius.
RLHF kalbos modelių revoliucija iškėlė pirmenybių modeliavimą į dėmesio centrą. Tiesioginis prognozavimas negali lengvai užfiksuoti „naudingo ir nekenksmingo“ kaip taikinio – nėra jokios pagrindinės tiesos etiketės. Priešingai, pirmenybių modeliavimas iššaukia žmonių sprendimus dėl to, kuris atsakas yra geresnis, todėl galima suderinti vertybes be aiškaus vertybių nurodymo. Šis skirtumas formuoja dabartines dirbtinio intelekto saugumo tyrimų trajektorijas.
Pirmenybių modeliavimas ir tiesioginis prognozavimas daugumai užduočių yra vienodai tinkami.
Struktūriniai skirtumai yra labai svarbūs. Pirmenybių modelis, apmokytas naudojant porinius duomenis, negali tiesiogiai išvesti absoliučių verčių be papildomų kalibravimo žingsnių. Ir atvirkščiai, tiesioginės prognozės priverstinis taikymas reitingavimo užduotims dažnai verčia prasčiau veikti modelius, apmokytus naudojant pirmenybių duomenis.
Pirmenybių modeliavimas naudingas tik rekomendavimo sistemoms.
Nors šiuos metodus išpopuliarino rekomendavimo sistemos, dabar preferencijų modeliavimas skatina RLHF kalbos modeliuose, medicininio gydymo reitingavime ir net robotikoje. Ši paradigma apima daug daugiau nei produktų rekomendacijos ir apima bet kurią sritį, kurioje santykiniai sprendimai atspindi svarbią struktūrą.
Tiesioginis prognozavimas visiškai negali sudaryti reitingų.
Bet kuris tiesioginio prognozavimo modelis gali generuoti reitingus vertindamas elementus atskirai ir rūšiuodamas. Tačiau šis netiesioginis metodas dažnai prastesniais rezultatais pasižymi nei modeliai, apmokyti tiesiogiai su preferencijų duomenimis, ypač kai absoliučios vertės yra triukšmingos arba kai reitingavimo užduotis apima subtilius skirtumus.
Pirmenybių modeliavimui reikia daugiau duomenų nei tiesioginiam prognozavimui.
Dažnai būna priešingai. Žmonėms lyginamieji vertinimai yra lengvesni ir nuoseklesni nei absoliutūs įvertinimai, o tai reiškia, kad pirmenybės duomenis galima surinkti greičiau, o kiekvienam vertinimui tenka mažiau triukšmo. Bendra anotavimo našta dažnai palankesnė pirmenybės metodams subjektyvioms užduotims.
RLHF naudoja gryną preferencijų modeliavimą be jokio tiesioginio prognozavimo komponento.
Šiuolaikiniai RLHF kanalai iš tikrųjų apjungia abi paradigmas. Pirmenybės modelis (atlygio modelis) pateikia reitingavimo signalą, tačiau pagrindinis kalbos modelis paprastai yra iš anksto apmokytas naudojant tiesioginį numatymą (kito žetono numatymas). Galutinė sistema yra hibridinė, o ne gryna pirmenybės architektūra.
Pirmenybių modeliavimą rinkitės, kai santykiniai sprendimai yra natūralūs, absoliučios etiketės yra brangios arba neįmanomos, arba kai sistemas reikia derinti su žmogiškosiomis vertybėmis. Tiesioginis prognozavimas išlieka pranašesnis, kai svarbūs tikslūs kiekybiniai įvertinimai, egzistuoja faktinė tiesa arba kai tolesniems sprendimams reikalingos kalibruotos tikimybės. Daugelyje gamybos sistemų dabar derinami abu šie metodai.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
