Mësimi i preferencave në çifte trajnon modelet duke krahasuar dy artikuj drejtpërdrejt për të përcaktuar se cili është i preferuar, ndërsa modelet e vlerësimit absolut vlerësojnë artikujt në mënyrë të pavarur duke përdorur shkallë fikse vlerësimi. Të dyja qasjet i qasen sistemeve të rekomandimit të fuqisë, renditjes së kërkimit dhe shtrirjes së preferencave njerëzore në sistemet e IA-së, por ato ndryshojnë thelbësisht në mënyrën se si kapin dhe përfaqësojnë gjykimin njerëzor.
Qasje trajnimi që mëson nga krahasimet relative midis çifteve të artikujve në vend të vlerësimeve individuale.
Modele që u caktojnë rezultate numerike të pavarura artikujve duke përdorur kritere të qëndrueshme vlerësimi.
| Veçori | Mësimi me Preferencë në Çifte | Modelet Absolute të Vlerësimit |
|---|---|---|
| Mekanizmi thelbësor | Krahasoni dy artikuj, mësoni preferencën relative | Cakto një pikë të pavarur për secilin artikull |
| Kërkesat e Shkallës | Preferencë ordinale ose binare e mjaftueshme | Kërkon shkallë të kalibruar të intervalit ose raportit |
| Konsistenca e Vlerësuesit | Toleron ndryshimin individual të shkallës | Supozon interpretim uniform të shkallës |
| Supozimi i Tranzitivitetit | Modele ose teste të qarta për kalimtari | Në mënyrë implicite supozon kalimtari |
| Kostoja llogaritëse | Më i lartë (kuadratik në numrin e artikujve) | Më i ulët (linear në numrin e artikujve) |
| Përpjekje njerëzore | Nevojiten më shumë krahasime, por secila është më e lehtë | Nevojiten më pak vlerësime, por secila është më e vështirë |
| Interpretueshmëria e rezultateve | Renditjet dhe probabilitetet | Rezultatet numerike direkte |
| Rasti më i mirë i përdorimit | Preferencat subjektive, estetika, cilësia | Atribute objektive, kritere të qarta |
Mësimi i preferencës në çifte e trajton gjykimin si thelbësisht krahasues. Kur e pyet dikë nëse do të preferonte pushimet A apo pushimet B, ai zakonisht mund të përgjigjet me besim. Kërkojuni atyre të vlerësojnë secilën pushim në një shkallë nga 1 deri në 10 dhe do të merrni rezultate jokonsistente. Modelet absolute të vlerësimit, në të kundërt, supozojnë se ne mund të ndërtojmë kritere universale që të gjithë i interpretojnë në mënyrë identike. Kjo ndarje filozofike formëson çdo vendim në hartimin e sistemit.
Mbledhja e preferencave në çifte shpesh duket më e lehtë për shënuesit. Klikimi 'majtas është më mirë' kërkon më pak ngarkesë njohëse sesa caktimi i vlerave numerike të sakta. Megjithatë, ju nevojiten shumë më tepër etiketa në çifte për të krijuar një renditje të plotë. Vlerësimi absolut ju lejon të grumbulloni të dhëna të rralla - nëse dhjetë persona e vlerësojnë një film 7/10, ju keni një sinjal kuptimplotë. Me krahasimet në çifte, krahasimet që mungojnë krijojnë boshllëqe në grafikun tuaj të renditjes që duhet të nxirren.
Metodat në çift lidhen me teorinë e zgjedhjes sociale dhe algoritmet e renditjes së turneve. Sistemi i vlerësimit Elo në shah përkthen rezultatet e lojës në çifte në rezultate të vazhdueshme. Rezultati absolut rrjedh nga teoria klasike e testit dhe teoria e përgjigjes së sendeve, ku tiparet latente vlerësohen nga përgjigjet e vëzhguara. Qasjet moderne nervore si modeli Bradley-Terry me ngulitje të thella përziejnë të dy traditat.
GPT-4 i OpenAI dhe Claude i Anthropic mbështeten shumë në preferencat njerëzore në çifte gjatë trajnimit RLHF. Anotuesit njerëzorë krahasojnë rezultatet e modelit dhe të dhënat e preferencave i përsosin modelet e shpërblimit. Netflix historikisht ka përdorur vlerësime me yje (absolute), por është zhvendosur në vlerësime me gishtin e madh lart/poshtë (në mënyrë efektive në çifte) pasi ka zbuluar se kjo e fundit gjeneronte sinjale më të besueshme. Renditja e Kërkimit në Google kombinon të dyja: notat absolute të rëndësisë për çiftet pyetje-dokument, plus eksperimentet e ndërthurjes në çifte për vlerësim të drejtpërdrejtë.
Vlerësimi absolut bie kur vlerësuesit përdorin shkallët ndryshe - 5/10 e një personi mund të jetë i barabartë me 7/10 e një tjetri. Metodat në çifte janë imune ndaj këtij problemi të shkallëzimit monoton, por të ndjeshme ndaj preferencave jokalimtare. Nëse A e tejkalon B-në, B e tejkalon C-në, megjithatë C e tejkalon A-në, modeli duhet ta zgjidhë këtë cikël. Preferencat e vërteta njerëzore shpesh shkelin kalimtarësinë, duke krijuar sfida të vërteta filozofike dhe praktike për të dyja qasjet.
Sistemet e sofistikuara i kombinojnë gjithnjë e më shumë të dy paradigmat. Rezultatet absolute ofrojnë spiranca; krahasimet në çifte përsosin renditjen. Disa platforma mbledhin vlerësime absolute, por trajnojnë modele në çifte duke gjeneruar dinamikisht çifte krahasimi nga shpërndarja e vlerësimeve. Kjo strategji hibride përpiqet të kapë efikasitetin e mbledhjes absolute me qëndrueshmërinë e të mësuarit në çifte.
Metodat në çifte gjithmonë kanë nevojë për më shumë të dhëna sesa vlerësimi absolut.
Ndërsa numërimi i krahasimeve në çifte rritet në mënyrë kuadratike, çdo shënim është më i shpejtë dhe më i besueshëm. Studimet në crowdsourcing tregojnë se për objektiva saktësie ekuivalente, koha totale e shënimeve shpesh favorizon metodat në çifte. Efikasiteti varet shumë nga strategjitë aktive të të nxënit që zgjedhin çifte sa më informuese të jetë e mundur.
Rezultatet absolute janë më të interpretueshme sepse janë numra.
Një '7 nga 10' duket konkret, por kuptimi i tij ndryshon në mënyrë dramatike në kultura, kontekste dhe gjendje shpirtërore individuale. Hulumtimet mbi inflacionin e vlerësimit tregojnë se përdoruesit e Netflix që më parë jepnin 3 yje tani japin vlerësim pozitiv për përmbajtje identike. Renditjet në çifte shpesh përkthehen më qëndrueshëm në sjelljen reale të përdoruesit.
Ju mund t'i konvertoni rezultatet absolute në renditje në çifte në mënyrë të thjeshtë.
Krahasimi i thjeshtë i pikëve injoron pasigurinë dhe besimin. Dy artikuj të vlerësuar me 7.0 dhe 7.1 mund të jenë statistikisht të padallueshëm, megjithatë konvertimi naiv detyron një renditje. Konvertimi i duhur kërkon modelimin e variancës së vlerësimit, i cili riprezanton kompleksitetin që metodat në çifte trajtojnë në mënyrë native.
Preferencat njerëzore janë natyrshëm kalimtare.
Hulumtimet psikologjike tregojnë vazhdimisht paqëndrueshmëri në preferencat reale. Njerëzit mund të preferojnë pica më të mëdha për çmimin, të mesme për komoditetin, por të vogla për shëndetin - duke krijuar cikle. Të dyja qasjet e modelimit duhet ta trajtojnë ose ta lënë mënjanë këtë realitet, me metodat në çifte që kanë mjete më të qarta për ta bërë këtë.
Metodat në çift funksionojnë vetëm për preferencat binare.
Kornizat moderne në çift trajtojnë preferenca të graduara, renditje të pjesshme dhe madje edhe krahasime shumë-aspektesh. Etiketa 'në çift' i referohet strukturës së krahasimit, jo formatit të përgjigjes. Annotuesit mund të shprehin forcën e preferencës, pasigurinë ose gjykimet shumë-dimensionale brenda kornizave në çift.
Zgjidhni të mësuarit e preferencave në çifte kur kapni gjykimin subjektiv njerëzor - cilësinë e rekomandimeve, dobinë e përmbajtjes ose preferencën estetike - ku shkallët individuale ndryshojnë në mënyrë të paparashikueshme. Zgjidhni pikëzimin absolut kur vlerësoni atributet objektive, të përcaktuara mirë me kritere të qëndrueshme, ose kur keni nevojë për operacione aritmetike në rezultate. Shumë sisteme prodhimi tani i përziejnë të dyja: vlerësimet absolute për filtrim të trashë, rafinimin në çifte për renditjen përfundimtare.
Agregimi i preferencave kombinon preferenca të shumta individuale në vendime kolektive, ndërsa modelimi i parashikimit individual parashikon sjelljen personale duke përdorur të mësuarit automatik në të dhënat e një përdoruesi të vetëm. Të dyja shërbejnë për qëllime të dallueshme në sistemet e inteligjencës artificiale, nga motorët e rekomandimeve deri te platformat demokratike të votimit.
Ky krahasim arkitektonik vë në kontrast inxhinierinë deterministe të Agjentëve të Bazuar në Rregulla me natyrën adaptive të të dhënave të Agjentëve të Bazuar në Mësim, duke vlerësuar zbatueshmërinë e tyre në botën reale, kufijtë e shkallëzimit dhe performancën në kushte pasigurie.
Ky udhëzues i detajuar shqyrton ndryshimet strukturore dhe operacionale midis agjentëve autonomë dhe sistemeve të automatizimit të skriptuar. Ndërsa mjetet e skriptuara ofrojnë parashikueshmëri të pakrahasueshme për rrjedha pune të ngurta dhe përsëritëse, agjentët inteligjentë modernë shfrytëzojnë arsyetimin kognitiv për të lundruar në mënyrë të pavarur në të dhëna të ndryshueshme, pengesa teknike të papritura dhe peizazhe të dhënash shumë komplekse dhe të pastrukturuara.
Agjentët autonomë të IA-së veprojnë në mënyrë të pavarur duke planifikuar, arsyetuar dhe ekzekutuar detyra shumë-hapëshe me ndërhyrje minimale njerëzore, ndërsa sistemet e IA-së të bazuara në shpejtësi u përgjigjen udhëzimeve individuale të përdoruesit, një ndërveprim në të njëjtën kohë. Dallimi kryesor qëndron në agjenci: agjentët ndjekin qëllimet nëpër seanca, ndërsa sistemet e shpejtësisë presin për drejtim.
Agjentët bisedorë përqendrohen në dialogun natyror dhe ndërveprimet e bazuara në tekst, ndërsa agjentët që përdorin mjete zgjerojnë aftësitë e IA-së duke thirrur funksione dhe API të jashtme. Të dy përfaqësojnë qasje të dallueshme ndaj sistemeve autonome të IA-së, me modelet bisedore që shkëlqejnë në komunikim dhe agjentët që përdorin mjete të specializuar në ekzekutimin e detyrave në botën reale.
