pagkatuto ng makinamga sistema ng rekomendasyonfeedback ng taomga algorithm ng pagraranggoartipisyal na katalinuhan
Mga Modelo ng Pairwise Preference Learning vs. Absolute Scoring
Sinasanay ng pairwise preference learning ang mga modelo sa pamamagitan ng direktang paghahambing ng dalawang aytem upang matukoy kung alin ang mas gusto, habang ang mga absolute scoring model ay sinusuri ang mga aytem nang hiwalay gamit ang mga nakapirming rating scale. Parehong nilalapitan ang pagpapalakas ng mga sistema ng rekomendasyon, pagraranggo sa paghahanap, at pag-align ng kagustuhan ng tao sa mga sistema ng AI, ngunit ang mga ito ay may malaking pagkakaiba sa kung paano nila kinukuha at kinakatawan ang paghatol ng tao.
Mga Naka-highlight
Inaalis ng mga pamamaraang pairwise ang mga problema sa pagkakalibrate ng iskala na sumasalot sa mga absolute rating, dahil ang 'A ay mas mahusay kaysa sa B' ay hindi nangangailangan ng ibinahaging pag-unawa sa numero.
Ang absolute scoring ay nagbibigay-daan sa direktang pagsasama-sama at thresholding—napakahalaga para sa mga desisyon sa pag-moderate ng nilalaman na nangangailangan ng malinaw na mga cutoff.
Ang modernong pagkakahanay ng LLM ay pangunahing nakasalalay sa mga kagustuhang pares dahil ang mga taong nagkokomento ay hindi gaanong nagkakasundo kapag direktang naghahambing ng mga output.
Ipinapakita ng sistemang Elo kung paano ang mga resulta ng pares-pares na laro ay maaaring di-tuwirang makabuo ng mga absolute skill rating, na pinagdudugtong ang parehong pamamaraan.
Ano ang Pagkatuto ng Pareswise Preference?
Isang pamamaraan ng pagsasanay na natututo mula sa relatibong paghahambing sa pagitan ng mga pares ng aytem sa halip na mga indibidwal na rating.
Nagmula sa agham kognitibo at saykometrika bago ang pag-aampon sa machine learning
Bumubuo ng pundasyon ng modernong RLHF (Reinforcement Learning from Human Feedback) sa mga sistemang tulad ng ChatGPT at Claude
Ang modelong Bradley-Terry (1952) ay nagbigay ng maagang balangkas matematikal para sa pagsusuri ng pairwise preference
Nangangailangan ng mga paghahambing na O(n²) sa pinakamasamang kaso, bagaman ang aktibong pagkatuto ay makabuluhang binabawasan ito
Nahuhusay sa pagkuha ng mga subhetibong paghatol kung saan ang mga ganap na iskala ay nag-iiba sa bawat indibidwal
Ano ang Mga Modelo ng Absolute Scoring?
Mga modelo na nagtatalaga ng mga independiyenteng numerikal na marka sa mga aytem gamit ang mga pare-parehong pamantayan sa pagbibigay ng rating.
Nakaugat sa klasikal na saykometrika na may mga iskala ng Likert at mga pamantayang metodolohiya sa pagsusulit
Malawakang ginagamit sa pagmo-moderate ng nilalaman, mga sistema ng rating ng produkto, at akademikong pagmamarka
Ang mga star rating sa Amazon, IMDB, at Yelp ay kumakatawan sa mga sikat na implementasyon ng absolute scoring
Karaniwang ipinapalagay ang transitivity at pare-parehong paggamit ng iskala sa lahat ng tagasuri
Paganahin ang mga direktang operasyon sa aritmetika: pag-average, pag-threshold, at pagsasama-sama ng istatistika
Talahanayang Pagkukumpara
Tampok
Pagkatuto ng Pareswise Preference
Mga Modelo ng Absolute Scoring
Pangunahing Mekanismo
Paghambingin ang dalawang aytem, alamin ang relatibong kagustuhan
Magtalaga ng independent score sa bawat aytem
Mga Kinakailangan sa Iskala
Sapat na ordinal o binary na kagustuhan
Nangangailangan ng naka-calibrate na interval o ratio scale
Pagkakapare-pareho ng Tagapag-rate
Tinitiis ang indibidwal na pagkakaiba-iba ng sukat
Ipinapalagay ang pare-parehong interpretasyon ng iskala
Pagpapalagay ng Transitibidad
Malinaw na pagmomodelo o pagsubok para sa transitivity
Ipinapalagay nang hindi direktang transitivity
Gastos sa Pagkalkula
Mas mataas (kuwadrado sa bilang ng item)
Mas mababa (linear sa bilang ng item)
Pagsisikap ng Tao
Kailangan ng mas maraming paghahambing, ngunit mas madali ang bawat isa
Mas kaunting rating ang kailangan, ngunit mas mahirap ang bawat isa
Kakayahang Magbigay-kahulugan sa Output
Mga ranggo at probabilidad
Direktang mga markang numerikal
Pinakamahusay na Kaso ng Paggamit
Mga subhetibong kagustuhan, estetika, kalidad
Mga katangiang obhetibo, malinaw na pamantayan
Detalyadong Paghahambing
Pundamental na Pilosopiya
Ang pairwise preference learning ay itinuturing ang paghatol bilang pangunahing paghahambing. Kapag tinanong mo ang isang tao kung mas gusto nila ang bakasyon A o bakasyon B, kadalasan ay may kumpiyansa silang makakasagot. Hilingin sa kanila na i-rate ang bawat bakasyon sa iskala na 1-10, at makakakuha ka ng hindi pare-parehong mga resulta. Sa kabilang banda, ipinapalagay ng mga absolute scoring model na maaari tayong bumuo ng mga unibersal na pamantayan na pare-pareho ang interpretasyon ng lahat. Ang pilosopikal na paghahati na ito ang humuhubog sa bawat desisyon sa downstream sa disenyo ng sistema.
Pangongolekta at Anotasyon ng Datos
Kadalasang mas magaan para sa mga annotator ang pagkolekta ng mga kagustuhang pares. Ang pag-click sa 'left is better' ay nangangailangan ng mas kaunting cognitive load kaysa sa pagtatalaga ng mga tumpak na numerical value. Gayunpaman, kailangan mo ng mas maraming pairwise label para makapagtatag ng kumpletong ranking. Ang absolute scoring ay nagbibigay-daan sa iyong pagsama-samahin ang sparse data—kung sampung tao ang magbibigay ng rating na 7/10 sa isang pelikula, magkakaroon ka ng makabuluhang signal. Sa pairwise, ang mga nawawalang paghahambing ay lumilikha ng mga puwang sa iyong ranking graph na kailangang mahinuha.
Mga Pundasyon sa Matematika
Ang mga pamamaraang pairwise ay kumokonekta sa teorya ng social choice at mga algorithm ng pagraranggo ng paligsahan. Ang sistema ng rating ng Elo sa chess ay isinasalin ang mga resulta ng larong pairwise sa mga tuloy-tuloy na iskor. Ang absolute scoring ay nagmula sa klasikal na teorya ng pagsubok at teorya ng tugon ng item, kung saan ang mga nakatagong katangian ay tinatantya mula sa mga naobserbahang tugon. Ang mga modernong neural approach tulad ng modelo ni Bradley-Terry na may malalim na pag-embed ay pinaghalo ang parehong tradisyon.
Pag-deploy sa Tunay na Mundo
Ang GPT-4 ng OpenAI at si Claude ng Anthropic ay lubos na umaasa sa mga pairwise na kagustuhan ng tao habang nagsasanay ng RLHF. Pinaghahambing ng mga human annotator ang mga output ng modelo, at pinoproseso ng datos ng kagustuhan ang mga modelong nagbibigay ng gantimpala. Dati nang ginagamit ng Netflix ang mga star rating (absolute) ngunit lumipat sa thumbs up/down (epektibong pairwise) matapos matuklasan na ang huli ay nakakabuo ng mas maaasahang mga signal. Pinagsasama ng ranggo ng Google Search ang pareho: mga grado ng absolute relevance para sa mga pares ng query-document, kasama ang mga pairwise interleaving experiment para sa live na pagsusuri.
Mga Mode ng Katatagan at Pagkabigo
Guguho ang absolute scoring kapag iba ang paggamit ng mga iskala ng mga tagasuri—ang 5/10 ng isang tao ay maaaring katumbas ng 7/10 ng iba. Ang mga pamamaraang pairwise ay hindi tinatablan ng monotonikong isyu sa pag-iiskala ngunit mahina sa mga intransitibong kagustuhan. Kung matatalo ng A ang B, matatalo ng B ang C, ngunit matatalo ng C ang A, dapat lutasin ng modelo ang siklong ito. Ang mga totoong kagustuhan ng tao ay kadalasang lumalabag sa transitivity, na lumilikha ng mga tunay na pilosopikal at praktikal na hamon para sa parehong pamamaraan.
Mga Hybrid na Pamamaraan
Ang mga sopistikadong sistema ay lalong pinagsasama ang parehong paradigma. Ang mga absolute score ay nagbibigay ng mga angkla; ang mga pairwise comparison ay pinoproseso ang mga ranggo. Ang ilang mga platform ay nangongolekta ng mga absolute rating ngunit sinasanay ang mga pairwise model sa pamamagitan ng pabago-bagong pagbuo ng mga pares ng paghahambing mula sa distribusyon ng rating. Sinusubukan ng hybrid strategy na ito na makuha ang kahusayan ng absolute collection kasama ang katatagan ng pairwise learning.
Mga Kalamangan at Kahinaan
Pagkatuto ng Pareswise Preference
Mga Bentahe
+Matatag na pagkakaiba-iba sa iskala ng tagasuri
+Mas madaling gawain sa anotasyon
+Kinukuha ang subhetibong nuance
+Likas na akma para sa RLHF
+Iniiwasan ang arbitraryong pagtatakda ng threshold
Nakumpleto
−Paglago ng paghahambing sa parisukat
−Mga hindi kumpletong hamon sa pagraranggo
−Paghawak ng kagustuhang hindi palipat-lipat
−Mas mahirap ipaliwanag sa mga gumagamit
−Karaniwang kailangan ng mas maraming datos
Mga Modelo ng Absolute Scoring
Mga Bentahe
+Direktang mga numerikal na output
+Mahusay na pangongolekta ng datos
+Mga simpleng pamamaraan ng pagsasama-sama
+I-clear ang aplikasyon ng threshold
+Pamilyar na interface ng gumagamit
Nakumpleto
−Nag-iiba-iba ang interpretasyon ng iskala
−Karaniwang epekto ng pag-angkla
−Mas mahirap na paghahambing sa mga tagasuri
−Mga problema sa sapilitang granularity
−Hindi gaanong maaasahan para sa mga subhetibong aytem
Mga Karaniwang Maling Akala
Alamat
Ang mga pamamaraang pairwise ay palaging nangangailangan ng mas maraming datos kaysa sa ganap na pagmamarka.
Katotohanan
Bagama't lumalaki nang quadratically ang bilang ng pairwise comparison, mas mabilis at mas maaasahan ang bawat anotasyon. Ipinapakita ng mga pag-aaral sa crowdsourcing na para sa mga katumbas na target ng katumpakan, ang kabuuang oras ng anotasyon ay kadalasang pinapaboran ang mga pairwise method. Ang kahusayan ay lubos na nakasalalay sa mga aktibong estratehiya sa pagkatuto na pumipili ng mga pares na may pinakamataas na impormasyon.
Alamat
Mas madaling maunawaan ang mga absolute score dahil mga numero lamang ang mga ito.
Katotohanan
Tila konkreto ang '7 sa 10', ngunit ang kahulugan nito ay lubhang nagbabago sa iba't ibang kultura, konteksto, at indibidwal na mood. Ipinapakita ng pananaliksik sa inflation ng rating na ang mga gumagamit ng Netflix na dating nagbigay ng 3 bituin ngayon ay nagbibigay ng thumbs up para sa magkaparehong nilalaman. Ang mga pairwise ranking ay kadalasang mas matatag na isinasalin sa aktwal na pag-uugali ng gumagamit.
Alamat
Maaari mong i-convert ang mga absolute score sa pairwise rankings nang walang kahirap-hirap.
Katotohanan
Hindi pinapansin ng simpleng paghahambing ng iskor ang kawalan ng katiyakan at kumpiyansa. Ang dalawang aytem na may rating na 7.0 at 7.1 ay maaaring hindi mapag-iba sa istatistika, ngunit ang walang-muwang na conversion ay nagtutulak ng isang pagkakasunod-sunod. Ang wastong conversion ay nangangailangan ng pagmomodelo ng rating variance, na muling nagpapakilala sa pagiging kumplikado na hinahawakan ng mga pairwise method nang natural.
Alamat
Ang mga kagustuhan ng tao ay natural na palipat-lipat.
Katotohanan
Patuloy na ipinapakita ng mga pananaliksik sa sikolohiya ang pagiging hindi nagbabago sa mga totoong kagustuhan. Maaaring mas gusto ng mga tao ang mas malaking pizza para sa presyo, katamtaman para sa kaginhawahan, ngunit maliit para sa kalusugan—na lumilikha ng mga siklo. Ang parehong pamamaraan ng pagmomodelo ay dapat humawak o mag-alis ng realidad na ito, kung saan ang mga pamamaraang pares ay may mas malinaw na mga tool para sa paggawa nito.
Alamat
Ang mga pairwise na pamamaraan ay gumagana lamang para sa mga binary na kagustuhan.
Katotohanan
Ang mga modernong pairwise framework ay humahawak sa mga graded preference, partial orders, at maging sa mga multi-aspect comparisons. Ang 'pairwise' label ay tumutukoy sa istruktura ng paghahambing, hindi sa format ng tugon. Maaaring ipahayag ng mga annotator ang lakas ng preference, kawalan ng katiyakan, o multi-dimensional na mga paghatol sa loob ng mga pairwise framework.
Mga Madalas Itanong
Bakit lumipat ang Netflix mula sa star ratings patungong thumbs up/down?
Natuklasan ng Netflix na ang mga tahasang star rating ay hindi magandang humuhula sa aktwal na gawi sa panonood. Maaaring bigyan ng rating ng 5 bituin ang isang art film ngunit madalas manood ng mga sitcom. Bagama't mas magaspang ang thumbs system, nakabuo ito ng mas maaasahang mga senyales ng kagustuhan para sa kanilang algorithm ng rekomendasyon. Ito ay nagpapakita ng mas malawak na pattern: ang mga pairwise o binary preference ay kadalasang mas mahusay na nauugnay sa mga nabunyag na kagustuhan kaysa sa mga absolute rating.
Paano gumagana ang pairwise preference learning sa pagsasanay ng ChatGPT?
Sa panahon ng RLHF, pinaghahambing ng mga human annotator ang maraming output ng modelo para sa iisang prompt at ipinapahiwatig kung alin ang mas mahusay. Sinasanay ng mga paghahambing na ito ang isang reward model na humuhula sa mga kagustuhan ng tao. Pagkatapos, ginagabayan ng reward model ang fine-tuning sa pamamagitan ng reinforcement learning. Napakahalaga ng pairwise approach na ito dahil ang direktang absolute scoring ng conversational quality ay napatunayang hindi maaasahan sa iba't ibang annotator.
Maaari bang malampasan ng absolute scoring ang mga pairwise method?
Talagang-talaga. Kapag sinusuri ang mga obhetibo at masusukat na katangian—resolusyon ng imahe, bilis ng paglo-load, katumpakan ng katotohanan—ang mga ganap na iskala na may malinaw na pamantayan ay kadalasang sapat at nangangailangan ng mas kaunting datos. Ang pagmamarka ng medikal na diagnostic, kontrol sa kalidad ng pagmamanupaktura, at maraming aplikasyon sa inhinyeriya ay nakikinabang sa mga ganap na balangkas. Ang susi ay ang pagtutugma ng pamamaraan sa uri ng paghatol.
Ano ang modelong Bradley-Terry at bakit ito mahalaga?
Ang modelong Bradley-Terry ay nagtatalaga sa bawat aytem ng isang nakatagong parameter na 'lakas', pagkatapos ay minomodelo ang probabilidad na ang isang aytem ay matatalo ang isa pa gamit ang isang logistic function ng kanilang pagkakaiba sa lakas. Ito ang mathematical backbone na nag-uugnay sa mga pairwise na resulta sa mga continuous ranking. Ang mga modernong deep learning variant ay nag-eembed ng mga aytem sa mga vector space kung saan ang distansya ay nagko-code ng preference probabilidad.
Paano mo pinangangasiwaan ang mga intransitive preferences sa mga pairwise system?
Mayroong ilang mga estratehiya: pagtukoy at pagbubukod ng mga hindi magkakatugmang anotator, tahasang pagmomodelo ng ingay sa modelo ng kagustuhan, o pagtanggap sa mga bahagyang pagkakasunud-sunod sa halip na pilitin ang kumpletong pagraranggo. Itinuturing ng ilang mga advanced na pamamaraan ang intransitivity bilang signal—na nagpapahiwatig ng paggawa ng desisyon sa maraming pamantayan sa halip na error—at minomodelo ito gamit ang mga modelo ng pinaghalong o mga kagustuhan na nakadepende sa konteksto.
Bakit itinuturing na isang pairwise preference system ang Elo?
Ang mga manlalaro ng chess ay hindi kailanman direktang nakakatanggap ng ganap na 'iskor sa kasanayan sa chess'. Sa halip, ina-update ng mga resulta ng laro (mga paghahambing na pares) ang kanilang mga rating sa Elo. Hinuhulaan ng pagkakaiba sa rating sa pagitan ng dalawang manlalaro ang posibilidad na manalo. Ang eleganteng sistemang ito, na binuo ni Arpad Elo noong 1960, ay nagpapakita kung paano ang paulit-ulit na mga obserbasyon na pares ay maaaring magdulot ng makabuluhang ganap na mga iskala nang hindi sinasadya.
Tuluyan na bang nawawala ang mga absolute rating sa modernong AI?
Hindi talaga. Ang mga absolute rating ay nananatili sa lahat ng dako sa mga review ng produkto, mga app store, at pananaliksik sa survey. Maraming hybrid system ang gumagamit ng mga absolute rating para sa paunang pagsala at mga pairwise na pamamaraan para sa detalyadong pagraranggo. Ang pagpili ay depende sa partikular na desisyong ginagawa at sa halaga ng mga error sa anotasyon.
Paano nababawasan ng aktibong pagkatuto ang mga gastos sa pairwise comparison?
Sa halip na paghambingin ang lahat ng posibleng pares, pinipili ng mga active learning algorithm ang mga pinaka-nakapagtuturong paghahambing batay sa kasalukuyang kawalan ng katiyakan ng modelo. Kung mas gusto na ng modelo ang A kaysa sa B, ang paghahambing muli sa mga ito ay nagsasayang ng pagsisikap. Ang madiskarteng pagpili ay maaaring mabawasan ang mga kinakailangang paghahambing mula O(n²) patungo sa O(n log n) o mas mahusay habang pinapanatili ang katumpakan ng ranggo.
Ano ang nagpapadali sa pairwise annotation para sa mga tao?
Ipinapakita ng pananaliksik sa agham kognitibo na ang paghahambing na paghatol ay nangangailangan ng mas kaunting memorya kaysa sa ganap na pagsusuri. Kapag nagbibigay ng rating na absolute sa isang pelikula, dapat mong isaalang-alang ang isang buong sukatan ng kalidad at iugnay ang pelikula dito. Sa paghahambing ng dalawang pelikula, kailangan mo lang matukoy kung alin ang mas nakakatugon sa iyong pamantayan. Ang nabawasang cognitive load na ito ay kadalasang nagbubunga ng mas pare-parehong mga resulta.
Maaari bang pagsamahin ang mga pamamaraang ito sa iisang sistema?
Parami nang parami, oo. Ang ilang platform ay nangongolekta ng mga absolute rating ngunit kumukuha ng pairwise training data mula sa mga ito. Ang iba ay gumagamit ng absolute scores para sa coarse-grained bucketing, pagkatapos ay pairwise comparisons sa loob ng mga bucket. Ang pananaliksik sa 'pagkatutong mag-rank' ay kadalasang pinagsasama ang pointwise (absolute), pairwise, at listwise na mga pamamaraan, na may pinakamainam na timpla depende sa availability ng data at mga kinakailangan sa gawain.
Ano ang mga pangunahing sukatan ng pagsusuri para sa bawat pamamaraan?
Karaniwang ginagamit ng mga pamamaraang pairwise ang Kendall's tau, normalized discounted cumulative gain (NDCG), o katumpakan sa paghula ng mga hold-out preferences. Gumagamit ang absolute scoring ng mean squared error, Pearson correlation, o mga sukatan ng calibration. Mahalaga, ang isang pairwise model ay maaaring masuri sa pamamagitan ng absolute quality ng mga induced ranking nito, at vice versa—bagaman nangangailangan ito ng maingat na pagpili ng sukatan.
Paano nakakaapekto ang mga pagkakaiba sa kultura sa mga pamamaraang ito?
Malaki ang epekto ng mga istilo ng pagtugon sa kultura sa mga absolutong rating. Iniiwasan ng ilang kultura ang mga matinding marka, na naglalagay ng mga rating sa gitna. Ang iba naman ay gumagamit ng mga iskala nang iba batay sa mga pamantayan ng kagandahang-asal. Ang mga pamamaraang pares ay medyo mas matatag sa mga epektong ito dahil nangangailangan lamang ang mga ito ng relatibong paghatol, bagama't ang mga kagustuhan sa kultura mismo ay nag-iiba pa rin. Dapat isaalang-alang ng mga pandaigdigang plataporma ang parehong phenomena sa kanilang pagkolekta ng datos at disenyo ng modelo.
Hatol
Pumili ng pairwise preference learning kapag kinukuha ang subhetibong paghatol ng tao—kalidad ng rekomendasyon, pagiging kapaki-pakinabang ng nilalaman, o estetikong preference—kung saan ang mga indibidwal na iskala ay nag-iiba-iba nang hindi mahulaan. Pumili ng absolute scoring kapag sinusuri ang obhetibo at mahusay na natukoy na mga katangian na may matatag na pamantayan, o kapag kailangan mo ng mga operasyon sa aritmetika sa mga output. Maraming sistema ng produksyon ngayon ang pinagsasama ang pareho: absolute ratings para sa coarse filtering, pairwise refinement para sa pangwakas na ranggo.
