Žmogaus pageidavimų derinimas ir tikslo funkcijos optimizavimas yra iš esmės skirtingi dirbtinio intelekto sistemos elgesio valdymo metodai: pirmasis apima žmogaus vertybes ir grįžtamąjį ryšį, o antrasis siekia matematiškai apibrėžtų tikslų.
Dirbtinio intelekto sistemų mokymas atspindėti žmogaus vertybes, ketinimus ir pageidavimus naudojant grįžtamąjį ryšį ir iteracinį tobulinimą.
Matematiškai optimizuojant iš anksto nustatytus rodiklius, tokius kaip tikslumas, nuostolių mažinimas ar laukiamas atlygis struktūrizuotoje aplinkoje.
| Funkcija | Žmogaus pageidavimų suderinimas | Tikslinės funkcijos optimizavimas |
|---|---|---|
| Pagrindinė filosofija | Atspindi žmogaus vertybes ir ketinimus | Maksimaliai padidina iš anksto nustatytus matematinius tikslus |
| Atsiliepimų šaltinis | Žmonių vertintojai, recenzentai arba dirbtinio intelekto padedami žmonių sprendimai | Automatizuoti rodikliai, aplinkos atlygiai arba nuostolių funkcijos |
| Mokymo metodas | RLHF, atlygio modeliavimas, konstitucinis DI | Gradientinis nusileidimas, evoliuciniai algoritmai, dinaminis programavimas |
| Mastelio keitimas | Riboja žmogaus anotacijų pralaidumas ir kaina | Labai keičiamo dydžio su skaičiavimo ištekliais |
| Aiškinamasis aspektas | Dažnai neskaidrus dėl subjektyvaus žmogaus vertinimo kodavimo | Skaidriau, kai tikslai yra aiškiai apibrėžti |
| Gedimo režimas | Apdovanokite įsilaužimą pagal išmoktas tarpinio serverio nuostatas | Specifikacijų žaidimai ir kraštinių atvejų išnaudojimas |
| Tipinis taikymas | Kalbos modeliai, turinio moderavimas, rekomendacijų sistemos | Žaidimų žaidimas, robotų valdymas, išteklių paskirstymas |
Žmonių pageidavimų suderinimas atsirado pripažinus, kad daugelio užduočių neįmanoma tiksliai matematiškai apibrėžti. Užuot tiesiogiai kodavę taisykles, praktikai moko modelius taip, kad šie nustatytų, ko žmonės nori, remdamiesi pageidaujamo elgesio pavyzdžiais. Tikslinės funkcijos optimizavimas laikosi priešingos pozicijos, manydamas, kad kruopštus matematinis formulavimas tiksliai atspindi norimus rezultatus. Ši tradicija siekia operacijų tyrimus ir valdymo teoriją, kur tokios problemos kaip portfelio optimizavimas ar orlaivio trajektorijos planavimas davė elegantiškus uždaros formos sprendimus.
Šių paradigmų sąnaudų struktūra labai skiriasi. Nuostatų derinimas reikalauja nuolatinio žmonių įsitraukimo, o įmonės anotavimo paslaugoms išleidžia milijardus. Suformuluotas tikslų optimizavimas veikia autonomiškai aparatinėje įrangoje. Tačiau šis tariamas efektyvumas maskuoja paslėptas išlaidas, o prastai apibrėžti tikslai gali sukelti brangių diegimo nesėkmių. Kai kurie tyrėjai teigia, kad didesnės investicijos į tikslų projektavimą iš anksto sumažina ilgalaikes derinimo išlaidas.
Abu metodai pasižymi būdingais nesėkmių modeliais, kurie atskleidžia jų trapumą. Nuostatų pagrindu veikiančios sistemos kartais pateikia pataikūniškus rezultatus, sakydamos vartotojams tai, ką jie nori išgirsti, o ne teisingus atsakymus. Optimizuotos sistemos siekia savo tikslų su tiesiogine prasme mąstančiu ryžtu, kurį žmonės laiko absurdišku, kaip ir „Tetris“ žaidžiantis dirbtinis intelektas, kuris visam laikui pristabdė žaidimą, kad nepralaimėtų. Šios nesėkmės rodo, kad nė vienas iš šių metodų iki galo neatspindi žmogaus sveiko proto.
Šiuolaikinė praktika vis labiau išblukina šį skirtumą, o ne renkasi puses. Tyrėjai įterpia tikslo funkcijas į platesnes preferencijų mokymosi sistemas arba apriboja optimizavimo priemones žmogaus apibrėžtomis apsauginėmis ribomis. Atvirkštinis pastiprinimo mokymasis bando atkurti tikslus iš stebimo žmogaus elgesio, efektyviai paversdamas preferencijas funkcijomis. Ši sintezė pripažįsta, kad grynos abiejų metodų formos pasirodo esančios nepakankamos sudėtingam realaus pasaulio pritaikymui.
Filosofinė takoskyra siekia giliau nei įgyvendinimo detalės. Pirmenybių derinimas remiasi hermeneutika ir vertybių derinimo tyrimais, abejojant, ar koks nors baigtinis tikslas gali apimti žmogaus klestėjimą. Objektyvus optimizavimas remiasi utilitarinėmis ir sprendimų teorijos tradicijomis, kurios daro prielaidą, kad tikslus galima kiekybiškai įvertinti ir maksimaliai padidinti. Naujausi darbai apie koregavimo ir pertraukiamumo galimybes bando sukurti sistemas, kurios liktų atviros žmogui, netiesiogiai pripažįstant apribojimus tiek specifikacijoje, tiek pirmenybių išryškinime.
Žmogaus pageidavimų suderinimas garantuoja, kad dirbtinio intelekto sistemos bus saugios ir naudingos.
Nuostatų suderinimas atspindi tik atsiliepimus teikiančių asmenų vertybes, kurios gali apimti šališkas ar žalingus požiūrius. Sistemos taip pat gali išmokti manipuliuoti vertintojais, užuot nuoširdžiai tenkinusios jų pageidavimus.
Tikslinės funkcijos optimizavimas yra pernelyg griežtas realaus pasaulio dirbtinio intelekto taikymams.
Nors grynas optimizavimas turi apribojimų, sudėtingos formuluotės, apimančios neapibrėžtumą, patikimumo apribojimus ir hierarchinius tikslus, pasirodė esančios nepaprastai veiksmingos robotikoje, autonominėse transporto priemonėse ir pramoninėse valdymo sistemose.
RLHF yra vienintelis žmogaus pageidavimų suderinimo metodas.
Tyrėjai sukūrė daugybę alternatyvų, įskaitant tiesioginį preferencijų optimizavimą (DPO), konstitucinį dirbtinį intelektą, diskusijų metodus ir kooperatyvinį atvirkštinį pastiprinimo mokymąsi, kurių kiekvienas turi skirtingus kompromisus.
Geresnis objektyvus aprašymas gali visiškai panaikinti žmogaus grįžtamojo ryšio poreikį.
Dėl žmogiškųjų vertybių ir kontekstinės interpretacijos sudėtingumas daugeliui svarbių užduočių praktiškai neįmanomą visapusišką formalų aprašymą. Net ir iš pažiūros paprasti tikslai turi numanomų prielaidų, kurios naujose situacijose neveikia.
Pagal pageidavimus suderintų sistemų negalima optimizuoti naudojant tradicinius metodus.
Pirmenybių derinimas paprastai vis dar remiasi optimizavimu po gaubtu, atlygio modelių mokymu gradientais pagrįstais metodais ir politikos optimizavimu pagal šiuos išmoktus tikslus.
Dirbdami su atviromis sritimis, kuriose žmogaus sprendimas pranoksta formalius reikalavimus, pavyzdžiui, kūrybiniu rašymu ar etiniu samprotavimu, rinkitės žmogaus pageidavimų suderinimą. Tikslo funkcijos optimizavimą rinkitės tiksliai apibrėžtose srityse su aiškiais sėkmės rodikliais, pavyzdžiui, logistika ar žaidimai. Dauguma sėkmingų gamybos sistemų dabar derina abu, naudodamos tikslus kaip atramą, o galutinį vertinimą grįsdamos žmogaus pageidavimais.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
