Lernado laŭ politiko kaj lernado ekster politiko estas du fundamentaj aliroj en plifortiga lernado, kiuj diferencas laŭ kiel agentoj kolektas kaj uzas sperton. Metodoj laŭ politiko lernas de agoj, kiujn la agento efektive faras, dum metodoj ekster politiko povas lerni de datumoj kolektitaj per aliaj politikoj aŭ pasinta konduto.
Plifortiga lernado-aliro, kie la agento lernas de agoj, kiujn ĝi nuntempe plenumas sub la sama politiko, kiu estas plibonigata.
Plifortiga lernado-aliro, kie la agento lernas el spertoj generitaj de politiko malsama ol tiu, kiu estas optimumigita.
| Funkcio | Lernado laŭ politiko | Ekster-politika Lernado |
|---|---|---|
| Datenfonto | Nur el la nuna politiko | Ajna politiko aŭ historiaj datumoj |
| Specimena Efikeco | Pli malalta, bezonas freŝajn datumojn | Pli alta, reuzas pasintan sperton |
| Trejnada Stabileco | Ĝenerale pli stabila | Povas esti malpli stabila pro distribua ŝoviĝo |
| Esplorado | Ligita al nuna politiko | Malkuplita de kondutpolitiko |
| Ekzemplaj Algoritmoj | SARSA, PPO, A2C, PLIFORIGI | Q-Lernado, DQN, DDPG, SAC, TD3 |
| Memorpostuloj | Pli malalta, neniu ripetbufro bezonata | Pli alta, postulas grandajn ripetbufrojn |
| Oftaj Uzokazoj | Luda AI, robotika simulado, lingvomodeloj | Robotiko, rekomendsistemoj, aŭtonoma veturado |
| Biaso-Varianca Kompromiso | Pli malalta varianco, iom da biaso | Pli malalta biaso, pli alta varianco |
La fundamenta distingo kuŝas en kiu politiko generas la trejnajn datumojn. Lernado laŭ politiko taksas kaj plibonigas la precizan politikon sekvatan dum esplorado, kio signifas, ke ĉiu ĝisdatigo reflektas agojn, kiujn la agento efektive farus. Lernado ekster politiko tute apartigas ĉi tiujn zorgojn, permesante al la agento lerni optimuman konduton el datumoj, kiujn eble kolektis pli malnova versio de si mem, hazarda politiko, aŭ eĉ homa demonstraĵo.
Metodoj sen politiko elstaras kiam datumoj estas multekostaj aŭ malabundaj. Per stokado de transiroj en ripetbufro kaj plurfoje sampigado de ĝi, algoritmoj kiel DQN kaj SAC povas eltiri maksimuman lernan valoron el ĉiu interagado kun la ĉirkaŭaĵo. Metodoj sen politiko tipe forĵetas datumojn post ununura uzo, kio bone funkcias en malmultekostaj simuladaj medioj sed fariĝas nepraktika kiam ĉiu interagado kostas realan tempon aŭ monon, kiel ekzemple en fizika robotiko.
Metodoj laŭ politiko ĝenerale ofertas pli antaŭvideblan konverĝon, ĉar la optimumiga politiko ĉiam estas tiu, kiu generas datumojn, forigante distribuan misagordon. Metodoj ekster politiko alfrontas la defion de distribua ŝanĝo, kie la datendistribuo devias de tio, kion la nuna politiko produktus, foje kaŭzante malstabilecon aŭ diverĝon. Teknikoj kiel celaj retoj, graveca specimenigo kaj politikaj limigoj helpas mildigi ĉi tiujn problemojn, sed aldonas kompleksecon.
Kun lernado laŭ politiko, esplorado estas esence ligita al la aktuala politiko, ofte atingita per stokasta agselektado aŭ entropiaj gratifikoj. Eksterpolitika lernado malkuplas esploradon de lernado, permesante apartajn kondutpolitikojn, kiuj povas esplori larĝe dum la cela politiko lernas ekspluati. Ĉi tiu apartigo ebligas sofistikajn esplorajn strategiojn kiel epsilon-avidaj kun kadukiĝantaj horaroj aŭ scivolemo-movitaj kondutpolitikoj.
Metodoj laŭ politiko dominas en kampoj kie simulado estas malmultekosta kaj stabileco gravas, kiel ekzemple trejnado de ludagentoj kaj fajnagordado de grandaj lingvomodeloj per RLHF. Metodoj ekster politiko elstaras en robotiko, kie realmonda datenkolektado estas multekosta, kaj en rekomendsistemoj, kie masivaj protokoloj de uzantaj interagoj provizas riĉajn trejnajn datumojn. La elekto ofte dependas de ĉu vi havas abundan simuladon aŭ valorajn realmondajn datumojn.
Eksterpolitika lernado ĉiam estas pli bona ĉar ĝi reuzas datumojn.
Kvankam eksterpolitikaj metodoj estas pli specimenefikaj, ili ofte suferas pro trejna malstabileco kaj postulas zorgeman agordon de teknikoj kiel celaj retoj kaj graveca specimenigo. Laŭpolitikaj metodoj povas superi eksterpolitikajn alirojn en medioj kie simulado estas malmultekosta kaj stabileco estas plej grava.
Lernado laŭ politiko ne povas uzi iujn ajn pasintajn datumojn.
Metodoj bazitaj sur politiko povas teknike uzi pasintajn datumojn, sed fari tion postulas korektojn de graveca specimenigo, kiuj enkondukas altan variancon. En praktiko, ili funkcias plej bone kun freŝaj datumoj de la nuna politiko, tial algoritmoj kiel PPO kolektas lanĉojn, trejnas sur ili, kaj forĵetas ilin.
Q-lernado estas eksterpolitika ĉar ĝi lernas la optimuman agvaloron.
Q-lernado estas klasifikita kiel eksterpolitika ĉar ĝi lernas pri la optimuma politiko dum eble sekvas malsaman kondutpolitikon dum esplorado. La celo, de kiu ĝi ekfunkcias, supozas avidan agselektadon, kiu povas diferenci de la agoj efektive faritaj por generi datumojn.
Ĉiuj profundaj plifortigaj lernado-algoritmoj estas eksterpolitikaj.
Multaj popularaj profundaj lernad-algoritmoj estas laŭpolitikaj, inkluzive de PPO, A2C, kaj TRPO. La distingo inter laŭpolitikaj kaj senpolitikaj ekzistas sendepende de ĉu neŭralaj retoj estas uzataj, kaj ambaŭ kategorioj havas sukcesajn efektivigojn de profunda lernado.
Eksterpolitika lernado ĉiam konverĝas pli rapide ol surpolitika lernado.
Konverĝrapideco dependas de la ĉirkaŭaĵo kaj efektivigo. Senpolitikaj metodoj eble bezonas malpli da mediaj interagoj sed ofte postulas pli da ĝisdatigoj de gradientoj kaj zorgeman agordon de hiperparametroj. En iuj taskoj, laŭpolitikaj metodoj atingas bonajn politikojn pli rapide en preciza tempo malgraŭ uzado de pli da specimenoj.
Elektu lernadon laŭ politiko kiam vi bezonas trejnan stabilecon kaj havas aliron al malmultekostaj simulaj medioj, precipe por taskoj kiel luda artefarita inteligenteco aŭ strategiogradiaj metodoj en lingvomodeloj. Elektu eksterpolitikan lernadon kiam specimena efikeco estas kritika, datenkolektado estas multekosta, aŭ vi bezonas lerni de ekzistantaj datumaroj kiel demonstraĵoj aŭ registritaj interagoj.
A/B-testado en enhaveldonoj implikas lanĉi variaĵojn al malsamaj aŭdantarsegmentoj kaj mezuri rendimenton, dum unufojaj enhaveldonoj puŝas ununuran version al ĉiuj samtempe. Ĉiu aliro taŭgas por malsamaj celoj, kie A/B-testado favoras daten-bazitan optimumigon kaj unufojaj eldonoj prioritatas rapidecon kaj simplecon.
A/B-testado en modelservado direktas trafikon inter konkurantaj modelversioj por mezuri realmondan rendimenton, dum unu-modela deplojo liveras unu modelon al ĉiuj uzantoj. Teamoj elektas inter ili surbaze de riskotoleremo, trafikvolumo kaj la bezono de statistika validigo antaŭ plena lanĉo.
Ĉi tiu detala komparo esploras la arkitekturajn distingojn, funkciajn limojn kaj realmondan rendimenton de adaptiĝemaj inteligentaj motoroj kontraŭ fiks-kondutaj aŭtomatigaj sistemoj. Ni rigardas kiel sistemoj, kiuj kontinue lernas de novaj mediaj datumoj, kongruas kun rigidaj, antaŭvideblaj regul-bazitaj kadroj.
Adaptiĝema retrovo dinamike ĝustigas kiel kaj kiajn informojn sistemo prenas surbaze de la serĉmendo, dum statikaj retrovaj duktoj sekvas fiksajn regulojn sendepende de kunteksto. Ambaŭ funkciigas modernajn AI-aplikaĵojn, sed ili akre diferencas laŭ fleksebleco, kosto kaj precizeco. Elektado inter ili dependas de la komplekseco de laborkvanto kaj buĝeto.
Administrado de Modela Vivciklo kovras la plenan vojaĝon de AI-modelo de trejnado ĝis emeritiĝo, dum Unufoja Modela Deplojo fokusiĝas nur al lanĉo de preta modelo en produktadon. Elektado inter ili dependas de ĉu via projekto bezonas daŭran prizorgadon aŭ nur unuopan eldonon.
