Esplorado kaj ekspluatado reprezentas la du konkurantajn strategiojn en plifortiga lernado, kiuj determinas kiel agento kolektas scion kontraŭ kiel ĝi uzas tion, kion ĝi jam scias. Balanci ĉi tiujn alirojn estas unu el la centraj defioj en trejnado de inteligentaj sistemoj por fari optimumajn decidojn laŭlonge de la tempo.
La strategio provi novajn agojn por malkovri nekonatajn rekompencojn kaj kolekti informojn pri la ĉirkaŭaĵo.
La strategio elekti la plej konatan agon bazitan sur nuna scio por maksimumigi tujan rekompencon.
| Funkcio | Esplorado | Ekspluato en Plifortiga Lernado |
|---|---|---|
| Ĉefa Celo | Malkovru novajn informojn pri la medio | Maksimumigu tujan rekompencon uzante konatajn informojn |
| Riska Nivelo | Pli alta mallongdaŭra risko, pli granda longdaŭra lernado | Pli malalta mallongdaŭra risko, ebla longdaŭra stagnado |
| Tipaj Metodoj | Epsilon-avida, UCB, Thompson Sampling, scivolemo-movitaj rekompencoj | Avida politiko, Boltzmann kun malalta temperaturo, plej bona-aga selektado |
| Scio-Postulo | Funkcias plej bone kiam la agento havas malmultajn antaŭajn datumojn | Funkcias plej bone kiam la agento havas fidindajn valortaksojn |
| Rekompenca Konduto | Povas oferi nunan rekompencon por estontaj gajnoj | Konstante celas la plej altan konatan rekompencon |
| Fiasko-reĝimo | Malŝparas tempon per neproduktivaj agoj | Blokiĝas en suboptimalaj lokaj maksimumoj |
| Uzkaza Forto | Malabundaj rekompencoj, grandaj ŝtataj spacoj, frua trejnado | Malfrua trejnado, stabilaj medioj, fajnagordado |
| Informoj Akirita | Alta — malkaŝas novajn rezultojn de ŝtatagado | Malalta — konfirmas ekzistantajn kredojn |
Esplorado kaj ekspluatado servas principe malsamajn celojn en la plifortiga lernado-ciklo. Esplorado intence paŝas for de la ago konsiderata plej bona por lerni ĉu io pli bona ekzistas. Ekspluatado, male, plene sin devontigas al la nuna plej bona takso de la agento. La streĉiteco inter ili ofte estas enkadrigita kiel kompromiso inter kolekti scion kaj agado laŭ ĝi.
Agento, kiu esploras tro multe, eble neniam elektas fortan politikon, dum unu, kiu ekspluatas tro frue, povas ŝlosiĝi en mezbonan strategion. Esploro pri mult-armitaj banditoj montris, ke la optimuma ekvilibro ŝanĝiĝas laŭlonge de la tempo: frue, esplorado rekompencas ĉar necerteco estas alta, sed dum fido kreskas, ekspluato fariĝas la racia elekto. Algoritmoj kiel UCB1 kaj decaying epsilon-greedy formaligas ĉi tiun ŝanĝon matematike.
Esploraj teknikoj emas enkonduki hazardon aŭ bonusajn signalojn en agselektadon, kiel ekzemple la hazardajn elektojn de epsilon-greedy aŭ scivolemajn modulojn, kiuj rekompencas novajn statojn. Ekspluatado estas tipe efektivigita simple elektante la argmakson de la valorfunkcio aŭ la plej altprobablan agon el politika reto. En profunda plifortiga lernado, metodoj kiel bruaj retoj kaj entropiaj bonusoj malklarigas la limon per enkorpigo de esplorado rekte en la parametrojn de la reto.
La relativa graveco de ĉiu strategio multe dependas de la ĉirkaŭaĵo. En dens-rekompencaj kontekstoj, kie retrokuplado estas ofta, ekspluatado povas domini pli frue ĉar la agento lernas rapide. En maldens-rekompencaj medioj kiel ekzemple la Venĝo de Montezuma aŭ realmondaj robotaj taskoj, esplorado fariĝas la pli malfacila problemo, ofte postulante sofistikan internan motivon por fari progreson entute.
Nek strategio estas supera aparte, tial la fako traktas ilin kiel kunligitan dilemon anstataŭ konkurencajn opciojn. Efikaj algoritmoj planas esploradon dinamike, reduktante ĝin dum la trejnado progresas aŭ dum la necerteco pri specifaj agoj malpliiĝas. La fama teoremo pri la manko de senpaga tagmanĝo memorigas praktikistojn, ke neniu ununura esplora horaro funkcias plej bone por ĉiu problemo.
Esplorado kaj ekspluato estas du apartaj algoritmoj, inter kiuj vi elektas.
Ili estas komplementaj strategioj, kiujn preskaŭ ĉiu algoritmo de plifortiga lernado kombinas en iu proporcio. Eĉ avida politiko implicite esploras dum frua trejnado kiam ĝiaj valortaksoj estas ankoraŭ malprecizaj kaj efike hazardaj.
Pli da esplorado ĉiam kondukas al pli bona fina rezulto.
Troa esplorado povas malhelpi la aganton iam ajn sin dediĉi al forta politiko, precipe en medioj kie bonaj agoj estas maloftaj. La arto kuŝas en plani esploradon tiel ke ĝi svagiĝas dum scio pliboniĝas.
La kompromiso inter esplorado kaj ekspluato gravas nur en plifortiga lernado.
La sama dilemo aperas en plur-armitaj banditoj, Bajeza optimigo, evolua serĉado, kaj eĉ homa decidiĝo. Plifortiga lernado estas nur unu el la plej studitaj kontekstoj por ĝi.
Post kiam agento sufiĉe esploris, ekspluato ĉiam estas la ĝusta elekto.
En nestacionaraj medioj kie la rekompenca funkcio ŝanĝiĝas laŭlonge de la tempo, daŭra esplorado restas valora por ĉiam. La agento devas daŭre kontroli ĉu ĝiaj malnovaj supozoj ankoraŭ validas.
Hazardaj agoj estas la sola maniero esplori.
Modernaj esploraj strategioj estas multe pli sofistikaj ol pura hazardo. Supraj konfidlimoj, Thompson-specimenigo, kaj internaj scivolemaj moduloj ĉiuj esploras laŭ strukturitaj, informitaj manieroj, kiuj estas multe pli specimen-efikaj.
Elektu esplor-pezajn strategiojn kiam la medio estas nekonata, la rekompencoj estas malabundaj, aŭ la statspaco estas sufiĉe granda por ke nemalkovritaj altvaloraj regionoj verŝajne ekzistas. Ŝanĝu al ekspluato post kiam la agento konstruis fidindajn valortaksojn kaj la kosto de provi nekonatajn agojn superpezas la eblan avantaĝon. La plej bonaj sistemoj por plifortigi lernadon traktas la du kiel partnerojn anstataŭ rivalojn, planante ilin zorge tra la trejnadprocezo.
A/B-testado en enhaveldonoj implikas lanĉi variaĵojn al malsamaj aŭdantarsegmentoj kaj mezuri rendimenton, dum unufojaj enhaveldonoj puŝas ununuran version al ĉiuj samtempe. Ĉiu aliro taŭgas por malsamaj celoj, kie A/B-testado favoras daten-bazitan optimumigon kaj unufojaj eldonoj prioritatas rapidecon kaj simplecon.
A/B-testado en modelservado direktas trafikon inter konkurantaj modelversioj por mezuri realmondan rendimenton, dum unu-modela deplojo liveras unu modelon al ĉiuj uzantoj. Teamoj elektas inter ili surbaze de riskotoleremo, trafikvolumo kaj la bezono de statistika validigo antaŭ plena lanĉo.
Ĉi tiu detala komparo esploras la arkitekturajn distingojn, funkciajn limojn kaj realmondan rendimenton de adaptiĝemaj inteligentaj motoroj kontraŭ fiks-kondutaj aŭtomatigaj sistemoj. Ni rigardas kiel sistemoj, kiuj kontinue lernas de novaj mediaj datumoj, kongruas kun rigidaj, antaŭvideblaj regul-bazitaj kadroj.
Adaptiĝema retrovo dinamike ĝustigas kiel kaj kiajn informojn sistemo prenas surbaze de la serĉmendo, dum statikaj retrovaj duktoj sekvas fiksajn regulojn sendepende de kunteksto. Ambaŭ funkciigas modernajn AI-aplikaĵojn, sed ili akre diferencas laŭ fleksebleco, kosto kaj precizeco. Elektado inter ili dependas de la komplekseco de laborkvanto kaj buĝeto.
Administrado de Modela Vivciklo kovras la plenan vojaĝon de AI-modelo de trejnado ĝis emeritiĝo, dum Unufoja Modela Deplojo fokusiĝas nur al lanĉo de preta modelo en produktadon. Elektado inter ili dependas de ĉu via projekto bezonas daŭran prizorgadon aŭ nur unuopan eldonon.
