PPO është një metodë mësimi me përforcim të gradientit të politikave e vlerësuar për stabilitetin dhe shkallëzueshmërinë, ndërsa Q-Learning është një qasje e bazuar në vlera që mëson funksionet veprim-vlerë. Të dyja i trajnojnë agjentët përmes provës dhe gabimit, por ndryshojnë thelbësisht në mënyrën se si përfaqësojnë njohuritë dhe përditësojnë sjelljen.
Një algoritëm i të mësuarit me përforcim të gradientit të politikave që përditëson politikat përmes funksioneve objektive të prera për trajnim të qëndrueshëm.
Një qasje e të mësuarit përforcues të bazuar në vlera që vlerëson shpërblimin e pritur të ndërmarrjes së veprimeve në gjendje të caktuara.
| Veçori | Optimizimi i Politikës Proksimale (PPO) | Algoritmet e Mësimit me Q |
|---|---|---|
| Lloji i algoritmit | Gradient-i i politikës (në politikë) | Bazuar në vlerë (jashtë politikës) |
| Viti i Prezantimit | 2017 (OpenAI) | 1989 (Watkins) |
| Objektivi kryesor i të nxënit | Funksioni i politikave që i korrespondon gjendjeve me veprimet | Funksioni i vlerës Q që vlerëson cilësinë e veprimit |
| Mbështetje për Hapësirën e Veprimit | I vazhdueshëm dhe diskret | Kryesisht diskrete (ekzistojnë zgjerime për të vazhdueshme) |
| Efikasiteti i mostrës | Moderate (kërkon të dhëna të reja për çdo përditësim) | Më i lartë (ripërdor bufferin e riprodhimit të përvojës) |
| Stabiliteti i Trajnimit | I lartë (objektivi i prerë parandalon shembjen) | Më i ulët (i prirur ndaj paragjykimit të mbivlerësimit) |
| Strategjia e Eksplorimit | Politikë stokastike me bonuse entropie | Eksplorimi i Epsilon-lakmitar ose Boltzmann |
| Rastet e Përdorimit të Zakonshëm | Robotikë, shtrirje LLM, kontroll i vazhdueshëm | Lojëra, detyra me vendime diskrete, navigim |
| Variantet kryesore | PPO me prerje, PPO me penalizim adaptiv të KL | DQN, DQN i Dyfishtë, DQN Dueling, Ylber |
PPO ndjek një qasje të drejtpërdrejtë duke mësuar një politikë të parametrizuar që nxjerr probabilitete veprimi të dhëna nga një gjendje. Ai e optimizon këtë politikë duke përdorur ngjitjen gradient në shpërblimet e pritura. Q-Learning ndjek një rrugë indirekte duke vlerësuar së pari se sa i mirë është secili veprim në çdo gjendje, dhe më pas duke nxjerrë sjellje nga këto vlerësime. Kjo ndarje filozofike formëson gjithçka, nga kërkesat e të dhënave deri te performanca përfundimtare.
Një nga pikat më të forta të PPO-së është funksioni i objektivit të prerë, i cili kufizon se sa larg mund të ndryshojë politika në një përditësim të vetëm. Kjo e bën trajnimin jashtëzakonisht të qëndrueshëm edhe në detyra të zhurmshme. Q-Learning, veçanërisht në variantet e tij të thella, mund të vuajë nga paqëndrueshmëria për shkak të paragjykimit të mbivlerësimit dhe problemit të objektivit në lëvizje. Teknika si rrjetet e objektivave dhe Q-Learning i dyfishtë ndihmojnë, por PPO në përgjithësi kërkon më pak rregullim të hiperparametrave për të konverguar në mënyrë të besueshme.
Q-Learning tenton të fitojë në efikasitetin e mostrës sepse mund të ruajë përvojat në një buffer riprodhimi dhe të mësojë prej tyre shumë herë. PPO është në politikë, që do të thotë se zakonisht i hedh poshtë të dhënat pas çdo cikli përditësimi, që do të thotë se nevojiten më shumë ndërveprime me mjedisin. Në mjediset e simuluara ku gjenerimi i të dhënave është i lirë, kjo rrallë ka rëndësi. Megjithatë, në robotikën e botës reale ose simulimet e shtrenjta, ripërdorimi i të dhënave të kaluara nga Q-Learning mund të jetë një avantazh i madh.
PPO trajton hapësirat e veprimeve të vazhdueshme natyrshëm sepse jep një shpërndarje probabiliteti mbi veprimet, shpesh një Gaussian. Q-Learning fillimisht u krijua për veprime diskrete, ku thjesht mund të kërkoni vlerën Q për secilin opsion. Ekzistojnë zgjerime si Funksioni i Përparësisë së Normalizuar (NAF) ose Q-Learning shpërndarës, por PPO mbetet zgjedhja më e zakonshme për problemet e kontrollit të vazhdueshëm si manipulimi robotik.
PPO inkurajon eksplorimin përmes politikave stokastike dhe bonuseve të entropisë që parandalojnë konvergjencën e parakohshme drejt sjelljes deterministe. Q-Learning mbështetet në rregulla eksplorimi të qarta si epsilon-greedy, ku agjenti zgjedh veprime të rastësishme me njëfarë probabiliteti. Qasja e PPO-së tenton të shkallëzohet më mirë në hapësira veprimi me dimensione të larta, ndërsa eksplorimi më i thjeshtë i Q-Learning funksionon mirë në mjedise diskrete me numërime veprimesh të menaxhueshme.
PPO është bërë zgjedhja e parazgjedhur për shumë sisteme prodhimi, duke përfshirë mësimin përforcues nga reagimet njerëzore (RLHF) që përdoret për të trajnuar modele të mëdha gjuhësore. Q-Learning dhe variantet e tij të thella mbeten dominuese në testet e performancës së lojërave dhe detyrat diskrete të vendimmarrjes. Të dy algoritmet kanë ekosisteme të pasura implementimesh, me PPO të disponueshme në biblioteka si Stable Baselines3 dhe RLlib, dhe variante Q-Learning në pothuajse çdo kornizë RL.
PPO dhe Q-Learning janë algoritme të këmbyeshme që zgjidhin të njëjtat probleme.
Ato përfaqësojnë qasje thelbësisht të ndryshme ndaj të mësuarit përforcues. PPO optimizon drejtpërdrejt një politikë, ndërsa Q-Learning vlerëson vlerat e veprimit. Secila shkëlqen në skenarë të ndryshëm dhe zgjedhja midis tyre varet nga hapësira juaj e veprimit, disponueshmëria e të dhënave dhe kërkesat e stabilitetit.
Q-Learning është i vjetëruar dhe është zëvendësuar nga algoritme më të reja.
Q-Learning mbetet shumë i rëndësishëm, veçanërisht përmes zgjerimeve të tij të të nxënit të thellë si DQN dhe Rainbow. Këto variante vazhdojnë të arrijnë rezultate të teknologjisë së fundit në shumë standarde dhe formojnë bazën konceptuale për metoda më të reja.
PPO gjithmonë ka performancë më të mirë se Q-Learning sepse është më i ri.
Më i ri nuk do të thotë universalisht më i mirë. PPO shkëlqen në kontrollin e vazhdueshëm dhe trajnimin në shkallë të gjerë, por Q-Learning mund ta tejkalojë atë në mjedise diskrete me të dhëna të kufizuara. Performanca varet shumë nga problemi specifik dhe detajet e zbatimit.
Q-Learning nuk mund të funksionojë me hapësira veprimi të vazhdueshëm.
Ndërsa Q-Learning standard është projektuar për veprime diskrete, disa zgjerime si NAF, Q-Learning shpërndarës dhe qasjet e ngulitura në veprime mundësojnë kontroll të vazhdueshëm. Megjithatë, këto janë më pak të zakonshme sesa metodat e gradientit të politikave për detyra të vazhdueshme.
PPO nuk ka nevojë për ndonjë rregullim të hiperparametrave për të funksionuar mirë.
PPO është më tolerant se shumë algoritme, por prapëseprapë kërkon rregullim të kujdesshëm të parametrit të prerjes, shkallës së të mësuarit dhe koeficientit të entropisë. Zgjedhjet e dobëta mund të çojnë në konvergjencë të ngadaltë ose politika jo optimale.
Zgjidhni PPO kur punoni me kontroll të vazhdueshëm, robotikë ose trajnim politikash në shkallë të gjerë ku stabiliteti ka më shumë rëndësi. Zgjidhni Q-Learning për hapësira veprimi diskrete, skenarë me mostra të kufizuara ose kur duhet të shfrytëzoni riprodhimin e përvojës. Të dyja mbeten algoritme themelore dhe të kuptuarit e kompromiseve të tyre ju ndihmon të zgjidhni mjetin e duhur për sfidën tuaj specifike të të mësuarit me përforcime.
Agregimi i preferencave kombinon preferenca të shumta individuale në vendime kolektive, ndërsa modelimi i parashikimit individual parashikon sjelljen personale duke përdorur të mësuarit automatik në të dhënat e një përdoruesi të vetëm. Të dyja shërbejnë për qëllime të dallueshme në sistemet e inteligjencës artificiale, nga motorët e rekomandimeve deri te platformat demokratike të votimit.
Ky krahasim arkitektonik vë në kontrast inxhinierinë deterministe të Agjentëve të Bazuar në Rregulla me natyrën adaptive të të dhënave të Agjentëve të Bazuar në Mësim, duke vlerësuar zbatueshmërinë e tyre në botën reale, kufijtë e shkallëzimit dhe performancën në kushte pasigurie.
Ky udhëzues i detajuar shqyrton ndryshimet strukturore dhe operacionale midis agjentëve autonomë dhe sistemeve të automatizimit të skriptuar. Ndërsa mjetet e skriptuara ofrojnë parashikueshmëri të pakrahasueshme për rrjedha pune të ngurta dhe përsëritëse, agjentët inteligjentë modernë shfrytëzojnë arsyetimin kognitiv për të lundruar në mënyrë të pavarur në të dhëna të ndryshueshme, pengesa teknike të papritura dhe peizazhe të dhënash shumë komplekse dhe të pastrukturuara.
Agjentët autonomë të IA-së veprojnë në mënyrë të pavarur duke planifikuar, arsyetuar dhe ekzekutuar detyra shumë-hapëshe me ndërhyrje minimale njerëzore, ndërsa sistemet e IA-së të bazuara në shpejtësi u përgjigjen udhëzimeve individuale të përdoruesit, një ndërveprim në të njëjtën kohë. Dallimi kryesor qëndron në agjenci: agjentët ndjekin qëllimet nëpër seanca, ndërsa sistemet e shpejtësisë presin për drejtim.
Agjentët bisedorë përqendrohen në dialogun natyror dhe ndërveprimet e bazuara në tekst, ndërsa agjentët që përdorin mjete zgjerojnë aftësitë e IA-së duke thirrur funksione dhe API të jashtme. Të dy përfaqësojnë qasje të dallueshme ndaj sistemeve autonome të IA-së, me modelet bisedore që shkëlqejnë në komunikim dhe agjentët që përdorin mjete të specializuar në ekzekutimin e detyrave në botën reale.
