पॉलिसी-बेस्ड और वैल्यू-बेस्ड तरीके रीइन्फोर्समेंट लर्निंग में दो बुनियादी तरीके हैं। पॉलिसी-बेस्ड तरीके सीधे एक्शन-सिलेक्शन स्ट्रैटेजी सीखते हैं, जबकि वैल्यू-बेस्ड तरीके अनुमान लगाते हैं कि हर एक्शन कितना अच्छा है और उन अनुमानों से व्यवहार निकालते हैं। हर एक की अपनी खास ताकत होती है जो अलग-अलग तरह की समस्याओं के लिए सही होती है।
रीइन्फोर्समेंट लर्निंग के तरीके जो बिना किसी वैल्यू फ़ंक्शन की ज़रूरत के एजेंट की एक्शन-सिलेक्शन पॉलिसी को सीधे ऑप्टिमाइज़ करते हैं।
रीइन्फोर्समेंट लर्निंग अप्रोच यह सीखते हैं कि स्टेट्स या स्टेट-एक्शन पेयर कितने अच्छे हैं, फिर उन वैल्यू एस्टिमेट से एक पॉलिसी बनाते हैं।
| विशेषता | नीति-आधारित विधियाँ | मूल्य-आधारित विधियाँ |
|---|---|---|
| मुख्य दृष्टिकोण | पॉलिसी को सीधे ऑप्टिमाइज़ करता है | एक वैल्यू फ़ंक्शन सीखता है, फिर उस पर काम करता है |
| एक्शन स्पेस | लगातार और हाई-डाइमेंशनल एक्शन के साथ अच्छा काम करता है | अलग, कम डायमेंशन वाले कामों के लिए सबसे सही |
| नमूना दक्षता | आम तौर पर सैंपल-एफिशिएंट कम होता है, अक्सर ज़्यादा डेटा की ज़रूरत होती है | आमतौर पर ज़्यादा सैंपल-एफिशिएंट, खासकर रीप्ले बफ़र्स के साथ |
| स्थिरता | स्टेबल अपडेट लेकिन लोकल ऑप्टिमा तक कन्वर्ज हो सकते हैं | फ़ंक्शन एप्रोक्सिमेशन के साथ अनस्टेबल हो सकता है, इसके लिए ट्रिक्स की ज़रूरत होती है |
| अन्वेषण | स्टोकेस्टिक नीतियां प्राकृतिक अन्वेषण को सक्षम बनाती हैं | एप्सिलॉन-ग्रीडी या नॉइज़ इंजेक्शन जैसे ह्यूरिस्टिक्स पर निर्भर करता है |
| ग्रेडिएंट विचरण | हाई वेरिएंस ग्रेडिएंट्स, वेरिएंस रिडक्शन की ज़रूरत है | कोई पॉलिसी ग्रेडिएंट नहीं, इसलिए उसी अर्थ में कोई वैरिएंस इश्यू नहीं है |
| उल्लेखनीय एल्गोरिदम | सुदृढ़ीकरण, पीपीओ, टीआरपीओ, ए2सी | क्यू-लर्निंग, डीक्यूएन, डबल डीक्यूएन, ड्यूलिंग डीक्यूएन |
| अभिसरण गारंटी | स्टैंडर्ड कंडीशन में लोकल ऑप्टिमम पर कन्वर्ज होता है | टेबल वाली सेटिंग में सबसे अच्छी पॉलिसी पर कन्वर्ज करता है |
पॉलिसी-बेस्ड मेथड ज़्यादा सीधा रास्ता अपनाते हैं: वे पॉलिसी को ही पैरामीटराइज़ करते हैं, अक्सर एक न्यूरल नेटवर्क के तौर पर जो एक्शन की संभावनाओं को आउटपुट करता है, और उन पैरामीटर को उन एक्शन के पक्ष में एडजस्ट करते हैं जिनसे ज़्यादा रिवॉर्ड मिलते हैं। वैल्यू-बेस्ड मेथड पहले यह अनुमान लगाकर कि हर स्टेट में हर एक्शन कितना वैल्यूएबल है, फिर बस सबसे अच्छा दिखने वाला ऑप्शन चुनकर, सीनिक रास्ता अपनाते हैं। यह बुनियादी अंतर बाकी सब चीज़ों को तय करता है कि दोनों फ़ैमिली असल में कैसे काम करती हैं।
जब एक्शन स्पेस लगातार होता है, जैसे रोबोट आर्म को कंट्रोल करना या कार चलाना, तो पॉलिसी-बेस्ड तरीके अच्छे होते हैं क्योंकि वे लगातार रेंज में प्रोबेबिलिटी डिस्ट्रीब्यूशन आउटपुट कर सकते हैं। वैल्यू-बेस्ड तरीके यहां मुश्किल होते हैं क्योंकि मैक्सिमम पाने के लिए हर मुमकिन एक्शन को गिनाने का कोई तरीका नहीं है। अलग-अलग एक्शन के छोटे सेट वाली समस्याओं के लिए, जैसे अटारी खेलना या हां-ना के फैसले लेना, वैल्यू-बेस्ड तरीके अक्सर आसान और ज़्यादा असरदार होते हैं।
DQN जैसे वैल्यू-बेस्ड तरीके ज़्यादा सैंपल-एफिशिएंट होते हैं क्योंकि वे रीप्ले बफ़र्स में स्टोर पिछले अनुभवों का दोबारा इस्तेमाल करते हैं और हर ट्रांज़िशन से कई बार सीखते हैं। हालांकि, डीप न्यूरल नेटवर्क के साथ मिलाने पर वे अनस्टेबल हो सकते हैं, इसीलिए टारगेट नेटवर्क जैसी टेक्नीक शुरू की गईं। पॉलिसी-बेस्ड तरीके ज़्यादा आसानी से अपडेट होते हैं लेकिन आमतौर पर कन्वर्ज होने के लिए ज़्यादा सैंपल की ज़रूरत होती है, और उनके ग्रेडिएंट एस्टिमेट नॉइज़ी हो सकते हैं।
पॉलिसी-बेस्ड मेथड की एक अच्छी खासियत यह है कि पॉलिसी खुद स्टोकेस्टिक हो सकती है, जिसका मतलब है कि एजेंट अपने एक्शन डिस्ट्रीब्यूशन से सैंपलिंग करके नैचुरली एक्सप्लोर करता है। वैल्यू-बेस्ड मेथड के लिए साफ़ एक्सप्लोरेशन स्ट्रेटेजी की ज़रूरत होती है, जिसमें एप्सिलॉन-ग्रीडी क्लासिक चॉइस है, हालांकि नॉइज़ी नेट या अपर कॉन्फिडेंस बाउंड जैसे ज़्यादा सोफिस्टिकेटेड तरीके भी मौजूद हैं। यह पॉलिसी-बेस्ड मेथड को उन एनवायरनमेंट में खास तौर पर अपीलिंग बनाता है जहाँ एक्सप्लोरेशन ट्रिकी होता है।
इन दोनों फ़ैमिली के बीच की लाइन हमेशा साफ़ नहीं होती। PPO और A2C समेत एक्टर-क्रिटिक मेथड, पॉलिसी (एक्टर) में अपडेट को गाइड करने के लिए एक वैल्यू फ़ंक्शन (क्रिटिक) का इस्तेमाल करके दोनों आइडिया को मिलाते हैं। यह हाइब्रिड अप्रोच अक्सर दोनों दुनिया का सबसे अच्छा फ़ायदा देता है: प्योर पॉलिसी ग्रेडिएंट की तुलना में कम वैरिएंस और प्योर वैल्यू-बेस्ड मेथड की तुलना में कंटीन्यूअस एक्शन की बेहतर हैंडलिंग। कई डोमेन में मॉडर्न स्टेट-ऑफ़-द-आर्ट एल्गोरिदम एक्टर-क्रिटिक वेरिएंट हैं।
डीप रीइन्फोर्समेंट लर्निंग में पॉलिसी-बेस्ड मेथड हमेशा वैल्यू-बेस्ड मेथड से बेहतर परफॉर्म करते हैं।
कोई भी फ़ैमिली यूनिवर्सली बेहतर नहीं है। DQN जैसे वैल्यू-बेस्ड तरीकों ने अटारी पर शानदार नतीजे दिए, जबकि पॉलिसी-बेस्ड तरीकों ने लगातार कंट्रोल में बेहतर काम किया। सबसे अच्छा चुनाव एक्शन स्पेस, एनवायरनमेंट डायनामिक्स और कितना डेटा उपलब्ध है, इस पर निर्भर करता है।
वैल्यू-बेस्ड मेथड कंटीन्यूअस एक्शन स्पेस के साथ काम नहीं कर सकते।
जहां स्टैंडर्ड Q-लर्निंग लगातार एक्शन के साथ स्ट्रगल करता है, वहीं डीप डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट (DDPG) और ट्विन डिलेड DDPG (TD3) जैसे वेरिएंट एक्टर-क्रिटिक आर्किटेक्चर का इस्तेमाल करके वैल्यू-बेस्ड आइडिया को लगातार डोमेन तक बढ़ाते हैं। दोनों फैमिली के बीच सख्त सेपरेशन एक हार्ड रूल से ज़्यादा टीचिंग सिंपलिफिकेशन है।
पॉलिसी ग्रेडिएंट हमेशा सबसे अच्छी पॉलिसी में मिलते हैं।
पॉलिसी ग्रेडिएंट मेथड, स्टैंडर्ड स्मूथनेस अज़म्प्शन के तहत, ग्लोबली ऑप्टिमल पॉलिसी पर नहीं, बल्कि लोकली ऑप्टिमल पॉलिसी पर कन्वर्ज करने की गारंटी देते हैं। ऑप्टिमाइज़ेशन लैंडस्केप में कई पीक हो सकते हैं, और एल्गोरिदम उसी पर सेटल हो जाएगा जिस पर उसका स्टार्टिंग पॉइंट ले जाता है।
वैल्यू-बेस्ड तरीकों को किसी पॉलिसी रिप्रेजेंटेशन की ज़रूरत नहीं होती।
वैल्यू-बेस्ड मेथड भी अपने एक्शन-सिलेक्शन रूल, जैसे कि ग्रीडी या एप्सिलॉन-ग्रीडी के ज़रिए एक पॉलिसी को सीधे तौर पर डिफाइन करते हैं। फ़र्क यह है कि पॉलिसी को सीधे पैरामीटराइज़ और सीखा नहीं जाता; यह वैल्यू एस्टीमेट से डिराइव किया जाता है।
ज़्यादा सैंपल हमेशा डीप वैल्यू-बेस्ड मेथड में इनस्टेबिलिटी प्रॉब्लम को सॉल्व करते हैं।
डीप Q-लर्निंग में अस्थिरता मूविंग टारगेट प्रॉब्लम से आती है, जहाँ वैल्यू फ़ंक्शन अपने ही अपडेट का पीछा करता है। सिर्फ़ और डेटा जोड़ने से यह ठीक नहीं होता; ट्रेनिंग को स्टेबल करने के लिए टारगेट नेटवर्क, डबल Q-लर्निंग और प्रायोरिटी रिप्ले जैसी टेक्नीक की ज़रूरत होती है।
जब आपकी प्रॉब्लम में लगातार एक्शन शामिल हों, नेचुरल स्टोकेस्टिक एक्सप्लोरेशन की ज़रूरत हो, या जब आप स्मूद, स्टेबल पॉलिसी अपडेट चाहते हों, तो पॉलिसी-बेस्ड तरीके चुनें। अलग-अलग एक्शन प्रॉब्लम के लिए वैल्यू-बेस्ड तरीके चुनें, जहाँ सैंपल एफिशिएंसी मायने रखती है और आप एक्सपीरियंस रिप्ले का फ़ायदा उठा सकते हैं। कई असल दुनिया के कामों के लिए, एक्टर-क्रिटिक हाइब्रिड एक प्रैक्टिकल बीच का रास्ता देते हैं जो दोनों की ताकत को मिलाता है।
AI आइडिया वैलिडेशन एल्गोरिदम और डेटा का इस्तेमाल करके जल्दी से टेस्ट करता है कि किसी कॉन्सेप्ट में मार्केट पोटेंशियल है या नहीं, जबकि इंसानी प्रॉब्लम स्पॉटिंग असल दुनिया की दिक्कतों को पहचानने के लिए अपने अनुभव और इंट्यूशन पर निर्भर करती है। दोनों तरीकों में खास खूबियां हैं, और कई सफल फाउंडर किसी एक को चुनने के बजाय उन्हें मिलाते हैं।
यह डिटेल्ड ब्रेकडाउन आर्टिफिशियल इंटेलिजेंस सिस्टम के प्रोबेबिलिस्टिक नेचर की तुलना ट्रेडिशनल रूल-बेस्ड सॉफ्टवेयर में पाए जाने वाले प्रेडिक्टेबल एग्जीक्यूशन से करता है। जानें कि ये अलग-अलग पैराडाइम अलग-अलग ऑपरेशनल एनवायरनमेंट में सॉफ्टवेयर इंजीनियरिंग आर्किटेक्चर, रिस्क असेसमेंट और सिस्टम डिज़ाइन चॉइस पर कैसे असर डालते हैं।
AI एजेंट ऑटोनॉमी सॉफ्टवेयर सिस्टम को लक्ष्यों के लिए खुद से प्लान बनाने और काम करने देती है, जबकि ह्यूमन-गाइडेड डेवलपमेंट लोगों को हर कदम पर गाइड करता रहता है। दोनों तरीके यह तय करते हैं कि AI प्रोडक्ट कैसे बनते हैं, और उनमें से किसी एक को चुनने से असल दुनिया में डिप्लॉयमेंट में रिलायबिलिटी, क्रिएटिविटी और कंट्रोल पर असर पड़ता है।
AI एजेंट ऑटोनॉमस, गोल-ड्रिवन सिस्टम होते हैं जो अलग-अलग टूल्स पर काम की प्लानिंग, रीज़न और एग्जीक्यूट कर सकते हैं, जबकि ट्रेडिशनल वेब एप्लिकेशन फिक्स्ड यूज़र-ड्रिवन वर्कफ़्लो को फॉलो करते हैं। यह तुलना स्टैटिक इंटरफ़ेस से अडैप्टिव, कॉन्टेक्स्ट-अवेयर सिस्टम में बदलाव को हाईलाइट करती है जो यूज़र्स की प्रोएक्टिवली मदद कर सकते हैं, फैसलों को ऑटोमेट कर सकते हैं, और कई सर्विसेज़ के साथ डायनामिकली इंटरैक्ट कर सकते हैं।
AI एजेंट्स में सेल्फ-रिफ्लेक्शन, इटरेटिव रीज़निंग, एरर करेक्शन और अडैप्टिव बिहेवियर को मुमकिन बनाता है, जबकि स्टैटिक आउटपुट जेनरेशन बिना इंटरनल रिव्यू के फिक्स्ड रिस्पॉन्स देता है। रिफ्लेक्टिव अप्रोच मुश्किल कामों में ज़्यादा एक्यूरेसी और कॉन्टेक्स्चुअल अवेयरनेस के लिए स्पीड और कम्प्यूटेशनल कॉस्ट को ट्रेड करता है।
