PPO मधील पॉलिसी क्लिपिंग प्रत्येक अपडेट दरम्यान नवीन पॉलिसी जुन्या पॉलिसीपासून किती दूर जाऊ शकते यावर मर्यादा घालते, ज्यामुळे ट्रेनिंग स्थिर राहते. अमर्याद पॉलिसी अपडेट्समुळे नवीन पॉलिसीला मुक्तपणे बदलण्याची मुभा मिळते, ज्यामुळे लर्निंगचा वेग वाढू शकतो, परंतु गुंतागुंतीच्या वातावरणात अनेकदा अस्थिरता किंवा कोसळण्याची समस्या निर्माण होते.
प्रॉक्सिमल पॉलिसी ऑप्टिमायझेशनमधील एक तंत्र जे प्रत्येक अपडेट स्टेपमध्ये पॉलिसीमध्ये किती बदल होऊ शकतो यावर मर्यादा घालते.
एक अशी पद्धत, जिथे एकाच प्रशिक्षण पुनरावृत्ती दरम्यान धोरण मापदंड कोणत्याही स्पष्ट बंधनांशिवाय कोणत्याही प्रमाणात बदलू शकतात.
| वैशिष्ट्ये | पीपीओ मध्ये पॉलिसी क्लिपिंग | अमर्याद धोरण अद्यतने |
|---|---|---|
| अपडेट मर्यादा | ०.१–०.२ च्या गुणोत्तरापर्यंत मर्यादित केले | कोणतेही स्पष्ट बंधन नाही |
| प्रशिक्षण स्थिरता | पुनरावृत्तींमध्ये साधारणपणे स्थिर | दोलन आणि कोसळण्याची शक्यता |
| नमुना कार्यक्षमता | उच्च, संकलित मार्गांचा पुनर्वापर करते | परिवर्तनशील, अनेकदा नवीन डेटाची आवश्यकता असते |
| अंमलबजावणीची गुंतागुंत | मध्यम, एकल क्लिप्ड उद्दिष्ट | साधी, प्रमाणित प्रवणता |
| हायपरपॅरामीटर संवेदनशीलता | खालची क्लिपिंग रेंज क्षम्य आहे. | लर्निंग रेट जास्त असणे महत्त्वाचे आहे. |
| धोरण कोसळण्याचा धोका | सान्निध्य मर्यादेमुळे कमी | बाह्य सुरक्षा उपायांशिवाय उच्च |
| सामान्य वापराची प्रकरणे | रोबोटिक्स, गेम एआय, आरएलएचएफ, सतत नियंत्रण | सोप्या समस्या, सैद्धांतिक विश्लेषण |
| मूळ | ओपनएआय, २०१७ पीपीओ पेपर | सुरुवातीचे धोरणात्मक श्रेणीचे साहित्य, १९९०-२००० चे दशक |
PPO मधील पॉलिसी क्लिपिंग नवीन आणि जुन्या कृती संभाव्यतांचे गुणोत्तर काढून, नंतर ते गुणोत्तर एका अरुंद पट्टीत (सहसा ०.८ ते १.२) ठेवण्यासाठी मर्यादित करून कार्य करते. जेव्हा हे गुणोत्तर या पट्टीच्या बाहेर जाण्याचा प्रयत्न करते, तेव्हा ग्रेडियंट सिग्नल शून्य केला जातो, ज्यामुळे ऑप्टिमायझरला प्रभावीपणे 'या दिशेने पुढे जाऊ नका' असा संदेश मिळतो. अमर्याद अपडेट्स ही सुरक्षा पूर्णपणे वगळतात, ज्यामुळे ऑप्टिमायझरला पॉलिसी पॅरामीटर्स ग्रेडियंटच्या दिशेने हलवण्याची मुभा मिळते, बदल कितीही मोठा असला तरीही.
क्लिप्ड पद्धत तिच्या विश्वासार्हतेसाठी ओळखली जाते, कारण ती अनबाउंडेड मेथड्सना त्रास देणारे विनाशकारी विस्मरण टाळते. जेव्हा एखादे चांगले धोरण सापडते, तेव्हा क्लिपिंगमुळे ते अतिआत्मविश्वासाने केलेल्या अपडेटमुळे नष्ट होण्यापासून वाचते. अनबाउंडेड अपडेट्स कधीकधी अधिक वेगाने महत्त्वपूर्ण शोध लावू शकतात, परंतु एकाच चुकीच्या पावलामुळे अनेक आठवड्यांची प्रगती वाया घालवण्याची त्यांची सवय असते, म्हणूनच बहुतेक प्रोडक्शन सिस्टीम्स त्यांचा वापर टाळतात.
PPO चे क्लिपिंग संकलित अनुभवाच्या एकाच बॅचवर ऑप्टिमायझेशनचे अनेक टप्पे शक्य करते, ज्यामुळे सॅम्पलची कार्यक्षमता लक्षणीयरीत्या सुधारते. पॉलिसी फार दूरपर्यंत भरकटू शकत नसल्यामुळे, डेटा अनेक ग्रेडियंट टप्प्यांवर सुसंगत राहतो. अमर्याद अपडेट्ससाठी सामान्यतः प्रत्येक इटरेशनमध्ये नवीन सॅम्पल्सची आवश्यकता असते, कारण पॉलिसी इतकी बदललेली असू शकते की जुने ट्रॅजेक्टरीज सध्याच्या वर्तनाचे प्रतिबिंब दर्शवत नाहीत, ज्यामुळे संगणकीय आणि पर्यावरणीय संसाधनांचा अपव्यय होतो.
क्लिपिंगमुळे PPO हायपरपॅरामीटर्सच्या बाबतीत आश्चर्यकारकपणे लवचिक बनते. ०.२ ची क्लिप रेंज जास्त ट्यूनिंगशिवाय विविध प्रकारच्या कार्यांमध्ये उत्तम काम करते. अनबाउंडेड अपडेट्सचे यश-अपयश हे लर्निंग रेटवर अवलंबून असते: तो खूप कमी असल्यास लर्निंगची गती मंदावते, आणि खूप जास्त असल्यास पॉलिसी विचलित होते. या संवेदनशीलतेमुळे, ज्या व्यावसायिकांकडे विस्तृत तपासणीसाठी वेळ नसतो, त्यांच्यासाठी अनबाउंडेड मेथड्स निराशाजनक ठरतात.
कोणत्याही आधुनिक RL कोडबेसचा आढावा घेतल्यास, OpenAI च्या स्वतःच्या कामापासून ते रोबोटिक्स लॅब्स आणि RLHF सारख्या लँग्वेज मॉडेल फाइन-ट्यूनिंग पाइपलाइन्सपर्यंत, सर्वत्र PPO चेच वर्चस्व असल्याचे दिसून येते. अनबाउंडेड पॉलिसी अपडेट्स अजूनही मुख्यतः पाठ्यपुस्तके आणि सैद्धांतिक चर्चांपुरतेच मर्यादित आहेत, आणि तुलना करण्यासाठी आधारभूत माहितीची गरज असलेल्या शोधनिबंधांमध्ये ते अधूनमधून समोर येतात. या अवलंबनातील तफावत, व्यवहारात कोणता दृष्टिकोन प्रत्यक्षात प्रभावी ठरतो याबद्दल अनेक दशकांपासून जमा झालेल्या पुराव्यांना प्रतिबिंबित करते.
क्लिपिंगमुळे धोरणामध्ये लक्षणीय बदल होणे पूर्णपणे थांबते.
क्लिपिंगमुळे एकाच अपडेट स्टेपमध्ये पॉलिसी किती बदलू शकते यावरच मर्यादा येते. अनेक इटरेशन्समध्ये, जोपर्यंत प्रत्येक स्टेप क्लिप रेंजच्या आत राहते, तोपर्यंत पॉलिसीमध्ये लक्षणीय बदल होऊ शकतो. ही मर्यादा प्रत्येक स्टेपसाठी आहे, कायमस्वरूपी नाही.
अमर्याद अद्यतने नेहमीच मर्यादित पद्धतींपेक्षा अधिक वेगाने अभिसरण करतात.
अमर्याद अपडेट्स सुरुवातीला अधिक वेगवान वाटू शकतात, परंतु ते वारंवार विचलित होतात किंवा कोलमडतात, ज्यामुळे पुन्हा सुरुवात करावी लागते आणि सुरुवातीला मिळालेला फायदा नाहीसा होतो. प्रत्यक्षात, PPO सारख्या संक्षिप्त पद्धती अनेकदा कमी वेळेत अधिक चांगली अंतिम कामगिरी साधतात, कारण त्या खराब अपडेट्समधून सावरण्यासाठी प्रयत्न वाया घालवत नाहीत.
PPO चे क्लिपिंग त्याला TRPO च्या समकक्ष बनवते.
दोन्ही पद्धती पॉलिसी अपडेट्सवर मर्यादा घालतात, परंतु TRPO लाइन सर्चसह एक कठोर KL डायव्हर्जन्स मर्यादा वापरते, तर PPO संभाव्यता गुणोत्तरावर एक सॉफ्ट क्लिप वापरते. PPO अधिक सोपी आहे, प्रति बॅच अनेक इपॉक्सना समर्थन देते आणि मोठ्या मॉडेल्ससाठी अधिक चांगल्या प्रकारे स्केल होते, म्हणूनच व्यवहारात तिने मोठ्या प्रमाणावर TRPO ची जागा घेतली आहे.
क्लिपची मोठी श्रेणी म्हणजे नेहमीच अधिक आक्रमक शिक्षण.
क्लिप रेंज वाढवल्याने मोठे अपडेट्स करणे शक्य होते, पण त्यामुळे क्लिपिंगचा संरक्षक प्रभावही कमी होतो. एका विशिष्ट मर्यादेनंतर, अल्गोरिदम अधिक अमर्याद अपडेटसारखा वागतो आणि त्याचे स्थिरतेचे फायदे गमावतो. डीफॉल्ट ०.२ रेंज ही एक सर्वोत्तम मर्यादा आहे, ती पुढील स्तरावर ट्यूनिंग करण्यासाठीची सुरुवात नाही.
अमर्याद धोरण अद्यतने कालबाह्य आणि निरुपयोगी आहेत.
अमर्याद अद्यतने संशोधनामध्ये आधाररेखा म्हणून मौल्यवान ठरतात आणि लहान ग्रिडवर्ल्ड किंवा कमी-मितीय नियंत्रण कार्यांसारख्या सोप्या वातावरणात बऱ्यापैकी चांगले काम करतात. ट्रस्ट रीजन पद्धती मुळात का विकसित केल्या गेल्या, हे समजून घेण्यासाठी ती शैक्षणिक साधने म्हणूनही उपयोगी पडतात.
जेव्हा तुम्हाला विविध वातावरणांमध्ये विश्वसनीय, पुनरुत्पादक प्रशिक्षणाची आवश्यकता असते, तेव्हा PPO मध्ये पॉलिसी क्लिपिंग निवडा; विशेषतः उत्पादन किंवा संशोधन सेटिंग्जमध्ये, जिथे केवळ वेगापेक्षा स्थिरता अधिक महत्त्वाची असते. अमर्याद पॉलिसी अपडेट्स केवळ सोप्या, कमी-मितीय समस्यांसाठी किंवा सैद्धांतिक अभ्यासांसाठीच उपयुक्त ठरतात, जिथे तुम्हाला विशेषतः त्या अपयशाच्या पद्धतींचे निरीक्षण करायचे असते, ज्यांना रोखण्यासाठी क्लिपिंगची रचना केली गेली होती.
RAG मधील इमेज ग्राउंडिंग, दस्तऐवजांमधून मिळवलेल्या दृश्य पुराव्यांशी AI च्या प्रतिसादांना जोडते, ज्यामुळे भ्रम कमी होतो आणि तथ्यात्मक अचूकता सुधारते. अनग्राउंडेड मजकूर निर्मिती केवळ प्रशिक्षण डेटामधील पॅरामीट्रिक ज्ञानावर अवलंबून असते, ज्यामुळे पडताळण्यायोग्य स्रोतांशिवाय अस्खलित परंतु संभाव्यतः बनावट आउटपुट तयार होतात.
अनिर्बंध स्थानिक मॉडेल्स कोणत्याही कंटेंट फिल्टर्सशिवाय तुमच्या स्वतःच्या हार्डवेअरवर चालतात, ज्यामुळे तुम्हाला पूर्ण नियंत्रण आणि गोपनीयता मिळते. नियंत्रित व्यावसायिक APIs अंगभूत सुरक्षा फिल्टर्ससह होस्टेड AI, सुलभ सेटअप आणि प्रमुख प्रदात्यांकडून निरंतर समर्थन देतात.
या सविस्तर तुलनेमध्ये, स्थिर वर्तनाच्या स्वयंचलन प्रणालींच्या तुलनेत अनुकूलनशील बुद्धिमत्ता इंजिनांचे रचनात्मक फरक, कार्यान्वयन मर्यादा आणि प्रत्यक्ष कार्यप्रदर्शन यांचा शोध घेतला जातो. नवीन पर्यावरणीय माहितीमधून सतत शिकणाऱ्या प्रणाली, ताठर आणि पूर्वानुमेय नियमांवर आधारित चौकटींपुढे कशा टिकतात, हे आपण पाहतो.
एआय वर्कलोडमधील कार्यक्षमता सुधारण्यासाठी सिक्वेन्स पॅरललायझेशन आणि सिक्वेन्शियल प्रोसेसिंग ऑप्टिमायझेशन या दोन वेगवेगळ्या कार्यनीती आहेत. एकीकडे ट्रेनिंग आणि इन्फरन्सचा विस्तार करण्यासाठी सिक्वेन्स कम्प्युटेशन अनेक डिव्हाइसेसवर वितरित करण्यावर लक्ष केंद्रित केले जाते, तर दुसरीकडे एकाच प्रोसेसिंग फ्लोमध्ये टप्प्याटप्प्याने होणाऱ्या अंमलबजावणीची कार्यक्षमता सुधारून, लेटन्सी आणि कम्प्युटेशनल ओव्हरहेड कमी केले जाते.
अनुक्रमिक निर्णय प्रक्रिया आणि एक-चरण भाकित मॉडेल हे एआयमधील दोन मूलभूतपणे भिन्न दृष्टिकोन आहेत. अनुक्रमिक पद्धती विविध कालावधीत कृतींना अनुकूलित करतात, तर एक-चरण मॉडेल भविष्यातील परिणामांचा विचार न करता एकाच वेळेच्या भाकितांवर लक्ष केंद्रित करतात.
