मॉडेल स्केलिंगचे नियम आणि आर्किटेक्चरमधील नावीन्य, या एआयची क्षमता वाढवण्यासाठीच्या दोन परस्परविरोधी विचारप्रणाली आहेत. स्केलिंगच्या नियमांनुसार, अधिक डेटावर प्रशिक्षित केलेले मोठे मॉडेल अपेक्षित लाभ देतात, तर आर्किटेक्चरमधील नावीन्य कमी संगणकीय ऊर्जेत अधिक साध्य करणाऱ्या अधिक स्मार्ट डिझाइनवर लक्ष केंद्रित करते.
अधिक पॅरामीटर्स, डेटा आणि संगणकीय क्षमतेच्या साहाय्याने एआय मॉडेलची कार्यक्षमता कशी अपेक्षितपणे सुधारते, हे दर्शवणारी अनुभवजन्य तत्त्वे.
नाविन्यपूर्ण न्यूरल नेटवर्क डिझाइन, जे केवळ स्केलिंगच्या पलीकडे जाऊन एआयची कार्यक्षमता आणि क्षमता सुधारतात.
| वैशिष्ट्ये | मॉडेल स्केलिंग नियम | वास्तुकला नवकल्पना |
|---|---|---|
| गाभा तत्त्वज्ञान | मोठे मॉडेल + अधिक डेटा = उत्तम कामगिरी | अधिक स्मार्ट डिझाइन कमी संगणकीय शक्तीमध्ये अधिक साध्य करतात. |
| प्राथमिक खर्च चालक | प्रशिक्षणासाठी संगणकीय शक्ती आणि ऊर्जा | प्रतिभा आणि डिझाइन पुनरावृत्तीचे संशोधन |
| लाभांची पूर्वानुमानक्षमता | पॉवर लॉजद्वारे अत्यंत अंदाज करण्यायोग्य | अंदाज लावता येत नाही; यश अधूनमधूनच मिळते. |
| प्रमुख समर्थक | ओपनएआय, अँथ्रोपिक, स्केलिंग हायपोथिसिसचे समर्थक | डीपमाइंड, शैक्षणिक संशोधक, कार्यक्षमतेवर लक्ष केंद्रित करणाऱ्या प्रयोगशाळा |
| संगणकीय आवश्यकता | प्रचंड आणि वेगाने वाढणारे | बहुतेकदा कमी; सामान्य हार्डवेअरवर चालू शकते |
| कामगिरीची कमाल मर्यादा | उपलब्ध संगणकीय शक्ती आणि डेटाने मर्यादित | डिझाइनमधील मानवी कल्पकतेच्या मर्यादेत |
| निकालांसाठी लागणारा कालावधी | अंदाज लावता येण्यासारखे पण संथ (महिन्यांचे प्रशिक्षण) | परिवर्तनशील; जलद यश मिळवून देऊ शकते |
| प्रातिनिधिक उदाहरणे | जीपीटी-४, क्लॉड ३, जेमिनी अल्ट्रा | मांबा, एमओई मॉडेल्स, फ्लॅश अटेंशन, आरएजी सिस्टीम्स |
मॉडेल स्केलिंगचे नियम एका साध्या पण प्रभावी कल्पनेवर आधारित आहेत: बुद्धिमत्ता विस्तारातूनच उदयास येते. कॅप्लानच्या २०२० च्या शोधनिबंधातील आणि चिंचिलाच्या २०२२ च्या सुधारित आवृत्तीतील अनुभवजन्य पुरावे दर्शवतात की, कार्यक्षमतेतील सुधारणा अपेक्षित गणितीय संबंधांनुसार होतात. आर्किटेक्चरमधील नावीन्य याच्या विरुद्ध भूमिका घेते आणि असा युक्तिवाद करते की, कुशल अभियांत्रिकीद्वारे विद्यमान संगणकीय क्षमतेतून अधिक क्षमता मिळवता येते. स्केलिंग उपयुक्त ठरते यावर दोन्ही गटांचे एकमत आहे; परंतु पुढे जाण्याचा हाच एकमेव मार्ग आहे की नाही यावर त्यांचे मतभेद आहेत.
अत्याधुनिक मॉडेल्सना प्रशिक्षित करण्यासाठी आता केवळ संगणकीय क्षमतेवरच कोट्यवधी डॉलर्स खर्च येतो, आणि GPT-4-श्रेणीच्या सिस्टीम्सची किंमत १०० दशलक्ष डॉलर्सपेक्षा जास्त असल्याचे म्हटले जाते. आर्किटेक्चरमधील नावीन्य एक पूर्णपणे वेगळे अर्थशास्त्र सादर करते: एक सु-रचित मॉडेल प्रशिक्षणाच्या अत्यंत कमी खर्चात मोठ्या स्पर्धकांशी बरोबरी करू शकते किंवा त्यांना मागे टाकू शकते. यामुळे आर्किटेक्चरमधील नावीन्य हे शैक्षणिक प्रयोगशाळा, स्टार्टअप्स आणि हायपरस्केलर बजेट नसलेल्या संस्थांसाठी विशेषतः आकर्षक ठरते.
स्केलिंगचे नियम एआय संशोधनात एक दुर्मिळ गोष्ट प्रदान करतात: पूर्वानुमेयता. जर तुम्ही गणना दुप्पट केली, तर अंदाजे कोणती सुधारणा अपेक्षित आहे हे तुम्हाला कळते. आर्किटेक्चरमधील नावीन्य हे मुळातच अधिक जोखमीचे असते, कारण मोठे यश हे अंकगणिताऐवजी दूरदृष्टीवर अवलंबून असते. तथापि, जेव्हा आर्किटेक्चरमध्ये मोठे यश मिळते, तेव्हा ते अनेक वर्षांच्या टप्प्याटप्प्याने होणाऱ्या स्केलिंगमधील प्रगतीला मागे टाकू शकते. ट्रान्सफॉर्मर हे स्वतःच असेच एक मोठे पाऊल होते, ज्याने आरएनएन स्केलिंगवरील अनेक वर्षांचे काम रातोरात कालबाह्य केले.
उद्योगक्षेत्रात आता हे अधिकाधिक मान्य होत आहे की केवळ स्केलिंगला मर्यादा आहेत. अगदी ओपनएआयच्या (OpenAI) नेतृत्वानेसुद्धा डेटाची उपलब्धता आणि संगणकीय खर्चाच्या बाबतीत येणाऱ्या अडचणींवर जाहीरपणे चर्चा केली आहे. त्याच वेळी, आर्किटेक्चरमधील नवनवीन शोधांना वेग येत आहे: मिक्सट्रल (Mixtral) सारखे विविध तज्ञांचे मिश्रण असलेले मॉडेल, कार्यक्षम अटेंशन व्हेरिएंट्स आणि स्टेट स्पेस मॉडेल यांना लोकप्रियता मिळत आहे. बहुतेक अग्रगण्य प्रयोगशाळा आता या दोन्ही धोरणांना स्पर्धात्मक न मानता, एकमेकांना पूरक मानून एकाच वेळी त्यांचा पाठपुरावा करत आहेत.
भविष्याचा विचार करता, यापैकी कोणताही एक दृष्टिकोन एआयला मानवी क्षमतेपर्यंत पोहोचवण्याची शक्यता नाही. स्केलिंग नियमांनुसार आपण मॉडेलचा आकार वाढवत राहू, परंतु घटता परतावा आणि संसाधनांवरील मर्यादांमुळे आर्किटेक्चरल चातुर्यावर अधिक अवलंबून राहावे लागेल. पुढील सर्वात आशादायक मार्ग या दोन्हींचा मिलाफ आहे: स्केलिंग नियमांचा वापर करून इष्टतम मॉडेल आकार निश्चित करणे आणि त्याच वेळी प्रत्येक पॅरामीटरनुसार क्षमता वाढवण्यासाठी आर्किटेक्चरल नवकल्पना लागू करणे. हा संकरित दृष्टिकोन एआय संशोधनाची सध्याची आघाडी निश्चित करतो.
स्केलिंग नियमांनुसार, मोठे मॉडेल नेहमीच चांगले असतात.
चिंचिलाने दाखवून दिले की मॉडेलचा आकार आणि प्रशिक्षण डेटा यांचा एकत्रितपणे विस्तार झाला पाहिजे. अपुऱ्या डेटावर प्रशिक्षित केलेले ७०B चे मॉडेल, पुरेशा डेटावर प्रशिक्षित केलेल्या लहान मॉडेलपेक्षा कमी कामगिरी करेल. हा संबंध केवळ आकाराबद्दल नसून संतुलनाबद्दल आहे.
आर्किटेक्चरमधील नवोन्मेष हा संगणकीय खर्च टाळण्याचा एक मार्ग आहे.
वास्तुशास्त्रीय प्रगतीमुळे अनेकदा अशा पूर्णपणे नवीन क्षमता निर्माण होतात, ज्या केवळ स्केलिंगने साध्य करता येत नाहीत. ट्रान्सफॉर्मरने केवळ मॉडेल्स स्वस्त केले नाहीत; तर त्याने अधिक मोठ्या संदर्भांवर प्रक्रिया करणे आणि समांतर प्रशिक्षण देणे शक्य केले, जे मुळात आरएनएन (RNNs) करू शकत नव्हते.
जोपर्यंत आपण एजीआय (AGI) पर्यंत पोहोचत नाही, तोपर्यंत स्केलिंगचे नियम अनिश्चित काळासाठी सुरू राहतील.
संशोधकांनी प्रगत क्षेत्रात घटत्या परताव्याची नोंद केली आहे. संगणकीय क्षमतेच्या प्रत्येक दुप्पटीमुळे आता पूर्वीच्या दुप्पटींपेक्षा कमी कामगिरीत वाढ मिळते. डेटाची गुणवत्ता आणि उपलब्धता हे देखील असे कठीण अडथळे बनत आहेत, ज्यांवर केवळ स्केलिंगद्वारे मात करता येत नाही.
हे दोन दृष्टिकोन परस्परविरोधी आहेत.
आधुनिक फ्रंटियर मॉडेल्स दोन्हीचा वापर करतात. GPT-4 मध्ये प्रचंड व्याप्तीसोबतच वास्तुशास्त्रीय नवकल्पनांचाही समावेश असण्याची शक्यता आहे. हा वाद खऱ्या अर्थाने प्राधान्य आणि संसाधनांच्या वाटपाबद्दल आहे, 'एकतर हे किंवा ते' या निवडीबद्दल नाही.
वास्तुकलेतील नवोन्मेष हा नेहमीच विस्तारापेक्षा श्रेष्ठ ठरतो.
अपुरे मापदंड किंवा डेटा असलेली एक कल्पक रचना एका पातळीवर स्थिरावते. पुरेशा व्याप्तीसह एकत्रित केल्यावरच रचनेतील नावीन्य सहसा सर्वोत्तम काम करते. सर्वात यशस्वी प्रणाली एकाच वेळी दोन्ही आयामांना अनुकूलित करतात.
जेव्हा तुमच्याकडे प्रचंड संगणकीय क्षमता असते आणि प्रस्थापित आर्किटेक्चरमध्ये अपेक्षित, टप्प्याटप्प्याने होणाऱ्या सुधारणांची आवश्यकता असते, तेव्हा मॉडेल स्केलिंगचे नियम निवडा. जेव्हा संसाधने मर्यादित असतात, जेव्हा तुम्हाला इन्फरन्सच्या वेळी कार्यक्षमतेची आवश्यकता असते, किंवा जेव्हा तुम्ही अशा क्षमता मिळवू इच्छिता ज्या केवळ स्केलिंगद्वारे मिळवणे कठीण जाते, तेव्हा आर्किटेक्चरमधील नावीन्य निवडा. व्यवहारात, आजच्या सर्वात यशस्वी एआय प्रणाली केवळ एकाच तत्त्वज्ञानाला चिकटून न राहता, दोन्ही तत्त्वज्ञानांचा मेळ घालतात.
RAG मधील इमेज ग्राउंडिंग, दस्तऐवजांमधून मिळवलेल्या दृश्य पुराव्यांशी AI च्या प्रतिसादांना जोडते, ज्यामुळे भ्रम कमी होतो आणि तथ्यात्मक अचूकता सुधारते. अनग्राउंडेड मजकूर निर्मिती केवळ प्रशिक्षण डेटामधील पॅरामीट्रिक ज्ञानावर अवलंबून असते, ज्यामुळे पडताळण्यायोग्य स्रोतांशिवाय अस्खलित परंतु संभाव्यतः बनावट आउटपुट तयार होतात.
अनिर्बंध स्थानिक मॉडेल्स कोणत्याही कंटेंट फिल्टर्सशिवाय तुमच्या स्वतःच्या हार्डवेअरवर चालतात, ज्यामुळे तुम्हाला पूर्ण नियंत्रण आणि गोपनीयता मिळते. नियंत्रित व्यावसायिक APIs अंगभूत सुरक्षा फिल्टर्ससह होस्टेड AI, सुलभ सेटअप आणि प्रमुख प्रदात्यांकडून निरंतर समर्थन देतात.
या सविस्तर तुलनेमध्ये, स्थिर वर्तनाच्या स्वयंचलन प्रणालींच्या तुलनेत अनुकूलनशील बुद्धिमत्ता इंजिनांचे रचनात्मक फरक, कार्यान्वयन मर्यादा आणि प्रत्यक्ष कार्यप्रदर्शन यांचा शोध घेतला जातो. नवीन पर्यावरणीय माहितीमधून सतत शिकणाऱ्या प्रणाली, ताठर आणि पूर्वानुमेय नियमांवर आधारित चौकटींपुढे कशा टिकतात, हे आपण पाहतो.
एआय वर्कलोडमधील कार्यक्षमता सुधारण्यासाठी सिक्वेन्स पॅरललायझेशन आणि सिक्वेन्शियल प्रोसेसिंग ऑप्टिमायझेशन या दोन वेगवेगळ्या कार्यनीती आहेत. एकीकडे ट्रेनिंग आणि इन्फरन्सचा विस्तार करण्यासाठी सिक्वेन्स कम्प्युटेशन अनेक डिव्हाइसेसवर वितरित करण्यावर लक्ष केंद्रित केले जाते, तर दुसरीकडे एकाच प्रोसेसिंग फ्लोमध्ये टप्प्याटप्प्याने होणाऱ्या अंमलबजावणीची कार्यक्षमता सुधारून, लेटन्सी आणि कम्प्युटेशनल ओव्हरहेड कमी केले जाते.
अनुक्रमिक निर्णय प्रक्रिया आणि एक-चरण भाकित मॉडेल हे एआयमधील दोन मूलभूतपणे भिन्न दृष्टिकोन आहेत. अनुक्रमिक पद्धती विविध कालावधीत कृतींना अनुकूलित करतात, तर एक-चरण मॉडेल भविष्यातील परिणामांचा विचार न करता एकाच वेळेच्या भाकितांवर लक्ष केंद्रित करतात.
