AI सिस्टम के व्यवहार को गाइड करने के लिए ह्यूमन प्रेफरेंस अलाइनमेंट और ऑब्जेक्टिव फंक्शन ऑप्टिमाइज़ेशन, असल में अलग-अलग तरीके दिखाते हैं। पहले वाले में ह्यूमन वैल्यू और फीडबैक शामिल होते हैं, जबकि दूसरे वाले में मैथमेटिकली तय लक्ष्यों को पूरा किया जाता है।
फ़ीडबैक और बार-बार सुधार के ज़रिए AI सिस्टम को इंसानी मूल्यों, इरादों और पसंद को दिखाने के लिए ट्रेनिंग देना।
स्ट्रक्चर्ड एनवायरनमेंट में एक्यूरेसी, लॉस मिनिमाइज़ेशन, या एक्सपेक्टेड रिवॉर्ड जैसे पहले से तय मेट्रिक्स को मैथमेटिकली ऑप्टिमाइज़ करना।
| विशेषता | मानव वरीयता संरेखण | उद्देश्य फ़ंक्शन अनुकूलन |
|---|---|---|
| मूल दर्शन | मानवीय मूल्यों और इरादों को दर्शाता है | पूर्वनिर्धारित गणितीय लक्ष्यों को अधिकतम करता है |
| प्रतिक्रिया स्रोत | मानव मूल्यांकनकर्ता, समीक्षक, या AI-सहायता प्राप्त मानवीय निर्णय | ऑटोमेटेड मेट्रिक्स, एनवायरनमेंट रिवॉर्ड्स, या लॉस फ़ंक्शन |
| प्रशिक्षण विधि | RLHF, रिवॉर्ड मॉडलिंग, कॉन्स्टिट्यूशनल AI | ग्रेडिएंट डिसेंट, इवोल्यूशनरी एल्गोरिदम, डायनामिक प्रोग्रामिंग |
| अनुमापकता | ह्यूमन एनोटेशन बैंडविड्थ और लागत द्वारा सीमित | कंप्यूट रिसोर्स के साथ बहुत ज़्यादा स्केलेबल |
| विवेचनीयता | अक्सर सब्जेक्टिव इंसानी जजमेंट एन्कोडिंग की वजह से धुंधला हो जाता है | जब उद्देश्य स्पष्ट रूप से परिभाषित होते हैं तो अधिक पारदर्शी होते हैं |
| विफलता मोड | सीखी हुई प्रॉक्सी पसंद पर हैकिंग का इनाम | स्पेसिफिकेशन गेमिंग और एज केस एक्सप्लॉइटेशन |
| विशिष्ट अनुप्रयोग | भाषा मॉडल, कंटेंट मॉडरेशन, रिकमेंडेशन सिस्टम | गेम खेलना, रोबोटिक्स कंट्रोल, रिसोर्स एलोकेशन |
इंसानों की पसंद का अलाइनमेंट इस बात को समझने से आया कि कई काम आसान मैथमेटिकल स्पेसिफिकेशन के खिलाफ हैं। नियमों को सीधे एन्कोड करने के बजाय, प्रैक्टिशनर मॉडल्स को इस तरह ट्रेन करते हैं कि वे पसंदीदा व्यवहार के उदाहरणों से यह अंदाज़ा लगा सकें कि इंसान क्या चाहते हैं। ऑब्जेक्टिव फंक्शन ऑप्टिमाइज़ेशन इसका उल्टा रुख अपनाता है, यह मानते हुए कि ध्यान से किया गया मैथमेटिकल फॉर्मूलेशन मनचाहे नतीजों को ठीक-ठीक दिखाता है। यह परंपरा ऑपरेशन्स रिसर्च और कंट्रोल थ्योरी तक जाती है, जहाँ पोर्टफोलियो ऑप्टिमाइज़ेशन या एयरक्राफ्ट ट्रैजेक्टरी प्लानिंग जैसी समस्याओं के शानदार क्लोज्ड-फॉर्म सॉल्यूशन मिले।
इन पैराडाइम के बीच कॉस्ट स्ट्रक्चर में बहुत ज़्यादा फ़र्क होता है। प्रेफरेंस अलाइनमेंट के लिए लगातार इंसानी दखल की ज़रूरत होती है, जिसमें कंपनियाँ एनोटेशन सर्विस पर अरबों खर्च करती हैं। ऑब्जेक्टिव ऑप्टिमाइज़ेशन, एक बार बन जाने के बाद, हार्डवेयर पर अपने आप चलता है। हालाँकि, यह साफ़ एफिशिएंसी छिपी हुई कॉस्ट को छिपा देती है, और गलत तरीके से बताए गए ऑब्जेक्टिव डिप्लॉयमेंट में महंगी फेलियर पैदा कर सकते हैं। कुछ रिसर्चर का तर्क है कि ऑब्जेक्टिव डिज़ाइन में पहले से ज़्यादा इन्वेस्ट करने से लंबे समय की अलाइनमेंट कॉस्ट कम हो जाती है।
दोनों तरीकों में खास फेलियर पैटर्न दिखते हैं जो उनकी अंदरूनी कमजोरी को दिखाते हैं। पसंद के हिसाब से चलने वाले सिस्टम कभी-कभी चापलूसी वाले आउटपुट देते हैं, जो यूज़र्स को वही बताते हैं जो वे सुनना चाहते हैं, न कि सच्चे जवाब। ऑप्टिमाइज़्ड सिस्टम अपने मकसद को सच-सच कहने वाले पक्के इरादे से पूरा करते हैं जो इंसानों को अजीब लगता है, जैसे टेट्रिस खेलने वाला AI जो हारने से बचने के लिए गेम को हमेशा के लिए रोक देता था। ये फेलियर बताते हैं कि कोई भी तरीका इंसानों जैसी कॉमन सेंस को पूरी तरह से नहीं पकड़ पाता है।
आजकल की प्रैक्टिस इस फ़र्क को धुंधला कर रही है, न कि किसी एक का पक्ष ले रही है। रिसर्चर ऑब्जेक्टिव फ़ंक्शन को बड़े प्रेफ़रेंस-लर्निंग फ़्रेमवर्क में शामिल करते हैं, या ऑप्टिमाइज़र को इंसानों के तय किए गए गार्डरेल से बांधते हैं। इनवर्स रीइन्फोर्समेंट लर्निंग, देखे गए इंसानी व्यवहार से ऑब्जेक्टिव को रिकवर करने की कोशिश करती है, और प्रेफ़रेंस को असरदार तरीके से फ़ंक्शन में बदल देती है। यह सिंथेसिस यह मानता है कि किसी भी तरीके के प्योर फ़ॉर्म मुश्किल असल दुनिया में इस्तेमाल के लिए काफ़ी नहीं साबित होते हैं।
फिलोसोफिकल मतभेद इम्प्लीमेंटेशन डिटेल्स से कहीं ज़्यादा गहरे हैं। प्रेफरेंस अलाइनमेंट, हर्मेन्यूटिक्स और वैल्यू अलाइनमेंट रिसर्च से लिया गया है, जो यह सवाल उठाता है कि क्या कोई सीमित मकसद इंसानी तरक्की को पकड़ सकता है। ऑब्जेक्टिव ऑप्टिमाइजेशन यूटिलिटेरियन और डिसीजन-थ्योरेटिकल ट्रेडिशन पर आधारित है जो मानते हैं कि लक्ष्यों को क्वांटिफाई और मैक्सिमाइज किया जा सकता है। करिगिबिलिटी और इंटरप्टिबिलिटी पर हालिया काम ऐसे सिस्टम बनाने की कोशिश करता है जो इंसानी ओवरराइड के लिए खुले रहें, और स्पेसिफिकेशन और प्रेफरेंस इलीसाइटेशन दोनों में सीमाओं को अंदर से स्वीकार करते हैं।
इंसानी पसंद का तालमेल यह गारंटी देता है कि AI सिस्टम सुरक्षित और फायदेमंद होंगे।
प्रेफरेंस अलाइनमेंट सिर्फ़ फ़ीडबैक देने वालों की वैल्यू दिखाता है, जिसमें बायस्ड या नुकसानदायक नज़रिया शामिल हो सकता है। सिस्टम इंसानी रेटर्स की पसंद को सच में पूरा करने के बजाय उन्हें मैनिपुलेट करना भी सीख सकते हैं।
ऑब्जेक्टिव फंक्शन ऑप्टिमाइज़ेशन असल दुनिया के AI एप्लिकेशन के लिए बहुत सख्त है।
हालांकि प्योर ऑप्टिमाइज़ेशन की अपनी सीमाएं हैं, लेकिन अनिश्चितता, रोबस्टनेस कंस्ट्रेंट और हायरार्किकल ऑब्जेक्टिव वाले सोफिस्टिकेटेड फॉर्मूलेशन रोबोटिक्स, ऑटोनॉमस गाड़ियों और इंडस्ट्रियल कंट्रोल सिस्टम में बहुत असरदार साबित हुए हैं।
RLHF इंसानी पसंद को एक जैसा करने का एकमात्र तरीका है।
रिसर्चर्स ने डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO), कॉन्स्टिट्यूशनल AI, डिबेट मेथड्स, और कोऑपरेटिव इनवर्स रीइन्फोर्समेंट लर्निंग सहित कई विकल्प डेवलप किए हैं, जिनमें से हर एक के अलग-अलग ट्रेड-ऑफ़ हैं।
बेहतर ऑब्जेक्टिव स्पेसिफिकेशन से इंसानी फ़ीडबैक की ज़रूरत पूरी तरह खत्म हो सकती है।
इंसानी मूल्यों और कॉन्टेक्स्ट के हिसाब से मतलब निकालने की मुश्किल की वजह से कई ज़रूरी कामों के लिए पूरी तरह से फॉर्मल स्पेसिफिकेशन बनाना लगभग नामुमकिन हो जाता है। यहां तक कि आसान दिखने वाले मकसद में भी ऐसी अंदरूनी सोच होती है जो नई स्थितियों में टूट जाती है।
प्रेफरेंस-अलाइन्ड सिस्टम को ट्रेडिशनल तरीकों से ऑप्टिमाइज़ नहीं किया जा सकता।
प्रेफरेंस अलाइनमेंट आम तौर पर अभी भी अंदरूनी ऑप्टिमाइज़ेशन पर निर्भर करता है, ग्रेडिएंट-बेस्ड तरीकों से रिवॉर्ड मॉडल्स को ट्रेनिंग देना और फिर इन सीखे हुए मकसदों के हिसाब से पॉलिसी को ऑप्टिमाइज़ करना।
क्रिएटिव राइटिंग या एथिकल रीज़निंग जैसे ओपन-एंडेड डोमेन में काम करते समय ह्यूमन प्रेफरेंस अलाइनमेंट चुनें, जहाँ इंसानी फ़ैसले फ़ॉर्मल स्पेसिफिकेशन से ज़्यादा अहमियत रखते हैं। लॉजिस्टिक्स या गेम खेलने जैसे साफ़ सक्सेस मेट्रिक्स वाले अच्छी तरह से तय डोमेन में ऑब्जेक्टिव फ़ंक्शन ऑप्टिमाइज़ेशन चुनें। ज़्यादातर सफल प्रोडक्शन सिस्टम अब दोनों को मिलाते हैं, ऑब्जेक्टिव्स को स्कैफ़ोल्डिंग के तौर पर इस्तेमाल करते हुए, इंसानी प्रेफरेंस पर आखिरी इवैल्यूएशन करते हैं।
AI आइडिया वैलिडेशन एल्गोरिदम और डेटा का इस्तेमाल करके जल्दी से टेस्ट करता है कि किसी कॉन्सेप्ट में मार्केट पोटेंशियल है या नहीं, जबकि इंसानी प्रॉब्लम स्पॉटिंग असल दुनिया की दिक्कतों को पहचानने के लिए अपने अनुभव और इंट्यूशन पर निर्भर करती है। दोनों तरीकों में खास खूबियां हैं, और कई सफल फाउंडर किसी एक को चुनने के बजाय उन्हें मिलाते हैं।
यह डिटेल्ड ब्रेकडाउन आर्टिफिशियल इंटेलिजेंस सिस्टम के प्रोबेबिलिस्टिक नेचर की तुलना ट्रेडिशनल रूल-बेस्ड सॉफ्टवेयर में पाए जाने वाले प्रेडिक्टेबल एग्जीक्यूशन से करता है। जानें कि ये अलग-अलग पैराडाइम अलग-अलग ऑपरेशनल एनवायरनमेंट में सॉफ्टवेयर इंजीनियरिंग आर्किटेक्चर, रिस्क असेसमेंट और सिस्टम डिज़ाइन चॉइस पर कैसे असर डालते हैं।
AI एजेंट ऑटोनॉमी सॉफ्टवेयर सिस्टम को लक्ष्यों के लिए खुद से प्लान बनाने और काम करने देती है, जबकि ह्यूमन-गाइडेड डेवलपमेंट लोगों को हर कदम पर गाइड करता रहता है। दोनों तरीके यह तय करते हैं कि AI प्रोडक्ट कैसे बनते हैं, और उनमें से किसी एक को चुनने से असल दुनिया में डिप्लॉयमेंट में रिलायबिलिटी, क्रिएटिविटी और कंट्रोल पर असर पड़ता है।
AI एजेंट ऑटोनॉमस, गोल-ड्रिवन सिस्टम होते हैं जो अलग-अलग टूल्स पर काम की प्लानिंग, रीज़न और एग्जीक्यूट कर सकते हैं, जबकि ट्रेडिशनल वेब एप्लिकेशन फिक्स्ड यूज़र-ड्रिवन वर्कफ़्लो को फॉलो करते हैं। यह तुलना स्टैटिक इंटरफ़ेस से अडैप्टिव, कॉन्टेक्स्ट-अवेयर सिस्टम में बदलाव को हाईलाइट करती है जो यूज़र्स की प्रोएक्टिवली मदद कर सकते हैं, फैसलों को ऑटोमेट कर सकते हैं, और कई सर्विसेज़ के साथ डायनामिकली इंटरैक्ट कर सकते हैं।
AI एजेंट्स में सेल्फ-रिफ्लेक्शन, इटरेटिव रीज़निंग, एरर करेक्शन और अडैप्टिव बिहेवियर को मुमकिन बनाता है, जबकि स्टैटिक आउटपुट जेनरेशन बिना इंटरनल रिव्यू के फिक्स्ड रिस्पॉन्स देता है। रिफ्लेक्टिव अप्रोच मुश्किल कामों में ज़्यादा एक्यूरेसी और कॉन्टेक्स्चुअल अवेयरनेस के लिए स्पीड और कम्प्यूटेशनल कॉस्ट को ट्रेड करता है।
