प्रेफरेंस मॉडलिंग रिलेटिव रैंकिंग और ऑप्शन के बीच चॉइस सीखती है, जबकि डायरेक्ट प्रेडिक्शन मॉडलिंग इनपुट फीचर्स से एब्सोल्यूट आउटकम का अनुमान लगाती है। ये दोनों AI पैराडाइम इस बात में बेसिकली अलग हैं कि वे डिसीजन-मेकिंग को कैसे दिखाते हैं, प्रेफरेंस मॉडल इंसानी जजमेंट को कैप्चर करने में बेहतरीन होते हैं और डायरेक्ट प्रेडिक्शन मॉडल पॉइंट एस्टीमेट के लिए ऑप्टिमाइज़ करते हैं।
एब्सोल्यूट वैल्यू के बजाय ऑप्शन के बीच रिलेटिव रैंकिंग और पेयरवाइज़ प्रेफरेंस सीखता है।
सुपरवाइज्ड लर्निंग का इस्तेमाल करके इनपुट फीचर्स से सीधे एब्सोल्यूट टारगेट वैल्यू या क्लासिफिकेशन का अनुमान लगाता है।
| विशेषता | वरीयता मॉडलिंग | प्रत्यक्ष भविष्यवाणी मॉडलिंग |
|---|---|---|
| मुख्य उद्देश्य | आइटम के बीच रिलेटिव रैंकिंग जानें | निरपेक्ष आउटपुट मानों का पूर्वानुमान करें |
| प्रशिक्षण डेटा प्रारूप | जोड़ीदार तुलना, रैंकिंग, या पसंद का डेटा | ग्राउंड ट्रुथ के साथ लेबल किए गए इनपुट-आउटपुट जोड़े |
| लॉस फंकशन | पेयरवाइज़ लॉस, हिंज लॉस, या रैंकिंग लॉस (जैसे, BPR, RankNet) | MSE, MAE, क्रॉस-एंट्रॉपी, या ह्यूबर लॉस |
| आउटपुट व्याख्या | स्कोर या संभावना कि आइटम A को B से ज़्यादा पसंद किया गया | कक्षाओं पर बिंदु अनुमान या संभाव्यता वितरण |
| विशिष्ट अनुप्रयोग | रिकमेंडेशन, सर्च रैंकिंग, RLHF, कंजॉइंट एनालिसिस | फोरकास्टिंग, डायग्नोसिस, इमेज रिकग्निशन, रिग्रेशन टास्क |
| अंशांकन आवश्यकताएँ | एब्सोल्यूट प्रोबेबिलिटीज़ को मैप करने के लिए अक्सर कैलिब्रेशन की ज़रूरत होती है | सही स्कोरिंग के साथ नैचुरली कैलिब्रेटेड प्रॉबेबिलिटीज़ पैदा करता है |
| डेटा दक्षता | अक्सर सब्जेक्टिव फैसलों के लिए ज़्यादा असरदार; इंसानों को एब्सोल्यूट रेटिंग के मुकाबले तुलना करना ज़्यादा आसान लगता है | साफ़ लेबल की ज़रूरत होती है; बहुत कम होने वाले इवेंट के लिए डेटा-इंटेंसिव हो सकता है |
प्रेफरेंस मॉडलिंग असल में यह पूछती है कि "कौन सा बेहतर है?" न कि "वैल्यू क्या है?" यह बदलाव मॉडल्स के जानकारी लेने के तरीके के बारे में सब कुछ बदल देता है। डायरेक्ट प्रेडिक्शन ग्राउंड ट्रुथ लेबल्स का पीछा करता है, जबकि प्रेफरेंस मॉडलिंग रिलेटिव जजमेंट में कंसिस्टेंसी का पीछा करता है। असल में, इसका मतलब है कि एक प्रेफरेंस मॉडल शायद कभी किसी मूवी की पूरी क्वालिटी नहीं जान पाएगा, लेकिन यह पक्के तौर पर जानता है कि यूज़र्स द गॉडफादर को गिगली से ज़्यादा पसंद करते हैं।
इंसानों को लगातार एब्सोल्यूट स्कोर देने में मुश्किल होती है। किसी से रेस्टोरेंट को 1-5 स्टार रेटिंग देने के लिए कहें और आपको नॉइज़ मिलेगी। उनसे दो रेस्टोरेंट में से चुनने के लिए कहें और सिग्नल बहुत ज़्यादा शार्प हो जाएगा। प्रेफरेंस मॉडलिंग इस कॉग्निटिव अजीब बात का फ़ायदा उठाती है। डायरेक्ट प्रेडिक्शन के लिए ज़्यादा महंगे, अक्सर ज़्यादा नॉइज़ वाले एब्सोल्यूट लेबल की ज़रूरत होती है, हालांकि हाल के काम से पता चलता है कि सिंथेटिक प्रेफरेंस डेटा इस गैप को कम कर सकता है।
डायरेक्ट प्रेडिक्शन मॉडल आम तौर पर स्टैंडर्ड आर्किटेक्चर के ज़रिए एक सिंगल आउटपुट हेड की ओर फ़ीचर्स फ़ीड करते हैं। प्रेफ़रेंस मॉडल अक्सर डुअल एन्कोडर या सियामीज़ आर्किटेक्चर का इस्तेमाल करते हैं जो पेयर्स को एक साथ प्रोसेस करते हैं, हालांकि मॉडर्न इम्प्लीमेंटेशन में स्पेशल प्रॉम्प्टिंग के साथ सिंगल मॉडल का इस्तेमाल तेज़ी से हो रहा है। ब्रैडली-टेरी मॉडल और इसके न्यूरल वेरिएंट इम्प्लिसिट यूटिलिटी फ़ंक्शन बनाते हैं जो रैंकिंग जेनरेट करते हैं, यह एक स्ट्रक्चरल अंतर है जिसमें कोई डायरेक्ट प्रेडिक्शन एनालॉग नहीं होता है।
डायरेक्ट प्रेडिक्शन एक्यूरेसी, RMSE, या F1 पर निर्भर करता है—क्या हमने टारगेट हिट किया? प्रेफरेंस मॉडलिंग केंडल के टाऊ, NDCG, और पेयरवाइज़ एक्यूरेसी में बात करती है। ये मेट्रिक्स अलग-अलग फेलियर मोड को कैप्चर करते हैं। बहुत अच्छे RMSE वाला डायरेक्ट प्रेडिक्शन मॉडल अभी भी अल्टरनेटिव्स को खराब रैंक दे सकता है, जबकि परफेक्ट रैंकिंग वाला प्रेफरेंस मॉडल एब्सोल्यूट मैग्नीट्यूड के बारे में कुछ नहीं बताता है।
लैंग्वेज मॉडल्स में RLHF क्रांति ने प्रेफरेंस मॉडलिंग को सुर्खियों में ला दिया है। डायरेक्ट प्रेडिक्शन आसानी से "हेल्पफुल और हार्मलेस" को टारगेट के तौर पर कैप्चर नहीं कर सकता—इसका कोई ग्राउंड ट्रुथ लेबल नहीं है। इसके उलट, प्रेफरेंस मॉडलिंग इंसानी जजमेंट्स को यह बताती है कि कौन सा रिस्पॉन्स बेहतर है, जिससे बिना किसी साफ वैल्यू स्पेसिफिकेशन के वैल्यू अलाइनमेंट मुमकिन होता है। यह फर्क मौजूदा AI सेफ्टी रिसर्च ट्रैजेक्टरी को शेप देता है।
ज़्यादातर कामों के लिए प्रेफरेंस मॉडलिंग और डायरेक्ट प्रेडिक्शन एक-दूसरे के बदले जा सकते हैं।
स्ट्रक्चरल अंतर बहुत मायने रखते हैं। पेयरवाइज़ डेटा पर ट्रेन किया गया प्रेफरेंस मॉडल, एक्स्ट्रा कैलिब्रेशन स्टेप्स के बिना सीधे एब्सोल्यूट वैल्यू आउटपुट नहीं कर सकता है। इसके उलट, रैंकिंग टास्क में डायरेक्ट प्रेडिक्शन को ज़बरदस्ती डालने से अक्सर प्रेफरेंस डेटा पर नेटिवली ट्रेन किए गए मॉडल कम परफॉर्म करते हैं।
प्रेफरेंस मॉडलिंग केवल रिकमेंडेशन सिस्टम के लिए उपयोगी है।
हालांकि रिकमेंड करने वाले सिस्टम ने इन तरीकों को पॉपुलर बनाया, लेकिन अब प्रेफरेंस मॉडलिंग लैंग्वेज मॉडल, मेडिकल ट्रीटमेंट रैंकिंग और यहां तक कि रोबोटिक्स में भी RLHF को चलाती है। यह तरीका प्रोडक्ट रिकमेंडेशन से कहीं आगे बढ़कर किसी भी ऐसे डोमेन में फैला हुआ है जहां रिलेटिव जजमेंट ज़रूरी स्ट्रक्चर को कैप्चर करते हैं।
सीधे अनुमान से रैंकिंग बिल्कुल नहीं मिल सकती।
कोई भी डायरेक्ट प्रेडिक्शन मॉडल आइटम को अलग-अलग स्कोर करके और सॉर्ट करके रैंकिंग बना सकता है। हालांकि, यह इनडायरेक्ट तरीका अक्सर प्रेफरेंस डेटा पर सीधे ट्रेन किए गए मॉडल से कम परफॉर्म करता है, खासकर जब एब्सोल्यूट वैल्यू नॉइज़ी हों या जब रैंकिंग टास्क में छोटे अंतर शामिल हों।
प्रेफरेंस मॉडलिंग के लिए डायरेक्ट प्रेडिक्शन से ज़्यादा डेटा की ज़रूरत होती है।
अक्सर इसका उल्टा होता है। इंसानों को एब्सोल्यूट रेटिंग के मुकाबले कम्पेरेटिव जजमेंट ज़्यादा आसान और एक जैसे लगते हैं, जिसका मतलब है कि हर जजमेंट के लिए कम नॉइज़ के साथ प्रेफरेंस डेटा तेज़ी से इकट्ठा किया जा सकता है। टोटल एनोटेशन का बोझ अक्सर सब्जेक्टिव कामों के लिए प्रेफरेंस अप्रोच को फेवर करता है।
RLHF बिना किसी डायरेक्ट प्रेडिक्शन कम्पोनेंट के प्योर प्रेफरेंस मॉडलिंग का इस्तेमाल करता है।
मॉडर्न RLHF पाइपलाइन असल में दोनों पैराडाइम को मिलाती हैं। एक प्रेफरेंस मॉडल (रिवॉर्ड मॉडल) रैंकिंग सिग्नल देता है, लेकिन अंदरूनी लैंग्वेज मॉडल को आमतौर पर डायरेक्ट प्रेडिक्शन (नेक्स्ट-टोकन प्रेडिक्शन) का इस्तेमाल करके प्रीट्रेन किया जाता है। फाइनल सिस्टम एक हाइब्रिड है, प्योर प्रेफरेंस आर्किटेक्चर नहीं।
प्रेफरेंस मॉडलिंग तब चुनें जब रिलेटिव जजमेंट नैचुरल हों, एब्सोल्यूट लेबल महंगे या नामुमकिन हों, या जब सिस्टम को इंसानी वैल्यू के साथ अलाइन किया जा रहा हो। डायरेक्ट प्रेडिक्शन तब बेहतर रहता है जब सटीक क्वांटिटेटिव एस्टीमेट मायने रखते हों, ग्राउंड ट्रुथ मौजूद हो, या जब डाउनस्ट्रीम फैसलों के लिए कैलिब्रेटेड प्रोबेबिलिटी की ज़रूरत हो। कई प्रोडक्शन सिस्टम अब दोनों अप्रोच को हाइब्रिडाइज़ करते हैं।
AI आइडिया वैलिडेशन एल्गोरिदम और डेटा का इस्तेमाल करके जल्दी से टेस्ट करता है कि किसी कॉन्सेप्ट में मार्केट पोटेंशियल है या नहीं, जबकि इंसानी प्रॉब्लम स्पॉटिंग असल दुनिया की दिक्कतों को पहचानने के लिए अपने अनुभव और इंट्यूशन पर निर्भर करती है। दोनों तरीकों में खास खूबियां हैं, और कई सफल फाउंडर किसी एक को चुनने के बजाय उन्हें मिलाते हैं।
यह डिटेल्ड ब्रेकडाउन आर्टिफिशियल इंटेलिजेंस सिस्टम के प्रोबेबिलिस्टिक नेचर की तुलना ट्रेडिशनल रूल-बेस्ड सॉफ्टवेयर में पाए जाने वाले प्रेडिक्टेबल एग्जीक्यूशन से करता है। जानें कि ये अलग-अलग पैराडाइम अलग-अलग ऑपरेशनल एनवायरनमेंट में सॉफ्टवेयर इंजीनियरिंग आर्किटेक्चर, रिस्क असेसमेंट और सिस्टम डिज़ाइन चॉइस पर कैसे असर डालते हैं।
AI एजेंट ऑटोनॉमी सॉफ्टवेयर सिस्टम को लक्ष्यों के लिए खुद से प्लान बनाने और काम करने देती है, जबकि ह्यूमन-गाइडेड डेवलपमेंट लोगों को हर कदम पर गाइड करता रहता है। दोनों तरीके यह तय करते हैं कि AI प्रोडक्ट कैसे बनते हैं, और उनमें से किसी एक को चुनने से असल दुनिया में डिप्लॉयमेंट में रिलायबिलिटी, क्रिएटिविटी और कंट्रोल पर असर पड़ता है।
AI एजेंट ऑटोनॉमस, गोल-ड्रिवन सिस्टम होते हैं जो अलग-अलग टूल्स पर काम की प्लानिंग, रीज़न और एग्जीक्यूट कर सकते हैं, जबकि ट्रेडिशनल वेब एप्लिकेशन फिक्स्ड यूज़र-ड्रिवन वर्कफ़्लो को फॉलो करते हैं। यह तुलना स्टैटिक इंटरफ़ेस से अडैप्टिव, कॉन्टेक्स्ट-अवेयर सिस्टम में बदलाव को हाईलाइट करती है जो यूज़र्स की प्रोएक्टिवली मदद कर सकते हैं, फैसलों को ऑटोमेट कर सकते हैं, और कई सर्विसेज़ के साथ डायनामिकली इंटरैक्ट कर सकते हैं।
AI एजेंट्स में सेल्फ-रिफ्लेक्शन, इटरेटिव रीज़निंग, एरर करेक्शन और अडैप्टिव बिहेवियर को मुमकिन बनाता है, जबकि स्टैटिक आउटपुट जेनरेशन बिना इंटरनल रिव्यू के फिक्स्ड रिस्पॉन्स देता है। रिफ्लेक्टिव अप्रोच मुश्किल कामों में ज़्यादा एक्यूरेसी और कॉन्टेक्स्चुअल अवेयरनेस के लिए स्पीड और कम्प्यूटेशनल कॉस्ट को ट्रेड करता है।
