जोड़े द्वारा तुलनाबहु-वर्ग-वर्गीकरणयंत्र अधिगमरैंकिंगकृत्रिम होशियारी
पेयरवाइज़ तुलना बनाम मल्टी-क्लास तुलना
पेयरवाइज़ कम्पेरिजन में रिलेटिव प्रेफरेंस या रैंकिंग तय करने के लिए एक बार में दो आइटम को इवैल्यूएट किया जाता है, जबकि मल्टी-क्लास कम्पेरिजन में एक ही स्टेप में कई कैटेगरी को क्लासिफ़ाई या रैंक करने के लिए एक साथ कई कैटेगरी को इवैल्यूएट किया जाता है। दोनों अप्रोच मशीन लर्निंग, डिसीजन-मेकिंग और स्टैटिस्टिकल एनालिसिस में अलग-अलग मकसद पूरे करते हैं।
मुख्य बातें
पेयरवाइज़ तुलना आसान बाइनरी चॉइस के ज़रिए बारीक इंसानी पसंद को पकड़ने में बहुत अच्छी है, जबकि मल्टी-क्लास तुलना चीज़ों को पहले से तय ग्रुप में अच्छे से कैटेगराइज़ करती है।
पेयरवाइज़ तुलनाओं की क्वाड्रेटिक ग्रोथ स्केलेबिलिटी को लिमिट करती है, जबकि मल्टी-क्लास मेथड ट्रेनिंग के बाद लीनियर या सबलीनियर कॉम्प्लेक्सिटी वाली कई कैटेगरी को हैंडल करते हैं।
पेयरवाइज़ तरीकों में इनट्रांसिटिव साइकिल का खतरा होता है, जहाँ कलेक्टिव प्रेफरेंस लॉजिकली इनकंसिस्टेंट हो जाती हैं, यह एक ऐसी चुनौती है जो स्टैंडर्ड मल्टी-क्लास फ्रेमवर्क में नहीं होती।
मल्टी-क्लास क्लासिफिकेशन में असंतुलित डेटासेट के साथ दिक्कत होती है, जहाँ माइनॉरिटी क्लास को नज़रअंदाज़ कर दिया जाता है, जबकि पेयरवाइज़ तरीके रिलेटिव अंतरों पर ध्यान देकर ज़्यादा मज़बूत हो सकते हैं।
जोड़े द्वारा तुलना क्या है?
एक तरीका जिसमें एक समय में दो आइटम की तुलना करके रैंकिंग, पसंद या रिलेटिव स्कोर निकाले जाते हैं।
साइकोलॉजी और डिसीजन थ्योरी से शुरू हुआ, जिसे 1927 में थर्स्टन ने साइकोलॉजिकल स्टिमुलस को मापने के लिए फॉर्मल बनाया।
शतरंज और कॉम्पिटिटिव गेमिंग में इस्तेमाल होने वाले Elo रेटिंग सिस्टम की नींव बनाता है।
n आइटम के लिए n(n-1)/2 तुलना की ज़रूरत होती है, जिससे यह मीडियम साइज़ के सेट के लिए स्केलेबल हो जाता है।
RankSVM और ब्रैडली-टेरी मॉडल जैसे मॉडर्न प्रेफरेंस लर्निंग और रैंकिंग एल्गोरिदम को सपोर्ट करता है।
A/B टेस्टिंग, रिकमेंडर सिस्टम और मार्केटिंग रिसर्च में कंजॉइंट एनालिसिस में बड़े पैमाने पर इस्तेमाल किया जाता है।
बहु-वर्ग तुलना क्या है?
एक क्लासिफिकेशन या इवैल्यूएशन अप्रोच जो एक मॉडल में एक साथ तीन या उससे ज़्यादा कैटेगरी को हैंडल करता है।
बाइनरी क्लासिफिकेशन को कई एक-दूसरे से अलग या ओवरलैपिंग क्लास वाली समस्याओं तक बढ़ाता है।
आम एल्गोरिदम में सॉफ्टमैक्स रिग्रेशन, वन-वर्सेस-रेस्ट (OvR), और वन-वर्सेस-वन (OvO) स्ट्रैटेजी शामिल हैं।
मैक्रो-एवरेज्ड F1, माइक्रो-एवरेज्ड एक्यूरेसी, और कन्फ्यूजन मैट्रिक्स जैसे मेट्रिक्स का इस्तेमाल करके मूल्यांकन किया गया।
क्लास इम्बैलेंस जैसी चुनौतियों का सामना करना पड़ता है, जहाँ माइनॉरिटी क्लास को प्रेडिक्शन में कम रिप्रेजेंट किया जा सकता है।
इमेज रिकग्निशन, नेचुरल लैंग्वेज प्रोसेसिंग, मेडिकल डायग्नोसिस, और कई इमोशंस के साथ सेंटीमेंट एनालिसिस में इस्तेमाल किया जाता है।
तुलना तालिका
विशेषता
जोड़े द्वारा तुलना
बहु-वर्ग तुलना
तुलना की गई वस्तुओं की संख्या
एक समय में ठीक दो आइटम
एक साथ तीन या अधिक कक्षाएं
आउटपुट स्वरूप
वरीयता स्कोर, संभावना, या रैंकिंग
वर्ग लेबल या वर्गों में संभाव्यता वितरण
कम्प्यूटेशनल जटिलता
n वस्तुओं के लिए O(n²) तुलना
प्रशिक्षण के बाद प्रति उदाहरण O(1) पूर्वानुमान
प्राथमिक उपयोग मामला
रैंकिंग, वरीयता प्राप्त करना, A/B परीक्षण
वर्गीकरण, लेबलिंग, वर्गीकरण
संबंधों को संभालना
इसका नतीजा इनट्रांजिटिव साइकिल (A>B, B>C, C>A) हो सकता है
प्रोबेबिलिटी स्कोर में टाई हो सकता है; अक्सर argmax से हल किया जाता है
अनुमापकता
क्वाड्रेटिक ग्रोथ के कारण बड़े n के साथ महंगा हो जाता है
कुशल एल्गोरिदम के साथ कई क्लास के लिए बेहतर स्केल करता है
उदाहरण एल्गोरिथ्म
ब्रैडली-टेरी मॉडल, एलो रेटिंग, रैंकनेट
सॉफ्टमैक्स, रैंडम फ़ॉरेस्ट, OvR/OvO के साथ SVM
विस्तृत तुलना
मौलिक दृष्टिकोण
पेयरवाइज़ तुलना मुश्किल फ़ैसलों को आसान आमने-सामने के मुक़ाबले में तोड़ देती है। यह रिडक्शनिस्ट स्ट्रैटेजी अक्सर ज़्यादा भरोसेमंद इंसानी फ़ैसले देती है क्योंकि लोगों को लंबी लिस्ट को रैंक करने के बजाय दो चीज़ों की तुलना करना ज़्यादा आसान लगता है। इसके उलट, मल्टी-क्लास तुलना, किसी समस्या की पूरी जटिलता को शुरू में ही समझ लेती है, और मॉडल्स को एक ही बार में सभी कैटेगरी में फ़र्क करने के लिए ट्रेनिंग देती है। यह होलिस्टिक नज़रिया उन बारीक पैटर्न को पकड़ सकता है जो पेयरवाइज़ डीकंपोज़िशन में छूट सकते हैं।
प्रशिक्षण और अनुमान
मशीन लर्निंग में, पेयरवाइज़ मेथड आइटम के पेयर से ट्रेनिंग के उदाहरण बनाते हैं, जिससे डेटासेट का साइज़ असरदार तरीके से बढ़ता है, लेकिन डिराइव्ड उदाहरणों के बीच कोरिलेशन भी आता है। मल्टी-क्लास मेथड सीधे ओरिजिनल लेबल वाले डेटा पर ट्रेन करते हैं, हालांकि वे अंदर से अलग हो सकते हैं—वन-वर्सेस-रेस्ट k क्लास के लिए k बाइनरी क्लासिफायर ट्रेन करता है, जबकि वन-वर्सेस-वन k(k-1)/2 क्लासिफायर ट्रेन करता है। यह चुनाव ट्रेनिंग के समय और मॉडल कितने भरोसे के साथ अनदेखे डेटा को जनरलाइज़ करता है, दोनों पर असर डालता है।
मूल्यांकन मेट्रिक्स
पेयरवाइज़ तुलना का आकलन केंडल के टाऊ, स्पीयरमैन के कोरिलेशन, या पेयरवाइज़ एक्यूरेसी से किया जाता है—इससे पता चलता है कि अनुमानित ऑर्डर कितनी बार ग्राउंड ट्रुथ से मेल खाता है। मल्टी-क्लास क्लासिफिकेशन एक्यूरेसी, प्रिसिजन, रिकॉल, और क्लास में उनके मैक्रो या माइक्रो एवरेज पर निर्भर करता है। ये मेट्रिक अंतर गहरे फिलोसोफिकल मतभेदों को दिखाते हैं: पेयरवाइज़ रिलेटिव ऑर्डरिंग का ध्यान रखता है, जबकि मल्टी-क्लास सही एब्सोल्यूट असाइनमेंट को प्राथमिकता देता है।
व्यावहारिक समझौते
जब आइटम सेट बड़े हो जाते हैं, तो पेयरवाइज़ कम्पेरिजन कॉम्बिनेटरियली बहुत बढ़ जाता है—एक हज़ार आइटम के लिए लगभग पाँच लाख कम्पेरिजन की ज़रूरत होती है। स्मार्ट सैंपलिंग या एक्टिव लर्निंग इसे कम कर सकती है, लेकिन बुनियादी टेंशन बनी रहती है। मल्टी-क्लास कम्पेरिजन प्रेडिक्शन टाइम पर कई कैटेगरी को ज़्यादा अच्छे से हैंडल करता है, हालाँकि क्लास इम्बैलेंस परफॉर्मेंस को बहुत ज़्यादा बिगाड़ सकता है। असल में, हाइब्रिड तरीके अक्सर सामने आते हैं: सर्च इंजन और रिकमेंडेशन पाइपलाइन में मल्टी-क्लास फ्रेमवर्क में फीड को रैंक करने के लिए पेयरवाइज़ लर्निंग।
लाभ और हानि
जोड़े द्वारा तुलना
लाभ
+सूक्ष्म प्राथमिकताओं को कैप्चर करता है
+सरल मानवीय निर्णय
+सब्जेक्टिव क्राइटेरिया को अच्छी तरह से हैंडल करता है
+लचीला रैंकिंग आउटपुट
सहमत
−द्विघात तुलना वृद्धि
−अकर्मक चक्र संभव हैं
−कम्प्यूटेशनल रूप से महंगा
−कई निर्णयों की आवश्यकता है
बहु-वर्ग तुलना
लाभ
+बड़े पैमाने पर कुशल
+श्रेणीबद्ध आउटपुट साफ़ करें
+परिपक्व एल्गोरिथम पारिस्थितिकी तंत्र
+प्रत्यक्ष संभाव्यता अनुमान
सहमत
−वर्ग असंतुलन से संघर्ष
−रैंकिंग की तुलना में कम विस्तृत
−जटिल त्रुटि विश्लेषण
−डीकंपोज़िशन स्ट्रेटेजी की ज़रूरत पड़ सकती है
सामान्य भ्रांतियाँ
मिथ
पेयरवाइज़ तुलना का इस्तेमाल सिर्फ़ ह्यूमन प्रेफरेंस सर्वे के लिए किया जाता है और मॉडर्न मशीन लर्निंग में इसकी कोई जगह नहीं है।
वास्तविकता
पेयरवाइज़ लर्निंग, गूगल के सर्च एल्गोरिदम से लेकर बड़े लैंग्वेज मॉडल्स में ह्यूमन फ़ीडबैक (RLHF) से रीइन्फोर्समेंट लर्निंग तक, लेटेस्ट रैंकिंग सिस्टम का आधार है। यह तरीका AI को इंसानी मूल्यों और पसंद के हिसाब से ट्रेनिंग देने के लिए बहुत ज़रूरी है।
मिथ
मल्टी-क्लास क्लासिफिकेशन के लिए हमेशा पेयरवाइज़ तरीकों की तुलना में ज़्यादा डेटा की ज़रूरत होती है।
वास्तविकता
डेटा की ज़रूरतें काफी हद तक प्रॉब्लम के स्ट्रक्चर पर निर्भर करती हैं। पेयरवाइज़ मेथड असल में लिमिटेड डेटा से पेयर बनाकर ज़्यादा ट्रेनिंग एग्जांपल जेनरेट कर सकते हैं, हालांकि ये डिराइव्ड एग्जांपल इंडिपेंडेंट नहीं होते हैं। अगर क्लास अच्छी तरह से अलग और बैलेंस्ड हैं, तो मल्टी-क्लास मेथड को कम टोटल डेटा की ज़रूरत हो सकती है।
मिथ
वन-बनाम-वन मल्टी-क्लास स्ट्रैटेजी पेयरवाइज़ तुलना के समान है।
वास्तविकता
हालांकि दोनों में जोड़ों की तुलना होती है, लेकिन वन-वर्स-वन हर क्लास जोड़ी के लिए अलग-अलग बाइनरी क्लासिफायर ट्रेन करता है और वोटों को मिलाकर एक सिंगल क्लास लेबल बनाता है। सही पेयरवाइज़ तुलना का मकसद सिर्फ़ क्लासिफिकेशन का नतीजा नहीं, बल्कि पूरी रैंकिंग या प्रेफरेंस स्ट्रक्चर बनाना है।
मिथ
पेयरवाइज़ मेथड हमेशा ट्रांज़िटिव, कंसिस्टेंट रैंकिंग देते हैं।
वास्तविकता
इंसानी पसंद और यहाँ तक कि मॉडल के अनुमान भी ट्रांज़िटिविटी का उल्लंघन कर सकते हैं, जिससे ऐसे साइकिल बन सकते हैं जहाँ A को B से, B को C से, और C को A से ज़्यादा पसंद किया जाता है। ऐसी गड़बड़ियों को संभालने के लिए स्पेक्ट्रल रैंकिंग या कंस्ट्रेंट सैटिस्फैक्शन जैसी खास तकनीकों की ज़रूरत होती है।
मिथ
मल्टी-क्लास मॉडल रैंकिंग आउटपुट नहीं कर सकते, केवल डिस्क्रीट लेबल आउटपुट कर सकते हैं।
वास्तविकता
ज़्यादातर मल्टी-क्लास क्लासिफायर सभी क्लास में प्रोबेबिलिटी स्कोर देते हैं, जिन्हें सीधे रैंक किया जा सकता है। फ़र्क ट्रेनिंग के मकसद में है—मल्टी-क्लास सही क्लासिफिकेशन के लिए ऑप्टिमाइज़ करता है, जबकि पेयरवाइज़ रैंकिंग सही रिलेटिव ऑर्डरिंग के लिए ऑप्टिमाइज़ करती है।
अक्सर पूछे जाने वाले सवाल
मशीन लर्निंग में पेयरवाइज़ तुलना का इस्तेमाल किस लिए किया जाता है?
पेयरवाइज़ तुलना मॉडल्स को यह अनुमान लगाने के लिए ट्रेन करती है कि दो आइटम में से कौन सा पसंदीदा या बेहतर है, न कि एब्सोल्यूट स्कोर असाइन करना। यह तरीका सर्च इंजन, रिकमेंडेशन एल्गोरिदम और RLHF टेक्नीक में लर्निंग-टू-रैंक सिस्टम को पावर देता है, जहाँ AI आउटपुट के बीच इंसानों की पसंद से सीखता है। यह तरीका तब काम आता है जब एब्सोल्यूट रेटिंग नॉइज़ी या बिना मतलब की होती हैं, लेकिन रिलेटिव जजमेंट भरोसेमंद साबित होते हैं।
मल्टी-क्लास क्लासिफिकेशन दो से ज़्यादा कैटेगरी को कैसे हैंडल करता है?
मल्टी-क्लास क्लासिफिकेशन कई स्ट्रेटेजी के ज़रिए बाइनरी हाँ/ना फैसलों से आगे बढ़ता है। सॉफ्टमैक्स फ़ंक्शन सीधे सभी क्लास में प्रोबेबिलिटी डिस्ट्रीब्यूशन आउटपुट करता है। इसके अलावा, वन-वर्सेस-रेस्ट जैसी डीकंपोज़िशन स्ट्रेटेजी हर क्लास के लिए एक क्लासिफायर को बाकी सभी के मुकाबले ट्रेन करती हैं, जबकि वन-वर्सेस-वन हर क्लास पेयर के लिए क्लासिफायर को ट्रेन करती हैं। मॉडर्न डीप लर्निंग आमतौर पर इसकी सिम्प्लिसिटी और डिफरेंशिएबिलिटी के लिए सॉफ्टमैक्स का इस्तेमाल करती है।
मुझे मल्टी-क्लास क्लासिफिकेशन के बजाय पेयरवाइज़ तुलना को कब प्राथमिकता देनी चाहिए?
जब आपका लक्ष्य रैंकिंग हो या जब इंसानी जज डेटा दें, तो जोड़ों में तुलना करें—उनके रिलेटिव फैसले एब्सोल्यूट रेटिंग के मुकाबले ज़्यादा एक जैसे होते हैं। यह तब भी बेहतर होता है जब कैटेगरी एक-दूसरे से अलग न हों, या जब आपको मोटे ग्रुपिंग के बजाय बारीक ऑर्डरिंग की ज़रूरत हो। मल्टी-क्लास तब काम आता है जब आपको कई आइटम पर तेज़ी से अनुमान लगाने और साफ़ कैटेगरी वाले असाइनमेंट की ज़रूरत हो।
पेयरवाइज़ तुलना में इनट्रांजिटिविटी का क्या कारण है, और इसे कैसे ठीक किया जाता है?
इनट्रांजिटिविटी तब होती है जब कलेक्टिव या मॉडल-बेस्ड प्रेफरेंस रॉक-पेपर-सिज़र डायनामिक्स की तरह साइकिल बनाती हैं। ऐसा नॉइज़ी जजमेंट, कॉन्टेक्स्ट इफ़ेक्ट, या असली मल्टी-क्राइटेरिया ट्रेड-ऑफ़ के कारण होता है। सॉल्यूशन में हॉजरैंक शामिल है, जो ऑप्टिमाइज़ेशन के ज़रिए सबसे करीबी कंसिस्टेंट रैंकिंग ढूंढता है, या ब्रैडली-टेरी जैसे प्रोबेबिलिस्टिक मॉडल जो हर तुलना में अनसर्टेनिटी को ध्यान में रखते हैं।
क्या पेयरवाइज़ मेथड लाखों आइटम तक स्केल कर सकते हैं?
आसान पेयरवाइज़ तुलना क्वाड्रेटिकली स्केल होती है और बड़े कैटलॉग के लिए प्रैक्टिकल नहीं रह जाती। हालांकि, एक्टिव लर्निंग, टूर्नामेंट-स्टाइल एलिमिनेशन, और एम्बेडिंग-बेस्ड एप्रोक्सिमेशन जैसी तकनीकें बड़े पैमाने पर पेयरवाइज़ को मुमकिन बनाती हैं। मैट्रिक्स फैक्टराइज़ेशन और न्यूरल नेटवर्क भी लेटेंट रिप्रेजेंटेशन सीख सकते हैं जो बिना किसी साफ़ गिनती के पेयरवाइज़ रिश्तों को आसानी से कैप्चर करते हैं।
क्लास इम्बैलेंस, पेयरवाइज़ कम्पेरिजन के मुकाबले मल्टी-क्लास क्लासिफिकेशन को ज़्यादा नुकसान क्यों पहुंचाता है?
मल्टी-क्लास सेटिंग में, माइनॉरिटी क्लास ओवरऑल एक्यूरेसी में बहुत कम योगदान देती हैं, इसलिए मॉडल उन्हें पूरी तरह से इग्नोर कर सकते हैं। पेयरवाइज़ कम्पेरिजन खास पेयर्स के बीच रिलेटिव अंतर पर फोकस करके इसे टाल देता है, हालांकि फ़्रीक्वेंट क्लास अभी भी कम्पेरिजन में ज़्यादा बार दिखाई देती हैं। वेटेड लॉस फ़ंक्शन और रीसैंपलिंग जैसी टेक्नीक दोनों अप्रोच इम्बैलेंस को हैंडल करने में मदद करती हैं।
क्या एक-बनाम-एक मल्टी-क्लास क्लासिफिकेशन सिर्फ़ जोड़ों में तुलना का एक रूप है?
वे पेयर्स की तुलना करने का तरीका शेयर करते हैं, लेकिन मकसद और आउटपुट में अलग होते हैं। वन-वर्सेस-वन एक मल्टी-क्लास प्रॉब्लम को बाइनरी सबप्रॉब्लम्स में तोड़ता है, फिर उन्हें मिलाकर एक सिंगल क्लास लेबल बनाता है। पेयरवाइज़ तुलना का मकसद एक पूरी रैंकिंग या प्रेफरेंस ऑर्डर बनाना है, अक्सर बिना किसी पक्के क्लास असाइनमेंट की ज़रूरत के। ट्रेनिंग के मकसद और इवैल्यूएशन मेट्रिक्स उसी हिसाब से अलग-अलग होते हैं।
हर तरीके के लिए कौन से इवैल्यूएशन मेट्रिक्स सबसे अच्छे काम करते हैं?
पेयरवाइज़ तुलना ऑर्डरिंग क्वालिटी का पता लगाने के लिए केंडल के टाऊ, स्पीयरमैन के रैंक कोरिलेशन और पेयरवाइज़ एक्यूरेसी पर निर्भर करती है। मल्टी-क्लास क्लासिफिकेशन कैटेगरी असाइनमेंट क्वालिटी को मापने के लिए एक्यूरेसी, प्रिसिजन, रिकॉल, F1-स्कोर और लॉग-लॉस का इस्तेमाल करता है। सही मेट्रिक्स चुनना ज़रूरी है क्योंकि ज़्यादा एक्यूरेसी वाला मल्टी-क्लास मॉडल अभी भी खराब रैंकिंग दे सकता है, और इसका उल्टा भी हो सकता है।
रिकमेंड करने वाले सिस्टम इन तरीकों का एक साथ इस्तेमाल कैसे करते हैं?
आजकल के रिकमेंड करने वाले अक्सर दोनों स्ट्रेटेजी को मिलाते हैं। एक पेयरवाइज़ मॉडल मल्टी-क्लास या मल्टी-लेबल क्लासिफायर से मिले कैंडिडेट आइटम को रैंक कर सकता है। उदाहरण के लिए, एक कंटेंट क्लासिफायर काम की प्रोडक्ट कैटेगरी की पहचान करता है, फिर एक पेयरवाइज़ रैंकर यूज़र की पसंद के आधार पर ऑर्डर को ठीक करता है। यह पाइपलाइन पेयरवाइज़ रैंकिंग की बारीकियों के साथ मल्टी-क्लास फ़िल्टरिंग की एफिशिएंसी का फ़ायदा उठाती है।
साइंटिफिक रिसर्च में पेयरवाइज़ तुलना की शुरुआत क्या है?
साइकोलॉजिस्ट एलएल थर्स्टन ने 1927 में अपने तुलनात्मक फैसले के नियम के साथ जोड़ों में तुलना की शुरुआत की, जिसमें उन्होंने कहा कि इंसानी सोच में अंतर स्टैटिस्टिकल डिस्ट्रीब्यूशन के हिसाब से होता है। यह तरीका इकोनॉमिक्स, स्टैटिस्टिक्स और आखिर में कंप्यूटर साइंस में फैल गया। इसकी मैथमेटिकल खूबसूरती और साइकोलॉजिकल वैलिडिटी लगभग एक सदी के मेथड के विकास के बाद भी बनी रही।
निर्णय
जब आपको बारीक प्रेफरेंस रैंकिंग की ज़रूरत हो, खासकर इंसानी जजों से या जब आइटम पर साफ़ कैटेगरी वाले लेबल न हों, तो पेयरवाइज़ तुलना चुनें। जब आपकी समस्या अपने आप अलग-अलग कैटेगरी में बँट जाए और आपको कुशल, स्केलेबल प्रेडिक्शन की ज़रूरत हो, तो मल्टी-क्लास तुलना चुनें। सर्च इंजन से लेकर प्रोडक्ट रिकमेंड करने वालों तक, कई असल दुनिया के सिस्टम, दोनों तरीकों को मिलाकर उनकी एक-दूसरे को पूरा करने वाली ताकत का इस्तेमाल करते हैं।