मशीन लर्निंगच्या जगात, डेटासेट क्वचितच तटस्थ असतात. पक्षपात कमी करण्यामध्ये अन्यायकारक विषमता ओळखण्यासाठी आणि निष्प्रभ करण्यासाठी सक्रिय अभियांत्रिकीचा समावेश असतो, तर पक्षपात वाढवणे ही एक धोकादायक घटना आहे, जिथे मॉडेल्स प्रत्यक्षात अस्तित्वात असलेल्या असमानतांना अधिकच वाढवतात आणि अनेकदा ज्या सदोष डेटावर त्यांना प्रशिक्षित केले गेले होते, त्यापेक्षा लक्षणीयरीत्या अधिक भेदभावपूर्ण भाकिते करतात.
प्रशिक्षण डेटा आणि मॉडेल आउटपुटमधील प्रणालीगत विषमता ओळखणे, कमी करणे आणि संतुलित करणे यासाठी तयार केलेले धोरणात्मक तांत्रिक हस्तक्षेप.
ही एक अनपेक्षित प्रक्रिया आहे, ज्यात मशीन लर्निंग अल्गोरिदम डेटामध्ये आढळणाऱ्या विद्यमान रूढिवादी नमुन्यांना अधिक बळकट करतात आणि त्यांचा अतिरेक करतात.
| वैशिष्ट्ये | डेटासेटमधील पक्षपात कमी करणे | डेटासेट पक्षपात प्रवर्धन |
|---|---|---|
| प्राथमिक उद्दिष्ट | न्याय्य आणि योग्य परिणाम साध्य करणे | अंदाज वर्तवण्यावरील विश्वास वाढवणे (अजाणतेपणे) |
| डेटा ट्रेंडवर परिणाम | अन्यायकारक सहसंबंध सक्रियपणे सपाट करते | विद्यमान विषमता वाढवते आणि दृढ करते |
| कार्यपद्धती | डेटा संवर्धन, पुनर्मूल्यांकन आणि लेखापरीक्षण | अल्गोरिथमिक शॉर्टकट आणि आगमनात्मक पक्षपात |
| संसाधन तीव्रता | उच्च; तज्ज्ञ देखरेख आणि संवर्धनाची आवश्यकता आहे | कमी; दुर्लक्ष केल्यास आपोआप घडते |
| नियामक परिणाम | ईयू एआय कायदा आणि जीडीपीआरचे पालन करण्यास मदत करते | कायदेशीर आणि नैतिक दंडाचा धोका वाढतो |
| दीर्घकालीन परिणाम | मजबूत, सामान्यीकरण करण्यायोग्य आणि विश्वसनीय एआय | पक्षपाती, भेदभावपूर्ण आणि कमकुवत मॉडेल |
पूर्वग्रह कमी करणे हे एक अवघड काम आहे, कारण मॉडेल सर्व गटांना समान वागणूक देईल हे सुनिश्चित करण्यासाठी अनेकदा मूळ अचूकतेशी थोडी तडजोड करावी लागते. याउलट, पूर्वग्रहांचे प्रवर्धन नैसर्गिकरित्या घडते, कारण अल्गोरिदम योग्य उत्तरापर्यंत पोहोचण्याचा सर्वात कार्यक्षम मार्ग शोधण्यासाठी तयार केलेले असतात, आणि दुर्दैवाने, रूढ कल्पना अनेकदा सांख्यिकीयदृष्ट्या एक 'सोपा' मार्ग उपलब्ध करून देतात, ज्याचा मॉडेल गरजेपेक्षा जास्त अवलंब करतो.
रिडक्शन (कपात) हे डेटाचे वेट्स (भार) मॅन्युअली (हस्तचलितपणे) समायोजित करून ऐतिहासिक चुका सुधारण्याचा प्रयत्न करते—जसे की विशिष्ट परिसरांना शिक्षा देणारे क्रेडिट स्कोअरिंग मॉडेल्स. ॲम्प्लिफिकेशन (प्रवर्धन) त्याच ऐतिहासिक चुका घेते आणि त्यांचे डिजिटल कायद्यांमध्ये रूपांतर करते; जर एखाद्या मॉडेलला दिसले की एका विशिष्ट गटाला ऐतिहासिकदृष्ट्या कर्ज नाकारले गेले आहे, तर ते ठरवू शकते की त्या गटाला *नेहमीच* कर्ज नाकारले पाहिजे, ज्यामुळे भविष्य भूतकाळापेक्षाही अधिक निर्बंधात्मक बनते.
अभियंते तीन टप्प्यांवर पक्षपात कमी करण्याचा प्रयत्न करतात: प्री-प्रोसेसिंग (डेटा स्वच्छ करणे), इन-प्रोसेसिंग (प्रशिक्षणादरम्यान गणितात बदल करणे), आणि पोस्ट-प्रोसेसिंग (अंतिम परिणामांमध्ये बदल करणे). 'इन-प्रोसेसिंग'च्या टप्प्यात सहसा प्रवर्धन (amplification) नकळतपणे शिरकाव करते, जिथे त्रुटी कमी करण्याच्या मॉडेलच्या इच्छेमुळे ते बहुसंख्य उदाहरणांकडून मिळणाऱ्या 'सिग्नल'च्या बाजूने अल्पसंख्य उदाहरणांमधील 'नॉइज'कडे दुर्लक्ष करते.
पक्षपाताच्या प्रवर्धनाचा सर्वात भीतीदायक भाग म्हणजे कालांतराने वाढत जाण्याची त्याची क्षमता. जर एखादे पक्षपाती भरती साधन विविध उमेदवारांना वगळत असेल, तर 'यशस्वी' कर्मचाऱ्यांचा डेटा आणखी कमी वैविध्यपूर्ण बनतो, ज्यामुळे त्या साधनाच्या पुढील आवृत्तीला आणखी कठोर व्हायला शिकवले जाते. योग्य कपात धोरणे मॉडेलच्या गृहितकांना आव्हान देणारी 'प्रतिवास्तविक' उदाहरणे सादर करून हे चक्र तोडतात.
मी जर मोठा डेटासेट वापरला, तर पक्षपात आपोआपच नाहीसा होईल.
खरं तर, मोठ्या डेटासेटमध्ये अनेकदा अधिक सूक्ष्म, प्रणालीगत पूर्वग्रह असतात, जे मॉडेल अधिकच ठळकपणे दाखवतात. प्रचंड आकार हा विविधतेचा किंवा निष्पक्षतेचा पर्याय ठरू शकत नाही.
अल्गोरिदम तटस्थ असतात कारण ते केवळ गणितच असतात.
गणित तटस्थ असते, पण आपण अल्गोरिदमला दिलेली उद्दिष्ट्ये—जसे की 'अचूकता वाढवणे'—पक्षपाती माहितीशी संवाद साधून पक्षपाती निष्कर्ष निर्माण करतात. 'तटस्थ' मार्ग हाच अनेकदा सर्वात जास्त भेदभाव करणारा असतो.
पूर्वग्रह कमी करणे म्हणजे एआयसाठी केवळ 'राजकीय सभ्यता' आहे.
खरं तर ही एक तांत्रिक गरज आहे; जे मॉडेल पक्षपात कमी करत नाहीत ते अनेकदा प्रत्यक्ष वापरात अयशस्वी ठरतात कारण ते विविध प्रकारची माहिती हाताळू शकत नाहीत, ज्यामुळे मोठी अपयशं येतात आणि महसुलाचे नुकसान होते.
वंश किंवा लिंग यांसारखे 'संवेदनशील' स्तंभ काढून टाकल्याने पूर्वग्रह थांबतो.
हा 'अंधत्वातून न्याय' साधण्याचा प्रकार आहे आणि तो क्वचितच यशस्वी होतो. मॉडेल्स पिन कोड, खरेदीच्या सवयी किंवा अगदी वाक्यांची रचना यांसारख्या प्रॉक्सी डेटाद्वारे ही वैशिष्ट्ये सहजपणे ओळखू शकतात.
लोकांशी संवाद साधणाऱ्या किंवा आयुष्य बदलणारे निर्णय घेणाऱ्या कोणत्याही मॉडेलसाठी पूर्वग्रह कमी करणे ही एक आवश्यक नैतिक आणि तांत्रिक गरज आहे. जरी बहुतेक अकार्यक्षम अल्गोरिदमचे प्रवर्धन हे मूळ वर्तन असले तरी, आधुनिक परिस्थितीत कायदेशीर आणि विश्वासार्ह असे एआय तयार करण्याचा सक्रिय पूर्वग्रह कमी करणे हा एकमेव मार्ग आहे.
अत्यंत प्रतिकूल परिस्थितीतील डेटा आणि सामान्य परिस्थितीतील डेटा यांपैकी निवड करण्यावरून, एखादे ॲनालिटिक्स मॉडेल टिकून राहण्याच्या बाबतीत उत्कृष्ट ठरते की दैनंदिन अचूकतेच्या बाबतीत, हे ठरते. बेसलाइन डेटासेट मानक कार्यप्रणाली अंतर्गत स्थिर-स्थितीतील वर्तन आणि उच्च-संभाव्यता असलेले नमुने दर्शवतात, तर स्ट्रेस-टेस्ट डेटासेट दुर्मिळ टोकाच्या जोखमीच्या विसंगती, प्रणालीच्या गंभीर सीमा आणि संरचनात्मक विघटन बिंदू दर्शवतात, जे पारंपरिक मॉडेलिंगमध्ये पूर्णपणे दुर्लक्षित राहतात.
जरी दोन्ही क्षेत्रे डेटामधील गुंतागुंतीच्या संबंधांचे विश्लेषण करतात, तरी स्पॅशियो-टेम्पोरल मायनिंग भौतिक अवकाश आणि वेळ या दोन्हीमध्ये विकसित होणाऱ्या नमुन्यांवर लक्ष केंद्रित करते. याउलट, नॉन-टेम्पोरल ग्राफ मायनिंग नेटवर्कच्या स्थिर संरचनात्मक रचनेचा अभ्यास करते, जसे की सामाजिक श्रेणीरचना किंवा रासायनिक बंध, जिथे जोडण्यांच्या वेळेपेक्षा एकूण टोपोलॉजी अधिक महत्त्वाची असते.
हे विश्लेषणात्मक विश्लेषण, आधुनिक उत्पादन वातावरणातून निर्माण होणाऱ्या अव्यवस्थित, असंघटित माहितीची तुलना सैद्धांतिक प्रशिक्षणात वापरल्या जाणाऱ्या परिपूर्ण संरचित, सुव्यवस्थित डेटा मॉडेल्सशी करते. अनपेक्षित त्रुटी आणि प्रणालीतील विसंगती डेटा इंजिनिअर्सना पाठ्यपुस्तकातील सांख्यिकीय गृहितकांवर अवलंबून राहण्याऐवजी मजबूत पाइपलाइन्स तयार करण्यास कशा भाग पाडतात, याचा शोध यात घेतला आहे.
नॉइज फिल्टरिंग हे डेटासेटमधील मुख्य ट्रेंड स्पष्ट करण्यासाठी निम्न-स्तरीय यादृच्छिक चढउतार काढून टाकते, तर आउटलायर्समधून सिग्नल काढण्याचे तंत्र हे लपलेल्या विसंगती, गंभीर सिस्टीम त्रुटी किंवा उच्च-मूल्यवान महत्त्वपूर्ण शोध उघड करणाऱ्या अत्यंत टोकाच्या, वेगळ्या डेटा पॉइंट्सचा सक्रियपणे शोध घेते. प्रत्येक तंत्र केव्हा लागू करायचे हे जाणून घेतल्याने, तुम्ही तुमच्या सर्वात मौल्यवान डेटा अंतर्दृष्टी चुकून गमावण्यापासून वाचता.
ही तुलना, वैयक्तिक डेटा प्रवाहांकडे स्वतंत्रपणे पाहण्यापासून ते त्यांना प्रभावाचे एक परस्परसंबंधित जाळे म्हणून मॉडेल करण्यापर्यंतच्या स्थित्यंतराचा शोध घेते. पारंपारिक पद्धती ऐतिहासिक स्व-सुधारणेवर अवलंबून असतात, तर ग्राफ-आधारित दृष्टिकोन अनेक चलांमधील अवकाशीय आणि संबंधात्मक अवलंबित्व वापरून लक्षणीयरीत्या अधिक संदर्भीय अचूकतेसह भविष्यातील परिणामांचा अंदाज लावतात.
