मशीन लर्निंग की दुनिया में, डेटासेट शायद ही कभी न्यूट्रल होते हैं। बायस कम करने में गलत झुकाव को पहचानने और उसे न्यूट्रलाइज़ करने के लिए प्रोएक्टिव इंजीनियरिंग शामिल है, जबकि बायस एम्प्लीफिकेशन एक खतरनाक चीज़ है जहाँ मॉडल असल में मौजूदा असमानताओं को बढ़ा-चढ़ाकर बताते हैं, और अक्सर ऐसे अनुमान लगाते हैं जो उस गलत डेटा से कहीं ज़्यादा भेदभाव वाले होते हैं जिस पर उन्हें ट्रेन किया गया था।
ट्रेनिंग डेटा और मॉडल आउटपुट में सिस्टमिक गलतफहमियों को पहचानने, कम करने और बैलेंस करने के लिए डिज़ाइन किए गए स्ट्रेटेजिक टेक्निकल इंटरवेंशन।
एक अनचाही प्रक्रिया जिसमें मशीन लर्निंग एल्गोरिदम डेटा में पाए जाने वाले मौजूदा स्टीरियोटाइपिकल पैटर्न को मजबूत करते हैं और उन पर ओवर-इंडेक्स करते हैं।
| विशेषता | डेटासेट पूर्वाग्रह में कमी | डेटासेट पूर्वाग्रह प्रवर्धन |
|---|---|---|
| प्राथमिक ऑब्जेक्ट | न्यायसंगत और निष्पक्ष परिणाम प्राप्त करें | प्रेडिक्टिव कॉन्फिडेंस को ज़्यादा से ज़्यादा करें (अनजाने में) |
| डेटा ट्रेंड्स पर प्रभाव | गलत सहसंबंधों को सक्रिय रूप से समतल करता है | मौजूदा विसंगतियों को बढ़ा-चढ़ाकर और हार्ड-कोड करके बताता है |
| क्रियाविधि | डेटा वृद्धि, पुनर्मूल्यांकन और ऑडिट | एल्गोरिथमिक शॉर्टकट और आगमनात्मक पूर्वाग्रह |
| संसाधन तीव्रता | ज़्यादा; एक्सपर्ट की देखरेख और क्यूरेशन की ज़रूरत है | कम; अगर इसे अनचेक किया जाए तो अपने आप हो जाता है |
| विनियामक प्रभाव | EU AI एक्ट और GDPR का पालन करने में मदद करता है | कानूनी और नैतिक सज़ा का खतरा बढ़ जाता है |
| दीर्घकालिक परिणाम | मजबूत, सामान्य और विश्वसनीय AI | विषम, भेदभावपूर्ण और नाजुक मॉडल |
बायस कम करना एक मुश्किल काम है क्योंकि इसमें अक्सर थोड़ी सी रॉ एक्यूरेसी छोड़नी पड़ती है ताकि यह पक्का हो सके कि मॉडल सभी ग्रुप्स के साथ सही बर्ताव करे। दूसरी तरफ, एम्प्लिफिकेशन अपने आप होता है क्योंकि एल्गोरिदम सही जवाब के लिए सबसे अच्छा रास्ता खोजने के लिए डिज़ाइन किए गए हैं, और बदकिस्मती से, स्टीरियोटाइप अक्सर स्टैटिस्टिकली 'आसान' रास्ता देते हैं जिसे मॉडल ज़रूरत से ज़्यादा अपना लेता है।
रिडक्शन पुरानी गलतियों को ठीक करने की कोशिश करता है—जैसे क्रेडिट स्कोरिंग मॉडल जो कुछ खास इलाकों को सज़ा देते हैं—डेटा वेट को मैन्युअली एडजस्ट करके। एम्प्लीफिकेशन उन्हीं पुरानी गलतियों को लेता है और उन्हें डिजिटल कानूनों में बदल देता है; अगर कोई मॉडल देखता है कि किसी खास ग्रुप को पहले से लोन देने से मना किया गया है, तो वह यह तय कर सकता है कि उस ग्रुप को *हमेशा* लोन नहीं दिया जाना चाहिए, जिससे भविष्य पहले से भी ज़्यादा सख्त हो जाएगा।
इंजीनियर तीन स्टेज पर बायस कम करने का काम करते हैं: प्री-प्रोसेसिंग (डेटा को साफ करना), इन-प्रोसेसिंग (ट्रेनिंग के दौरान मैथ बदलना), और पोस्ट-प्रोसेसिंग (आखिरी नतीजों को एडजस्ट करना)। एम्प्लीफिकेशन आमतौर पर 'इन-प्रोसेसिंग' फेज के दौरान होता है, जहां मॉडल की गलती कम करने की इच्छा उसे मेजोरिटी के 'सिग्नल' के पक्ष में माइनॉरिटी उदाहरणों के 'नॉइज़' को नज़रअंदाज़ करने पर मजबूर करती है।
बायस एम्प्लीफिकेशन का सबसे डरावना हिस्सा समय के साथ इसके बढ़ने की क्षमता है। अगर कोई बायस्ड हायरिंग टूल अलग-अलग तरह के कैंडिडेट को फ़िल्टर कर देता है, तो 'सफल' कर्मचारियों का डेटा और भी कम अलग-अलग तरह का हो जाता है, जो फिर टूल के अगले वर्शन को और भी ज़्यादा रोक लगाने वाला बना देता है। सही रिडक्शन स्ट्रेटेजी 'काउंटरफैक्टुअल' उदाहरण पेश करके इस साइकिल को तोड़ती हैं जो मॉडल की धारणाओं को चुनौती देते हैं।
अगर मैं एक बड़ा डेटासेट इस्तेमाल करता हूँ, तो बायस अपने आप खत्म हो जाएगा।
असल में, बड़े डेटासेट में अक्सर ज़्यादा बारीक, सिस्टमिक बायस होते हैं जिन्हें मॉडल और भी बेहतर तरीके से बढ़ा-चढ़ाकर बताते हैं। वॉल्यूम वैरायटी या फेयरनेस का सब्स्टीट्यूट नहीं है।
एल्गोरिदम न्यूट्रल होते हैं क्योंकि वे सिर्फ़ मैथ हैं।
मैथ न्यूट्रल है, लेकिन हम एल्गोरिदम को जो लक्ष्य देते हैं—जैसे 'एक्यूरेसी को मैक्सिमाइज़ करना'—वे बायस्ड डेटा के साथ इंटरैक्ट करके बायस्ड नतीजे देते हैं। 'न्यूट्रल' रास्ता अक्सर सबसे ज़्यादा भेदभाव वाला होता है।
बायस कम करना AI के लिए बस 'पॉलिटिकल करेक्टनेस' है।
यह असल में एक टेक्निकल ज़रूरत है; जो मॉडल बायस को कम नहीं करते, वे असल दुनिया में अक्सर फेल हो जाते हैं क्योंकि वे अलग-अलग इनपुट को हैंडल नहीं कर पाते, जिससे हाई-प्रोफाइल फेलियर होते हैं और रेवेन्यू का नुकसान होता है।
जाति या लिंग जैसे 'सेंसिटिव' कॉलम हटाने से भेदभाव रुकता है।
यह 'अंधेपन के ज़रिए निष्पक्षता' है और यह बहुत कम काम करता है। मॉडल ज़िप कोड, शॉपिंग की आदतों या यहाँ तक कि वाक्य की बनावट जैसे प्रॉक्सी डेटा के ज़रिए इन लक्षणों का आसानी से अंदाज़ा लगा सकते हैं।
बायस रिडक्शन किसी भी मॉडल के लिए लोगों से बातचीत करने या ज़िंदगी बदलने वाले फ़ैसले लेने के लिए एक ज़रूरी नैतिक और टेक्निकल ज़रूरत है। जबकि एम्प्लीफिकेशन ज़्यादातर अनऑप्टिमाइज़्ड एल्गोरिदम का डिफ़ॉल्ट बिहेवियर है, एक्टिव रिडक्शन ही AI बनाने का एकमात्र तरीका है जो आज के ज़माने में लीगल और भरोसेमंद दोनों हो।
परफॉर्मेंस ट्रैकिंग की दुनिया में आगे बढ़ने के लिए लीडिंग और लैगिंग, दोनों इंडिकेटर्स की अच्छी समझ होनी चाहिए। लैगिंग इंडिकेटर्स पहले से हो चुकी चीज़ों, जैसे टोटल रेवेन्यू, को कन्फर्म करते हैं, जबकि लीडिंग इंडिकेटर्स प्रेडिक्टिव सिग्नल के तौर पर काम करते हैं जो टीमों को बड़े लक्ष्यों को पाने के लिए रियल-टाइम में अपनी स्ट्रैटेजी को एडजस्ट करने में मदद करते हैं।
यह एनालिटिक्स ब्रेकडाउन मॉडर्न प्रोडक्शन एनवायरनमेंट से बनी अस्त-व्यस्त, बिना क्यूरेट की गई जानकारी को थ्योरेटिकल ट्रेनिंग में इस्तेमाल होने वाले एकदम सही स्ट्रक्चर्ड, साफ-सुथरे डेटा मॉडल से अलग दिखाता है। यह बताता है कि कैसे अचानक आने वाली कमियां और सिस्टम की गड़बड़ियां डेटा इंजीनियरों को किताब के स्टैटिस्टिकल अंदाज़ों पर भरोसा करने के बजाय मज़बूत पाइपलाइन बनाने के लिए मजबूर करती हैं।
जहां नॉइज़ फ़िल्टरिंग डेटासेट के मुख्य ट्रेंड को साफ़ करने के लिए कम लेवल के रैंडम उतार-चढ़ाव को हटा देती है, वहीं आउटलायर्स से सिग्नल निकालने के लिए एक्टिवली बहुत ज़्यादा, अलग-थलग डेटा पॉइंट्स की तलाश की जाती है जो छिपी हुई गड़बड़ियों, ज़रूरी सिस्टम गलतियों या हाई-वैल्यू ब्रेकथ्रू को दिखाते हैं। यह जानना कि हर तकनीक को कब इस्तेमाल करना है, आपको गलती से अपनी सबसे कीमती डेटा इनसाइट्स को खोने से बचाता है।
यह टेक्निकल तुलना एज केस डेटा – जो बहुत कम, बहुत ज़्यादा सिस्टम बिहेवियर को दिखाता है – और एवरेज केस डेटा, जो आम यूज़र पैटर्न को दिखाता है, के अलग-अलग रोल की जांच करती है। इन दो डेटा टाइप को सही तरह से बैलेंस करना, मज़बूत, हाई-परफॉर्मेंस एनालिटिक्स पाइपलाइन बनाने के लिए बहुत ज़रूरी है, जो स्टैंडर्ड ऑपरेशन और असल दुनिया में स्ट्रेस बढ़ाने वाले अस्थिर आउटलायर्स, दोनों को सही तरह से दिखाते हैं।
जहां डेटा क्लीनिंग में डुप्लीकेट को एक्टिवली हटाया जाता है, गड़बड़ियों को ठीक किया जाता है, और मशीन लर्निंग की सटीकता बढ़ाने के लिए खराब इनपुट को रीफ़ॉर्मेट किया जाता है, वहीं डेटा प्रिज़र्वेशन में रॉ, बिना बदलाव वाली हिस्ट्री को बनाए रखने पर फ़ोकस किया जाता है ताकि लंबे समय तक ऑडिटिंग कम्प्लायंस को सुरक्षित रखा जा सके और दुर्लभ लेकिन ज़रूरी एज केस के अचानक नुकसान को रोका जा सके।
