सिस्टम रिलायबिलिटी इंजीनियरिंग (SRE) गूगल का शुरू किया गया एक स्ट्रक्चर्ड डिसिप्लिन है जो प्रोडक्शन सिस्टम को मैनेज करने के लिए सॉफ्टवेयर इंजीनियरिंग प्रिंसिपल्स का इस्तेमाल करता है, जबकि एड हॉक मेंटेनेंस एक रिएक्टिव, बिना प्लान किया हुआ तरीका है जिससे दिक्कतें आते ही उन्हें ठीक किया जाता है। इनमें से किसी एक को चुनने से यह तय होता है कि टीमें अपटाइम, इंसिडेंट और लॉन्ग-टर्म ऑपरेशनल हेल्थ को कैसे हैंडल करती हैं।
एक प्रोएक्टिव इंजीनियरिंग डिसिप्लिन जो सॉफ्टवेयर प्रैक्टिस को ऑपरेशन्स में लागू करता है, जिसका मकसद ऑटोमेशन और तय सर्विस-लेवल ऑब्जेक्टिव्स के ज़रिए मेज़रेबल रिलायबिलिटी पाना है।
एक बिना प्लान की, रिएक्टिव मेंटेनेंस स्ट्रेटेजी जिसमें बिना पहले से तय प्रोसेस या शेड्यूल के, सिस्टम खराब होने या प्रॉब्लम दिखने पर ही सुधार किए जाते हैं।
| विशेषता | सिस्टम विश्वसनीयता इंजीनियरिंग | तदर्थ रखरखाव |
|---|---|---|
| दृष्टिकोण प्रकार | सक्रिय और संरचित | प्रतिक्रियाशील और अनियोजित |
| विश्वसनीयता माप | SLOs, SLIs, और त्रुटि बजट | कोई औपचारिक मीट्रिक ट्रैक नहीं किया गया |
| घटना प्रतिक्रिया | डॉक्यूमेंटेड रनबुक और ऑन-कॉल रोटेशन | जो भी उपलब्ध इंजीनियर तय करे |
| स्वचालन स्तर | हाई — ऑटोमेशन एक मुख्य सिद्धांत है | कम — मैन्युअल फ़िक्स ज़्यादा हैं |
| प्रलेखन | व्यापक पोस्टमॉर्टम और प्लेबुक | न्यूनतम या असंगत |
| सबसे उपयुक्त | बड़े पैमाने पर, मिशन-महत्वपूर्ण प्रणालियाँ | छोटे प्रोजेक्ट या शुरुआती चरण के उत्पाद |
| समय के साथ लागत | ज़्यादा शुरुआती निवेश, कम लंबी अवधि की लागत | शुरुआत में कम, आउटेज से बढ़ती लागत |
| टीम संरचना | समर्पित SRE या प्लेटफ़ॉर्म टीम | स्वामित्व के बिना साझा जिम्मेदारी |
SRE इस विश्वास पर काम करता है कि रिलायबिलिटी एक फीचर है, बाद में सोचा जाने वाला नहीं। यह ऑपरेशन को एक सॉफ्टवेयर प्रॉब्लम की तरह देखता है और डिप्लॉयमेंट पाइपलाइन से लेकर इंसिडेंट रिस्पॉन्स तक हर चीज़ पर इंजीनियरिंग की सख्ती लागू करता है। इसके उलट, एड हॉक मेंटेनेंस ऑपरेशन को एक फायरफाइटिंग एक्सरसाइज की तरह मानता है, जहाँ लक्ष्य बस सर्विस को जल्द से जल्द ठीक करना होता है। इन दोनों अप्रोच के बीच फिलॉसॉफिकल गैप बहुत बड़ा है — एक ऐसे सिस्टम बनाता है जो आसानी से फेल हो जाते हैं, जबकि दूसरा फेल होने पर लड़खड़ाता है।
SRE के खास योगदानों में से एक है रिलायबिलिटी को मापने पर ज़ोर देना। टीमें SLOs के ज़रिए तय करती हैं कि 'काफ़ी अच्छा' क्या दिखता है और SLIs का इस्तेमाल करके परफ़ॉर्मेंस को ट्रैक करती हैं, जिसमें एरर बजट डेवलपमेंट और ऑपरेशन्स के बीच एक जैसी भाषा देते हैं। एड हॉक मेंटेनेंस का कोई बराबर का फ्रेमवर्क नहीं होता, जिसका मतलब है कि यह जानने का कोई ऑब्जेक्टिव तरीका नहीं है कि चीज़ें बेहतर हो रही हैं या खराब हो रही हैं। बिना मेज़रमेंट के, टीमें अक्सर गट फ़ीलिंग पर काम करती हैं, जो रिस्क को तब तक कम आंकती हैं जब तक कोई बड़ी घटना ध्यान खींचने पर मजबूर न कर दे।
SRE बार-बार होने वाले मैनुअल काम को — जिसे 'टॉइल' कहते हैं — एक टैक्स की तरह मानता है जिसे ऑटोमेशन से कम किया जाना चाहिए। Google की ओरिजिनल SRE बुक में इंजीनियर के समय का 50% से कम टॉइल रखने की सलाह दी गई है ताकि बाकी समय इंजीनियरिंग में अच्छे सुधारों में लगाया जा सके। एड हॉक मेंटेनेंस का माहौल अक्सर टॉइल में डूबा रहता है क्योंकि हर फिक्स मैनुअल और एक बार का होता है। समय के साथ, यह एक ऐसा बुरा चक्कर बनाता है जहाँ इंजीनियर आग बुझाने में इतना समय लगा देते हैं कि वे कभी भी ऐसा ऑटोमेशन नहीं बना पाते जो उन्हें रोक सके।
जब SRE एनवायरनमेंट में कुछ खराब होता है, तो रिस्पॉन्स एक तय प्रोसेस को फॉलो करता है: अलर्ट ऑन-कॉल रोटेशन को ट्रिगर करते हैं, रनबुक रिस्पॉन्डर को गाइड करते हैं, और बिना गलती के पोस्टमॉर्टम सीखे गए सबक को कैप्चर करते हैं। इस सिस्टमैटिक अप्रोच का मतलब है कि हर घटना सिस्टम को और मज़बूत बनाती है। एड हॉक मेंटेनेंस में, घटनाओं को अस्त-व्यस्त तरीके से हैंडल किया जाता है, अक्सर जो भी उपलब्ध होता है, वही करता है, और वही असली वजहें बार-बार आउटेज पैदा करती हैं। ऑर्गनाइज़ेशन कभी भी इंस्टीट्यूशनल जानकारी इकट्ठा नहीं करता क्योंकि इसे कैप्चर करने का कोई लगातार तरीका नहीं है।
SRE के लिए टूलिंग, ट्रेनिंग और प्रोसेस डिज़ाइन में शुरू में काफ़ी इन्वेस्टमेंट की ज़रूरत होती है, लेकिन सिस्टम के स्केल के साथ इसका फ़ायदा मिलता है। Google या Netflix के स्केल पर भरोसेमंद सर्विस चलाने वाली कंपनियाँ एड हॉक तरीकों से नहीं चल सकतीं — इसकी मुश्किल किसी भी रिएक्टिव टीम पर भारी पड़ सकती है। हालाँकि, कुछ ही यूज़र्स वाले छोटे स्टार्टअप के लिए, एड हॉक मेंटेनेंस पूरी तरह से सही हो सकता है। ज़रूरी बात यह पहचानना है कि आप कब इससे आगे निकल गए हैं, जो आमतौर पर तब होता है जब बार-बार आउटेज की वजह से कस्टमर का भरोसा कम होने लगता है।
SRE ऑपरेशन्स के लिए बस एक फैंसी नाम है।
SRE असल में ट्रेडिशनल ऑप्स से अलग है क्योंकि यह ऑपरेशनल प्रॉब्लम के लिए सॉफ्टवेयर इंजीनियरिंग का इस्तेमाल करता है और रिलायबिलिटी को एक प्रोडक्ट फीचर की तरह मानता है। ट्रेडिशनल ऑपरेशन अक्सर सिस्टम को मैन्युअल रूप से चालू रखने पर फोकस करते हैं, जबकि SRE इंजीनियर ऐसा ऑटोमेशन बनाते हैं जो शुरू में ही मैन्युअल दखल की ज़रूरत को खत्म कर देता है।
एड हॉक मेंटेनेंस सस्ता होता है क्योंकि इसमें कोई प्रोसेस ओवरहेड नहीं होता।
हालांकि एड हॉक मेंटेनेंस से शुरू में होने वाले प्रोसेस के खर्च से बचा जा सकता है, लेकिन बार-बार होने वाले आउटेज, लंबे डीबगिंग सेशन और टेक्निकल कर्ज की बढ़ती लागत के कारण यह आमतौर पर समय के साथ बहुत महंगा हो जाता है। बिना प्लान के डाउनटाइम पर हुई स्टडीज़ से पता चलता है कि मीडियम साइज़ के बिज़नेस के लिए हर घंटे लाखों डॉलर का खर्च आता है।
SRE से फ़ायदा उठाने के लिए आपको Google-साइज़ होना चाहिए।
SRE के सिद्धांत — SLOs, एरर बजट, ऑटोमेशन, बिना गलती के पोस्टमॉर्टम — असरदार तरीके से स्केल डाउन करते हैं। कई छोटी और मीडियम साइज़ की टीमें इन तरीकों के हल्के वर्शन अपनाती हैं और बिना किसी खास SRE ऑर्गनाइज़ेशन की ज़रूरत के रिलायबिलिटी में काफ़ी सुधार देखती हैं।
SRE सभी आउटेज को खत्म करता है।
SRE ज़ीरो फेलियर का वादा नहीं करता — यह मानता है कि फेलियर तो होने ही हैं और एरर बजट से तय मंज़ूर लिमिट के अंदर उन्हें मैनेज करने पर फोकस करता है। इसका मकसद तेज़ी से पता लगाना, तेज़ी से रिकवरी करना और हर घटना से सीखना है, परफेक्शन नहीं।
अगर आपके पास अच्छे इंजीनियर हैं तो एड हॉक मेंटेनेंस ठीक काम करता है।
बहुत अच्छे इंजीनियर भी मिसिंग प्रोसेस, डॉक्यूमेंटेशन और ऑटोमेशन की भरपाई नहीं कर सकते। अकेले हिम्मत दिखाना कोई टिकाऊ रिलायबिलिटी स्ट्रेटेजी नहीं है, और इससे बर्नआउट होता है, साथ ही ऑर्गनाइज़ेशन मज़बूत सिस्टम के बजाय खास लोगों पर डिपेंडेंट हो जाता है।
सिस्टम रिलायबिलिटी इंजीनियरिंग किसी भी ऐसे ऑर्गनाइज़ेशन के लिए सही चॉइस है जो प्रोडक्शन सिस्टम चला रहा है, जहाँ डाउनटाइम के असली बिज़नेस नतीजे होते हैं, खासकर जब कॉम्प्लेक्सिटी बढ़ती है। एड हॉक मेंटेनेंस बहुत शुरुआती स्टेज के प्रोजेक्ट्स या नॉन-क्रिटिकल इंटरनल टूल्स के लिए काम कर सकता है, लेकिन यह जल्दी ही एक लायबिलिटी बन जाता है। ज़्यादातर मैच्योर इंजीनियरिंग ऑर्गनाइज़ेशन आखिरकार एड हॉक प्रैक्टिस से SRE-इंस्पायर्ड फ्रेमवर्क की ओर माइग्रेट कर जाते हैं, भले ही वे पूरा Google मॉडल न अपनाएँ।
AI ऑर्केस्ट्रेशन सिस्टम एक यूनिफाइड फ्रेमवर्क के ज़रिए कई मॉडल, टूल और डेटा पाइपलाइन को कोऑर्डिनेट करते हैं, जबकि स्टैंडअलोन मॉडल इस्तेमाल में हर काम के लिए सीधे एक ही AI मॉडल को कॉल करना शामिल है। ऑर्गनाइज़ेशन आमतौर पर कॉम्प्लेक्सिटी, स्केल और मल्टी-स्टेप ऑटोमेशन की ज़रूरत के आधार पर इन तरीकों में से चुनते हैं।
ML इंफ्रास्ट्रक्चर ऑप्टिमाइज़ेशन उन सिस्टम, हार्डवेयर और पाइपलाइन को बेहतर बनाने पर फोकस करता है जो मॉडल को ट्रेन और सर्व करते हैं, जबकि मॉडल आर्किटेक्चर इनोवेशन नए न्यूरल नेटवर्क स्ट्रक्चर डिज़ाइन करने पर फोकस करता है जो सीखने की एफिशिएंसी और कैपेबिलिटी को बेहतर बनाते हैं। दोनों ही मॉडर्न AI डेवलपमेंट के ज़रूरी पिलर हैं, लेकिन वे प्रोग्रेस को बिल्कुल अलग एंगल से देखते हैं।
मशीन लर्निंग वर्कलोड के लिए बनाए गए सर्विस मेश, बारीक ट्रैफिक मैनेजमेंट के साथ डायनामिक, हाई-वॉल्यूम इंफरेंस ट्रैफिक को हैंडल करते हैं, जबकि ट्रेडिशनल API गेटवे स्टैंडर्ड माइक्रोसर्विस के लिए रिक्वेस्ट रूटिंग, ऑथेंटिकेशन और रेट लिमिटिंग पर फोकस करते हैं। इनमें से चुनना इस बात पर निर्भर करता है कि आपकी मुख्य चिंता ML-स्पेसिफिक ऑब्जर्वेबिलिटी और मॉडल वर्जनिंग है या जनरल-पर्पस API ऑर्केस्ट्रेशन।
ML सिस्टम में कैशिंग स्ट्रेटेजी बार-बार की जाने वाली क्वेरी को तेज़ करने के लिए पहले से कम्प्यूट किए गए मॉडल आउटपुट या इंटरमीडिएट डेटा को स्टोर करती हैं, जबकि ऑन-डिमांड कम्प्यूटेशन हर बार नए नतीजे देता है, जिससे स्पीड के बदले आसानी और कम स्टोरेज ओवरहेड मिलता है।
नेटवर्क एफिशिएंसी इस बात पर फोकस करती है कि डिस्ट्रिब्यूटेड ट्रेनिंग के दौरान GPU, सर्वर और स्टोरेज के बीच डेटा कितनी तेज़ी से मूव होता है, जबकि कंप्यूट एफिशिएंसी यह मापती है कि GPU और TPU जैसे हार्डवेयर रिसोर्स असल मैथमेटिकल ऑपरेशन कितने असरदार तरीके से करते हैं। दोनों मॉडर्न AI वर्कलोड को स्केल करने के लिए ज़रूरी हैं, लेकिन वे मशीन लर्निंग इंफ्रास्ट्रक्चर में असल में अलग-अलग रुकावटों को ठीक करते हैं।
