ডিস্ট্রিবিউটেড এমএল সার্ভিং স্কেলেবিলিটি এবং রেজিলিয়েন্সের জন্য একাধিক নোডে ইনফারেন্স ওয়ার্কলোড ছড়িয়ে দেয়, অন্যদিকে সেন্ট্রালাইজড মডেল সার্ভিং সরলতা এবং নিয়ন্ত্রণের জন্য একটি একক সিস্টেমে কম্পিউটকে কেন্দ্রীভূত করে। এদের মধ্যে কোনটি বেছে নেওয়া হবে তা ট্র্যাফিক প্যাটার্ন, ল্যাটেন্সির প্রয়োজনীয়তা এবং অপারেশনাল পরিপক্কতার উপর নির্ভর করে।
একটি সার্ভিং আর্কিটেকচার যা স্কেল এবং ফল্ট টলারেন্স সামাল দেওয়ার জন্য একাধিক মেশিন বা নোডে মডেল ইনফারেন্স পরিচালনা করে।
একটি প্রচলিত সার্ভিং সেটআপ যেখানে একটি মেশিন বা ছোট ক্লাস্টার মডেলটিকে হোস্ট করে এবং সমস্ত ইনফারেন্স অনুরোধ পরিচালনা করে।
| বৈশিষ্ট্য | বিতরণকৃত এমএল পরিবেশন | কেন্দ্রীভূত মডেল পরিবেশন |
|---|---|---|
| স্থাপত্য শৈলী | একটি লোড ব্যালেন্সারের পিছনে একাধিক নোড | একক হোস্ট বা নিবিড়ভাবে সংযুক্ত ক্লাস্টার |
| পরিমাপযোগ্যতা | নোড সংখ্যা সহ অনুভূমিক, প্রায়-রৈখিক | উল্লম্ব, একক-মেশিন হার্ডওয়্যার দ্বারা সীমাবদ্ধ |
| ত্রুটি সহনশীলতা | উচ্চ, টিকে থাকা স্বতন্ত্র নোড ব্যর্থতা | নিম্ন, একক ব্যর্থতার বিন্দু |
| অপারেশনাল জটিলতা | উচ্চতর, এর জন্য সমন্বয় ও পর্যবেক্ষণ প্রয়োজন। | কম ওজন, স্থাপন এবং ডিবাগ করা সহজ |
| সাধারণ লেটেন্সি প্রোফাইল | পরিবর্তনশীল, থ্রুপুটের জন্য অপ্টিমাইজ করা | সামঞ্জস্যপূর্ণ, পূর্বাভাসযোগ্যতার জন্য অপ্টিমাইজ করা |
| সেরা | উচ্চ QPS, বড় মডেল, উৎপাদন ট্র্যাফিক | কম থেকে মাঝারি ট্র্যাফিক, প্রোটোটাইপ, অভ্যন্তরীণ সরঞ্জাম |
| ব্যয় মডেল | উচ্চতর ভিত্তিরেখা, চাহিদার সাথে সামঞ্জস্যপূর্ণ। | নিম্ন ভিত্তি, নির্দিষ্ট ক্ষমতা |
| সাধারণ কাঠামো | Triton, Ray Serve, KServe, BentoML | FastAPI, Flask, MLflow, একক-নোড TF Serving |
যখন ট্র্যাফিক একটিমাত্র মেশিনের ধারণক্ষমতা ছাড়িয়ে যায়, তখন ডিস্ট্রিবিউটেড সার্ভিং বিশেষভাবে কার্যকর হয়। আরও রেপ্লিকা বা শার্ড যোগ করলে লোড ভাগ হয়ে যায় এবং হঠাৎ ট্র্যাফিক বেড়ে গেলেও রেসপন্স টাইম স্থিতিশীল থাকে। অন্যদিকে, সেন্ট্রালাইজড সার্ভিং হোস্টের সরবরাহ ক্ষমতার মধ্যেই থ্রুপুট সীমাবদ্ধ রাখে, তাই স্কেলিং করার জন্য আরও নোড যোগ করার পরিবর্তে একটি বড় মেশিন কিনতে হয়।
যখন একটি ডিস্ট্রিবিউটেড ক্লাস্টারের কোনো নোড ক্র্যাশ করে, তখন ট্র্যাফিক স্বয়ংক্রিয়ভাবে অন্য পথে চালিত হয় এবং পরিষেবাটি অনলাইন থাকে। সেন্ট্রালাইজড সেটআপে এমন কোনো সুরক্ষা ব্যবস্থা থাকে না, তাই হার্ডওয়্যার ব্যর্থতা বা কার্নেল প্যানিকের কারণে কেউ হস্তক্ষেপ না করা পর্যন্ত পুরো এপিআই-টি অফলাইন হয়ে যায়। অত্যন্ত গুরুত্বপূর্ণ অ্যাপ্লিকেশনগুলোর জন্য, ব্যর্থতার এই একক উৎসটি প্রায়শই একটি বড় বাধা হয়ে দাঁড়ায়।
একটি ডিস্ট্রিবিউটেড সিস্টেম চালানোর অর্থ হলো এর বিভিন্ন চলমান অংশ জুড়ে সার্ভিস ডিসকভারি, হেলথ চেক, অটোস্কেলিং রুলস এবং অবজার্ভেবিলিটি পরিচালনা করা। ছোট দলগুলোর জন্য সেন্ট্রালাইজড সার্ভিং অনেক বেশি সুবিধাজনক, কারণ একটি মেশিনের একটি প্রসেস পর্যবেক্ষণ করা এবং সে সম্পর্কে ধারণা লাভ করা অনেক সহজ। এর অসুবিধা হলো, আজকের এই সরলতাই আগামীকালের জন্য একটি প্রতিবন্ধকতা হয়ে দাঁড়াতে পারে।
ডিস্ট্রিবিউটেড সেটআপে কখনও কখনও লোড ব্যালান্সারের মাধ্যমে একটি ছোট নেটওয়ার্ক হপ যোগ হয়, কিন্তু এগুলো প্রতি নোডে কিউ ডেপথও কমিয়ে দেয়, যা প্রায়শই লোডের অধীনে টেইল ল্যাটেন্সি উন্নত করে। সেন্ট্রালাইজড সার্ভিং এই অতিরিক্ত হপটি সম্পূর্ণরূপে এড়িয়ে যায়, ফলে কম ট্র্যাফিকের সময় আপনি খুব সামঞ্জস্যপূর্ণ ল্যাটেন্সি পান। তবে, বেশি ট্র্যাফিকের সময় একক হোস্টে কিউ তৈরি হতে থাকে এবং p99 ল্যাটেন্সি দ্রুত খারাপ হয়ে যায়।
ডিস্ট্রিবিউটেড সার্ভিং আপনাকে অটোস্কেলিংয়ের মাধ্যমে চাহিদা অনুযায়ী সক্ষমতা মেলাতে দেয়, ফলে কাজের চাপ কম থাকার সময়ে আপনি কেবল যতটুকু ব্যবহার করেন, তার জন্যই অর্থ প্রদান করেন। সেন্ট্রালাইজড সার্ভিংয়ের ক্ষেত্রে আগে থেকেই সর্বোচ্চ লোডের জন্য ব্যবস্থা করতে হয়, যার ফলে হার্ডওয়্যার বেশিরভাগ সময়ই অলস পড়ে থাকতে পারে। অনুমানযোগ্য এবং কম পরিমাণের কাজের চাপের জন্য, সেন্ট্রালাইজড পদ্ধতিটি সাধারণত সামগ্রিকভাবে সস্তা হয়।
বিকেন্দ্রীভূত পরিবেশন সর্বদা কেন্দ্রীভূত পরিবেশনের চেয়ে দ্রুততর।
গতি নির্ভর করে কাজের চাপ এবং কনফিগারেশনের উপর। কম ট্র্যাফিকের সময়, ডিস্ট্রিবিউটেড সেটআপে অতিরিক্ত নেটওয়ার্ক হপ আসলে ল্যাটেন্সি বাড়িয়ে দিতে পারে, যেখানে একটি ভালোভাবে টিউন করা সেন্ট্রালাইজড সার্ভার দ্রুত সাড়া দিতে পারে। ভারী লোডের অধীনে, ডিস্ট্রিবিউটেড সার্ভিং থ্রুপুট এবং টেইল ল্যাটেন্সির দিক থেকে এগিয়ে থাকে, কিন্তু এর মূল গতি সবসময় সুবিধাজনক হয় না।
কেন্দ্রীভূত পরিষেবা ব্যবস্থা কোনোভাবেই সম্প্রসারণযোগ্য নয়।
আরও বেশি মেমরি এবং জিপিইউ সহ বড় মেশিনে আপগ্রেড করার মাধ্যমে কেন্দ্রীভূত সেটআপগুলোকে উল্লম্বভাবে স্কেল করা যায়। অনেক প্রোডাকশন সিস্টেম ডিস্ট্রিবিউশনের প্রয়োজন হওয়ার আগে বছরের পর বছর ধরে সফলভাবে কেন্দ্রীভূত সার্ভিং চালায়। সীমাবদ্ধতাটি হার্ডওয়্যারে, আর্কিটেকচারে নয়।
বন্টনমূলক পরিবেশনের ফলে পর্যবেক্ষণের প্রয়োজন হয় না।
ডিস্ট্রিবিউটেড সিস্টেমে আসলে কম নয়, বরং আরও বেশি মনিটরিং প্রয়োজন। সমস্যাগুলো আগেভাগে ধরার জন্য আপনাকে প্রতিটি নোডের স্বাস্থ্য, রিকোয়েস্ট রাউটিং, রেপ্লিকা সংখ্যা এবং ক্লাস্টার-ব্যাপী লেটেন্সি ট্র্যাক করতে হবে। পর্যবেক্ষণযোগ্যতা ছাড়া ব্যর্থতা নির্ণয় করা অনেক বেশি কঠিন হয়ে পড়ে।
সকল এমএল মডেলই ডিস্ট্রিবিউটেড সার্ভিং থেকে উপকৃত হয়।
কম ট্র্যাফিকযুক্ত ছোট মডেলগুলো প্রায়শই একটিমাত্র মেশিনেই পুরোপুরি ভালোভাবে চলে। এগুলোকে ভাগ করে দিলে উল্লেখযোগ্য পারফরম্যান্সের উন্নতি ছাড়াই খরচ ও জটিলতা বাড়ে। মূলত বড় মডেল, উচ্চ QPS (কোয়ালিটি পার সেকেন্ড) বা কঠোর প্রাপ্যতার প্রয়োজনীয়তার ক্ষেত্রেই বিতরণ লাভজনক হয়।
কেন্দ্রীভূত পরিষেবা একটি সেকেলে প্রযুক্তি।
বাস্তব জগতের অনেক ডেপ্লয়মেন্টের জন্য, বিশেষ করে অভ্যন্তরীণ এপিআই, ব্যাচ ইনফারেন্স জব এবং প্রাথমিক পর্যায়ের প্রোডাক্টের ক্ষেত্রে, সেন্ট্রালাইজড সার্ভিং এখনও ডিফল্ট হিসেবে রয়ে গেছে। এটি অপ্রচলিত নয়; এটি কেবল ভিন্ন ধরনের সমস্যার জন্য সঠিক সমাধান।
যখন আপনি উচ্চ অনুরোধের পরিমাণ আশা করেন, ফল্ট টলারেন্সের প্রয়োজন হয়, অথবা এমন বড় মডেল চালান যা একটি মেশিনের মেমরির ধারণক্ষমতা ছাড়িয়ে যায়, তখন ডিস্ট্রিবিউটেড এমএল সার্ভিং বেছে নিন। প্রোটোটাইপ, অভ্যন্তরীণ টুল, বা কম-ট্র্যাফিকের এপিআই-এর জন্য সেন্ট্রালাইজড মডেল সার্ভিং ব্যবহার করুন, যেখানে নিছক স্কেলের চেয়ে সরলতা এবং অনুমানযোগ্য লেটেন্সি বেশি গুরুত্বপূর্ণ।
হরাইজন্টাল স্কেলিং কাজের চাপ বন্টন করার জন্য আরও মেশিন যুক্ত করে, অন্যদিকে ভার্টিকাল স্কেলিং বিদ্যমান সার্ভারগুলোর ক্ষমতা বৃদ্ধি করে। উভয় পদ্ধতিই পারফরম্যান্সের প্রতিবন্ধকতা দূর করে, কিন্তু আর্কিটেকচার, খরচের ধরণ এবং পরিচালনগত জটিলতার দিক থেকে এদের মধ্যে মৌলিক পার্থক্য রয়েছে।
ইনফারেন্স এফিসিয়েন্সি পরিমাপ করে যে, একটি ডেপ্লয়েড এআই মডেল ন্যূনতম কম্পিউট ব্যবহার করে কতটা ভালোভাবে অনুরোধগুলো প্রসেস করে, অন্যদিকে ট্রেনিং কম্পিউট কস্ট একটি মডেলকে একেবারে শুরু থেকে প্রশিক্ষণ দিতে ব্যয়িত রিসোর্সকে প্রতিফলিত করে। উভয়ই এআই-এর অর্থনীতিকে প্রভাবিত করে, কিন্তু মডেল লাইফসাইকেলের সম্পূর্ণ ভিন্ন দুটি পর্যায়ে কাজ করে।
রিকোয়েস্ট-লেভেল ডিডুপ্লিকেশন প্রতিটি আগত অনুরোধকে আলাদাভাবে প্রক্রিয়া করে রিয়েল টাইমে ডুপ্লিকেটগুলো দূর করে, অন্যদিকে ব্যাচ-লেভেল ডিডুপ্লিকেশন একাধিক অনুরোধকে একত্রিত করে এবং জমা হওয়ার পর অপ্রয়োজনীয় পুনরাবৃত্তিগুলো অপসারণ করে। উভয় পদ্ধতিই ডেটার পুনরাবৃত্তি কমায়, কিন্তু লেটেন্সি, রিসোর্স ব্যবহার এবং আদর্শ ব্যবহারের ক্ষেত্রে এদের মধ্যে উল্লেখযোগ্য পার্থক্য রয়েছে।
অপারেশনাল ইন্টেলিজেন্স নিরবচ্ছিন্ন পর্যবেক্ষণ, ভবিষ্যদ্বাণীমূলক বিশ্লেষণ এবং সক্রিয় সিস্টেম অপ্টিমাইজেশনের উপর আলোকপাত করে, অন্যদিকে রিঅ্যাকটিভ ইনসিডেন্ট রেসপন্স সমস্যা ঘটার পরে তা শনাক্ত ও সমাধান করার উপর কেন্দ্র করে। আধুনিক আইটি এবং ক্লাউড অবকাঠামো ব্যবস্থাপনায় উভয় পদ্ধতিই স্বতন্ত্র কিন্তু পরিপূরক ভূমিকা পালন করে।
অফসেট ট্র্যাকিং এবং কন্টিনিউয়াস স্ক্যানিং হলো ক্লাউড ও ইনফ্রাস্ট্রাকচার অ্যাসেট নিরীক্ষণের দুটি মৌলিকভাবে ভিন্ন পদ্ধতি। এর মধ্যে অফসেট ট্র্যাকিং নির্ধারিত ব্যাচ ইন্টারভাল ব্যবহার করে এবং কন্টিনিউয়াস স্ক্যানিং নিরাপত্তা পরিস্থিতি ও কনফিগারেশন পরিবর্তনের বিষয়ে রিয়েল-টাইম ও সার্বক্ষণিক দৃশ্যমানতা প্রদান করে।
