হাই-থ্রুপুট রিকমেন্ডেশন সার্ভিং বৃহৎ পরিসরে প্রতি অনুরোধে লক্ষ লক্ষ আইটেমকে র্যাঙ্ক করার উপর মনোযোগ দেয়, অন্যদিকে লো-ল্যাটেন্সি এপিআই সিস্টেমগুলো সাধারণ কোয়েরির জন্য দ্রুত ও অনুমানযোগ্য প্রতিক্রিয়ার সময়কে অগ্রাধিকার দেয়। উভয়েরই ১০০ মিলিসেকেন্ডের কম পারফরম্যান্স প্রয়োজন, কিন্তু আধুনিক ক্লাউড অবকাঠামোতে এগুলি মৌলিকভাবে ভিন্ন ভিন্ন প্রকৌশলগত চ্যালেঞ্জের সমাধান করে।
কঠোর লেটেন্সি বাজেটের মধ্যে বিশাল সংখ্যক সম্ভাব্য কন্টেন্ট থেকে ব্যক্তিগতকৃত কন্টেন্টকে র্যাঙ্ক করতে ও পুনরুদ্ধার করার জন্য ডিজাইন করা বিশেষায়িত পরিকাঠামো।
ধারাবাহিকভাবে সাব-মিলিসেকেন্ড থেকে লো-মিলিসেকেন্ডের মধ্যে প্রতিক্রিয়া সময় প্রদানের জন্য ডিজাইন করা সাধারণ-উদ্দেশ্যমূলক অনুরোধ-প্রতিক্রিয়া পরিকাঠামো।
| বৈশিষ্ট্য | উচ্চ-থ্রুপুট সুপারিশ পরিবেশন | কম-বিলম্বের এপিআই সিস্টেম |
|---|---|---|
| প্রাথমিক ব্যবহারের ক্ষেত্র | বৃহৎ পরিসরে ব্যক্তিগতকৃত কন্টেন্ট র্যাঙ্কিং | সাধারণ-উদ্দেশ্য অনুরোধ-প্রতিক্রিয়া পরিষেবা |
| সাধারণ লেটেন্সি টার্গেট | ৫০-২০০ মিলিসেকেন্ড এন্ড-টু-এন্ড | ১-৫০ মিলিসেকেন্ড পি৯৯ |
| থ্রুপুট ফোকাস | অনুরোধ অনুযায়ী লক্ষ লক্ষ প্রার্থীকে মূল্যায়ন করা হয়েছে। | প্রতি নোডে হাজার হাজার যুগপৎ অনুরোধ |
| মূল স্থাপত্য | বহু-পর্যায়ের পুনরুদ্ধার এবং র্যাঙ্কিং ফানেল | রাষ্ট্রহীন বা খণ্ডিত রাষ্ট্রীয় পরিষেবা |
| ডেটা নির্ভরতা | ফিচার স্টোর এবং এমবেডিংয়ের উপর ব্যাপক নির্ভরতা | প্রায়শই ক্যাশে এবং প্রাথমিক ডেটাবেস দ্বারা সমর্থিত |
| কমন কম্পিউট | GPU এবং CPU হাইব্রিড ইনফারেন্স | সিপিইউ-এর জন্য অপ্টিমাইজ করা এবং মাঝে মাঝে এফপিজিএ অ্যাক্সিলারেশন সহ |
| স্কেলিং প্যাটার্ন | মডেল সমান্তরালতার সাথে অনুভূমিক | লোড ব্যালেন্সিং এবং অটোস্কেলিং সহ হরাইজন্টাল |
| মূল মেট্রিক্স | CTR, এনগেজমেন্ট, রিকল@K, NDCG | p50/p95/p99 লেটেন্সি, ত্রুটির হার, প্রাপ্যতা |
| উদাহরণ প্ল্যাটফর্ম | TensorFlow Serving, NVIDIA Triton, Merlin | Envoy, gRPC, Fastly Compute, Cloudflare Workers |
| ব্যর্থতা সংবেদনশীলতা | ফলব্যাক র্যাঙ্কিং সহ মার্জিত অবক্ষয় | সার্কিট ব্রেকার প্যাটার্নের সাথে হার্ড টাইমআউট |
সুপারিশ প্রদানকারী সিস্টেমগুলো একটি ফানেল আর্কিটেকচার অনুসরণ করে, যা লক্ষ লক্ষ সম্ভাব্য প্রার্থীকে ক্রমান্বয়ে সংকুচিত করে হাতেগোনা কয়েকটি ব্যক্তিগতকৃত ফলাফলে নিয়ে আসে। প্রতিটি পর্যায়ে নির্ভুলতার চেয়ে গতিকে বেশি গুরুত্ব দেওয়া হয়, যেখানে র্যাঙ্কিং মডেলগুলো সূক্ষ্ম স্কোরিং প্রয়োগ করার আগে পুনরুদ্ধার মডেলগুলো ব্যাপকভাবে অনুসন্ধান চালায়। অন্যদিকে, লো-ল্যাটেন্সি এপিআই সিস্টেমগুলো আরও একটি অভিন্ন অনুরোধ-প্রতিক্রিয়া প্যাটার্ন অনুসরণ করে, যেখানে প্রতিটি কল সাধারণত ইনপুটের জটিলতা নির্বিশেষে একটি নির্দিষ্ট পরিমাণ কাজ সম্পাদন করে।
যদিও উভয় সিস্টেমই কম ল্যাটেন্সির দিকে লক্ষ্য রাখে, তবে রিকমেন্ডেশন সার্ভিং প্রায়শই প্রতি অনুরোধে অনেক বেশি ক্যান্ডিডেট মূল্যায়নের বিনিময়ে কিছুটা বেশি টেইল ল্যাটেন্সি (১০০-২০০ মিলিসেকেন্ড) মেনে নেয়। লো-ল্যাটেন্সি এপিআইগুলো প্রতিটি মিলিসেকেন্ডকে অত্যন্ত গুরুত্বপূর্ণ বলে মনে করে, কারণ এগুলো মাইক্রোসার্ভিসগুলোর মধ্যে সংযোগকারী টিস্যু হিসেবে কাজ করে, যেখানে ক্রমিক বিলম্ব পুরো অ্যাপ্লিকেশন স্ট্যাককে অস্থিতিশীল করে তুলতে পারে। এই দুইয়ের মধ্যে তারতম্যের সহনশীলতা উল্লেখযোগ্যভাবে ভিন্ন।
সুপারিশ ব্যবস্থাগুলো মেশিন লার্নিং মডেল, এমবেডিং লুকআপ এবং রিয়েল-টাইম ফিচার স্টোরের উপর ব্যাপকভাবে নির্ভর করে, যেগুলোকে স্ট্রিমিং ডেটার মাধ্যমে সতেজ রাখতে হয়। সার্ভিং লেয়ারকে অবশ্যই সীমিত ল্যাটেন্সি বাজেটের মধ্যে মডেল ইনফারেন্স এবং ফিচার রিট্রিভালের মধ্যে সমন্বয় সাধন করতে হয়। লো-ল্যাটেন্সি এপিআইগুলো তুলনামূলকভাবে সরল ডেটা অ্যাক্সেস প্যাটার্ন ব্যবহার করে, সাধারণত ক্যাশে বা শার্ডেড ডেটাবেস থেকে ডেটা পড়ে, যা সেগুলোকে আরও অনুমানযোগ্য করে তোলে কিন্তু কম ব্যক্তিগতকৃত করে।
নিউরাল র্যাঙ্কিং মডেলের কম্পিউটেশনাল লোড সামলাতে রিকমেন্ডেশন সার্ভিং ক্রমবর্ধমানভাবে জিপিইউ এবং এনভিডিয়া ট্রাইটন বা টিপিইউ-এর মতো বিশেষায়িত অ্যাক্সিলারেটরের উপর নির্ভর করে। লো-ল্যাটেন্সি এপিআইগুলো সাধারণত সিপিইউ-অপ্টিমাইজড ডেপ্লয়মেন্টেই সীমাবদ্ধ থাকে, তবে সবচেয়ে চাহিদাপূর্ণ ফিনান্সিয়াল ওয়ার্কলোডের জন্য কখনও কখনও কার্নেল বাইপাস নেটওয়ার্কিং (ডিপিডিকে, আরডিএমএ) বা এফপিজিএ অ্যাক্সিলারেশন ব্যবহার করে। এই দুটি ক্ষেত্রের মধ্যে হার্ডওয়্যার বিনিয়োগের ধরনে যথেষ্ট পার্থক্য রয়েছে।
সুপারিশ ব্যবস্থাগুলো প্রযুক্তিগত মেট্রিক্সের পাশাপাশি ক্লিক-থ্রু রেট এবং এনগেজমেন্টের মতো ব্যবসায়িক মেট্রিক্সও পর্যবেক্ষণ করে, কারণ মডেলের গুণমান সরাসরি রাজস্বকে প্রভাবিত করে। এগুলো প্রায়শই সহজতর মডেল বা জনপ্রিয়তা-ভিত্তিক র্যাঙ্কিংয়ে ফিরে গিয়ে সাবলীলভাবে কর্মক্ষমতা হ্রাস করে। লো-ল্যাটেন্সি এপিআইগুলো সার্ভিস মেশ জুড়ে ধারাবাহিক ব্যর্থতা রোধ করতে সার্কিট ব্রেকার, রিট্রাই এবং অ্যাগ্রেসিভ টাইমআউটের মাধ্যমে এসএলও-ভিত্তিক পর্যবেক্ষণে অগ্রাধিকার দেয়।
সুপারিশ ব্যবস্থাগুলো হলো র্যাঙ্কিং প্রয়োগ করা দ্রুতগতির ডাটাবেস কোয়েরি মাত্র।
আধুনিক রিকমেন্ডেশন সার্ভিং এমবেডিং রিট্রিভাল, নিউরাল র্যাঙ্কিং এবং রিয়েল-টাইম ফিচার লুকআপকে এমনভাবে একত্রিত করে যা প্রচলিত ডাটাবেস অপারেশনের চেয়ে অনেক উন্নত। এমএল পাইপলাইন, ফিচারের সতেজতা এবং মডেল ভার্সনিং এমন জটিলতার স্তর যোগ করে যা সাধারণ কোয়েরি ইঞ্জিনগুলো সামলাতে পারে না।
যেকোনো সিস্টেমের জন্য কম ল্যাটেন্সি মানেই উন্নত ব্যবহারকারীর অভিজ্ঞতা।
লেটেন্সি অপ্টিমাইজেশনের সুফল ক্রমহ্রাসমান। সুপারিশ সিস্টেমের ক্ষেত্রে, রেসপন্স টাইম থেকে শেষ ১০ মিলিসেকেন্ড কমিয়ে আনার চেয়ে ভালো র্যাঙ্কিংয়ের জন্য অতিরিক্ত মিলিসেকেন্ড ব্যয় করা প্রায়শই এনগেজমেন্ট বেশি বাড়ায়। সর্বোত্তম লেটেন্সি লক্ষ্যমাত্রা ব্যবহারকারীর প্রেক্ষাপট এবং ব্যবসায়িক লক্ষ্যের উপর নির্ভর করে।
পূর্বাভাস প্রদানের ক্ষেত্রে জিপিইউ সবসময় সিপিইউ-এর চেয়ে দ্রুততর।
ব্যাচ ইনফারেন্স এবং বড় নিউরাল নেটওয়ার্কের ক্ষেত্রে জিপিইউ বিশেষভাবে পারদর্শী, কিন্তু ছোট মডেল বা একক-অনুরোধের ইনফারেন্সের জন্য জিপিইউ চালু হওয়ার অতিরিক্ত চাপ সিপিইউকে আরও দ্রুততর করে তুলতে পারে। এই সন্ধিক্ষণটি মডেলের আকার, ব্যাচের আকার এবং ট্র্যাফিকের ধরনের উপর নির্ভর করে।
ক্যাশিং এপিআই সিস্টেমের সমস্ত লেটেন্সি সমস্যার সমাধান করে।
ক্যাশে রিড-হেভি ওয়ার্কলোডের ক্ষেত্রে সহায়ক হলেও, এটি সামঞ্জস্যের ক্ষেত্রে চ্যালেঞ্জ তৈরি করে এবং ক্যাশে স্ট্যাম্পিডের ঝুঁকি বাড়ায়। রাইট-হেভি বা অত্যন্ত ব্যক্তিগতকৃত এপিআই-এর ক্ষেত্রে ক্যাশিং সীমিত সুবিধা দেয় এবং উল্লেখযোগ্য ল্যাটেন্সি সুবিধা না দিয়েই জটিলতা বাড়িয়ে তুলতে পারে।
এজ কম্পিউটিং স্বল্প-বিলম্বের এপিআই ডিজাইনের প্রয়োজনীয়তা দূর করে।
এজ প্ল্যাটফর্মগুলো নেটওয়ার্ক লেটেন্সি কমায়, কিন্তু ত্রুটিপূর্ণভাবে ডিজাইন করা এপিআই-এর সমাধান করতে পারে না। ব্যবহারকারীদের ভৌগোলিক নৈকট্য নির্বিশেষে, কোল্ড স্টার্ট, বিশাল পেলোড এবং সিনক্রোনাস ডিপেন্ডেন্সি চেইন এখনও প্রতিবন্ধকতা সৃষ্টি করে।
যখন আপনার পণ্য ইন্টারনেট স্কেলে ব্যক্তিগতকৃত কন্টেন্ট আবিষ্কারের উপর নির্ভর করে, তখন র্যাঙ্কিংয়ের মানের বিনিময়ে কিছুটা বেশি ল্যাটেন্সি বাজেট মেনে নিয়ে হাই-থ্রুপুট রিকমেন্ডেশন সার্ভিং বেছে নিন। মৌলিক পরিষেবা পরিকাঠামো তৈরির সময় লো-ল্যাটেন্সি এপিআই সিস্টেম বেছে নিন, যেখানে প্রতি অনুরোধে কম্পিউটেশনাল গভীরতার চেয়ে অনুমানযোগ্য ও দ্রুত প্রতিক্রিয়া সময় বেশি গুরুত্বপূর্ণ।
হরাইজন্টাল স্কেলিং কাজের চাপ বন্টন করার জন্য আরও মেশিন যুক্ত করে, অন্যদিকে ভার্টিকাল স্কেলিং বিদ্যমান সার্ভারগুলোর ক্ষমতা বৃদ্ধি করে। উভয় পদ্ধতিই পারফরম্যান্সের প্রতিবন্ধকতা দূর করে, কিন্তু আর্কিটেকচার, খরচের ধরণ এবং পরিচালনগত জটিলতার দিক থেকে এদের মধ্যে মৌলিক পার্থক্য রয়েছে।
ইনফারেন্স এফিসিয়েন্সি পরিমাপ করে যে, একটি ডেপ্লয়েড এআই মডেল ন্যূনতম কম্পিউট ব্যবহার করে কতটা ভালোভাবে অনুরোধগুলো প্রসেস করে, অন্যদিকে ট্রেনিং কম্পিউট কস্ট একটি মডেলকে একেবারে শুরু থেকে প্রশিক্ষণ দিতে ব্যয়িত রিসোর্সকে প্রতিফলিত করে। উভয়ই এআই-এর অর্থনীতিকে প্রভাবিত করে, কিন্তু মডেল লাইফসাইকেলের সম্পূর্ণ ভিন্ন দুটি পর্যায়ে কাজ করে।
রিকোয়েস্ট-লেভেল ডিডুপ্লিকেশন প্রতিটি আগত অনুরোধকে আলাদাভাবে প্রক্রিয়া করে রিয়েল টাইমে ডুপ্লিকেটগুলো দূর করে, অন্যদিকে ব্যাচ-লেভেল ডিডুপ্লিকেশন একাধিক অনুরোধকে একত্রিত করে এবং জমা হওয়ার পর অপ্রয়োজনীয় পুনরাবৃত্তিগুলো অপসারণ করে। উভয় পদ্ধতিই ডেটার পুনরাবৃত্তি কমায়, কিন্তু লেটেন্সি, রিসোর্স ব্যবহার এবং আদর্শ ব্যবহারের ক্ষেত্রে এদের মধ্যে উল্লেখযোগ্য পার্থক্য রয়েছে।
অপারেশনাল ইন্টেলিজেন্স নিরবচ্ছিন্ন পর্যবেক্ষণ, ভবিষ্যদ্বাণীমূলক বিশ্লেষণ এবং সক্রিয় সিস্টেম অপ্টিমাইজেশনের উপর আলোকপাত করে, অন্যদিকে রিঅ্যাকটিভ ইনসিডেন্ট রেসপন্স সমস্যা ঘটার পরে তা শনাক্ত ও সমাধান করার উপর কেন্দ্র করে। আধুনিক আইটি এবং ক্লাউড অবকাঠামো ব্যবস্থাপনায় উভয় পদ্ধতিই স্বতন্ত্র কিন্তু পরিপূরক ভূমিকা পালন করে।
অফসেট ট্র্যাকিং এবং কন্টিনিউয়াস স্ক্যানিং হলো ক্লাউড ও ইনফ্রাস্ট্রাকচার অ্যাসেট নিরীক্ষণের দুটি মৌলিকভাবে ভিন্ন পদ্ধতি। এর মধ্যে অফসেট ট্র্যাকিং নির্ধারিত ব্যাচ ইন্টারভাল ব্যবহার করে এবং কন্টিনিউয়াস স্ক্যানিং নিরাপত্তা পরিস্থিতি ও কনফিগারেশন পরিবর্তনের বিষয়ে রিয়েল-টাইম ও সার্বক্ষণিক দৃশ্যমানতা প্রদান করে।
