প্রসঙ্গ-সচেতন পুনরুদ্ধার আরও প্রাসঙ্গিক ফলাফল প্রদানের জন্য কোয়েরির ইতিহাস, ব্যবহারকারীর অভিপ্রায় এবং ডকুমেন্টের সম্পর্কের মতো পারিপার্শ্বিক তথ্য ব্যবহার করে, অন্যদিকে প্রসঙ্গ-অন্ধ পুনরুদ্ধার প্রতিটি কোয়েরিকে বিচ্ছিন্নভাবে বিবেচনা করে। প্রথমটি আধুনিক কথোপকথনমূলক এআই এবং ব্যক্তিগতকৃত অনুসন্ধানের চালিকাশক্তি, অপরদিকে দ্বিতীয়টি সাধারণ, এককালীন অনুসন্ধানের জন্য উপযোগী থাকে।
এমন একটি পুনরুদ্ধার পদ্ধতি যা আরও প্রাসঙ্গিক ফলাফল প্রদানের জন্য কোয়েরির ইতিহাস, ব্যবহারকারীর আচরণ এবং ডকুমেন্টের প্রেক্ষাপট বিবেচনা করে।
এমন একটি পুনরুদ্ধার পদ্ধতি যা পূর্ববর্তী মিথস্ক্রিয়া বা ব্যবহারকারী-নির্দিষ্ট সংকেত বিবেচনা না করে প্রতিটি কোয়েরিকে স্বাধীনভাবে প্রক্রিয়া করে।
| বৈশিষ্ট্য | প্রসঙ্গ-সচেতন পুনরুদ্ধার | প্রসঙ্গ-অন্ধ পুনরুদ্ধার |
|---|---|---|
| কোয়েরি হ্যান্ডলিং | সেশন ইতিহাস এবং ব্যবহারকারীর সংকেত ব্যবহার করে | প্রতিটি কোয়েরিকে আলাদাভাবে বিবেচনা করে |
| কথোপকথনে প্রাসঙ্গিকতা | উচ্চ — সংলাপের সামঞ্জস্য বজায় রাখে | নিম্ন — ফলো-আপ করতে সমস্যা হয় |
| গণনার খরচ | প্রসঙ্গ প্রক্রিয়াকরণের কারণে বেশি | প্রতি কোয়েরিতে কম খরচে এবং দ্রুততর |
| ব্যক্তিগতকরণ | ব্যবহারকারী-স্তরের কাস্টমাইজেশন সমর্থন করে | ডিফল্টরূপে কোনো ব্যক্তিগতকরণ নেই |
| বাস্তবায়ন জটিলতা | এর জন্য মেমরি, পুনর্লিখন এবং মেটাডেটা প্রয়োজন। | সরল বিপরীত সূচক বা ভেক্টর অনুসন্ধান |
| সর্বোত্তম ব্যবহারের ক্ষেত্র | চ্যাটবট, সহকারী, ব্যক্তিগতকৃত অনুসন্ধান | এককালীন তথ্যভিত্তিক অনুসন্ধান, নথি অনুসন্ধান |
| উদাহরণ কৌশল | HyDE, কোয়েরি পুনর্লিখন, প্রাসঙ্গিক এমবেডিং | বিএম২৫, বেসিক ডেন্স রিট্রিভাল, কীওয়ার্ড সার্চ |
| সংরক্ষণের প্রয়োজনীয়তা | সেশন এবং মেটাডেটা স্টোরেজ প্রয়োজন | ন্যূনতম — শুধু সূচিপত্র |
প্রসঙ্গ-সচেতন পুনরুদ্ধার একটি প্রশ্নকে চলমান কথোপকথনের অংশ হিসেবে ব্যাখ্যা করে এবং কেউ আসলে কী বোঝাতে চাইছে তা বোঝার জন্য পূর্ববর্তী পালা, ব্যবহারকারীর প্রোফাইল, এমনকি ডকুমেন্টের পারিপার্শ্বিক মেটাডেটার সাহায্য নেয়। অন্যদিকে, প্রসঙ্গ-অন্ধ পুনরুদ্ধার প্রশ্নটিকে বিচ্ছিন্নভাবে দেখে — আপনি যে শব্দগুলো টাইপ করেন, সেটিই এটি একমাত্র সংকেত হিসেবে ব্যবহার করে। এর ফলে প্রসঙ্গ-অন্ধ সিস্টেমগুলো অনুমানযোগ্য এবং ডিবাগ করা সহজ হয়, কিন্তু যখন কোনো প্রশ্ন তার পূর্ববর্তী কথার ওপর নির্ভরশীল হয়, তখন এগুলো প্রায়শই লক্ষ্যভ্রষ্ট হয়।
যখন মানুষ কোনো এআই অ্যাসিস্ট্যান্টের সাথে চ্যাট করে, তখন পরবর্তী প্রশ্নগুলো খুব কমই বিচ্ছিন্নভাবে থাকে। 'দ্বিতীয়টা কেমন?' বা 'ওটার সাথে তুলনা করলে কেমন হয়?'-এর মতো বাক্যগুলো কেবল পূর্ববর্তী প্রেক্ষাপটের মাধ্যমেই অর্থবহ হয়। কনটেক্সট-অ্যাওয়ার রিট্রিভাল এই বিষয়গুলো স্বাভাবিকভাবেই সামাল দেয়, কারণ এটি অনুসন্ধানের আগে দ্ব্যর্থক প্রশ্নগুলোকে স্বয়ংসম্পূর্ণ প্রশ্নে রূপান্তরিত করে। কনটেক্সট-ব্লাইন্ড রিট্রিভাল এই ধরনের ক্ষেত্রে অপ্রাসঙ্গিক ফলাফল দেখানোর প্রবণতা রাখে, যে কারণে বর্তমানে বেশিরভাগ প্রোডাকশন চ্যাটবট কোনো না কোনো ধরনের কনটেক্সট-অ্যাওয়ার পাইপলাইন ব্যবহার করে।
যেহেতু কনটেক্সট-ব্লাইন্ড রিট্রিভাল মেমরি রক্ষণাবেক্ষণ এবং কোয়েরি পুনর্লিখনের মতো অতিরিক্ত কাজ এড়িয়ে যায়, তাই এটি দ্রুত চলে এবং বৃহৎ পরিসরে পরিচালনায় খরচও কম। কনটেক্সট-অ্যাওয়ার রিট্রিভালে অতিরিক্ত ওভারহেড থাকে — আপনাকে সেশন স্টেট সংরক্ষণ করতে হয়, কোয়েরি পুনর্লিখন মডেল চালাতে হয় এবং প্রায়শই মেটাডেটা দ্বারা ভেক্টর ফলাফল ফিল্টার করতে হয়। লক্ষ লক্ষ স্ট্যাটিক ডকুমেন্ট ইন্ডেক্স করার মতো উচ্চ-পরিমাণ ও স্বল্প-জটিল কাজের ক্ষেত্রে কনটেক্সট-ব্লাইন্ড পদ্ধতিগুলো এখনও নিজেদের কার্যকারিতা ধরে রেখেছে।
QReCC এবং TopiOCQA-এর মতো ডেটাসেটের উপর মেটা এআই এবং মাইক্রোসফটের কাজ সহ কথোপকথনমূলক ডেন্স রিট্রিভালের উপর গবেষণা ধারাবাহিকভাবে দেখায় যে, MRR এবং nDCG স্কোরে প্রসঙ্গ-সচেতন পদ্ধতিগুলো প্রসঙ্গ-অন্ধ বেসলাইনগুলোর চেয়ে ১০-২০% বেশি ভালো ফল করে। একাধিক পালাবিশিষ্ট কোয়েরিতে এই ব্যবধান আরও বাড়ে, যেখানে সর্বনাম এবং নির্দেশকের প্রাধান্য থাকে। তবে, একক পালাবিশিষ্ট তথ্যভিত্তিক প্রশ্নের ক্ষেত্রে এই পার্থক্য উল্লেখযোগ্যভাবে কমে আসে।
সব অ্যাপ্লিকেশনের জন্য কনটেক্সট অ্যাওয়ারনেস প্রয়োজন হয় না। অভ্যন্তরীণ নলেজ বেস, আইনি নথি অনুসন্ধান এবং ই-কমার্স পণ্য খোঁজার মতো কাজগুলো প্রায়শই কনটেক্সট-ব্লাইন্ড রিট্রিভালের মাধ্যমে ভালোভাবে চলে, কারণ এক্ষেত্রে কোয়েরিগুলো সুনির্দিষ্ট এবং স্বয়ংসম্পূর্ণ হয়ে থাকে। এই ধরনের পরিস্থিতিতে, কনটেক্সট-ব্লাইন্ড রিট্রিভালের সরলতা, গতি এবং কম অবকাঠামোগত খরচ এটিকে আরও বেশি বাস্তবসম্মত বিকল্প করে তোলে।
প্রসঙ্গ-সচেতন পুনরুদ্ধার সর্বদা প্রসঙ্গ-অন্ধ পুনরুদ্ধারের চেয়ে ভালো ফলাফল দেয়।
আবশ্যিকভাবে নয়। একক-টার্নের সুনির্দিষ্ট কোয়েরির ক্ষেত্রে, কনটেক্সট-ব্লাইন্ড পদ্ধতিগুলো কনটেক্সট-অ্যাওয়ার পদ্ধতিগুলোর সমকক্ষ বা এমনকি সেগুলোকে ছাড়িয়েও যেতে পারে, কারণ এগুলো অতিরিক্ত কনটেক্সটের কারণে সৃষ্ট অপ্রয়োজনীয় তথ্য এড়িয়ে চলে। কনটেক্সট-অ্যাওয়ার রিট্রিভালের সুবিধাটি সবচেয়ে স্পষ্টভাবে ফুটে ওঠে একাধিক-টার্নের বা ব্যক্তিগতকৃত পরিস্থিতিতে।
প্রসঙ্গ-নিরপেক্ষ তথ্য পুনরুদ্ধার একটি সেকেলে পদ্ধতি এবং এটি এখন আর ব্যবহৃত হয় না।
মোটেও তা নয়। BM25 এবং বেসিক ডেন্স রিট্রিভাল এখনও এন্টারপ্রাইজ ডকুমেন্ট সার্চ এবং ই-কমার্স প্ল্যাটফর্মসহ অনেক প্রোডাকশন সার্চ সিস্টেমের মেরুদণ্ড হিসেবে কাজ করে। এগুলো শক্তিশালী বেসলাইন হিসেবে কাজ করে এবং প্রায়শই হাইব্রিড আর্কিটেকচারে কনটেক্সট-অ্যাওয়্যার লেয়ারের সাথে যুক্ত করা হয়।
প্রসঙ্গ-সচেতন পুনরুদ্ধার মানে হলো মডেলটি সবকিছু 'মনে রাখে'।
বাস্তবে, এই সিস্টেমগুলো সাম্প্রতিক কথোপকথনের একটি সীমিত পরিসর, সংক্ষিপ্ত মেটাডেটা, বা পুনর্লিখিত কোয়েরি ব্যবহার করে। প্রকৃত দীর্ঘমেয়াদী স্মৃতি এখনও একটি অমীমাংসিত গবেষণার বিষয়, এবং বেশিরভাগ সিস্টেমই একবার প্রেক্ষাপটের পরিসর থেকে বেরিয়ে গেলে পুরোনো পালাগুলো ভুলে যায়।
ভেক্টর অনুসন্ধান সর্বদা প্রসঙ্গ-সচেতন।
ডেন্স ভেক্টর রিট্রিভাল উভয়ই হতে পারে। মেটাডেটা ফিল্টারিং বা কোয়েরি রিরাইটিং ছাড়া একটি সাধারণ ভেক্টর লুকআপ মূলত কনটেক্সট-ব্লাইন্ড। সেশন হিস্ট্রি, ফিল্টার বা কোয়েরি এক্সপ্যানশন যোগ করার মাধ্যমেই এটি কনটেক্সট-অ্যাওয়ার হয়ে ওঠে।
প্রসঙ্গ-সচেতন পুনরুদ্ধার RAG সিস্টেমে হ্যালুসিনেশন দূর করে।
এটি সেগুলোকে হ্রাস করে, কিন্তু সম্পূর্ণরূপে দূর করে না। ভালো পুনরুদ্ধারের পরেও, ল্যাঙ্গুয়েজ মডেলগুলো কোনো অনুচ্ছেদকে ভুলভাবে ব্যাখ্যা করতে পারে বা তথ্যকে ভুলভাবে একত্রিত করতে পারে। পুনরুদ্ধারের মান হলো একটি ধাঁধার মাত্র একটি অংশ — তৈরির আচরণও ঠিক ততটাই গুরুত্বপূর্ণ।
আপনার অ্যাপ্লিকেশনে যখন একাধিক পালাক্রমে কথোপকথন, ব্যক্তিগতকরণ, বা অস্পষ্ট পরবর্তী প্রশ্ন জড়িত থাকে, তখন প্রসঙ্গ-সচেতন পুনরুদ্ধার (context-aware retrieval) বেছে নিন — এটি আধুনিক RAG এবং AI অ্যাসিস্ট্যান্টদের জন্য একটি আদর্শ পদ্ধতি। সহজ, একক-পালা অনুসন্ধানের জন্য প্রসঙ্গ-অন্ধ পুনরুদ্ধার (context-blind retrieval) ব্যবহার করুন, যেখানে কথোপকথনের গভীরতার চেয়ে গতি এবং স্বল্প ব্যয় বেশি গুরুত্বপূর্ণ।
CLIP এমবেডিং একটি অভিন্ন শব্দার্থিক পরিসরে ছবি ও লেখা বোঝার জন্য ডিপ লার্নিং ব্যবহার করে, অন্যদিকে কীওয়ার্ড-ভিত্তিক ছবি পুনরুদ্ধার পদ্ধতি হাতে-কলমে নির্ধারিত ট্যাগ বা পারিপার্শ্বিক লেখা মেলানোর ওপর নির্ভর করে। আধুনিক ভিজ্যুয়াল সার্চের কাজগুলোর জন্য CLIP অনেক বেশি নমনীয়তা ও নির্ভুলতা প্রদান করে, অপরদিকে কীওয়ার্ড পদ্ধতিগুলো সংকীর্ণ ও সুসংগঠিত প্রেক্ষাপটেই কার্যকর থাকে।
PPO-তে পলিসি ক্লিপিং প্রতিটি আপডেটের সময় একটি নতুন পলিসি পুরানোটি থেকে কতটা বিচ্যুত হতে পারে তা সীমাবদ্ধ করে, যা প্রশিক্ষণকে স্থিতিশীল রাখে। সীমাহীন পলিসি আপডেট নতুন পলিসিকে অবাধে স্থানান্তরিত হতে দেয়, যা শেখার গতি বাড়াতে পারে কিন্তু প্রায়শই জটিল পরিবেশে অস্থিতিশীলতা বা পতনের কারণ হয়।
RAG এবং ফাইন-টিউনড LLM উভয়ই AI আউটপুটের মান উন্নত করে, কিন্তু এদের কাজের পদ্ধতি মৌলিকভাবে ভিন্ন। RAG কোয়েরি করার সময় বাহ্যিক তথ্য ব্যবহার করে, অন্যদিকে ফাইন-টিউনিং নতুন জ্ঞানকে সরাসরি মডেলের ওয়েট-এর মধ্যে অন্তর্ভুক্ত করে। এদের মধ্যে কোনটি বেছে নেবেন, তা নির্ভর করে আপনার ডেটা কত ঘন ঘন পরিবর্তিত হয় এবং আপনার কী ধরনের নির্ভুলতা প্রয়োজন তার উপর।
RAG-এ ইমেজ গ্রাউন্ডিং, ডকুমেন্ট থেকে সংগৃহীত ভিজ্যুয়াল প্রমাণের উপর ভিত্তি করে AI-এর প্রতিক্রিয়াকে স্থির করে, যা বিভ্রম কমায় এবং তথ্যের নির্ভুলতা বাড়ায়। অন্যদিকে, ভিত্তিহীন টেক্সট জেনারেশন শুধুমাত্র ট্রেনিং ডেটা থেকে প্রাপ্ত প্যারামেট্রিক জ্ঞানের উপর নির্ভর করে, যার ফলে সাবলীল কিন্তু যাচাইযোগ্য উৎসবিহীন এবং সম্ভাব্য মনগড়া আউটপুট তৈরি হয়।
এই তুলনামূলক আলোচনায় অগমেন্টেড রিয়েলিটি (এআর) ডেটা, যা বাস্তব পরিবেশের উপর কৃত্রিম, ডিজিটালভাবে তৈরি উপাদান স্থাপন করে, এবং রিয়েল ক্যামেরা ডেটা, যা সম্পূর্ণরূপে বাস্তব ইমেজ সেন্সর দ্বারা ধারণ করা কাঁচা, অপরিবর্তিত পিক্সেল স্ট্রিমের উপর নির্ভর করে—এই দুইয়ের মধ্যে কৃত্রিম বুদ্ধিমত্তা প্রশিক্ষণের পার্থক্যগুলো বিশদভাবে তুলে ধরা হয়েছে।
