DETR ট্রান্সফরমার ব্যবহার করে অবজেক্ট ডিটেকশনকে একটি সেট প্রেডিকশন সমস্যা হিসেবে বিবেচনা করে এটিকে নতুনভাবে কল্পনা করে, এবং অ্যাঙ্কর বক্স ও নন-ম্যাক্সিমাম সাপ্রেশনের মতো হস্তনির্মিত উপাদানগুলোকে বাদ দেয়। Faster R-CNN এবং YOLO-র মতো প্রচলিত CNN-ভিত্তিক ডিটেক্টরগুলো রিজিয়ন প্রপোজাল এবং বহু-পর্যায়ের পাইপলাইনের উপর নির্ভর করে, যা বছরের পর বছর ধরে কম্পিউটার ভিশন জগতে আধিপত্য বিস্তার করে আসছে।
একটি এন্ড-টু-এন্ড অবজেক্ট ডিটেকশন মডেল যা সরাসরি ইমেজ ফিচার থেকে অবজেক্ট সেট প্রেডিক্ট করার জন্য একটি ট্রান্সফরমার এনকোডার-ডিকোডার আর্কিটেকচার ব্যবহার করে।
কনভল্যুশনাল নিউরাল নেটওয়ার্কের উপর ভিত্তি করে নির্মিত বস্তু শনাক্তকরণ পদ্ধতি, যা বস্তুর অবস্থান নির্ণয়ের জন্য রিজিয়ন প্রপোজাল, অ্যাঙ্কর বক্স বা গ্রিড-ভিত্তিক প্রেডিকশন ব্যবহার করে।
| বৈশিষ্ট্য | ট্রান্সফর্মারের সাহায্যে বস্তু সনাক্তকরণ (DETR) | ঐতিহ্যবাহী সিএনএন-ভিত্তিক সনাক্তকরণ |
|---|---|---|
| স্থাপত্যের ধরণ | CNN ব্যাকবোন সহ ট্রান্সফরমার এনকোডার-ডিকোডার | কাজ-নির্দিষ্ট হেড সহ বিশুদ্ধ কনভল্যুশনাল নিউরাল নেটওয়ার্ক |
| পূর্বাভাস পদ্ধতি | দ্বিপাক্ষিক মিলের মাধ্যমে সেট পূর্বাভাস | অ্যাঙ্কর-ভিত্তিক বা অ্যাঙ্কর-মুক্ত গ্রিড পূর্বাভাস |
| পোস্ট-প্রসেসিং প্রয়োজন | কোনোটিই নয় (এন্ড-টু-এন্ড আউটপুট) | অ-সর্বোচ্চ দমন (NMS) প্রয়োজন |
| প্রশিক্ষণ সমন্বয় | ধীরগতির, COCO-তে ৫০০ ইপোক প্রয়োজন। | আরও দ্রুত, মডেলভেদে সাধারণত ১২-৩০০ ইপক। |
| অনুমানের গতি | মাঝারি, জিপিইউ-তে প্রায় ১০-৩০ এফপিএস। | দ্রুত, ভ্যারিয়েন্ট ভেদে ৩০-৩০০+ এফপিএস পর্যন্ত। |
| সদৃশ ভবিষ্যদ্বাণী পরিচালনা | সেট-ভিত্তিক ক্ষতির মাধ্যমে অন্তর্নির্মিত | NMS থ্রেশহোল্ড টিউনিং দ্বারা পরিচালিত |
| বৈশ্বিক প্রেক্ষাপট বোঝা | শক্তিশালী, ছবির জুড়ে আত্ম-মনোযোগের মাধ্যমে | সীমিত, রিসেপ্টিভ ফিল্ডের আকারের উপর নির্ভরশীল |
| উপাদানের জটিলতা | সরলীকৃত পাইপলাইন, হাতে তৈরি যন্ত্রাংশ কম | অ্যাঙ্কর এবং এনএমএস-এর মতো একাধিক হাতে ডিজাইন করা উপাদান |
| COCO (mAP)-তে কর্মক্ষমতা | 44-63 AP ভেরিয়েন্টের উপর নির্ভর করে (DETR, Deformable DETR) | YOLOv8, Faster R-CNN-এর মতো জনপ্রিয় ভ্যারিয়েন্টগুলোর জন্য ৩৭-৫৫ AP |
DETR ডিটেকশনকে একটি ডিরেক্ট সেট প্রেডিকশন সমস্যা হিসেবে বিবেচনা করে এর কার্যপদ্ধতিকে মৌলিকভাবে পরিবর্তন করে। হাজার হাজার ক্যান্ডিডেট বক্স তৈরি করে সেগুলোকে ফিল্টার করার পরিবর্তে, এটি একটি নির্দিষ্ট সেট প্রেডিকশন (সাধারণত ১০০টি) আউটপুট হিসেবে দেয় এবং হাঙ্গেরিয়ান অ্যালগরিদম ব্যবহার করে সেগুলোকে গ্রাউন্ড ট্রুথের সাথে মিলিয়ে নেয়। প্রচলিত CNN ডিটেক্টরগুলো আরও ইনক্রিমেন্টাল পদ্ধতি অনুসরণ করে; এগুলো প্রপোজাল, অ্যাঙ্কর বা গ্রিড সেলের মাধ্যমে ডিটেকশন তৈরি করে এবং তারপর ক্লাসিফিকেশন ও রিগ্রেশনের একাধিক ধাপের মধ্য দিয়ে সেগুলোকে পরিমার্জন করে।
DETR-এর অন্যতম প্রধান আকর্ষণ হলো এর সুবিন্যস্ত পাইপলাইন। অ্যাঙ্কর জেনারেশন, রিজিয়ন প্রপোজাল এবং NMS বাদ দেওয়ার ফলে মডেলটি বোঝা ও পরিবর্তন করা অনেক সহজ হয়ে যায়। প্রচলিত ডিটেক্টরগুলো অত্যন্ত অপ্টিমাইজ করা হলেও, সেগুলোতে হাতে তৈরি করা অনেক উপাদান থাকে যেগুলোর জন্য সতর্ক টিউনিং প্রয়োজন। প্রতিটি উপাদান হাইপারপ্যারামিটার এবং ডিজাইন সংক্রান্ত সিদ্ধান্ত নিয়ে আসে যা পারফরম্যান্সকে প্রভাবিত করতে পারে, ফলে এই সিস্টেমগুলোর উন্নয়ন ও ডিবাগিং আরও জটিল হয়ে ওঠে।
সিএনএন-ভিত্তিক বিকল্পগুলোর তুলনায় ডিইটিআর-এর প্রশিক্ষণ উল্লেখযোগ্যভাবে ধীরগতির। মূল মডেলটির প্রতিযোগিতামূলক পারফরম্যান্সে পৌঁছানোর জন্য COCO ডেটাসেটে ৫০০টি ইপোকের প্রয়োজন হয়েছিল, যার একটি কারণ হলো ট্রান্সফরমার ডিকোডারের স্থানিক অ্যাটেনশন প্যাটার্নগুলো শিখতে সময় লাগে। ডিফরমেবল ডিইটিআর-এর মতো পরবর্তী সংস্করণগুলো ছবির নির্দিষ্ট অঞ্চলের উপর মনোযোগ কেন্দ্রীভূত করে এমন অ্যাটেনশন মেকানিজম চালু করার মাধ্যমে এই সমস্যার সমাধান করে, যা প্রশিক্ষণের সময় প্রায় ১০ গুণ কমিয়ে দেয়। ইয়োলো-র মতো সিএনএন ডিটেক্টরগুলো এর চেয়ে অনেক কম সময়ে কনভার্জ করতে পারে, যা নতুন ডেটাসেটে পুনরাবৃত্তি করার সময় অত্যন্ত গুরুত্বপূর্ণ।
রিয়েল-টাইম অ্যাপ্লিকেশনের ক্ষেত্রে, প্রচলিত CNN ডিটেক্টরগুলো এখনও উল্লেখযোগ্যভাবে এগিয়ে আছে। YOLO ভ্যারিয়েন্ট এবং একই ধরনের সিঙ্গেল-স্টেজ মডেলগুলো আধুনিক GPU-তে প্রতি সেকেন্ডে শত শত ফ্রেমে চলতে পারে, যা এগুলিকে ভিডিও অ্যানালিটিক্স, স্বচালিত গাড়ি এবং রোবোটিক্সের জন্য আদর্শ করে তোলে। DETR তার মূল রূপে বেশ ধীরগতিতে চলে, যদিও এর অপ্টিমাইজড সংস্করণ এবং কার্যকর ট্রান্সফরমার ডিজাইন এই ব্যবধান কমিয়ে আনছে। পুরো ইমেজ জুড়ে সেলফ-অ্যাটেনশনের কম্পিউটেশনাল খরচ ট্রান্সফরমার-ভিত্তিক ডিটেক্টরগুলোর জন্য একটি প্রতিবন্ধকতা হিসেবে রয়ে গেছে।
DETR-এর সেলফ-অ্যাটেনশন মেকানিজম এটিকে একটি ছবির দূরবর্তী অংশগুলোর মধ্যেকার সম্পর্ক নিয়ে যুক্তি দাঁড় করাতে সাহায্য করে, যা আড়ালে থাকা বস্তু শনাক্ত করতে এবং দৃশ্যের প্রেক্ষাপট বুঝতে সহায়ক হয়। প্রচলিত CNN-গুলোর রিসেপ্টিভ ফিল্ড তুলনামূলকভাবে সীমিত, যদিও ডাইলেটেড কনভোলিউশন এবং ফিচার পিরামিড নেটওয়ার্কের মতো কৌশলগুলো এদের কার্যকরী প্রেক্ষাপটকে প্রসারিত করতে সাহায্য করে। বাস্তবে, উভয় পদ্ধতিই সাধারণ শনাক্তকরণের পরিস্থিতিগুলো ভালোভাবে সামাল দেয়, কিন্তু যেসব বস্তুর ক্ষেত্রে দৃশ্যের বৃহত্তর সম্পর্ক বোঝার প্রয়োজন হয়, সেগুলোর ক্ষেত্রে DETR সাধারণত ভালো কাজ করে।
টুলিং, প্রি-ট্রেইনড মডেল, টিউটোরিয়াল এবং প্রোডাকশন ডেপ্লয়মেন্টের দিক থেকে প্রচলিত সিএনএন-ভিত্তিক ডিটেকশন অনেক এগিয়ে আছে। আলট্রালিটিক্স ইয়োলো, এমএমডিটেকশন এবং ডিটেকট্রন২-এর মতো ফ্রেমওয়ার্কগুলো সিএনএন ডিটেক্টরদের জন্য ব্যাপক সাপোর্ট দেয়। ডিইটিআর-এর ইকোসিস্টেম দ্রুত বাড়ছে, এবং ডিনো, কো-ডিইটিআর ও আরটি-ডিইটিআর-এর মতো ভ্যারিয়েন্টগুলো পারফরম্যান্সের সীমা ছাড়িয়ে যাচ্ছে, কিন্তু প্রোডাকশন ইঞ্জিনিয়াররা এখনও প্রায়শই তাদের পরিপক্কতা এবং গতির সুবিধার জন্য সিএনএন-ভিত্তিক সমাধানগুলোকেই বেছে নেন।
DETR বস্তু শনাক্তকরণে CNN-এর সমস্ত উপাদানকে সম্পূর্ণরূপে প্রতিস্থাপন করে।
DETR এখনও প্রাথমিক বৈশিষ্ট্য নিষ্কাশনের জন্য একটি CNN ব্যাকবোন (সাধারণত ResNet) ব্যবহার করে। ট্রান্সফর্মারটি শুধুমাত্র ডিটেকশন হেড এবং প্রেডিকশন মেকানিজমকে প্রতিস্থাপন করে। কাঁচা পিক্সেলগুলোকে অর্থপূর্ণ ফিচার ম্যাপে রূপান্তর করার জন্য CNN ব্যাকবোনটি অপরিহার্য থাকে।
DETR-এর কারণে প্রচলিত CNN ডিটেক্টরগুলো এখন অচল।
CNN-ভিত্তিক ডিটেক্টরগুলো তাদের গতি এবং দক্ষতার কারণে প্রোডাকশন ডেপ্লয়মেন্টে আধিপত্য বজায় রেখেছে। YOLOv8, YOLOv9, এবং RT-DETR (যা আসলে উভয় পদ্ধতির সমন্বয়) এর মতো মডেলগুলো অনেক বাস্তব-জগতের অ্যাপ্লিকেশনের জন্য সর্বাধুনিক হিসেবে রয়ে গেছে। DETR একটি গুরুত্বপূর্ণ বিকল্প, প্রতিস্থাপন নয়।
DETR-এর কোনো পোস্ট-প্রসেসিংয়ের প্রয়োজন নেই।
যদিও DETR, NMS এবং অ্যাঙ্কর প্রসেসিং বাদ দেয়, তবুও কম-আত্মবিশ্বাসের পূর্বাভাসগুলো ছেঁকে ফেলার জন্য এতে কনফিডেন্স থ্রেশহোল্ডিং-এর প্রয়োজন হয়। মডেলটি একটি নির্দিষ্ট সংখ্যক পূর্বাভাস (সাধারণত ১০০টি) আউটপুট দেয়, এবং শুধুমাত্র একটি থ্রেশহোল্ডের উপরের পূর্বাভাসগুলোকেই চূড়ান্ত শনাক্তকরণ হিসেবে রাখা হয়।
DETR সর্বদা CNN-ভিত্তিক ডিটেক্টরগুলোর চেয়ে বেশি নির্ভুল।
নির্ভুলতা মূলত নির্দিষ্ট সংস্করণ এবং ব্যবহারের ক্ষেত্রের উপর নির্ভর করে। যদিও DETR এবং এর পরবর্তী সংস্করণগুলো প্রতিযোগিতামূলক mAP স্কোর অর্জন করে, অনেক CNN-ভিত্তিক ডিটেক্টর নির্দিষ্ট বেঞ্চমার্কে সেগুলোর সমকক্ষ বা তার চেয়েও ভালো পারফর্ম করে। মূল DETR-এর পারফরম্যান্স প্রকৃতপক্ষে Faster R-CNN-এর সাথে তুলনীয় ছিল, নাটকীয়ভাবে ভালো নয়।
ডিইটিআর রিয়েল-টাইম অ্যাপ্লিকেশনের জন্য ব্যবহার করা যায় না।
যদিও মূল DETR রিয়েল-টাইম ব্যবহারের জন্য খুব ধীরগতির ছিল, RT-DETR (রিয়েল-টাইম DETR)-এর মতো নতুন সংস্করণগুলিকে বিশেষভাবে গতির জন্য অপ্টিমাইজ করা হয়েছে এবং এগুলি প্রতিযোগিতামূলক ফ্রেম রেট অর্জন করতে পারে। ২০২০ সাল থেকে ট্রান্সফরমার-ভিত্তিক ডিটেকশন পরিবারটি উল্লেখযোগ্যভাবে বিকশিত হয়েছে।
যখন আপনার একটি ত্রুটিহীন, এন্ড-টু-এন্ড পাইপলাইন প্রয়োজন এবং দীর্ঘ প্রশিক্ষণ সময় ব্যয় করার সামর্থ্য থাকে, তখন DETR বেছে নিন, বিশেষ করে গবেষণামূলক ক্ষেত্রে যেখানে গ্লোবাল কনটেক্সট এবং অক্লুশন হ্যান্ডলিং গুরুত্বপূর্ণ। প্রোডাকশন সিস্টেমের জন্য প্রচলিত CNN-ভিত্তিক ডিটেকশন পদ্ধতি ব্যবহার করুন, যেখানে রিয়েল-টাইম ইনফারেন্স, দ্রুততর প্রশিক্ষণ চক্র এবং টুলস ও প্রি-ট্রেইনড মডেলের একটি উন্নত ইকোসিস্টেমে অ্যাক্সেস প্রয়োজন।
CLIP এমবেডিং একটি অভিন্ন শব্দার্থিক পরিসরে ছবি ও লেখা বোঝার জন্য ডিপ লার্নিং ব্যবহার করে, অন্যদিকে কীওয়ার্ড-ভিত্তিক ছবি পুনরুদ্ধার পদ্ধতি হাতে-কলমে নির্ধারিত ট্যাগ বা পারিপার্শ্বিক লেখা মেলানোর ওপর নির্ভর করে। আধুনিক ভিজ্যুয়াল সার্চের কাজগুলোর জন্য CLIP অনেক বেশি নমনীয়তা ও নির্ভুলতা প্রদান করে, অপরদিকে কীওয়ার্ড পদ্ধতিগুলো সংকীর্ণ ও সুসংগঠিত প্রেক্ষাপটেই কার্যকর থাকে।
PPO-তে পলিসি ক্লিপিং প্রতিটি আপডেটের সময় একটি নতুন পলিসি পুরানোটি থেকে কতটা বিচ্যুত হতে পারে তা সীমাবদ্ধ করে, যা প্রশিক্ষণকে স্থিতিশীল রাখে। সীমাহীন পলিসি আপডেট নতুন পলিসিকে অবাধে স্থানান্তরিত হতে দেয়, যা শেখার গতি বাড়াতে পারে কিন্তু প্রায়শই জটিল পরিবেশে অস্থিতিশীলতা বা পতনের কারণ হয়।
RAG এবং ফাইন-টিউনড LLM উভয়ই AI আউটপুটের মান উন্নত করে, কিন্তু এদের কাজের পদ্ধতি মৌলিকভাবে ভিন্ন। RAG কোয়েরি করার সময় বাহ্যিক তথ্য ব্যবহার করে, অন্যদিকে ফাইন-টিউনিং নতুন জ্ঞানকে সরাসরি মডেলের ওয়েট-এর মধ্যে অন্তর্ভুক্ত করে। এদের মধ্যে কোনটি বেছে নেবেন, তা নির্ভর করে আপনার ডেটা কত ঘন ঘন পরিবর্তিত হয় এবং আপনার কী ধরনের নির্ভুলতা প্রয়োজন তার উপর।
RAG-এ ইমেজ গ্রাউন্ডিং, ডকুমেন্ট থেকে সংগৃহীত ভিজ্যুয়াল প্রমাণের উপর ভিত্তি করে AI-এর প্রতিক্রিয়াকে স্থির করে, যা বিভ্রম কমায় এবং তথ্যের নির্ভুলতা বাড়ায়। অন্যদিকে, ভিত্তিহীন টেক্সট জেনারেশন শুধুমাত্র ট্রেনিং ডেটা থেকে প্রাপ্ত প্যারামেট্রিক জ্ঞানের উপর নির্ভর করে, যার ফলে সাবলীল কিন্তু যাচাইযোগ্য উৎসবিহীন এবং সম্ভাব্য মনগড়া আউটপুট তৈরি হয়।
এই তুলনামূলক আলোচনায় অগমেন্টেড রিয়েলিটি (এআর) ডেটা, যা বাস্তব পরিবেশের উপর কৃত্রিম, ডিজিটালভাবে তৈরি উপাদান স্থাপন করে, এবং রিয়েল ক্যামেরা ডেটা, যা সম্পূর্ণরূপে বাস্তব ইমেজ সেন্সর দ্বারা ধারণ করা কাঁচা, অপরিবর্তিত পিক্সেল স্ট্রিমের উপর নির্ভর করে—এই দুইয়ের মধ্যে কৃত্রিম বুদ্ধিমত্তা প্রশিক্ষণের পার্থক্যগুলো বিশদভাবে তুলে ধরা হয়েছে।
