বাইট পেয়ার এনকোডিং এবং ওয়ার্ডপিস হলো দুটি বহুল ব্যবহৃত সাবওয়ার্ড টোকেনাইজেশন অ্যালগরিদম যা আধুনিক এনএলপি মডেলগুলোকে চালিত করে। প্রশিক্ষণের সময় টোকেন একত্রিত করার পদ্ধতি এবং তাদের স্কোরিং মেট্রিক্সে এদের মধ্যে প্রধান পার্থক্য রয়েছে।
একটি উপশব্দ টোকেনাইজেশন অ্যালগরিদম যা পুনরাবৃত্তিমূলকভাবে সর্বাধিক ব্যবহৃত পাশাপাশি থাকা অক্ষর জোড়াগুলোকে একত্রিত করে নতুন টোকেন তৈরি করে।
একটি উপশব্দ টোকেনাইজেশন পদ্ধতি যা কাঁচা পৌনঃপুনিকতার পরিবর্তে সম্ভাব্যতা সর্বাধিকীকরণের ভিত্তিতে টোকেনগুলিকে একত্রিত করে।
| বৈশিষ্ট্য | বাইট জোড়া এনকোডিং | ওয়ার্ডপিস টোকেনাইজেশন |
|---|---|---|
| মার্জ ক্রাইটেরিয়ন | সংলগ্ন জোড়ার ফ্রিকোয়েন্সি | প্রশিক্ষণ ডেটার সম্ভাবনা |
| প্রাথমিক ব্যবহারের ক্ষেত্রগুলি | জিপিটি সিরিজ, রোবার্টা, ক্লিপ | বার্ট, ডিস্টিলবার্ট, অ্যালবার্ট |
| শব্দভান্ডার প্রারম্ভিকীকরণ | স্বতন্ত্র অক্ষর বা বাইট | স্বতন্ত্র চরিত্র |
| বিরল শব্দের ব্যবহার | ঘন ঘন উপশব্দ ইউনিটে বিভক্ত হয় | সম্ভাব্যতা-ভিত্তিক বিভাজনের উপর ভিত্তি করে বিভাজন |
| প্রশিক্ষণের গতি | সাধারণ গণনার কারণে সাধারণত দ্রুততর হয়। | সম্ভাব্যতা গণনার কারণে কিছুটা ধীর। |
| টোকেন আউটপুট শৈলী | প্রায়শই আরও সূক্ষ্ম | সাধারণ শব্দগুলোর জন্য প্রায়শই আরও সংহত করা হয় |
| মূল উন্নয়ন | কম্প্রেশন হিসেবে ১৯৯৪; এনএলপি হিসেবে ২০১৬ | গুগল স্পিচ রিকগনিশন টিম |
BPE টোকেনাইজেশনকে একটি কম্প্রেশন সমস্যা হিসেবে দেখে, যা ট্রেনিং কর্পাসে সবচেয়ে বেশিবার উপস্থিত জোড়াগুলোকে লোভী পদ্ধতিতে একীভূত করে। এই সরল ফ্রিকোয়েন্সি-ভিত্তিক পদ্ধতিটি এটিকে স্বজ্ঞাত এবং তুলনামূলকভাবে দ্রুত গণনাযোগ্য করে তোলে। WordPiece আরও সম্ভাবনামূলক একটি দৃষ্টিকোণ গ্রহণ করে, যেখানে প্রশ্ন করা হয় যে একটি ইউনিগ্রাম ল্যাঙ্গুয়েজ মডেলের অনুমানের অধীনে কোন একীভূতকরণটি ট্রেনিং ডেটাকে সবচেয়ে সম্ভাব্য করে তুলবে। দৃষ্টিভঙ্গির এই সূক্ষ্ম পরিবর্তনটি ভিন্ন টোকেন সীমানার জন্ম দেয়, বিশেষ করে রূপতাত্ত্বিকভাবে সমৃদ্ধ ভাষাগুলোর ক্ষেত্রে।
যেহেতু BPE শুধুমাত্র পুনরাবৃত্তির হারকে অনুসরণ করে, তাই ডেটাতে সাধারণ প্যাটার্ন থাকলে এটি কখনও কখনও ভাষাগতভাবে অস্বাভাবিক স্থানে শব্দ বিভক্ত করে ফেলে। WordPiece-এর সম্ভাব্যতা-ভিত্তিক পদ্ধতিটি রূপমূলের সীমানাকে আরও ভালোভাবে সম্মান করে, যার ফলে এমন টোকেন তৈরি হয় যা অর্থপূর্ণ এককের সাথে আরও ঘনিষ্ঠভাবে মিলে যায়। ইংরেজির ক্ষেত্রে, উভয় পদ্ধতিই প্রায় একই রকম কাজ করে, কিন্তু জার্মান বা তুর্কির মতো সমৃদ্ধ রূপতত্ত্বের ভাষাগুলিতে এই পার্থক্য আরও স্পষ্ট হয়ে ওঠে।
এই টোকেনাইজারগুলোর মধ্যে পছন্দটি প্রায়শই অ্যালগরিদমটির প্রতি গভীর পছন্দের চেয়ে, আপনি কোন মডেল আর্কিটেকচার ব্যবহার করছেন তার উপর নির্ভর করে। OpenAI-এর GPT ফ্যামিলি BPE-কে স্ট্যান্ডার্ড হিসেবে গ্রহণ করেছে, তাই যারা এই মডেলগুলো ফাইন-টিউনিং বা ডেপ্লয় করেন, তারা সেই টোকেনাইজেশন স্কিমটিই পেয়ে থাকেন। গুগলের BERT ইকোসিস্টেম শুধুমাত্র এনকোডার-ভিত্তিক ট্রান্সফরমার মডেলগুলোর জন্য WordPiece-কে কার্যত আদর্শ পছন্দ হিসেবে প্রতিষ্ঠিত করেছে। এই ইকোসিস্টেমের দৃঢ় অবস্থানের কারণে, ব্যবহারকারীরা মডেল আর্কিটেকচারের বাইরে গিয়ে খুব কমই টোকেনাইজার পরিবর্তন করেন।
উভয় অ্যালগরিদমই নির্দিষ্ট কিছু ব্যতিক্রমী ক্ষেত্রে (edge cases) সমস্যার সম্মুখীন হয়, তবে ভিন্ন ভিন্ন উপায়ে। BPE হোয়াইটস্পেস এবং বিরামচিহ্নের ক্ষেত্রে দুর্বল হতে পারে, এবং ফরম্যাটিং-এ ভিন্নতা এলে কখনও কখনও অপ্রত্যাশিত টোকেন তৈরি করে। WordPiece সাধারণত ধারাবাহিক উপশব্দ বোঝানোর জন্য একটি বিশেষ উপসর্গ চিহ্ন (যেমন BERT-এর ##) যোগ করে, যা মূল টেক্সট পুনর্গঠনকে আরও সুস্পষ্ট করে তোলে, কিন্তু একই সাথে টোকেনাইজেশনের এমন কিছু ত্রুটি (artifactization artifacts) তৈরি করে যা পরবর্তী মডেলগুলোকে সামলাতে শিখতে হয়।
সাম্প্রতিক বছরগুলোতে উভয় অ্যালগরিদমের বাইরেও উল্লেখযোগ্য বিবর্তন ঘটেছে। SentencePiece একটি সমন্বিত কাঠামো প্রদান করে যা একটিমাত্র লাইব্রেরির মাধ্যমে BPE, WordPiece, বা ইউনিগ্রাম ল্যাঙ্গুয়েজ মডেল টোকেনাইজেশন বাস্তবায়ন করতে পারে। বাইট-স্তরের BPE (যা GPT-2-তে ব্যবহৃত হয়) ইউনিকোড অক্ষরের পরিবর্তে সরাসরি বাইটের উপর কাজ করে, যা অজানা টোকেন সংক্রান্ত সমস্যা সম্পূর্ণরূপে দূর করে। অন্যদিকে, BPE-ড্রপআউটের মতো নতুন পদ্ধতিগুলো দৃঢ়তা বাড়ানোর জন্য প্রশিক্ষণের সময় অনিশ্চয়তা যোগ করে। এই অগ্রগতিগুলো দেখায় যে, যদিও BPE এবং WordPiece মৌলিক ভিত্তি হিসেবে রয়ে গেছে, এই ক্ষেত্রটি ক্রমাগত এগিয়ে চলেছে।
BPE এবং WordPiece একই টেক্সটের জন্য সবসময় ভিন্ন টোকেনাইজেশন তৈরি করে।
অনেক প্রচলিত ইংরেজি শব্দের ক্ষেত্রে, উভয় অ্যালগরিদমই প্রকৃতপক্ষে অভিন্ন বা প্রায় অভিন্ন বিভাজনে উপনীত হয়। বিরল শব্দ, রূপতাত্ত্বিকভাবে জটিল পরিভাষা এবং ইংরেজির চেয়ে সমৃদ্ধ বিভক্তিযুক্ত ভাষাগুলোর ক্ষেত্রে পার্থক্যগুলো আরও স্পষ্ট হয়ে ওঠে।
ওয়ার্ডপিস টোকেনাইজেশনের সময় একটি নিউরাল নেটওয়ার্ক ব্যবহার করে।
নিউরাল মডেলে ব্যবহৃত হওয়া সত্ত্বেও, WordPiece নিজে সম্পূর্ণরূপে নন-নিউরাল। এর লাইকলিহুড গণনা কোনো লার্নড নিউরাল রিপ্রেজেন্টেশনের উপর ভিত্তি করে নয়, বরং সাধারণ ইউনিগ্রাম ফ্রিকোয়েন্সি স্ট্যাটিস্টিকসের উপর ভিত্তি করে করা হয়। WordPiece-এর 'ল্যাঙ্গুয়েজ মডেল' হলো কেবল একটি ফ্রিকোয়েন্সি টেবিল, কোনো ট্রান্সফরমার বা রিকারেন্ট নেটওয়ার্ক নয়।
BPE চীনা ভাষার মতো বৃহৎ অক্ষর সেটযুক্ত ভাষা পরিচালনা করতে পারে না।
বাইট-লেভেল BPE বিশেষভাবে এই সমস্যার সমাধান করে, কারণ এটি ক্যারেক্টারের পরিবর্তে সরাসরি UTF-8 বাইটের উপর কাজ করে। এর মানে হলো, এটি কোনো অজানা ক্যারেক্টারের সম্মুখীন না হয়েই যেকোনো ইউনিকোড টেক্সট উপস্থাপন করতে পারে, যদিও হাজার হাজার ক্যারেক্টারযুক্ত স্ক্রিপ্টের ক্ষেত্রে এর জন্য আরও বেশি টোকেনের প্রয়োজন হতে পারে।
টোকেনাইজারের নির্বাচন পরবর্তী কাজগুলোতে মডেলের পারফরম্যান্সকে উল্লেখযোগ্যভাবে প্রভাবিত করে।
যদিও টোকেনাইজেশন গুরুত্বপূর্ণ, তবে মডেলের গঠন এবং প্রশিক্ষণ ডেটার পরিধি সাধারণত টোকেনাইজার পছন্দের চেয়ে বেশি গুরুত্বপূর্ণ। গবেষণায় দেখা গেছে যে, অন্যান্য সমস্ত বিষয় সমান থাকলে BPE এবং WordPiece তুলনামূলকভাবে একই রকম কাজ করে, এবং পার্থক্যগুলো সাধারণত সামান্য ও কাজের ধরনের ওপর নির্ভরশীল হয়।
WordPiece বিশেষভাবে BERT-এর জন্যই উদ্ভাবিত হয়েছিল।
ওয়ার্ডপিস বার্ট (BERT)-এর চেয়ে বেশ কয়েক বছরের পুরোনো। গুগল ২০১০-এর দশকের গোড়ার দিকে প্রাথমিকভাবে জাপানি ও কোরিয়ান ভয়েস সার্চের জন্য এটি তৈরি করে, এবং পরে বার্ট-এ অন্তর্ভুক্ত হওয়ারও আগে এটিকে নিউরাল মেশিন ট্রান্সলেশনের জন্য অভিযোজিত করে। বার্ট-এর সাথে এর সম্পর্কটি বেশ জোরালো, কারণ বার্ট-ই এনএলপি গবেষণা মহলে এটিকে বিখ্যাত করে তুলেছে।
BPE শব্দভান্ডারের আকার কোনো বিষয় নয়, যতক্ষণ পর্যন্ত তা যথেষ্ট বড় হয়।
শব্দভান্ডারের আকার মডেলের কর্মক্ষমতা এবং গণনাগত দক্ষতা উভয়ের উপরই উল্লেখযোগ্যভাবে প্রভাব ফেলে। এটি খুব ছোট হলে, মডেলটি দীর্ঘ টোকেন অনুক্রমের জন্য তার ক্ষমতা অপচয় করে। আবার, এটি খুব বড় হলে এমবেডিং ম্যাট্রিক্সগুলো নিয়ন্ত্রণ করা কঠিন হয়ে পড়ে এবং বিরল টোকেনগুলোর উপস্থাপনাও ত্রুটিপূর্ণ হয়। বেশিরভাগ বিশেষজ্ঞ এই হাইপারপ্যারামিটারটি সতর্কতার সাথে সমন্বয় করেন এবং সাধারণত ৩০,০০০ থেকে ৫০,০০০ টোকেনের মধ্যে এর ব্যবহার স্থির করেন।
GPT-স্টাইলের মডেল নিয়ে কাজ করার সময় অথবা যখন কোড ও বহুভাষিক ডেটা সহ বিভিন্ন ধরনের টেক্সট পরিচালনা করতে পারে এমন সহজ ও দ্রুত টোকেনাইজেশন প্রয়োজন, তখন BPE বেছে নিন। BERT-ভিত্তিক আর্কিটেকচারের উপর ভিত্তি করে কিছু তৈরি করার সময় অথবা যখন আপনি এমন টোকেন সীমানা চান যা ভাষাগত রূপমূলের সাথে আরও ঘনিষ্ঠভাবে মিলে যায়, তখন WordPiece বেছে নিন। বেশিরভাগ ব্যবহারকারীর জন্য, সিদ্ধান্তটি মূলত তাদের নির্বাচিত প্রি-ট্রেইনড মডেলের উপর নির্ভর করে।
CLIP এমবেডিং একটি অভিন্ন শব্দার্থিক পরিসরে ছবি ও লেখা বোঝার জন্য ডিপ লার্নিং ব্যবহার করে, অন্যদিকে কীওয়ার্ড-ভিত্তিক ছবি পুনরুদ্ধার পদ্ধতি হাতে-কলমে নির্ধারিত ট্যাগ বা পারিপার্শ্বিক লেখা মেলানোর ওপর নির্ভর করে। আধুনিক ভিজ্যুয়াল সার্চের কাজগুলোর জন্য CLIP অনেক বেশি নমনীয়তা ও নির্ভুলতা প্রদান করে, অপরদিকে কীওয়ার্ড পদ্ধতিগুলো সংকীর্ণ ও সুসংগঠিত প্রেক্ষাপটেই কার্যকর থাকে।
PPO-তে পলিসি ক্লিপিং প্রতিটি আপডেটের সময় একটি নতুন পলিসি পুরানোটি থেকে কতটা বিচ্যুত হতে পারে তা সীমাবদ্ধ করে, যা প্রশিক্ষণকে স্থিতিশীল রাখে। সীমাহীন পলিসি আপডেট নতুন পলিসিকে অবাধে স্থানান্তরিত হতে দেয়, যা শেখার গতি বাড়াতে পারে কিন্তু প্রায়শই জটিল পরিবেশে অস্থিতিশীলতা বা পতনের কারণ হয়।
RAG এবং ফাইন-টিউনড LLM উভয়ই AI আউটপুটের মান উন্নত করে, কিন্তু এদের কাজের পদ্ধতি মৌলিকভাবে ভিন্ন। RAG কোয়েরি করার সময় বাহ্যিক তথ্য ব্যবহার করে, অন্যদিকে ফাইন-টিউনিং নতুন জ্ঞানকে সরাসরি মডেলের ওয়েট-এর মধ্যে অন্তর্ভুক্ত করে। এদের মধ্যে কোনটি বেছে নেবেন, তা নির্ভর করে আপনার ডেটা কত ঘন ঘন পরিবর্তিত হয় এবং আপনার কী ধরনের নির্ভুলতা প্রয়োজন তার উপর।
RAG-এ ইমেজ গ্রাউন্ডিং, ডকুমেন্ট থেকে সংগৃহীত ভিজ্যুয়াল প্রমাণের উপর ভিত্তি করে AI-এর প্রতিক্রিয়াকে স্থির করে, যা বিভ্রম কমায় এবং তথ্যের নির্ভুলতা বাড়ায়। অন্যদিকে, ভিত্তিহীন টেক্সট জেনারেশন শুধুমাত্র ট্রেনিং ডেটা থেকে প্রাপ্ত প্যারামেট্রিক জ্ঞানের উপর নির্ভর করে, যার ফলে সাবলীল কিন্তু যাচাইযোগ্য উৎসবিহীন এবং সম্ভাব্য মনগড়া আউটপুট তৈরি হয়।
এই তুলনামূলক আলোচনায় অগমেন্টেড রিয়েলিটি (এআর) ডেটা, যা বাস্তব পরিবেশের উপর কৃত্রিম, ডিজিটালভাবে তৈরি উপাদান স্থাপন করে, এবং রিয়েল ক্যামেরা ডেটা, যা সম্পূর্ণরূপে বাস্তব ইমেজ সেন্সর দ্বারা ধারণ করা কাঁচা, অপরিবর্তিত পিক্সেল স্ট্রিমের উপর নির্ভর করে—এই দুইয়ের মধ্যে কৃত্রিম বুদ্ধিমত্তা প্রশিক্ষণের পার্থক্যগুলো বিশদভাবে তুলে ধরা হয়েছে।
