কোয়ান্টাইজড ক্ষুদ্র মডেলগুলো হলো সংকুচিত এআই সিস্টেম, যা সাধারণ হার্ডওয়্যারে দক্ষতার সাথে চলার জন্য ডিজাইন করা হয়েছে; অন্যদিকে, ডেটাসেন্টার-স্কেলের বৃহৎ ল্যাঙ্গুয়েজ মডেলগুলো হলো বিশাল সিস্টেম, যার জন্য হাজার হাজার জিপিইউ প্রয়োজন হয়। এই আপসটি মূলত সহজলভ্যতা ও খরচ বনাম মৌলিক যুক্তি ক্ষমতা ও নির্ভুলতার উপর কেন্দ্র করে গড়ে ওঠে।
কম মেমরি ও কম্পিউটিং ক্ষমতার ল্যাপটপ, ফোন এবং এজ ডিভাইসে চালানোর জন্য অপ্টিমাইজ করা সংকুচিত এআই মডেল।
শত শত বিলিয়ন প্যারামিটার সম্বলিত বিশাল এআই মডেলগুলো হাজার হাজার বিশেষায়িত অ্যাক্সিলারেটরের ক্লাস্টারে প্রশিক্ষিত ও পরিবেশিত হয়।
| বৈশিষ্ট্য | কোয়ান্টাইজড ক্ষুদ্র মডেল | ডেটাসেন্টার-স্কেল বৃহৎ ভাষা মডেল |
|---|---|---|
| প্যারামিটার সংখ্যা | সাধারণত 1B থেকে 14B প্যারামিটার | 100B থেকে 1T+ প্যারামিটার |
| স্মৃতিশক্তির প্রয়োজনীয়তা | ৪-১৬ জিবি র্যাম (কোয়ান্টাইজড) | জিপিইউ ক্লাস্টার জুড়ে শত শত জিবি |
| প্রয়োজনীয় হার্ডওয়্যার | ভোক্তা জিপিইউ বা এমনকি সিপিইউ | হাজার হাজার অ্যাক্সিলারেটর সহ ডেটাসেন্টার |
| প্রতি কোয়েরিতে অনুমানের খরচ | মূলত বিনামূল্যে (শুধুমাত্র বিদ্যুৎ) | সরবরাহকারীর উপর নির্ভর করে $0.001 থেকে $0.10+ |
| যুক্তি ক্ষমতা | দৈনন্দিন কাজের জন্য ভালো | জটিল বহু-ধাপের সমস্যা সমাধানে পারদর্শী। |
| গোপনীয়তা | ডেটা আপনার ডিভাইসে থেকে যায় | তৃতীয় পক্ষের সার্ভারে পাঠানো ডেটা |
| লেটেন্সি | সংক্ষিপ্ত প্রম্পটের জন্য প্রায় তাৎক্ষণিক | নেটওয়ার্ক রাউন্ড-ট্রিপ প্লাস অপেক্ষার সময় |
| অফলাইন সক্ষমতা | একবার ডাউনলোড হয়ে গেলে সম্পূর্ণ অফলাইন। | নিরবচ্ছিন্ন ইন্টারনেট সংযোগ প্রয়োজন। |
| কাস্টমাইজেশন | একটিমাত্র জিপিইউ-তে সূক্ষ্মভাবে সমন্বয় করা সহজ | উল্লেখযোগ্য অবকাঠামোর প্রয়োজন |
ডেটাসেন্টার-স্কেল মডেলগুলো MMLU, HumanEval এবং স্নাতক-স্তরের যুক্তিমূলক পরীক্ষার মতো কঠিন বেঞ্চমার্কে কোয়ান্টাইজড ছোট মডেলগুলোর চেয়ে ধারাবাহিকভাবে ভালো পারফর্ম করে। এই পার্থক্যটি সবচেয়ে বেশি চোখে পড়ে সেইসব কাজে যেখানে বহু-ধাপের যুক্তি, দীর্ঘমেয়াদী প্রেক্ষাপট বোঝা বা বিশেষায়িত ডোমেইন জ্ঞানের প্রয়োজন হয়। তবে, সারসংক্ষেপ তৈরি, প্রাথমিক কোডিং সহায়তা এবং সাধারণ কথোপকথনের মতো দৈনন্দিন কাজের জন্য, একটি ভালোভাবে কোয়ান্টাইজড 7B বা 13B মডেল প্রায়শই এমন ফলাফল দেয় যা আশ্চর্যজনকভাবে সেরা পারফরম্যান্সের কাছাকাছি বলে মনে হয়। যখন আপনি আপনার নির্দিষ্ট ব্যবহারের ক্ষেত্রে একটি ছোট মডেলকে ফাইন-টিউন করেন, তখন পারফরম্যান্সের এই পার্থক্য আরও কমে আসে।
স্থানীয়ভাবে একটি কোয়ান্টাইজড মডেল চালাতে বিদ্যুৎ খরচ ছাড়া কার্যত কোনো খরচই হয় না, অন্যদিকে বড় মডেলগুলোতে এপিআই অ্যাক্সেসের খরচ বড় পরিসরে দ্রুত বেড়ে যায়। লক্ষ লক্ষ ডকুমেন্ট প্রসেসকারী একটি স্টার্টআপ এপিআই কলের জন্য প্রতি মাসে হাজার হাজার টাকা খরচ করতে পারে, যেখানে একই পরিমাণ কাজের জন্য একটি স্থানীয় কোয়ান্টাইজড মডেলে শুধুমাত্র একবার হার্ডওয়্যারে বিনিয়োগ করতে হয়। যেসব অঞ্চলে এপিআই-এর খরচ অনেক বেশি, সেখানে ছোট মডেলগুলো শৌখিন ব্যক্তি, শিক্ষার্থী এবং ডেভেলপারদের জন্য এআই-এর ব্যবহার সহজলভ্য করে তোলে। অন্যদিকে, যখন নিজে পরিকাঠামো পরিচালনা না করে সর্বোচ্চ মানের সক্ষমতা প্রয়োজন হয়, তখন বড় মডেলগুলোই একমাত্র বাস্তবসম্মত বিকল্প হিসেবে থেকে যায়।
স্থানীয়ভাবে চালিত কোয়ান্টাইজড মডেলগুলো সমস্ত প্রম্পট এবং আউটপুট আপনার ডিভাইসেই রাখে, যা স্বাস্থ্যসেবা, আইন এবং সংবেদনশীল ডেটা পরিচালনাকারী এন্টারপ্রাইজ অ্যাপ্লিকেশনগুলোর জন্য অত্যন্ত গুরুত্বপূর্ণ। ডেটাসেন্টার মডেলগুলোর ক্ষেত্রে আপনার ইনপুটের জন্য একটি তৃতীয় পক্ষের উপর আস্থা রাখতে হয়, এমনকি যদি প্রোভাইডাররা কঠোর ডেটা সংরক্ষণের নীতি প্রদান করেও থাকে। অর্থায়ন এবং সরকারি খাতের নিয়ন্ত্রিত শিল্পগুলো প্রায়শই কমপ্লায়েন্সের কারণে অন-প্রিমিসেস এআই বাধ্যতামূলক করে, যা ছোট মডেলগুলোকে একমাত্র কার্যকর পথ হিসেবে দাঁড় করায়। সক্ষমতার এই ঘাটতি থাকা সত্ত্বেও, এই গোপনীয়তার সুবিধাই সম্ভবত এন্টারপ্রাইজগুলোর স্থানীয় ইনফারেন্স পরিকাঠামোতে বিনিয়োগ করার সবচেয়ে বড় কারণ।
Ollama, LM Studio, বা llama.cpp-এর মতো টুল ব্যবহার করে কোনো DevOps টিমের প্রয়োজন ছাড়াই কয়েক মিনিটের মধ্যেই একটি কোয়ান্টাইজড মডেল চালু করা যায়। একটি API-এর মাধ্যমে ফ্রন্টিয়ার মডেল ডেপ্লয় করাও একইভাবে সহজ, কিন্তু এটিকে কাস্টমাইজ বা সেলফ-হোস্ট করতে ML ইঞ্জিনিয়ার, MLOps পাইপলাইন এবং যথেষ্ট মূলধনের প্রয়োজন হয়। প্রোটোটাইপিং পরিস্থিতিতে ছোট মডেলগুলো বিশেষভাবে কার্যকর, যেখানে বাজেট নষ্ট না করে দ্রুত পুনরাবৃত্তি করার প্রয়োজন হয়। যখন কোনো ভেন্ডরের SLA এবং ক্রমাগত উন্নতির দ্বারা সমর্থিত নির্ভরযোগ্য, প্রোডাকশন-গ্রেড পারফরম্যান্সের প্রয়োজন হয়, তখন বড় মডেলগুলোই সেরা।
একটি ল্যাপটপে চালিত কোয়ান্টাইজড ৭বি মডেল ইনফারেন্সের সময় ৩০-৮০ ওয়াট শক্তি খরচ করতে পারে, যেখানে কুলিং, নেটওয়ার্কিং এবং নিষ্ক্রিয় সার্ভার ওভারহেড বিবেচনা করলে একটি ডেটাসেন্টারে বড় মডেলে করা কোয়েরি তার চেয়ে অনেক বেশি শক্তি খরচ করে। গবেষণায় অনুমান করা হয় যে, একটি বড় মডেলের একক কোয়েরি একটি স্থানীয় ছোট মডেলের ইনফারেন্সের চেয়ে ১০-১০০ গুণ বেশি শক্তি ব্যবহার করতে পারে। যেসব প্রতিষ্ঠান বিপুল পরিমাণে কোয়েরি প্রসেস করে, তাদের জন্য কার্বন ফুটপ্রিন্টের এই পার্থক্যটি বেশ তাৎপর্যপূর্ণ হয়ে ওঠে। ছোট মডেলগুলো এআই গ্রহণের জন্য একটি অধিক টেকসই পথ দেখায়, যদিও আকার নির্বিশেষে যেকোনো মডেলকে একেবারে গোড়া থেকে প্রশিক্ষণ দেওয়া শক্তি-নিবিড়ই থেকে যায়।
কোয়ান্টাইজেশন মডেলের গুণমান নষ্ট করে এবং আউটপুটকে অবিশ্বস্ত করে তোলে।
GPTQ এবং AWQ-এর মতো আধুনিক কোয়ান্টাইজেশন পদ্ধতিগুলো মূল মডেলের পারফরম্যান্সের বেশিরভাগই অক্ষুণ্ণ রাখে এবং স্ট্যান্ডার্ড বেঞ্চমার্কে প্রায়শই মাত্র ১-৩% পারফরম্যান্স হারায়। বেশিরভাগ ব্যবহারিক প্রয়োগের ক্ষেত্রে, সতর্ক পরীক্ষা ছাড়া ব্যবহারকারীরা একটি কোয়ান্টাইজড ৪-বিট মডেল এবং এর ফুল-প্রিসিশন সংস্করণের মধ্যে পার্থক্য করতে পারেন না।
যেকোনো কাজের জন্যই বড় মডেলগুলো সবসময় ভালো।
গবেষণায় ধারাবাহিকভাবে দেখা গেছে যে, সুনির্দিষ্ট ও সীমিত কাজের ক্ষেত্রে একটি নিখুঁতভাবে টিউন করা ছোট মডেল প্রায়শই একটি সাধারণ বড় মডেলের সমকক্ষ হয় বা তাকে ছাড়িয়ে যায়। ল্যাটেন্সি, খরচ এবং ফাইন-টিউনিংয়ের মাধ্যমে বিশেষায়িত হওয়ার ক্ষমতাকে যখন বিবেচনায় আনা হয়, তখন 'বড় মানেই ভালো'—এই ধারণাটি ভেঙে যায়।
ছোট মডেলগুলো কোডিং বা প্রযুক্তিগত কাজ সামলাতে পারে না।
CodeLlama 7B, DeepSeek-Coder 6.7B, এবং Phi-3 Mini-এর মতো মডেলগুলো কোয়ান্টাইজেশনের পর কোডিং বেঞ্চমার্কে চমৎকার পারফর্ম করে। যদিও সবচেয়ে কঠিন সমস্যাগুলোতে এগুলো GPT-4-এর সমকক্ষ নাও হতে পারে, তবে দৈনন্দিন কোডিং সহায়তা, কোড রিভিউ এবং ডকুমেন্টেশনের কাজগুলো এগুলো খুব ভালোভাবে সামলায়।
অ-প্রযুক্তিগত ব্যবহারকারীদের জন্য স্থানীয়ভাবে মডেল চালানো বেশ জটিল।
Ollama, LM Studio, এবং Jan-এর মতো টুলগুলো লোকাল মডেল ডেপ্লয়মেন্টকে একটি অ্যাপ ইনস্টল করা এবং ডাউনলোডে ক্লিক করার মতোই সহজ করে দিয়েছে। একজন প্রযুক্তি-অজ্ঞ ব্যবহারকারী কোনো টার্মিনাল স্পর্শ না করেই পাঁচ মিনিটেরও কম সময়ে একটি কোয়ান্টাইজড মডেল চালু করতে পারেন।
বড় মডেলগুলো বেশি নিরাপদ, কারণ কোম্পানিগুলো নিরাপত্তায় প্রচুর বিনিয়োগ করে।
প্রোভাইডার-পক্ষের নিরাপত্তা ব্যবস্থাগুলো বাহ্যিক সার্ভারে সংবেদনশীল ডেটা পাঠানোর মৌলিক গোপনীয়তার ঝুঁকি দূর করে না। সত্যিকারের সংবেদনশীল ওয়ার্কলোডের ক্ষেত্রে, একটি কোয়ান্টাইজড মডেলের সাহায্যে লোকাল ইনফারেন্স ডেটা লঙ্ঘন, সাবপিনার সম্মুখীন হওয়া এবং প্রোভাইডারের নীতি পরিবর্তনসহ সম্পূর্ণ ভিন্ন ভিন্ন ঝুঁকির বিভাগগুলো দূর করে দেয়।
যখন গোপনীয়তা, খরচ, লেটেন্সি বা অফলাইন অ্যাক্সেস সবচেয়ে বেশি গুরুত্বপূর্ণ হয় এবং আপনার কাজগুলো রুটিন ল্যাঙ্গুয়েজ আন্ডারস্ট্যান্ডিং, কোডিং সহায়তা বা ডোমেইন-নির্দিষ্ট ফাইন-টিউনিংয়ের মধ্যে পড়ে, তখন কোয়ান্টাইজড ছোট মডেল বেছে নিন। যখন আপনার সম্ভাব্য সবচেয়ে শক্তিশালী রিজনিং প্রয়োজন হয়, ইনফ্রাস্ট্রাকচার ম্যানেজ করতে পারেন না, অথবা এমন সমস্যার সম্মুখীন হন যার জন্য সত্যিই অত্যাধুনিক সক্ষমতা প্রয়োজন, তখন ডেটাসেন্টার-স্কেল বড় ল্যাঙ্গুয়েজ মডেল ব্যবহার করুন। এখন অনেক প্রোডাকশন সিস্টেম উভয়কেই একত্রিত করে, যেখানে বেশি পরিমাণে সাধারণ কাজের জন্য ছোট মডেল এবং জটিল কোয়েরির জন্য ফলব্যাক হিসেবে বড় মডেল ব্যবহার করা হয়।
CLIP এমবেডিং একটি অভিন্ন শব্দার্থিক পরিসরে ছবি ও লেখা বোঝার জন্য ডিপ লার্নিং ব্যবহার করে, অন্যদিকে কীওয়ার্ড-ভিত্তিক ছবি পুনরুদ্ধার পদ্ধতি হাতে-কলমে নির্ধারিত ট্যাগ বা পারিপার্শ্বিক লেখা মেলানোর ওপর নির্ভর করে। আধুনিক ভিজ্যুয়াল সার্চের কাজগুলোর জন্য CLIP অনেক বেশি নমনীয়তা ও নির্ভুলতা প্রদান করে, অপরদিকে কীওয়ার্ড পদ্ধতিগুলো সংকীর্ণ ও সুসংগঠিত প্রেক্ষাপটেই কার্যকর থাকে।
PPO-তে পলিসি ক্লিপিং প্রতিটি আপডেটের সময় একটি নতুন পলিসি পুরানোটি থেকে কতটা বিচ্যুত হতে পারে তা সীমাবদ্ধ করে, যা প্রশিক্ষণকে স্থিতিশীল রাখে। সীমাহীন পলিসি আপডেট নতুন পলিসিকে অবাধে স্থানান্তরিত হতে দেয়, যা শেখার গতি বাড়াতে পারে কিন্তু প্রায়শই জটিল পরিবেশে অস্থিতিশীলতা বা পতনের কারণ হয়।
RAG এবং ফাইন-টিউনড LLM উভয়ই AI আউটপুটের মান উন্নত করে, কিন্তু এদের কাজের পদ্ধতি মৌলিকভাবে ভিন্ন। RAG কোয়েরি করার সময় বাহ্যিক তথ্য ব্যবহার করে, অন্যদিকে ফাইন-টিউনিং নতুন জ্ঞানকে সরাসরি মডেলের ওয়েট-এর মধ্যে অন্তর্ভুক্ত করে। এদের মধ্যে কোনটি বেছে নেবেন, তা নির্ভর করে আপনার ডেটা কত ঘন ঘন পরিবর্তিত হয় এবং আপনার কী ধরনের নির্ভুলতা প্রয়োজন তার উপর।
RAG-এ ইমেজ গ্রাউন্ডিং, ডকুমেন্ট থেকে সংগৃহীত ভিজ্যুয়াল প্রমাণের উপর ভিত্তি করে AI-এর প্রতিক্রিয়াকে স্থির করে, যা বিভ্রম কমায় এবং তথ্যের নির্ভুলতা বাড়ায়। অন্যদিকে, ভিত্তিহীন টেক্সট জেনারেশন শুধুমাত্র ট্রেনিং ডেটা থেকে প্রাপ্ত প্যারামেট্রিক জ্ঞানের উপর নির্ভর করে, যার ফলে সাবলীল কিন্তু যাচাইযোগ্য উৎসবিহীন এবং সম্ভাব্য মনগড়া আউটপুট তৈরি হয়।
এই তুলনামূলক আলোচনায় অগমেন্টেড রিয়েলিটি (এআর) ডেটা, যা বাস্তব পরিবেশের উপর কৃত্রিম, ডিজিটালভাবে তৈরি উপাদান স্থাপন করে, এবং রিয়েল ক্যামেরা ডেটা, যা সম্পূর্ণরূপে বাস্তব ইমেজ সেন্সর দ্বারা ধারণ করা কাঁচা, অপরিবর্তিত পিক্সেল স্ট্রিমের উপর নির্ভর করে—এই দুইয়ের মধ্যে কৃত্রিম বুদ্ধিমত্তা প্রশিক্ষণের পার্থক্যগুলো বিশদভাবে তুলে ধরা হয়েছে।
