মডেল স্কেলিং সূত্র এবং আর্কিটেকচার উদ্ভাবন হলো এআই সক্ষমতা অগ্রগতির দুটি প্রতিযোগী দর্শন। স্কেলিং সূত্র অনুযায়ী, অধিক ডেটার ওপর প্রশিক্ষিত বড় মডেলগুলো থেকে প্রত্যাশিত উন্নতি সাধিত হয়, অন্যদিকে আর্কিটেকচার উদ্ভাবন এমন স্মার্ট ডিজাইনের ওপর আলোকপাত করে যা কম কম্পিউটিং শক্তি ব্যবহার করে আরও বেশি কিছু অর্জন করতে পারে।
গবেষণালব্ধ নীতি যা দেখায় কীভাবে আরও বেশি প্যারামিটার, ডেটা এবং কম্পিউটেশনের মাধ্যমে এআই মডেলের পারফরম্যান্স অনুমানযোগ্যভাবে উন্নত হয়।
অভিনব নিউরাল নেটওয়ার্ক ডিজাইন যা শুধুমাত্র সাধারণ স্কেলিংয়ের মাধ্যমে যা পাওয়া যায়, তার চেয়েও বেশি পরিমাণে এআই-এর দক্ষতা ও সক্ষমতা বৃদ্ধি করে।
| বৈশিষ্ট্য | মডেল স্কেলিং আইন | স্থাপত্য উদ্ভাবন |
|---|---|---|
| মূল দর্শন | বৃহত্তর মডেল + আরও ডেটা = উন্নত পারফরম্যান্স | আরও উন্নত ডিজাইন কম কম্পিউটিং শক্তি ব্যবহার করে আরও বেশি কিছু অর্জন করে। |
| প্রাথমিক ব্যয় চালক | প্রশিক্ষণের জন্য গণনা এবং শক্তি | গবেষণা প্রতিভা এবং নকশার পুনরাবৃত্তি |
| লাভের পূর্বাভাসযোগ্যতা | পাওয়ার ল'র মাধ্যমে অত্যন্ত অনুমানযোগ্য | অনিশ্চিত; যুগান্তকারী সাফল্য বিক্ষিপ্ত। |
| মূল সমর্থকরা | ওপেনএআই, অ্যানথ্রোপিক, স্কেলিং হাইপোথিসিসের সমর্থকরা | ডিপমাইন্ড, অ্যাকাডেমিক গবেষক, দক্ষতা-কেন্দ্রিক ল্যাব |
| গণনার প্রয়োজনীয়তা | বিশাল এবং দ্রুতগতিতে বৃদ্ধি পাচ্ছে | প্রায়শই কম; সাধারণ হার্ডওয়্যারেও চলতে পারে। |
| পারফরম্যান্স সিলিং | উপলব্ধ গণনা এবং ডেটা দ্বারা সীমাবদ্ধ | নকশায় মানুষের উদ্ভাবনী ক্ষমতার দ্বারা সীমাবদ্ধ |
| ফলাফলের জন্য সময়সীমা | অনুমানযোগ্য কিন্তু ধীরগতির (কয়েক মাসের প্রশিক্ষণ) | পরিবর্তনশীল; দ্রুত যুগান্তকারী সাফল্য এনে দিতে পারে। |
| প্রতিনিধি উদাহরণ | জিপিটি-৪, ক্লদ ৩, জেমিনি আল্ট্রা | মাম্বা, MoE মডেল, ফ্ল্যাশ অ্যাটেনশন, RAG সিস্টেম |
মডেল স্কেলিং-এর সূত্রগুলো একটি সহজ কিন্তু শক্তিশালী ধারণার উপর ভিত্তি করে প্রতিষ্ঠিত: বুদ্ধিমত্তা স্কেল বা পরিধি থেকেই উদ্ভূত হয়। কাপলানের ২০২০ সালের গবেষণাপত্র এবং চিনচিলার ২০২২ সালের পরিমার্জন থেকে প্রাপ্ত গবেষণালব্ধ প্রমাণ দেখায় যে, কর্মক্ষমতার উন্নতি একটি অনুমানযোগ্য গাণিতিক সম্পর্ক অনুসরণ করে। আর্কিটেকচার উদ্ভাবন এর বিপরীত দৃষ্টিভঙ্গি পোষণ করে এবং যুক্তি দেয় যে, চতুর প্রকৌশলের মাধ্যমে বিদ্যমান কম্পিউটিং ব্যবস্থা থেকেই আরও বেশি সক্ষমতা বের করে আনা সম্ভব। উভয় পক্ষই একমত যে স্কেলিং কার্যকর; কিন্তু এটিই অগ্রগতির একমাত্র পথ কি না, সে বিষয়ে তাদের মধ্যে মতভেদ রয়েছে।
অত্যাধুনিক মডেল প্রশিক্ষণে এখন শুধু কম্পিউটেশনের জন্যই কয়েক কোটি ডলার খরচ হয়, এবং জানা যায় যে GPT-4-শ্রেণির সিস্টেমের খরচ ১০০ মিলিয়ন ডলারও ছাড়িয়ে যায়। আর্কিটেকচার উদ্ভাবন একটি সম্পূর্ণ ভিন্ন অর্থনৈতিক চিত্র তুলে ধরে: একটি সুপরিকল্পিত মডেল প্রশিক্ষণের খরচের একটি ভগ্নাংশেই তার বৃহত্তর প্রতিযোগীদের সমকক্ষ হতে বা তাদের ছাড়িয়ে যেতে পারে। এই কারণে, অ্যাকাডেমিক ল্যাব, স্টার্টআপ এবং হাইপারস্কেলার বাজেটবিহীন সংস্থাগুলোর জন্য আর্কিটেকচার উদ্ভাবন বিশেষভাবে আকর্ষণীয়।
স্কেলিং সূত্রগুলো এআই গবেষণায় একটি দুর্লভ জিনিস প্রদান করে: পূর্বাভাসযোগ্যতা। আপনি যদি দ্বিগুণ গণনা করেন, তবে মোটামুটিভাবে কী ধরনের উন্নতি আশা করা যায় তা জানতে পারেন। আর্কিটেকচার উদ্ভাবন স্বভাবতই বেশি ঝুঁকিপূর্ণ, কারণ যুগান্তকারী সাফল্য পাটিগণিতের চেয়ে অন্তর্দৃষ্টির ওপর বেশি নির্ভরশীল। তবে, যখন আর্কিটেকচারে যুগান্তকারী সাফল্য আসে, তখন তা বছরের পর বছর ধরে অর্জিত ক্রমবর্ধমান স্কেলিংয়ের অগ্রগতিকে অতিক্রম করে যেতে পারে। ট্রান্সফর্মার নিজেই ছিল এমনই একটি উল্লম্ফন, যা রাতারাতি আরএনএন স্কেলিংয়ের বহু বছরের কাজকে অপ্রচলিত করে দিয়েছিল।
শিল্পটি ক্রমশই উপলব্ধি করছে যে নিছক স্কেলিংয়ের সীমাবদ্ধতা রয়েছে। এমনকি ওপেনএআই-এর নেতৃত্বও ডেটার প্রাপ্যতা এবং কম্পিউট ইকোনমিক্স সংক্রান্ত প্রতিবন্ধকতার সম্মুখীন হওয়ার বিষয়টি প্রকাশ্যে আলোচনা করেছে। এদিকে, আর্কিটেকচার উদ্ভাবন ত্বরান্বিত হচ্ছে: মিক্সট্রালের মতো মিক্সচার-অফ-এক্সপার্টস মডেল, এফিশিয়েন্ট অ্যাটেনশন ভ্যারিয়েন্ট এবং স্টেট স্পেস মডেলগুলো জনপ্রিয়তা লাভ করছে। বেশিরভাগ অগ্রণী ল্যাব এখন এই দুটি কৌশলকেই প্রতিযোগী হিসেবে না দেখে পরিপূরক হিসেবে বিবেচনা করে একযোগে অনুসরণ করছে।
ভবিষ্যতের দিকে তাকালে, এককভাবে কোনো একটি পদ্ধতিই সম্ভবত এআই-কে মানব-স্তরের সক্ষমতায় নিয়ে যেতে পারবে না। স্কেলিং সূত্রগুলো ইঙ্গিত দেয় যে আমরা মডেলের আকার বাড়াতেই থাকব, কিন্তু ক্রমহ্রাসমান প্রতিদান এবং সম্পদের সীমাবদ্ধতা স্থাপত্যগত চাতুর্যের উপর অধিক নির্ভরতা তৈরি করবে। সামনের সবচেয়ে সম্ভাবনাময় পথটি এই দুটিকেই একত্রিত করে: সর্বোত্তম মডেলের আকার নির্ধারণের জন্য স্কেলিং সূত্র ব্যবহার করা এবং প্রতিটি প্যারামিটারের সক্ষমতা সর্বাধিক করার জন্য স্থাপত্যগত উদ্ভাবন প্রয়োগ করা। এই সংকর পদ্ধতিটিই এআই গবেষণার বর্তমান অগ্রবর্তী ক্ষেত্রকে সংজ্ঞায়িত করে।
স্কেলিং সূত্র অনুযায়ী, বড় মডেল সবসময়ই ভালো।
চিনচিলা দেখিয়েছিল যে মডেলের আকার এবং প্রশিক্ষণ ডেটা অবশ্যই একসাথে সামঞ্জস্যপূর্ণ হতে হবে। অপর্যাপ্ত ডেটার উপর প্রশিক্ষিত একটি ৭০বি মডেল, পর্যাপ্ত ডেটার উপর প্রশিক্ষিত একটি ছোট মডেলের তুলনায় খারাপ পারফর্ম করবে। এই সম্পর্কটি কেবল আকারের উপর নয়, বরং ভারসাম্যের উপর নির্ভরশীল।
আর্কিটেকচার উদ্ভাবন হলো কম্পিউটিং-এর খরচ এড়ানোর একটি উপায় মাত্র।
স্থাপত্যগত যুগান্তকারী উদ্ভাবন প্রায়শই সম্পূর্ণ নতুন সক্ষমতা তৈরি করে, যা কেবল স্কেলিংয়ের মাধ্যমে অর্জন করা সম্ভব নয়। ট্রান্সফর্মার শুধু মডেলগুলোকে সস্তা করেনি; এটি দীর্ঘতর কনটেক্সট প্রক্রিয়াকরণ এবং সমান্তরাল প্রশিক্ষণকে সম্ভব করেছে, যা আরএনএন (RNN) মৌলিকভাবে সমর্থন করতে পারত না।
যতক্ষণ না আমরা এজিআই-তে পৌঁছাব, ততক্ষণ পর্যন্ত স্কেলিং সূত্রগুলো অনির্দিষ্টকালের জন্য চলতে থাকবে।
গবেষকরা অগ্রগতির শেষ সীমায় ক্রমহ্রাসমান কার্যকারিতার বিষয়টি নথিভুক্ত করেছেন। এখন কম্পিউটিং ক্ষমতার প্রতিটি দ্বিগুণ বৃদ্ধি পূর্ববর্তী দ্বিগুণ বৃদ্ধির তুলনায় কম কর্মক্ষমতা বৃদ্ধি ঘটায়। ডেটার গুণমান এবং প্রাপ্যতাও কঠিন সীমাবদ্ধতা হয়ে উঠছে, যা শুধুমাত্র স্কেলিংয়ের মাধ্যমে অতিক্রম করা যায় না।
এই দুটি পদ্ধতি পরস্পরবিরোধী।
আধুনিক সীমান্ত মডেলগুলো উভয়ই ব্যবহার করে। জিপিটি-৪ সম্ভবত বিশাল আকারের পাশাপাশি স্থাপত্যগত উদ্ভাবনকেও অন্তর্ভুক্ত করেছে। বিতর্কটি আসলে গুরুত্বারোপ এবং সম্পদ বণ্টন নিয়ে, কোনো একটিকে বেছে নেওয়ার বিষয় নয়।
স্থাপত্য উদ্ভাবন সর্বদা সম্প্রসারণকে ছাড়িয়ে যায়।
অপর্যাপ্ত প্যারামিটার বা ডেটা সহ একটি চতুর আর্কিটেকচার একটি স্থিতাবস্থায় পৌঁছাবে। আর্কিটেকচার উদ্ভাবন সাধারণত তখনই সবচেয়ে ভালো কাজ করে যখন এটি পর্যাপ্ত স্কেলের সাথে মিলিত হয়। সবচেয়ে সফল সিস্টেমগুলো একই সাথে উভয় দিককেই অপ্টিমাইজ করে।
যখন আপনার বিশাল কম্পিউট বাজেট থাকে এবং প্রতিষ্ঠিত আর্কিটেকচারে অনুমানযোগ্য ও ক্রমবর্ধমান উন্নতির প্রয়োজন হয়, তখন মডেল স্কেলিং নীতি বেছে নিন। যখন রিসোর্স সীমিত থাকে, ইনফারেন্স টাইমে দক্ষতার প্রয়োজন হয়, অথবা যখন আপনি এমন সক্ষমতা অর্জন করতে চান যা শুধুমাত্র স্কেলিংয়ের মাধ্যমে পাওয়া কঠিন, তখন আর্কিটেকচার উদ্ভাবন বেছে নিন। বাস্তবে, আজকের সবচেয়ে সফল এআই সিস্টেমগুলো কোনো একটির ওপর একচেটিয়াভাবে নির্ভর না করে, উভয় দর্শনকেই একত্রিত করে।
CLIP এমবেডিং একটি অভিন্ন শব্দার্থিক পরিসরে ছবি ও লেখা বোঝার জন্য ডিপ লার্নিং ব্যবহার করে, অন্যদিকে কীওয়ার্ড-ভিত্তিক ছবি পুনরুদ্ধার পদ্ধতি হাতে-কলমে নির্ধারিত ট্যাগ বা পারিপার্শ্বিক লেখা মেলানোর ওপর নির্ভর করে। আধুনিক ভিজ্যুয়াল সার্চের কাজগুলোর জন্য CLIP অনেক বেশি নমনীয়তা ও নির্ভুলতা প্রদান করে, অপরদিকে কীওয়ার্ড পদ্ধতিগুলো সংকীর্ণ ও সুসংগঠিত প্রেক্ষাপটেই কার্যকর থাকে।
PPO-তে পলিসি ক্লিপিং প্রতিটি আপডেটের সময় একটি নতুন পলিসি পুরানোটি থেকে কতটা বিচ্যুত হতে পারে তা সীমাবদ্ধ করে, যা প্রশিক্ষণকে স্থিতিশীল রাখে। সীমাহীন পলিসি আপডেট নতুন পলিসিকে অবাধে স্থানান্তরিত হতে দেয়, যা শেখার গতি বাড়াতে পারে কিন্তু প্রায়শই জটিল পরিবেশে অস্থিতিশীলতা বা পতনের কারণ হয়।
RAG এবং ফাইন-টিউনড LLM উভয়ই AI আউটপুটের মান উন্নত করে, কিন্তু এদের কাজের পদ্ধতি মৌলিকভাবে ভিন্ন। RAG কোয়েরি করার সময় বাহ্যিক তথ্য ব্যবহার করে, অন্যদিকে ফাইন-টিউনিং নতুন জ্ঞানকে সরাসরি মডেলের ওয়েট-এর মধ্যে অন্তর্ভুক্ত করে। এদের মধ্যে কোনটি বেছে নেবেন, তা নির্ভর করে আপনার ডেটা কত ঘন ঘন পরিবর্তিত হয় এবং আপনার কী ধরনের নির্ভুলতা প্রয়োজন তার উপর।
RAG-এ ইমেজ গ্রাউন্ডিং, ডকুমেন্ট থেকে সংগৃহীত ভিজ্যুয়াল প্রমাণের উপর ভিত্তি করে AI-এর প্রতিক্রিয়াকে স্থির করে, যা বিভ্রম কমায় এবং তথ্যের নির্ভুলতা বাড়ায়। অন্যদিকে, ভিত্তিহীন টেক্সট জেনারেশন শুধুমাত্র ট্রেনিং ডেটা থেকে প্রাপ্ত প্যারামেট্রিক জ্ঞানের উপর নির্ভর করে, যার ফলে সাবলীল কিন্তু যাচাইযোগ্য উৎসবিহীন এবং সম্ভাব্য মনগড়া আউটপুট তৈরি হয়।
এই তুলনামূলক আলোচনায় অগমেন্টেড রিয়েলিটি (এআর) ডেটা, যা বাস্তব পরিবেশের উপর কৃত্রিম, ডিজিটালভাবে তৈরি উপাদান স্থাপন করে, এবং রিয়েল ক্যামেরা ডেটা, যা সম্পূর্ণরূপে বাস্তব ইমেজ সেন্সর দ্বারা ধারণ করা কাঁচা, অপরিবর্তিত পিক্সেল স্ট্রিমের উপর নির্ভর করে—এই দুইয়ের মধ্যে কৃত্রিম বুদ্ধিমত্তা প্রশিক্ষণের পার্থক্যগুলো বিশদভাবে তুলে ধরা হয়েছে।
