মেশিন লার্নিং-এ ওভারফিটিং বনাম জেনারালাইজেশন

ওভারফিটিং কী?

এমন একটি ঘটনা যেখানে একটি মডেল প্রকৃত অন্তর্নিহিত বিন্যাসের পরিবর্তে প্রশিক্ষণ ডেটার কোলাহল এবং অদ্ভুত বৈশিষ্ট্যগুলো শেখে।

• এটি তখন ঘটে যখন ডেটার সরলতার তুলনায় কোনো মডেলের জটিলতা অসামঞ্জস্যপূর্ণভাবে বেশি হয়।
• এর বৈশিষ্ট্য হলো আপাতদৃষ্টিতে কম ট্রেনিং এরর এবং উচ্চ ভ্যালিডেশন বা টেস্টিং এরর।
• মেশিন লার্নিং অ্যালগরিদমকে অতিরিক্ত জটিল ও অমসৃণ সিদ্ধান্ত সীমানা তৈরি করতে বাধ্য করে।
• কোনো মডেলকে অতিরিক্ত সংখ্যক ইপোক ধরে প্রশিক্ষণ দিলে অথবা অত্যধিক বৃহৎ প্যারামিটার স্পেস ব্যবহার করলে এটি ঘটতে পারে।
• উৎপাদনে স্থাপনের সময় মারাত্মকভাবে বিকল হয়ে যাওয়ার মাধ্যমে একটি সিস্টেমের বাণিজ্যিক সম্ভাব্যতাকে সরাসরি ক্ষতিগ্রস্ত করে।

সাধারণীকরণ কী?

সম্পূর্ণ নতুন ও অদেখা ডেটাসেটের ওপর ফলাফল নির্ভুলভাবে ভবিষ্যদ্বাণী করার মেশিন লার্নিং মডেলের সক্ষমতা।

• যেকোনো পরিসংখ্যানগত বা মেশিন লার্নিং মডেল প্রশিক্ষণের মূল চূড়ান্ত উদ্দেশ্যকে উপস্থাপন করে।
• এটি নির্দেশ করে যে মডেলটি এলোমেলো কোলাহলের পরিবর্তে প্রকৃত গাণিতিক সংকেত সফলভাবে শনাক্ত করতে পেরেছে।
• এটি তখন প্রদর্শিত হয় যখন প্রশিক্ষণ ত্রুটি এবং পরীক্ষণ ত্রুটি কাছাকাছি এবং ধারাবাহিকভাবে কম থাকে।
• ক্রস-ভ্যালিডেশন, ফিচার রিডাকশন এবং স্ট্রাকচারাল রেগুলাইজেশনের মতো কৌশল দ্বারা সমর্থিত।
• বাস্তব জগতের অপ্রত্যাশিত পরিবর্তন সত্ত্বেও মডেলগুলোকে উচ্চ কার্যক্ষম নির্ভুলতা বজায় রাখতে সাহায্য করে।

তুলনা সারণি

বিস্তারিত তুলনা

সুবিধা এবং অসুবিধা