تنوع داده‌ها در مقابل اندازه مجموعه داده‌ها در عملکرد مدل

اندازه مجموعه داده چیست؟

حجم کل مثال‌ها یا توکن‌های منحصر به فرد مورد استفاده برای آموزش یک مدل یادگیری ماشین.

• مجموعه داده‌های عظیم برای آموزش مدل‌های با ظرفیت بالا مانند شبکه‌های عصبی عمیق ضروری هستند تا از به خاطر سپردن نکات آموزشی توسط آنها جلوگیری شود.
• «قوانین مقیاس‌بندی چینچیلا» نشان می‌دهد که برای کارایی محاسباتی بهینه، اندازه مدل و اندازه داده‌ها باید به نسبت مساوی افزایش یابند.
• Common Crawl، که یکی از ابزارهای اصلی LLMها است، اکنون پتابایت‌ها داده ارائه می‌دهد، اما بخش زیادی از آن برای مفید بودن نیاز به فیلترینگ شدید دارد.
• افزایش تعداد نمونه‌ها به یک مدل کمک می‌کند تا رفتار «میانگین» توزیع داده‌های زیربنایی را بهتر تخمین بزند.
• مجموعه داده‌های بزرگتر عموماً منجر به عملکرد بهتر در معیارهای استاندارد می‌شوند که در آنها داده‌های تست، داده‌های آموزشی را منعکس می‌کنند.

تنوع داده‌ها چیست؟

طیف وسیعی از سناریوها، سبک‌ها و موارد حاشیه‌ای مختلف که در داده‌های آموزشی نمایش داده می‌شوند.

• تنوع، دفاع اصلی در برابر «فراموشی فاجعه‌بار» و سوگیری الگوریتمی در محیط‌های تولید است.
• یک مجموعه داده کوچک‌تر و بسیار متنوع، اغلب با قرار دادن مدل در معرض الگوهای منطقی منحصر به فردتر، از یک مجموعه داده بزرگ‌تر و تکراری بهتر عمل می‌کند.
• تکنیک‌هایی مانند تولید داده‌های مصنوعی به طور فزاینده‌ای به طور خاص برای تزریق تنوعی که وب اسکرپینگ خام فاقد آن است، مورد استفاده قرار می‌گیرند.
• پیکره‌های گردآوری‌شده‌ای مانند «The Pile» مقالات دانشگاهی، کد و کتاب‌ها را با هم ترکیب می‌کنند تا مدل‌ها را مجبور به یادگیری استدلال چند دامنه‌ای کنند.
• تنوع بالا به مدل‌ها اجازه می‌دهد تا به وظایف «بدون هدف» که به صراحت در طول فرآیند آموزش پوشش داده نشده‌اند، تعمیم داده شوند.

جدول مقایسه

مقایسه دقیق

مزایا و معایب