Comparthing Logo
هوش مصنوعییادگیری ماشینیعلم دادهآموزش مدلیادگیری عمیق

کیفیت داده‌ها در مقابل کمیت داده‌ها در آموزش

در یادگیری ماشین، کیفیت و کمیت داده‌ها هر دو عملکرد مدل را شکل می‌دهند، اما در جهات مختلفی حرکت می‌کنند. کیفیت به میزان تمیزی، مرتبط بودن و برچسب‌گذاری مناسب داده‌های آموزشی شما اشاره دارد، در حالی که کمیت بر حجم خالص داده‌ها تمرکز دارد. بهترین نتایج معمولاً از ایجاد تعادل بین هر دو حاصل می‌شود، اگرچه تحقیقات به طور فزاینده‌ای نشان می‌دهد که کیفیت اغلب برنده می‌شود.

برجسته‌ها

  • مجموعه داده‌های متمرکز بر کیفیت می‌توانند در وظایف تخصصی، عملکرد بهتری نسبت به مجموعه داده‌های بزرگتر و نویزدار داشته باشند.
  • قوانین مقیاس‌بندی نشان می‌دهند که عملکرد مدل با داده‌های بیشتر به طور قابل پیش‌بینی بهبود می‌یابد
  • دقت برچسب اغلب برای عملکرد نهایی مدل، بیش از اندازه مجموعه داده اهمیت دارد.
  • تعادل بهینه به این بستگی دارد که آیا مدل متخصص است یا عمومی

کیفیت داده‌ها چیست؟

معیاری برای سنجش میزان تمیزی، دقت، مرتبط بودن و برچسب‌گذاری مناسب داده‌های آموزشی برای مدل‌های یادگیری ماشین.

  • داده‌های با کیفیت بالا به طور مداوم برچسب‌گذاری شده‌اند، عاری از نویز هستند و نماینده‌ی حوزه‌ی مشکلی هستند که مدل باید حل کند.
  • مطالعات گوگل و استنفورد نشان داده است که مجموعه داده‌های کوچک‌تر و با دقت انتخاب‌شده می‌توانند در انجام وظایف خاص، از مجموعه داده‌های عظیم و پر سر و صدا بهتر عمل کنند.
  • کیفیت شامل دقت، کامل بودن، ثبات، به‌موقع بودن و اعتبار در تمام نقاط داده است.
  • تکنیک‌هایی مانند پاکسازی داده‌ها، حذف داده‌های تکراری و فیلترینگ خصمانه، کیفیت را حتی قبل از شروع آموزش بهبود می‌بخشند.
  • کیفیت برچسب بسیار مهم است - مثال‌های دارای برچسب اشتباه می‌توانند الگوهای اشتباهی را به مدل آموزش دهند و عملکرد را بیش از داده‌های از دست رفته کاهش دهند.

مقدار داده در آموزش چیست؟

حجم یا اندازه کل مجموعه داده‌هایی که برای آموزش مدل‌های یادگیری ماشین و یادگیری عمیق استفاده می‌شوند.

  • مدل‌های زبانی بزرگی مانند GPT-4 و PaLM بر روی صدها میلیارد توکن جمع‌آوری‌شده از وب عمومی آموزش داده شدند.
  • تحقیقات قوانین مقیاس‌بندی از OpenAI و DeepMind نشان داد که عملکرد مدل با افزایش اندازه مجموعه داده‌ها، به طور قابل پیش‌بینی بهبود می‌یابد.
  • کمیت، مدل‌ها را قادر می‌سازد تا الگوهای نادر، موارد خاص و بازنمایی‌های متنوع زبانی یا بصری را یاد بگیرند.
  • مجموعه داده‌های بزرگتر با قرار دادن مدل‌ها در معرض نمونه‌های متنوع‌تر در طول آموزش، بیش‌برازش را کاهش می‌دهند.
  • هزینه جمع‌آوری و پردازش مجموعه داده‌های عظیم قابل توجه است و اغلب به زیرساخت‌های محاسباتی توزیع‌شده و ماه‌ها زمان پردازش نیاز دارد.

جدول مقایسه

ویژگی کیفیت داده‌ها مقدار داده در آموزش
تعریف تمیزی، دقت و مرتبط بودن مثال‌های آموزشی حجم کل مثال‌های موجود برای آموزش
مزیت اولیه تعمیم بهتر از داده‌های نماینده و بدون نویز پوشش الگوی گسترده‌تر از نمونه‌های متنوع
هزینه نیروی انسانی زیاد برای برچسب زدن و تمیز کردن هزینه‌های بالای زیرساخت محاسباتی و ذخیره‌سازی
تأثیر بر بیش‌برازش کاهش بیش‌برازش از طریق سیگنال دقیق کاهش بیش‌برازش از طریق تنوع داده‌ها
مقیاس‌پذیری مقیاس‌پذیری دشوارتر - نیاز به بررسی تخصصی دارد مقیاس‌پذیری آسان‌تر از طریق وب اسکرپینگ و اتوماسیون
اندازه‌گیری نرخ خطا، توافق برچسب، امتیاز کامل بودن تعداد نمونه‌ها، توکن‌ها یا بایت‌ها
بهترین برای حوزه‌های تخصصی مانند پزشکی یا حقوق مدل‌های همه منظوره که به دانش گسترده نیاز دارند
ریسک در صورت غفلت مدل‌ها الگوهای اشتباه را از نویز یاد می‌گیرند مدل‌ها در موارد نادر یا دیده نشده شکست می‌خورند

مقایسه دقیق

فلسفه اصلی

کیفیت داده‌ها، هر نمونه آموزشی را ارزشمند می‌داند و بر این تمرکز دارد که آیا این نمونه‌ها به مدل چیزی صحیح و مفید می‌آموزند یا خیر. کمیت داده‌ها دیدگاه مخالف را اتخاذ می‌کند و استدلال می‌کند که نمونه‌های متوسط کافی در نهایت به چیزی مفید تبدیل می‌شوند. هر دو فلسفه دارای شایستگی هستند و تحقیقات مدرن هوش مصنوعی به طور فزاینده‌ای آنها را به عنوان نیروهای مکمل و نه متضاد در نظر می‌گیرد.

بده‌بستان‌های عملکرد

وقتی منابع محدودی دارید، سرمایه‌گذاری روی کیفیت معمولاً بازده سریع‌تری نسبت به دنبال کردن حجم دارد. مدلی که روی ۱۰،۰۰۰ تصویر پزشکی بکر آموزش دیده است، اغلب مدلی را که روی یک میلیون تصویر نویزی آموزش دیده است، شکست می‌دهد. با این حال، هنگامی که کیفیت به یک آستانه معقول می‌رسد، افزودن نمونه‌های بیشتر به بهبود عملکرد ادامه می‌دهد - به ویژه برای مدل‌های پایه که به دانش جهانی گسترده نیاز دارند.

هزینه و کاربردی بودن

داده‌های کیفی گران هستند زیرا انسان‌ها باید هر نمونه را بررسی، برچسب‌گذاری و اعتبارسنجی کنند که اغلب به تخصص در آن حوزه نیاز دارد. کمیت به شیوه‌ای متفاوت گران است - ذخیره و پردازش پتابایت‌ها اطلاعات نیاز به زیرساخت‌های جدی دارد. شرکت‌هایی که سیستم‌های هوش مصنوعی تولیدی می‌سازند، اغلب متوجه می‌شوند که بهبود کیفیت به ازای هر نمونه هزینه بیشتری دارد، اما در مقیاس‌های کوچک‌تر، بازگشت سرمایه بهتری را ارائه می‌دهد.

وابستگی دامنه

در حوزه‌های محدودی مانند رادیولوژی یا بررسی اسناد حقوقی، کیفیت حرف اول را می‌زند زیرا مدل به دقت در یک کار خاص نیاز دارد. برای چت‌بات‌های همه‌کاره یا مولدهای تصویر، کمیت اهمیت بیشتری دارد زیرا مدل باید موضوعات و سبک‌های بی‌شماری را مدیریت کند. تعادل مناسب بسته به اینکه آیا شما در حال ساخت یک متخصص هستید یا یک متخصص عمومی، تغییر می‌کند.

شواهد پژوهشی

معیار «DataComp» از سال ۲۰۲۳ نشان داد که فیلتر کردن یک مجموعه داده بزرگ به زیرمجموعه‌های باکیفیت‌تر، مدل‌های بهتری نسبت به استفاده از همه چیز تولید می‌کند. در همین حال، مقاله مقیاس‌بندی چینچیلا ثابت کرد که کمیت هنوز هم مهم است - مدل‌ها برای رسیدن به پتانسیل خود به تقریباً ۲۰ توکن داده آموزشی برای هر پارامتر نیاز دارند. هر دو یافته نشان می‌دهند که سوال واقعی کیفیت در مقابل کمیت نیست، بلکه نحوه تخصیص منابع بین آنهاست.

مزایا و معایب

کیفیت داده‌ها

مزایا

  • + خروجی‌های مدل تمیزتر
  • + دقت دامنه بهتر
  • + ضایعات محاسباتی کمتر
  • + اشکال‌زدایی آسان‌تر

مصرف شده

  • − تولید گران
  • − مقیاس‌پذیری دشوار
  • − نیازمند نیروی متخصص
  • − جمع‌آوری کندتر

مقدار داده

مزایا

  • + پوشش گسترده‌تر
  • + موارد لبه را کنترل می‌کند
  • + ترازو با محاسبه
  • + مدل‌های پایه را فعال می‌کند

مصرف شده

  • − هزینه‌های ذخیره‌سازی افزایش می‌یابد
  • − ممکن است شامل نویز باشد
  • − بازده نزولی
  • − زیرساخت سنگین

تصورات نادرست رایج

افسانه

داده‌های بیشتر همیشه به معنای مدل بهتر است.

واقعیت

لزوماً نه. اگر داده‌های اضافی نویزدار، دارای برچسب اشتباه یا نامربوط باشند، در واقع می‌توانند به عملکرد آسیب بزنند. تحقیقات بارها نشان داده‌اند که یک مجموعه داده کوچک‌تر و تمیزتر، اغلب مدل‌های دقیق‌تری نسبت به یک مجموعه داده بزرگ‌تر و نامرتب‌تر تولید می‌کند. فیلتر کردن با کیفیت قبل از آموزش تقریباً همیشه مفید است.

افسانه

کیفیت داده‌ها فقط برای مجموعه داده‌های کوچک اهمیت دارد.

واقعیت

کیفیت در هر مقیاسی اهمیت دارد. حتی مدل‌هایی که بر اساس میلیاردها مثال آموزش دیده‌اند، وقتی بخش‌های قابل توجهی از آنها حاوی خطا یا سوگیری باشند، دچار مشکل می‌شوند. مدل‌های بزرگ می‌توانند نویز را به خاطر بسپارند، که سپس در طول استقرار به روش‌های غیرمنتظره و مضر ظاهر می‌شوند.

افسانه

داده‌های برچسب‌گذاری‌شده همیشه بهتر از داده‌های بدون برچسب هستند.

واقعیت

بستگی به وظیفه و کیفیت برچسب‌گذاری دارد. داده‌های دارای برچسب ضعیف می‌توانند از نداشتن برچسب بدتر باشند، در حالی که حجم عظیمی از داده‌های بدون برچسب می‌توانند سیستم‌های یادگیری خودنظارتی را که با رویکردهای نظارت‌شده رقابت می‌کنند، تقویت کنند. کیفیت برچسب مهم‌تر از صرف وجود برچسب‌ها است.

افسانه

برای آموزش یک مدل مفید، به میلیون‌ها مثال نیاز دارید.

واقعیت

یادگیری انتقالی این وضعیت را به طرز چشمگیری تغییر داده است. با مدل‌های از پیش آموزش‌دیده مانند BERT یا ResNet، می‌توانید تنها با صدها یا هزاران نمونه با کیفیت بالا در حوزه خاص خود به نتایج قوی دست یابید. دوران نیاز به مجموعه داده‌های سفارشی عظیم برای هر کار تا حد زیادی به پایان رسیده است.

افسانه

کمیت و کیفیت داده‌ها نیروهای متضادی هستند.

واقعیت

آنها در واقع مکمل یکدیگر هستند. بهترین خطوط لوله آموزشی هر دو را به حداکثر می‌رسانند - جمع‌آوری هرچه بیشتر داده‌ها در عین فیلتر کردن شدید کیفیت. برخورد با آنها به عنوان یک بده بستان، یک معضل نادرست است که منجر به تصمیمات غیربهینه می‌شود.

سوالات متداول

آیا کیفیت داده‌ها مهم‌تر از کمیت داده‌ها است؟
برای اکثر کاربردهای عملی، بله - کیفیت معمولاً بازده بهتری به ازای هر دلار خرج شده ارائه می‌دهد. با این حال، هر دو مهم هستند و نسبت ایده‌آل به مورد استفاده خاص شما بستگی دارد. یک قانون کلی خوب این است که ابتدا کیفیت را به سطح قابل قبولی برسانید، سپس کمیت را تا جایی که منابع اجازه می‌دهند، افزایش دهید.
برای مدلم به چه مقدار داده آموزشی نیاز دارم؟
این بستگی به معماری مدل، پیچیدگی وظیفه و اینکه آیا شما در حال تنظیم دقیق یک مدل از پیش آموزش دیده هستید یا آموزش از ابتدا، دارد. تنظیم دقیق ممکن است فقط به صدها تا هزاران مثال نیاز داشته باشد، در حالی که آموزش یک مدل پایه از ابتدا به میلیاردها مثال نیاز دارد. قوانین مقیاس‌بندی چینچیلا تقریباً 20 توکن برای هر پارامتر برای آموزش بهینه پیشنهاد می‌کند.
چه چیزی باعث می‌شود داده‌های آموزشی کیفیت بالایی داشته باشند؟
داده‌های باکیفیت، دقیق، دارای برچسب‌گذاری مداوم، نماینده توزیع‌های دنیای واقعی، عاری از موارد تکراری و مرتبط با وظیفه هدف شما هستند. همچنین باید از منابع قانونی تهیه و به صورت اخلاقی جمع‌آوری شوند و مستندات مناسبی از منشأ و هرگونه محدودیت شناخته‌شده آنها ارائه شود.
آیا می‌توانم از داده‌های مصنوعی برای افزایش کمیت استفاده کنم؟
بله، تولید داده‌های مصنوعی به روشی محبوب برای تقویت مجموعه‌های آموزشی تبدیل شده است، به خصوص زمانی که داده‌های واقعی کمیاب یا گران هستند. مدل‌هایی مانند GPT-4 می‌توانند نمونه‌های آموزشی واقع‌گرایانه‌ای تولید کنند، اگرچه باید در مورد کنترل کیفیت مراقب باشید - داده‌های مصنوعی می‌توانند سوگیری‌های موجود در مدل تولید را تقویت کنند.
گردآوری داده‌ها در یادگیری ماشین چیست؟
گردآوری داده‌ها فرآیند انتخاب، پاکسازی و سازماندهی داده‌های آموزشی برای به حداکثر رساندن سودمندی آنهاست. این فرآیند شامل حذف داده‌های تکراری، فیلتر کردن نمونه‌های بی‌کیفیت، متعادل کردن توزیع کلاس‌ها و اطمینان از اینکه داده‌ها نشان‌دهنده مسئله‌ای هستند که می‌خواهید حل کنید، می‌شود. گردآوری خوب اغلب تفاوت بین یک مدل متوسط و یک مدل عالی است.
چگونه کیفیت داده‌ها را اندازه‌گیری کنم؟
رویکردهای رایج شامل امتیازهای توافق بین مفسران، بررسی‌های خودکار برای سازگاری برچسب‌ها، تحلیل آماری توزیع ویژگی‌ها و عملکرد اعتبارسنجیِ محدود (holded-out validation performance) است. برخی از تیم‌ها همچنین از ابزارهای اعتبارسنجی داده‌های اختصاصی مانند Great Expectations یا داشبوردهای کیفیت سفارشی برای ردیابی معیارهای کیفیت در طول زمان استفاده می‌کنند.
آیا داده‌های آموزشی بیشتر، بیش‌برازش را کاهش می‌دهد؟
عموماً بله، زیرا مجموعه داده‌های بزرگتر، مدل را در معرض نمونه‌های متنوع‌تری قرار می‌دهد و به خاطر سپردن الگوهای خاص را دشوارتر می‌کند. با این حال، اگر داده‌های اضافی تکراری یا کم‌کیفیت باشند، ممکن است کمکی نکند. تنوع داده‌ها به اندازه کمیت خام برای جلوگیری از بیش‌برازش اهمیت دارد.
قوانین مقیاس‌بندی در هوش مصنوعی چیست؟
قوانین مقیاس‌بندی، رابطه‌ی قابل پیش‌بینی بین اندازه‌ی مدل، اندازه‌ی مجموعه‌ی داده‌ها و عملکرد را توصیف می‌کنند. تحقیقات OpenAI، DeepMind و دیگران نشان داده است که با افزایش پارامترها، داده‌ها یا محاسبات، میزان تلفات به صورت یک قانون توانی کاهش می‌یابد. این قوانین به محققان کمک می‌کنند تا پیش‌بینی کنند که با افزودن منابع بیشتر، چه میزان بهبود به دست خواهند آورد.
آیا باید جمع‌آوری داده‌های بیشتر را در اولویت قرار دهم یا پاکسازی داده‌های موجود را؟
اگر داده‌های موجود شما مشکلات کیفی قابل توجهی دارند، معمولاً پاکسازی آنها نتایج سریع‌تری نسبت به جمع‌آوری بیشتر ارائه می‌دهد. داده‌های کثیف مشکلات را پیچیده‌تر می‌کنند - اضافه کردن نمونه‌های کثیف بیشتر، فقط الگوهای اشتباه بیشتری را برای یادگیری به مدل می‌دهد. با کیفیت شروع کنید، سپس وقتی خط تولید شما خروجی قابل اعتمادی تولید کرد، کمیت را افزایش دهید.
مدل‌های بنیادی چگونه کیفیت داده‌ها را مدیریت می‌کنند؟
مدل‌های بنیادی معمولاً روی داده‌های مقیاس وب با کیفیت‌های مختلف آموزش داده می‌شوند، سپس از طریق تکنیک‌هایی مانند RLHF (یادگیری تقویتی از بازخورد انسانی) و تنظیم دستورالعمل، اصلاح می‌شوند. این رویکرد دو مرحله‌ای به آنها اجازه می‌دهد تا از کمیت عظیم بهره‌مند شوند و در عین حال از طریق تنظیم دقیق هدفمند، به کیفیت بالایی در وظایف پایین‌دستی دست یابند.

حکم

وقتی در یک حوزه تخصصی کار می‌کنید، بودجه محدودی دارید یا به دقت بالایی در یک کار محدود نیاز دارید، کیفیت داده‌ها را انتخاب کنید. وقتی مدل‌های عمومی می‌سازید که باید ورودی‌های متنوعی را مدیریت کنند یا وقتی که در مقیاس فعلی خود کیفیت را به حداکثر رسانده‌اید، روی کمیت داده‌ها سرمایه‌گذاری کنید. در عمل، قوی‌ترین سیستم‌های هوش مصنوعی هر دو را با هم ترکیب می‌کنند - مجموعه داده‌های بزرگ را گردآوری می‌کنند و در عین حال نویز را به شدت فیلتر می‌کنند.

مقایسه‌های مرتبط

LLM های مبتنی بر ابزار در مقابل LLM های مستقل

LLM های مبتنی بر ابزار، مدل‌های زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشین‌حساب‌ها و پایگاه‌های داده گسترش می‌دهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکان‌پذیر می‌سازند. LLM های مستقل صرفاً به پارامترهای آموزش‌دیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از داده‌های آموزشی می‌کنند.

LLM های متن باز در مقابل API های اختصاصی LLM

LLM های متن باز، مدل‌های هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه می‌دهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه می‌دهند.

RAG (تولید افزوده بازیابی) در مقابل LLM های تنظیم دقیق

RAG و LLM های تنظیم‌شده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود می‌بخشند، اما به روش‌های اساساً متفاوتی عمل می‌کنند. RAG اطلاعات خارجی را در زمان پرس‌وجو دریافت می‌کند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزن‌های مدل قرار می‌دهد. انتخاب بین آنها بستگی به این دارد که داده‌های شما چند وقت یکبار تغییر می‌کنند و به چه نوع دقتی نیاز دارید.

RAG با متن بصری در مقابل RAG با متن فقط متنی

RAG با زمینه بصری، مدل‌های زبانی را با بازیابی تصاویر، نمودارها و دیاگرام‌ها در کنار متن غنی می‌کند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی ساده‌تر، سریع‌تر و ارزان‌تر برای استقرار باقی می‌ماند.

RAG چندوجهی در مقابل RAG فقط متنی

RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنی‌تر با هم پردازش می‌کند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا داده‌ها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.