بازیابی تصویر Zero-shot با استفاده از توصیفات معنایی، محتوای بصری را از کلاسهایی که هرگز در طول آموزش دیده نشدهاند، شناسایی میکند، در حالی که سیستمهای طبقهبندی نظارتشده برای هر دستهای که تشخیص میدهند، به نمونههای برچسبگذاریشده نیاز دارند. هر دو وظایف بینایی کامپیوتر را انجام میدهند، اما اساساً در نحوه کسب دانش و مدیریت ورودیهای جدید متفاوت هستند.
یک رویکرد بینایی رایانهای که تصاویر منطبق با دستههای دیده نشده را با استفاده از جاسازیهای معنایی به جای نمونههای آموزشی برچسبگذاری شده، پیدا میکند.
مدلهای یادگیری ماشین سنتی که تصاویر را با استفاده از مقادیر زیادی از دادههای آموزشی برچسبگذاری شده دستی، در کلاسهای از پیش تعریفشده دستهبندی میکنند.
| ویژگی | بازیابی تصویر بدون ثبت (Zero-Shot) | سیستمهای طبقهبندی نظارتشده |
|---|---|---|
| الزامات دادههای آموزشی | فقط توضیحات معنایی، برای کلاسهای دیده نشده نیازی به تصاویر برچسبگذاری شده نیست | حجم زیادی از تصاویر برچسبگذاری شده برای هر کلاس مورد نیاز است |
| مدیریت دسته بندی رمان ها | میتواند کلاسهایی را که در طول آموزش هرگز با آنها مواجه نشدهاید، تشخیص دهد | نمیتوان دستههای خارج از توزیع آموزشی را مدیریت کرد |
| منبع دانش | اطلاعات جانبی مانند ویژگیها، جاسازیهای متنی یا نمودارهای دانش | الگوهایی که مستقیماً از نمونههای تصویر برچسبگذاری شده آموخته میشوند |
| دقت معمول در کلاسهای دیده شده | عموماً پایینتر از همتایان تحت نظارت | عملکرد فوقالعاده در بنچمارکهای استاندارد |
| مقیاسپذیری برای کلاسهای جدید | فقط با ارائه توضیحات معنایی، دستههای جدید اضافه کنید | نیاز به جمعآوری و برچسبگذاری تصاویر آموزشی جدید دارد |
| معماریهای رایج | شبکههای رمزگذار دوگانه، مدلهای سبک CLIP، چارچوبهای همترازی تعبیهشده | ResNet، EfficientNet، Vision Transformers، انواع VGG |
| مجموعه دادههای ارزیابی | ویژگی SUN، aPY، حیوانات دارای ویژگی، CUB-200 | ایمیجنت، سیفار-۱۰/۱۰۰، کوکو، امانآیتی |
| پیچیدگی استقرار | به دلیل نیاز به زیرساخت فراداده معنایی، بالاتر است | با چارچوبهای بالغ و نقاط بازرسی از پیش آموزشدیده، پایینتر |
اساسیترین تمایز در چگونگی کسب توانایی تشخیص محتوای بصری توسط هر سیستم نهفته است. طبقهبندی نظارتشده مستقیماً از نمونههای تصویر برچسبگذاریشده یاد میگیرد و الگوهای آماری میسازد که دادههای پیکسل را به دستههای از پیش تعریفشده نگاشت میکنند. بازیابی Zero-shot مسیر کاملاً متفاوتی را طی میکند و یاد میگیرد که ویژگیهای بصری را با توصیفات معنایی مرتبط کند تا بتواند آن را به دستههایی که هرگز به صورت بصری با آنها مواجه نشده است، تعمیم دهد. این امر رویکردهای Zero-shot را به ویژه در حوزههایی که برچسبگذاری گران است یا فضای دستهها باز است، جذاب میکند.
سیستمهای تحت نظارت به طور مداوم از روشهای zero-shot در کلاسهای موجود در دادههای آموزشی بهتر عمل میکنند، زیرا نمونههای بصری مستقیمی برای یادگیری دارند. با این حال، این مزیت هنگام مواجهه با دستههای واقعاً جدید از بین میرود. بازیابی zero-shot بخشی از دقت اوج را در کلاسهای شناخته شده فدا میکند و در عوض انعطافپذیری لازم برای مدیریت مفاهیم کاملاً جدید را به دست میآورد. مدلهای بنیادی مدرن مانند CLIP این شکاف را به میزان قابل توجهی کاهش دادهاند و از طریق پیشآموزش متن-تصویر در مقیاس بزرگ، به عملکرد رقابتی zero-shot دست یافتهاند.
طبقهبندی نظارتشده در سناریوهای جهان بسته و خوشتعریف مانند تشخیص نقص در تولید، شناسایی گونهها در مجموعه دادههای کنترلشده یا تصویربرداری پزشکی که در آنها دادههای برچسبگذاریشده وجود دارد، عملکرد فوقالعادهای دارد. بازیابی بدون هدف در محیطهای واژگان باز مانند موتورهای جستجوی بصری، بازیابی تصویر مبتنی بر محتوا از کاتالوگهای بزرگ و برنامههایی که در آنها کاربران ممکن است مفاهیمی را جستجو کنند که سیستم هرگز بهطور صریح برای آنها آموزش ندیده است، میدرخشد. بسیاری از سیستمهای دنیای واقعی اکنون هر دو رویکرد را برای پوشش حداکثری ترکیب میکنند.
افزودن یک دسته جدید به یک سیستم تحت نظارت به معنای جمعآوری صدها یا هزاران تصویر برچسبگذاری شده و آموزش مجدد مدل است، فرآیندی پرهزینه و زمانبر. بازیابی بدون نیاز به عکسبرداری به اپراتورها اجازه میدهد تا دستههای جدید را صرفاً با نوشتن یا منبعیابی توضیحات معنایی معرفی کنند و سربار عملیاتی ناشی از گسترش قابلیتهای تشخیص را به طرز چشمگیری کاهش دهند. این تفاوت در حوزههای پرسرعت که در آنها دستههای جدید محصولات، تهدیدات نوظهور یا اصطلاحات در حال تکامل مرتباً ظاهر میشوند، بسیار مهم میشود.
طبقهبندی نظارتشده معمولاً از معماریهای تکبرجهای استفاده میکند که تصاویر را مستقیماً از طریق لایههای softmax به احتمالات کلاس نگاشت میکنند. بازیابی Zero-shot معمولاً از طرحهای دو رمزگذار یا به سبک Siamese استفاده میکند که هم تصاویر و هم توصیفات کلاس را در یک فضای جاسازی مشترک قرار میدهند که در آن میتوان شباهت را اندازهگیری کرد. پیشرفتهای اخیر در مدلهای زبان بینایی، این مرزها را محو کرده است و معماریهای یکپارچه قادر به طبقهبندی و بازیابی از طریق دستورات زبان طبیعی هستند.
یادگیری صفر-شات به این معنی است که مدل اصلاً هیچ آموزشی ندیده است.
مدلهای Zero-shot هنوز هم تحت آموزشهای اساسی در مورد کلاسهای دیدهشده و تداعیهای معنایی قرار میگیرند. برچسب «zero-shot» بهطور خاص به توانایی آنها در تعمیم به دستههای دیدهنشده در زمان استنتاج اشاره دارد، نه به عدم وجود هرگونه فرآیند یادگیری.
طبقهبندیکنندههای نظارتشده همیشه از سیستمهای بدون هدف (zero-shot) عملکرد بهتری دارند.
این فقط برای دستههای موجود در مجموعه آموزشی صادق است. در دستههای جدیدی که مدلهای تحت نظارت هرگز با آنها مواجه نشدهاند، دقت آنها به صفر میرسد، در حالی که سیستمهای zero-shot همچنان میتوانند از طریق انتقال معنایی پیشبینیهای معناداری تولید کنند.
بازیابی بدون نیاز به هیچ گونه آماده سازی داده ای، نیاز به بازیابی اطلاعات را از بین می برد.
در حالی که تصاویر برچسبگذاری شده برای کلاسهای دیده نشده لازم نیستند، سیستمهای zero-shot به شدت به توصیفات معنایی با کیفیت بالا، حاشیهنویسی ویژگیها یا جاسازیهای متنی وابسته هستند. گردآوری این اطلاعات کمکی میتواند به خودی خود تلاش قابل توجهی باشد.
دادههای آموزشی بیشتر، همیشه طبقهبندیکنندههای نظارتشده را به طور نامحدود بهبود میبخشند.
افزایش عملکرد از دادههای اضافی، بازده نزولی را به دنبال دارد و در نهایت به ثبات میرسد. عواملی مانند کیفیت برچسب، تعادل کلاس و تنوع دادهها اغلب بیش از کمیت خام اهمیت دارند، به خصوص برای مدلهای یادگیری عمیق که مستعد بیشبرازش روی برچسبهای نویزی هستند.
این دو رویکرد در عمل کاملاً متضاد یکدیگرند.
بسیاری از سیستمهای تولیدی هر دو الگو را با هم ترکیب میکنند، و از طبقهبندیکنندههای نظارتشده برای دستهبندیهای شناختهشده با اطمینان بالا استفاده میکنند، در حالی که برای پرسوجوهای طولانی یا جدید به بازیابی zero-shot بازمیگردند. معماریهای ترکیبی اغلب از هر دو رویکردی که به تنهایی استفاده میشوند، بهتر عمل میکنند.
وقتی دادههای برچسبگذاریشدهی فراوان، مجموعهای ثابت از دستهبندیها و نیاز به حداکثر دقت در دستهبندیهای شناختهشده دارید، طبقهبندی نظارتشده را انتخاب کنید. وقتی فضای دستهبندی شما نامحدود است، دادههای برچسبگذاریشده کمیاب هستند، یا به انعطافپذیری برای تشخیص مفاهیم جدید بدون آموزش مجدد نیاز دارید، بازیابی تصویر بدون عکس (zero-shot image retrieval) را انتخاب کنید. بسیاری از سیستمهای تولیدی از ترکیب هر دو رویکرد برای ایجاد تعادل بین دقت و سازگاری سود میبرند.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
