درک تصویر دو مرحلهای، دادههای بصری را در دو مرحله متوالی برای درک عمیقتر پردازش میکند، در حالی که کدگذاری تصویر تک مرحلهای، ویژگیها را در یک مرحله رو به جلو برای سرعت و کارایی استخراج میکند. هر دو رویکرد، اولویتهای متفاوتی را در بینایی کامپیوتر مدرن و سیستمهای هوش مصنوعی چندوجهی ارائه میدهند.
یک رویکرد دو مرحلهای که در آن یک تصویر یک بار برای ویژگیها و بار دیگر برای استدلال یا اصلاح سطح بالاتر پردازش میشود.
روشی تک مرحلهای که یک تصویر را مستقیماً در یک مسیر رو به جلو از طریق شبکه به یک نمایش نگاشت میکند.
| ویژگی | درک تصویر دوگذره | رمزگذاری تصویر تکگذر |
|---|---|---|
| مراحل پردازش | دو پاس متوالی | یک پاس رو به جلو |
| تأخیر معمول | به دلیل محاسبات دوگانه بالاتر است | پایینتر، بهینه شده برای سرعت |
| عمق استدلال | درک معنایی عمیقتر | استخراج ویژگی در سطح |
| ردپای حافظه | بزرگتر، ویژگیهای میانی را ذخیره میکند | خروجی کوچکتر و تک جاسازی شده |
| بهترین موارد استفاده | کیفیت بصری بالا، زیرنویس، استدلال بصری | بازیابی، طبقهبندی، استنتاج بلادرنگ |
| مدلهای نمونه | LLaVA، InstructBLIP، فلامینگو | کلیپ، ویتامین، DINOv2 |
| دقت دقیق | در کارهای پیچیده بالاتر است | متوسط، بستگی به اندازه انکودر دارد |
| مقیاسپذیری | مقیاسپذیری پیچیدهتر | مقیاسپذیری و موازیسازی آسانتر |
درک تصویر دو مرحلهای، پردازش بصری را به دو مرحله مجزا تقسیم میکند: یک مرحله کدگذاری اولیه که ویژگیهای بصری خام را تولید میکند و به دنبال آن یک مرحله استدلال یا پالایش که بر اساس آن ویژگیها عمل میکند. کدگذاری تصویر تک مرحلهای این مرحله را به یک عملیات تبدیل میکند، که در آن کدگذاری کننده مستقیماً نمایش نهایی را ارائه میدهد. رویکرد دوگانه، نحوه درک اولیه انسان از یک تصویر و سپس تفسیر آن را منعکس میکند، در حالی که روش تک مرحلهای، کارایی محاسباتی را در اولویت قرار میدهد.
در کارهایی که نیاز به درک دقیق دارند، مانند پاسخ به پرسشهای بصری یا شرح دقیق تصاویر، سیستمهای دو-گذره عموماً از رمزگذارهای تک-گذره بهتر عمل میکنند، زیرا رمزگذار دوم میتواند به مناطق خاص توجه کند یا استدلال مبتنی بر زبان را اعمال کند. رمزگذارهای تک-گذره زمانی که کار بعدی سادهتر باشد، مانند طبقهبندی تصویر یا جستجوی شباهت، که در آن یک جاسازی فشرده اطلاعات کافی برای پیشبینیهای دقیق را در خود جای میدهد، برتری دارند.
اجرای دو مرحلهای به معنای تقریباً دو برابر شدن هزینه استنتاج از نظر فلاپس و حافظه است، اگرچه پیادهسازیهای هوشمندانه میتوانند محاسبات را بین مراحل به اشتراک بگذارند. کدگذاری تک مرحلهای زمانی که تأخیر اهمیت دارد، مانند برنامههای تلفن همراه، درک خودروهای خودران یا سیستمهای بازیابی تصویر در مقیاس بزرگ که میلیاردها تصویر باید به سرعت کدگذاری شوند، انتخاب مناسبی است.
طرحهای دو-گذره به استانداردی در مدلهای زبانی بزرگ چندوجهی مدرن تبدیل شدهاند، زیرا به یک رمزگذار بینایی اجازه میدهند تا توکنها را به یک مدل زبانی وارد کند که سپس یک گذر استدلال دوم را روی آن توکنها انجام میدهد. رمزگذارهای تک-گذره در سیستمهای بازیابی-افزوده و چارچوبهای یادگیری مقابلهای رایجتر هستند که در آنها هدف تولید یک جاسازی قابل استفاده مجدد است نه تولید پاسخ.
معماریهای دوگذره انعطافپذیرتر هستند زیرا مرحله دوم را میتوان به طور مستقل برای وظایف مختلف پاییندستی تعویض یا تنظیم دقیق کرد. انکودرهای تکگذره در زمان استنتاج انعطافپذیری کمتری دارند، اما به عنوان استخراجکنندههای ویژگی مستقل در بسیاری از برنامهها بدون تغییر، آسانتر قابل استفاده هستند.
روش دو مرحلهای همیشه نتایج بهتری نسبت به روش تک مرحلهای ارائه میدهد.
طرحهای دوگذره دقت را در وظایف سنگین استدلال بهبود میبخشند، اما میتوانند در معیارهای طبقهبندی یا بازیابی ساده که در آنها محاسبات اضافی به جای سیگنال، نویز اضافه میکند، عملکرد ضعیفتری نسبت به رمزگذارهای تکگذره داشته باشند. انتخاب صحیح کاملاً به وظیفه و محدودیتهای پاییندستی بستگی دارد.
رمزگذارهای تکگذره را نمیتوان با مدلهای زبانی استفاده کرد.
بسیاری از سیستمهای تولید از رمزگذارهای تکگذر مانند CLIP برای بازیابی تصاویر مرتبط استفاده میکنند، سپس آن نتایج را برای تولید به یک مدل زبانی منتقل میکنند. این دو رویکرد مکمل یکدیگر هستند نه ناسازگار.
دو گذره به این معنی است که تصویر دو بار توسط یک شبکه پردازش میشود.
در عمل، این دو مرحله اغلب از ماژولهای متفاوتی استفاده میکنند. مرحله اول معمولاً یک مبدل بینایی یا CNN است، در حالی که مرحله دوم ممکن است یک لایه توجه متقابل یا یک مدل زبانی باشد که روی توکنهای بصری استدلال میکند.
رمزگذاری تکگذر یک فناوری قدیمی است.
انکودرهای تکگذر برای بسیاری از کاربردها، از جمله یادگیری تقابلی، طبقهبندی بدون عکس و جستجوی تصویر در مقیاس بزرگ، همچنان پیشرفته هستند. مدلهایی مانند DINOv2 و SigLIP همچنان با طرحهای تکگذر، مرزها را جابجا میکنند.
سیستمهای دوگذر برای استفاده در تولید بسیار کند هستند.
بهینهسازیهایی مانند ذخیرهسازی کلید-مقدار، استراتژیهای خروج زودهنگام و ستون فقرات مشترک، سیستمهای دو-گذر را برای تولید عملی کردهاند. بسیاری از APIهای چندوجهی تجاری از معماریهای دو-گذر در پشت صحنه استفاده میکنند.
وقتی برنامه شما نیاز به استدلال بصری عمیق دارد، مانند پاسخ دادن به سوالات در مورد تصاویر یا ایجاد توضیحات دقیق، و میتوانید از پس محاسبات اضافی برآیید، درک تصویر دو مرحلهای را انتخاب کنید. وقتی سرعت، مقیاسپذیری و استفاده مجدد از جاسازی بیشترین اهمیت را دارند، به خصوص در خطوط لوله بازیابی یا سیستمهای بلادرنگ، کدگذاری تصویر تک مرحلهای را انتخاب کنید.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
