بازیابی مبتنی بر تصویر، محتوای بصری را برای یافتن تطابقها تفسیر میکند، در حالی که بازیابی مبتنی بر متن به پرسوجوهای نوشتاری و نمایهسازی اسناد متکی است. هر دو رویکرد، موتورهای جستجوی مدرن را قدرتمند میکنند، اما در نحوه درک قصد کاربر و پردازش اطلاعات در انواع مختلف دادهها، تفاوتهای چشمگیری دارند.
یک رویکرد بازیابی که محتوای بصری را با استفاده از بینایی کامپیوتر و یادگیری عمیق برای یافتن تطابقهای مرتبط تجزیه و تحلیل میکند.
یک روش بازیابی سنتی که با استفاده از تحلیل کلمات کلیدی و معنایی، پرسوجوهای نوشتاری را با اسناد متنی نمایهشده مطابقت میدهد.
| ویژگی | بازیابی تصویر آگاه | بازیابی مبتنی بر متن |
|---|---|---|
| ورودی اولیه | تصاویر، محتوای بصری، گاهی اوقات همراه با متن | پرسشهای نوشتاری، کلمات کلیدی، سوالات زبان طبیعی |
| فناوری هستهای | بینایی کامپیوتر، CNNها، مبدلهای بینایی، مدلهای CLIP | پردازش زبان طبیعی، BM25، جاسازیهای متراکم، BERT |
| بهترین موارد استفاده | جستجوی بصری محصول، شناسایی نقاط دیدنی، جستجوی معکوس تصویر | جستجوی اسناد، جستجوی وب، تحقیقات دانشگاهی، پایگاههای دانش سازمانی |
| پیچیدگی پرس و جو | میتواند به سادگی آپلود یک عکس باشد | کاربران را ملزم میکند تا منظور خود را با کلمات بیان کنند |
| درک معنایی | شباهت بصری، سبک، ترکیببندی و زمینه را درک میکند. | مترادفها، منظور، بافت و نکات ظریف زبانی را درک میکند |
| الزامات داده | مجموعه دادههای تصویری بزرگ برچسبگذاری شده، پایگاههای داده ویژگیهای بصری | پیکرههای متنی، نمایههای اسناد، پایگاههای داده کلمات کلیدی |
| سرعت پردازش | به دلیل سربار پردازش تصویر، عموماً کندتر است | معمولاً با ساختارهای نمایهسازی بهینهشده سریعتر است |
| دقت در پرسوجوهای مبهم | زمینه بصری میتواند به طور طبیعی ابهامزدایی کند | ممکن است بدون متن کافی دچار مشکل شود |
بازیابی مبتنی بر تصویر با تجزیه و تحلیل محتوای بصری یک تصویر آپلود شده و تجزیه آن به ویژگیهایی مانند شکل، رنگ، بافت و اشیاء شناخته شده آغاز میشود. این ویژگیها به نمایشهای ریاضی به نام جاسازی تبدیل میشوند که معنای معنایی تصویر را ثبت میکنند. بازیابی مبتنی بر متن مسیری اساساً متفاوت را طی میکند و پرسوجوهای نوشتاری را برای شناسایی کلمات کلیدی تجزیه میکند، روابط آنها را درک میکند و آنها را با اسناد از پیش فهرست شده با استفاده از الگوریتمهایی که ارتباط را بر اساس فراوانی اصطلاح و شباهت معنایی میسنجند، تطبیق میدهد.
وقتی یک قطعه مبلمان را که دوست دارید میبینید اما نمیدانید چگونه آن را توصیف کنید، بازیابی مبتنی بر تصویر با امکان گرفتن عکس و یافتن فوری موارد مشابه، میدرخشد. بازیابی مبتنی بر متن زمانی غالب است که به بازیابی اطلاعات دقیق از مجموعههای بزرگ اسناد، مانند یافتن سوابق حقوقی خاص یا مقالات دانشگاهی، نیاز دارید. این دو رویکرد در واقع در سیستمهای مدرن به خوبی یکدیگر را تکمیل میکنند، و بسیاری از پلتفرمها اکنون جستجوی ترکیبی را ارائه میدهند که هر دو روش را با هم ترکیب میکند.
معماریهای عصبی که این سیستمها را تغذیه میکنند، تفاوتهای اساسی دارند. بازیابی مبتنی بر تصویر، متکی بر مدلهای بینایی است که بر روی مجموعه دادههای تصویری عظیم مانند LAION-5B آموزش دیدهاند و یاد میگیرند که الگوها را در میلیونها نمونه بصری تشخیص دهند. بازیابی مبتنی بر متن، بر اساس دههها تحقیق در زمینه بازیابی اطلاعات، با استفاده از الگوریتمهای کلاسیک مانند BM25 و رویکردهای مدرن مبتنی بر ترانسفورماتور، بنا شده است. پیشرفتهای اخیر در مدلهای چندوجهی، این مرزها را از بین برده و سیستمهایی را قادر ساخته است که هم تصاویر و هم متن را در چارچوبهای یکپارچه درک کنند.
بازیابی مبتنی بر تصویر، مشکل توصیف آنچه به دنبالش هستید را با کلمات از بین میبرد، که وقتی بیان ویژگیهای بصری دشوار است، بسیار ارزشمند است. بازیابی مبتنی بر متن، زمانی که دقیقاً میدانید به چه اطلاعاتی نیاز دارید و میتوانید آن را به وضوح بیان کنید، دقت بیشتری ارائه میدهد. کاربران اغلب جستجوی متنی را قابل پیشبینیتر میدانند زیرا میتوانند دقیقاً ببینند که چگونه عبارت جستجویشان به نتایج مرتبط میشود، در حالی که جستجوی بصری گاهی اوقات بر اساس شباهت بصری، تطابقهای شگفتانگیز اما مرتبطی را برمیگرداند.
بازیابی مبتنی بر تصویر با مفاهیم انتزاعی که نمایش بصری واضحی ندارند، مشکل دارد و برای پردازش بلادرنگ به منابع محاسباتی قابل توجهی نیاز دارد. بازیابی مبتنی بر متن با چالشهایی مانند عدم تطابق واژگان مواجه است، جایی که کاربران چیزی را با استفاده از اصطلاحاتی متفاوت از آنچه در اسناد وجود دارد، توصیف میکنند. هر دو رویکرد همچنان در حال تکامل هستند و محققان به طور فعال روی درک بهتر بین حالتهای مختلف کار میکنند که در نهایت میتواند تمایز بین آنها را کممعناتر کند.
بازیابی تصویر-آگاه میتواند متن درون تصاویر را به خوبی سیستمهای اختصاصی OCR بخواند.
اگرچه سیستمهای مدرن مبتنی بر تصویر میتوانند OCR را انجام دهند، اما معمولاً برای آن بهینه نشدهاند. سیستمهای اختصاصی OCR مانند Tesseract یا سرویسهای ابری از گوگل و AWS عموماً دقت بالاتری را برای وظایف استخراج متن، به ویژه با طرحبندیهای پیچیده یا محتوای دستنویس، ارائه میدهند.
بازیابی مبتنی بر متن به دلیل پیشرفتهای هوش مصنوعی در حال منسوخ شدن است.
بازیابی مبتنی بر متن همچنان شکل غالب جستجو در سطح جهان است. هوش مصنوعی در واقع آن را از طریق درک معنایی بهتر بهبود بخشیده است، اما رویکرد اساسی تطبیق پرسوجوهای متنی با اسناد متنی همچنان به اکثر موتورهای جستجو، سیستمهای سازمانی و پایگاههای داده تحقیقاتی قدرت میدهد.
بازیابی مبتنی بر تصویر همیشه نتایج دقیقتری نسبت به بازیابی مبتنی بر متن ارائه میدهد.
دقت کاملاً به مورد استفاده بستگی دارد. برای یافتن یک سند خاص یا پاسخ به یک سوال واقعی، بازیابی مبتنی بر متن معمولاً از رویکردهای بصری بهتر عمل میکند. بازیابی مبتنی بر تصویر به طور خاص زمانی برتری دارد که شباهت بصری معیار اصلی مرتبط بودن باشد.
برای پیادهسازی هر یک از رویکردهای بازیابی، به مجموعه دادههای عظیمی نیاز دارید.
مدلها و APIهای از پیش آموزشدیده، هر دو رویکرد را بدون آموزش از ابتدا در دسترس قرار دادهاند. سرویسهایی مانند Google Cloud Vision، AWS Rekognition و OpenAI's CLIP قابلیتهای آمادهای را ارائه میدهند که تیمهای کوچک میتوانند بدون تخصص گسترده در یادگیری ماشین، آنها را ادغام کنند.
جستجوی بصری به طور کامل جایگزین نیاز به توضیحات متنی در تجارت الکترونیک میشود.
اکثر پلتفرمهای موفق تجارت الکترونیک از رویکردهای ترکیبی استفاده میکنند. توضیحات متنی همچنان برای سئو، دسترسیپذیری و کاربرانی که تایپ کردن را ترجیح میدهند، بسیار مهم هستند. جستجوی بصری به عنوان یک ویژگی مکمل و نه جایگزین عمل میکند، به خصوص برای کاربران تلفن همراه و کسانی که نمیتوانند به راحتی آنچه را که میخواهند توصیف کنند، مفید است.
وقتی شباهت بصری بیشترین اهمیت را دارد، مانند خرید محصولات، شناسایی اشیاء یا یافتن طرحهای مشابه از نظر بصری، بازیابی مبتنی بر تصویر را انتخاب کنید. بازیابی مبتنی بر متن همچنان انتخاب بهتری برای وظایف سنگین اطلاعاتی مانند تحقیق، جستجوی اسناد و موقعیتهایی است که پرسوجوهای متنی دقیق بهترین نتایج را به همراه دارند. بسیاری از برنامههای مدرن از ترکیب هر دو رویکرد برای قابلیتهای جستجوی جامع سود میبرند.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
