بازیابی آگاه از متن از اطلاعات پیرامونی مانند تاریخچه جستجو، قصد کاربر و روابط اسناد برای ارائه نتایج مرتبطتر استفاده میکند، در حالی که بازیابی کور از متن با هر جستجو به صورت جداگانه برخورد میکند. مورد اول، هوش مصنوعی مکالمهای مدرن و جستجوی شخصیسازیشده را تقویت میکند، در حالی که مورد دوم برای جستجوهای ساده و یکباره مفید است.
یک رویکرد بازیابی که تاریخچه جستجو، رفتار کاربر و زمینه سند را برای بازگرداندن نتایج مرتبطتر در نظر میگیرد.
یک رویکرد بازیابی که هر پرسوجو را بهطور مستقل و بدون در نظر گرفتن تعاملات قبلی یا سیگنالهای خاص کاربر پردازش میکند.
| ویژگی | بازیابی آگاه از متن | بازیابی بدون توجه به زمینه |
|---|---|---|
| مدیریت پرس و جو | از تاریخچه جلسات و سیگنالهای کاربر استفاده میکند | با هر پرسوجو به طور مستقل رفتار میکند |
| ارتباط در مکالمات | بالا - انسجام گفتگو را حفظ میکند | کم - با پیگیریها مشکل دارد |
| هزینه محاسباتی | به دلیل پردازش زمینه، بالاتر است | پایینتر و سریعتر در هر پرسوجو |
| شخصی سازی | پشتیبانی از سفارشیسازی در سطح کاربر | عدم شخصیسازی پیشفرض |
| پیچیدگی پیادهسازی | نیاز به حافظه، بازنویسی و فراداده دارد | جستجوی ساده با اندیس معکوس یا بردار |
| بهترین موارد استفاده | چتباتها، دستیارها، جستجوی شخصیسازیشده | پرسوجوهای موردی، جستجوی اسناد |
| تکنیکهای مثال | HyDE، بازنویسی پرسوجو، جاسازیهای متنی | BM25، بازیابی فشرده اولیه، جستجوی کلیدواژهای |
| الزامات ذخیرهسازی | به ذخیرهسازی جلسه و فراداده نیاز دارد | مینیمال — فقط اندیس |
بازیابی آگاه از متن، یک پرسوجو را به عنوان بخشی از یک تعامل مداوم تفسیر میکند و با استفاده از نوبتهای قبلی، پروفایلهای کاربر و حتی فرادادههای اطراف سند، منظور واقعی فرد را تشخیص میدهد. در مقابل، بازیابی کور از متن، پرسوجو را به صورت جداگانه بررسی میکند - کلماتی که تایپ میکنید تنها سیگنالی هستند که استفاده میکند. این امر سیستمهای کور از متن را قابل پیشبینی و اشکالزدایی آسان میکند، اما اغلب وقتی یک سوال به آنچه قبل از آن آمده است بستگی دارد، هدف را از دست میدهند.
وقتی افراد با یک دستیار هوش مصنوعی چت میکنند، سوالات تکمیلی به ندرت به تنهایی مطرح میشوند. عباراتی مانند «دومی چطور؟» یا «این در مقایسه با آن چطور است؟» فقط با توجه به زمینه قبلی معنی پیدا میکنند. بازیابی آگاه از متن، این موارد را به طور طبیعی با بازنویسی سوالات مبهم به سوالات مستقل قبل از جستجو، مدیریت میکند. بازیابی کور از متن در چنین مواردی تمایل به بازگرداندن نتایج نامربوط دارد، به همین دلیل است که اکثر چتباتهای تولیدی اکنون از نوعی خط لوله آگاه از متن استفاده میکنند.
از آنجا که بازیابی کور از متن، کار اضافی نگهداری حافظه و بازنویسی کوئریها را حذف میکند، سریعتر اجرا میشود و هزینه کمتری برای اجرا در مقیاس بزرگ دارد. بازیابی آگاه از متن، سربار اضافه میکند - شما باید حالت جلسه را ذخیره کنید، مدلهای بازنویسی کوئری را اجرا کنید و اغلب نتایج برداری را بر اساس فراداده فیلتر کنید. برای حجم کاری بالا و پیچیدگی کم مانند فهرستبندی میلیونها سند ایستا، روشهای کور از متن همچنان جایگاه خود را حفظ میکنند.
تحقیقات در مورد بازیابی متراکم مکالمه، از جمله کار Meta AI و مایکروسافت روی مجموعه دادههایی مانند QReCC و TopiOCQA، به طور مداوم نشان میدهد که روشهای آگاه از متن، در نمرات MRR و nDCG، 10 تا 20 درصد بهتر از روشهای بدون متن عمل میکنند. این شکاف در پرسوجوهای چند نوبتی که ضمایر و ارجاعات غالب هستند، بیشتر میشود. با این حال، برای سوالات واقعی تک نوبتی، این تفاوت به طور قابل توجهی کاهش مییابد.
هر کاربردی به آگاهی از زمینه نیاز ندارد. پایگاههای دانش داخلی، جستجوی اسناد حقوقی و جستجوی محصولات تجارت الکترونیک اغلب با بازیابی بدون زمینه به خوبی کار میکنند، زیرا پرسوجوها معمولاً خاص و مستقل هستند. در این سناریوها، سادگی، سرعت و هزینه زیرساخت پایینتر بازیابی بدون زمینه، آن را به گزینهای کاربردیتر تبدیل میکند.
بازیابی آگاه از متن همیشه از بازیابی کور از متن بهتر عمل میکند.
نه لزوماً. برای پرسوجوهای تکنوبتی و بهخوبی مشخصشده، روشهای کور از متن میتوانند با روشهای آگاه از متن مطابقت داشته باشند یا حتی از آنها پیشی بگیرند، زیرا از نویزی که متن اضافی گاهی اوقات ایجاد میکند، اجتناب میکنند. مزیت بازیابی آگاه از متن، در سناریوهای چندنوبتی یا شخصیسازیشده، بهوضوح بیشتر خود را نشان میدهد.
بازیابی کورکورانهی زمینه منسوخ شده و دیگر مورد استفاده قرار نمیگیرد.
اصلاً اینطور نیست. BM25 و بازیابی متراکم پایه، همچنان ستون فقرات بسیاری از سیستمهای جستجوی تولیدی، از جمله جستجوی اسناد سازمانی و پلتفرمهای تجارت الکترونیک هستند. آنها به عنوان پایههای قوی عمل میکنند و اغلب در معماریهای ترکیبی با لایههای آگاه از متن ترکیب میشوند.
بازیابی آگاه از متن به این معنی است که مدل همه چیز را «به خاطر» میآورد.
در عمل، این سیستمها از یک پنجره محدود از مکالمات اخیر، ابردادههای خلاصهشده یا پرسوجوهای بازنویسیشده استفاده میکنند. حافظه بلندمدت واقعی هنوز یک مسئله تحقیقاتی باز است و اکثر سیستمها پس از خروج از پنجره زمینه، نوبتهای قدیمیتر را فراموش میکنند.
جستجوی برداری همیشه از متن آگاه است.
بازیابی بردار متراکم میتواند هر دو باشد. یک جستجوی بردار ساده بدون فیلتر کردن ابرداده یا بازنویسی پرسوجو اساساً بدون توجه به متن است. افزودن تاریخچه جلسه، فیلترها یا بسط پرسوجو چیزی است که آن را آگاه از متن میکند.
بازیابی آگاه از متن، توهمات را در سیستمهای RAG از بین میبرد.
این کار آنها را کاهش میدهد اما آنها را از بین نمیبرد. حتی با بازیابی خوب، مدلهای زبانی هنوز هم میتوانند عبارات را اشتباه تفسیر کنند یا اطلاعات را به طور نادرست ترکیب کنند. کیفیت بازیابی یکی از قطعات پازل است - رفتار تولید نیز به همان اندازه اهمیت دارد.
وقتی برنامه شما شامل مکالمات چند نوبتی، شخصیسازی یا پرسوجوهای پیگیری مبهم است، بازیابی آگاه از متن را انتخاب کنید - این استاندارد برای دستیاران مدرن RAG و هوش مصنوعی است. برای جستجوهای ساده و تک نوبتی که سرعت و هزینه کم بیش از عمق مکالمه اهمیت دارد، به بازیابی کور از متن پایبند باشید.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
