بازیابی اطلاعاتجستجوی برداریجستجوی معناییبی ام ۲۵جاسازی‌هاپردازش زبان طبیعیجستجوی هوش مصنوعیبازیابی ترکیبی

بازیابی بردار متراکم در مقابل بازیابی بردار پراکنده

Q: کدام روش بازیابی برای جستجوی در مقیاس بزرگ سریعتر است؟

بازیابی پراکنده به دلیل ساختارهای اندیس معکوس بهینهشده که طی دههها اصلاح شدهاند، عموماً برای جستجوی در مقیاس بزرگ سریعتر است. بازیابی متراکم به الگوریتمهای جستجوی تقریبی نزدیکترین همسایه نیاز دارد که سریع هستند اما سربار محاسباتی بیشتری دارند. با این حال، سرعت بازیابی متراکم با پایگاههای داده برداری تخصصی مانند FAISS، Pinecone و Milvus که از شتاب GPU و اندیسگذاری کارآمد استفاده میکنند، به طور قابل توجهی بهبود یافته است.

Q: آیا میتوان بازیابی متراکم و پراکنده را با هم ترکیب کرد؟

بله، بازیابی ترکیبی که هر دو روش را با هم ترکیب میکند، به طور فزایندهای رایج است و اغلب به بهترین نتایج دست مییابد. رویکردها شامل ادغام رتبه متقابل است که رتبهبندیها را از جستجوهای متراکم و پراکنده جداگانه ادغام میکند و مدلهای پراکنده آموختهشده مانند SPLADE که قابلیتهای عصبی را به نمایشهای پراکنده اضافه میکنند. اکثر سیستمهای RAG تولیدی اکنون از رویکردهای ترکیبی برای بهرهگیری همزمان از درک معنایی و تطبیق دقیق کلمات کلیدی استفاده میکنند.

Q: چه مدلهایی معمولاً برای بازیابی بردار متراکم استفاده میشوند؟

مدلهای بازیابی متراکم محبوب شامل DPR (بازیابی متراکم متن)، ColBERT، ANCE، BGE (تعبیه عمومی BAAI)، E5 و مدلهای تعبیه متن OpenAI هستند. Sentence-BERT (SBERT) به طور گسترده برای تولید تعبیهها استفاده میشود. انتخاب بستگی به الزامات زبان، دامنه و اینکه آیا به پشتیبانی چندزبانه یا تنظیم خاص دامنه نیاز دارید، دارد.

Q: چگونه میتوانم بُعد جاسازی مناسب را برای بازیابی متراکم انتخاب کنم؟

ابعاد جاسازیشده هم بر عملکرد و هم بر هزینه محاسباتی تأثیر میگذارد. انتخابهای رایج از ۳۸۴ تا ۱۰۲۴ بعد متغیر است. ابعاد کوچکتر (۳۸۴) سریعتر هستند و از حافظه کمتری استفاده میکنند اما ممکن است جزئیات کمتری را ثبت کنند. ابعاد بزرگتر (۱۰۲۴+) میتوانند اطلاعات بیشتری را رمزگذاری کنند اما به فضای ذخیرهسازی و محاسبات بیشتری نیاز دارند. با یک مدل اثباتشده مانند BGE یا E5 شروع کنید و بر اساس نتایج ارزیابی خود، به جای انتخاب خودسرانه ابعاد، آن را تنظیم دقیق کنید.

Q: RAG چگونه از بازیابی برداری استفاده میکند؟

سیستمهای تولید افزوده بازیابی (RAG) از بازیابی برداری برای یافتن زمینه مرتبط برای مدلهای زبانی استفاده میکنند. هر دو روش متراکم و پراکنده میتوانند RAG را تقویت کنند، که بازیابی متراکم به دلیل قابلیتهای معنایی آن رایجتر است. اسناد بازیابی شده اطلاعات پایهای را ارائه میدهند که به LLMها کمک میکند تا پاسخهای دقیقتر، بهروزتر و مرتبط با زمینه تولید کنند و در عین حال توهمات را کاهش دهند.

بازیابی بردار متراکم و پراکنده، دو رویکرد اساساً متفاوت برای بازیابی اطلاعات در سیستم‌های هوش مصنوعی مدرن هستند. روش‌های متراکم از جاسازی‌های عصبی برای ثبت معنای معنایی استفاده می‌کنند، در حالی که روش‌های پراکنده به نمایش‌های سنتی مبتنی بر کلمات کلیدی مانند BM25 متکی هستند. هر کدام بسته به الزامات جستجو، در سناریوهای مختلف برتری دارند.

برجسته‌ها

بازیابی متراکم، معنای معنایی را از طریق جاسازی‌های عصبی ثبت می‌کند در حالی که بازیابی پراکنده به تطبیق دقیق کلمات کلیدی متکی است.
روش‌های پراکنده، تفسیرپذیری بهتری ارائه می‌دهند، زیرا هر بُعد بردار مربوط به یک عبارت خاص است.
رویکردهای متراکم، تطبیق مترادف و پارافراز را انجام می‌دهند که روش‌های پراکنده معمولاً از آن غافل می‌شوند.
سیستم‌های بازیابی ترکیبی که هر دو روش را ترکیب می‌کنند، به طور مداوم از هر یک از این رویکردها به تنهایی بهتر عمل می‌کنند.

بازیابی بردار متراکم چیست؟

یک روش جستجوی مبتنی بر جاسازی عصبی که با نمایش متن به صورت بردارهای پیوسته در فضای با ابعاد بالا، معنای معنایی را ثبت می‌کند.

بردارهای متراکم معمولاً صدها تا هزاران بُعد دارند، که معمولاً بسته به مدل، ۳۸۴، ۷۶۸ یا ۱۰۲۴ بُعد است.
آنها توسط مدل‌های مبتنی بر تبدیل‌کننده مانند BERT، SBERT یا رمزگذارهای تخصصی جمله تولید می‌شوند.
بازیابی متراکم در یافتن محتوای مشابه از نظر معنایی، حتی زمانی که کلمات کلیدی دقیق با هم مطابقت ندارند، عالی عمل می‌کند.
سیستم‌های بازیابی متراکم محبوب شامل DPR، ColBERT و ANCE به همراه پایگاه‌های داده برداری مانند FAISS و Pinecone هستند.
برخلاف روش‌های کلمات کلیدی، بردارهای متراکم می‌توانند مترادف‌ها، پارافریزها و روابط زمینه‌ای بین مفاهیم را درک کنند.

بازیابی بردار پراکنده چیست؟

یک رویکرد بازیابی سنتی مبتنی بر کلمه کلیدی با استفاده از نمایش‌های پراکنده با ابعاد بالا که در آن اکثر ابعاد صفر هستند.

بردارهای پراکنده اغلب ابعادی مطابق با اندازه واژگان دارند و گاهی اوقات به ده‌ها هزار اصطلاح می‌رسند.
الگوریتم BM25 (بهترین تطابق ۲۵) همچنان یکی از پرکاربردترین الگوریتم‌های بازیابی تنک است.
روش‌های پراکنده مانند SPLADE، تطبیق کلمات کلیدی سنتی را با گسترش شبکه عصبی ترکیب می‌کنند.
فراوانی اصطلاح و فراوانی معکوس سند، پایه ریاضی اکثر رویکردهای پراکنده را تشکیل می‌دهند.
بازیابی پراکنده در تطبیق دقیق کلمات کلیدی عالی عمل می‌کند و از آنجایی که هر بُعد با یک اصطلاح خاص مطابقت دارد، بسیار قابل تفسیر است.

جدول مقایسه

ویژگی	بازیابی بردار متراکم	بازیابی بردار پراکنده
نوع نمایندگی	تعبیه‌های متراکم پیوسته	بردارهای پراکنده با ابعاد بالا با مقادیر عمدتاً صفر
ابعاد معمول	ابعاد ۳۸۴ تا ۱۰۲۴	حجم واژگان، اغلب ۱۰،۰۰۰ تا ۵۰،۰۰۰+
درک معنایی	درک معنایی و زمینه‌ای قوی	محدود به تطبیق واژگانی بدون بسط
تطبیق کلمات کلیدی	می‌تواند مسابقات دقیق ترم را از دست بدهد	عالی در تطبیق دقیق کلمات کلیدی
تفسیرپذیری	بردارهای کم - مات هستند	بالا - هر بُعد به یک اصطلاح نگاشت می‌شود
الزامات آموزشی	نیاز به داده‌های برچسب‌گذاری شده و آموزش عصبی دارد	آموزش حداقلی، اغلب مبتنی بر قانون
هزینه محاسباتی	برای کدگذاری بالاتر، برای جستجوی ANN کارآمدتر است	در کل پایین‌تر، از شاخص‌های معکوس استفاده می‌کند
راندمان ذخیره‌سازی	برای هر بردار فشرده است اما به شاخص‌های تخصصی نیاز دارد	با ساختارهای شاخص معکوس بسیار کارآمد است
بهترین مورد استفاده	پرس‌وجوهای زبان طبیعی، جستجوی معنایی	تطبیق دقیق اصطلاحات، مستندات فنی
روش‌های مثال	DPR، ColBERT، SBERT، BGE	پیش‌فرض BM25، TF-IDF، SPLADE، Elasticsearch

مقایسه دقیق

سازوکار اصلی و نمایندگی

بازیابی بردار متراکم، متن را به بردارهای پیوسته با طول ثابت تبدیل می‌کند که در آن هر بُعد دارای مقداری عددی است. این جاسازی‌ها از طریق آموزش شبکه عصبی آموخته می‌شوند و به مدل اجازه می‌دهند تا معنا، زمینه و روابط بین کلمات را رمزگذاری کند. در مقابل، بازیابی بردار پراکنده، اسناد را با استفاده از بردارهایی نمایش می‌دهد که در آن‌ها اکثر مقادیر صفر هستند و ورودی‌های غیر صفر مربوط به اصطلاحات واژگان خاصی هستند که در سند ظاهر می‌شوند. این تفاوت اساسی، نحوه پردازش و تطبیق اطلاعات توسط هر روش را شکل می‌دهد.

تطبیق معنایی در مقابل تطبیق واژگانی

بازیابی متراکم زمانی می‌درخشد که کاربران با زبان طبیعی جستجو می‌کنند یا زمانی که واژگان جستجو با واژگان سند متفاوت است. جستجوی «گزینه‌های مسکن مقرون‌به‌صرفه» می‌تواند با اسناد مربوط به «اقامتگاه کم‌هزینه» مطابقت داشته باشد زیرا جاسازی‌ها شباهت معنایی را ثبت می‌کنند. بازیابی پراکنده به اصطلاحات همپوشانی متکی است، بنابراین این ارتباط را از دست می‌دهد مگر اینکه کلمات دقیق ظاهر شوند. با این حال، روش‌های پراکنده اصطلاحات فنی نادر، کدهای محصول و شناسه‌های خاص را با اطمینان بیشتری مدیریت می‌کنند زیرا به ارتباطات آموخته‌شده وابسته نیستند.

عملکرد و مقیاس‌پذیری

بازیابی متراکم نیاز به رمزگذاری تمام اسناد از طریق یک مدل عصبی در طول نمایه‌سازی دارد که می‌تواند از نظر محاسباتی پرهزینه باشد. پس از نمایه‌سازی، الگوریتم‌های جستجوی تقریبی نزدیکترین همسایه مانند HNSW یا IVF امکان بازیابی سریع را حتی در میلیون‌ها بردار فراهم می‌کنند. بازیابی پراکنده از دهه‌ها ساختار شاخص معکوس بهینه‌شده بهره می‌برد که جستجوی کلمات کلیدی را بسیار سریع و از نظر حافظه کارآمد می‌کند. برای مجموعه‌های بسیار بزرگ، روش‌های پراکنده اغلب هزینه‌های زیرساختی کمتری دارند، اگرچه رویکردهای ترکیبی به طور فزاینده‌ای رایج شده‌اند.

قابلیت تفسیر و اشکال‌زدایی

یکی از مزایای مهم بازیابی پراکنده، قابلیت تفسیر است. وقتی یک سند مطابقت می‌کند، می‌توانید دقیقاً ببینید کدام اصطلاحات باعث ایجاد تطابق شده‌اند و چرا در کجا رتبه‌بندی شده است. این امر اشکال‌زدایی و تنظیم را بسیار ساده‌تر می‌کند. بازیابی متراکم بیشتر به عنوان یک جعبه سیاه عمل می‌کند، جایی که درک اینکه چرا دو متن مشابه تلقی می‌شوند، نیاز به تجزیه و تحلیل فضاهای تعبیه شده یا استفاده از تکنیک‌های تجسم توجه دارد. برای برنامه‌هایی که نیاز به توضیح دارند، مانند جستجوی حقوقی یا پزشکی، این تفاوت به طور قابل توجهی اهمیت دارد.

رویکردهای ترکیبی و روندهای مدرن

حوزه بازیابی به طور فزاینده‌ای به سمت سیستم‌های ترکیبی که هر دو رویکرد را ترکیب می‌کنند، حرکت کرده است. روش‌هایی مانند SPLADE از شبکه‌های عصبی برای گسترش نمایش‌های پراکنده استفاده می‌کنند، در حالی که ادغام رتبه متقابل، نتایج حاصل از سیستم‌های متراکم و پراکنده را ادغام می‌کند. بازیابی ترکیبی معمولاً از هر دو روش به تنهایی بهتر عمل می‌کند و از درک معنایی مدل‌های متراکم و دقت تطبیق پراکنده بهره می‌برد. بسیاری از سیستم‌های جستجوی تولید اکنون از رویکردهای گروهی، به ویژه برای جستجوی پیچیده سازمانی و برنامه‌های RAG، استفاده می‌کنند.

مزایا و معایب

بازیابی بردار متراکم

مزایا

+ درک معنایی قوی
+ مترادف‌ها را به خوبی مدیریت می‌کند
+ مقاوم در برابر عدم تطابق واژگان
+ برای پرس‌وجوهای زبان طبیعی مؤثر است

مصرف شده

− نیاز به داده‌های آموزشی
− کمتر قابل تفسیر
− هزینه‌های محاسباتی بالاتر
− می‌تواند تطابق دقیق کلمات کلیدی را از دست بدهد

بازیابی بردار پراکنده

مزایا

+ تطبیق عالی کلمات کلیدی
+ بسیار قابل تفسیر
+ هزینه‌های زیرساختی کمتر
+ سریع با شاخص‌های معکوس

مصرف شده

− درک معنایی محدود
− مشکلات عدم تطابق واژگان
− با عبارات تکراری مشکل دارد
− برای پرس‌وجوهای طبیعی کمتر مؤثر است

تصورات نادرست رایج

افسانه

بازیابی متراکم همیشه در وظایف جستجوی مدرن از بازیابی پراکنده بهتر عمل می‌کند.

واقعیت

نتایج بنچمارک‌ها نشان می‌دهد که این موضوع به طور کلی درست نیست. در بسیاری از وظایف متمرکز بر کلمات کلیدی، BM25 و سایر روش‌های پراکنده همچنان رقابتی یا برتر باقی می‌مانند. مدل‌های متراکم در واقع می‌توانند در پرس‌وجوهایی که نیاز به تطبیق دقیق عبارت دارند، مانند جستجوی کدهای محصول خاص یا شناسه‌های فنی، عملکرد ضعیف‌تری داشته باشند. بهترین انتخاب به شدت به مورد استفاده خاص و الگوهای پرس‌وجوی شما بستگی دارد.

افسانه

بازیابی پراکنده منسوخ شده و جای خود را به روش‌های عصبی داده است.

واقعیت

بازیابی پراکنده همچنان در زیرساخت‌های جستجوی مدرن، اساسی است. موتورهای جستجوی اصلی و سیستم‌های سازمانی هنوز به شدت به BM25 و الگوریتم‌های مشابه متکی هستند. روش‌های پراکنده به جای جایگزینی، با اجزای عصبی بهبود می‌یابند، همانطور که در رویکردهایی مانند SPLADE و سیستم‌های بازیابی ترکیبی که هر دو الگو را ترکیب می‌کنند، دیده می‌شود.

افسانه

بردارهای متراکم به دلیل ابعاد کمتر، به فضای ذخیره‌سازی کمتری نسبت به بردارهای پراکنده نیاز دارند.

واقعیت

الزامات ذخیره‌سازی به ساختار اندیس بستگی دارد، نه فقط ابعاد بردار. در حالی که بردارهای متراکم به صورت جداگانه فشرده هستند، به اندیس‌های تقریبی نزدیکترین همسایه تخصصی نیاز دارند که می‌توانند حافظه زیادی مصرف کنند. بردارهای پراکنده با اندیس‌های معکوس که فقط ورودی‌های غیر صفر را ذخیره می‌کنند، به طور مؤثر کار می‌کنند و اغلب منجر به ذخیره‌سازی کلی کمتر برای مجموعه‌های بزرگ اسناد می‌شوند.

افسانه

بازیابی متراکم نیازی به پیش‌پردازش یا توکن‌سازی ندارد.

واقعیت

بازیابی متراکم همچنان نیازمند پیش‌پردازش متن، توکن‌سازی و اغلب مدیریت تخصصی اسناد طولانی است که از پنجره‌های زمینه مدل فراتر می‌روند. اسناد باید به طور مناسب قطعه‌بندی شوند و انتخاب استراتژی قطعه‌بندی به طور قابل توجهی بر کیفیت بازیابی تأثیر می‌گذارد. مرحله کدگذاری عصبی، سربار محاسباتی را اضافه می‌کند که روش‌های پراکنده به طور کامل از آن اجتناب می‌کنند.

افسانه

وقتی جاسازی‌های متراکم داشته باشید، دیگر نیازی به فکر کردن به فرمول‌بندی پرس‌وجو ندارید.

واقعیت

فرمول‌بندی پرس‌وجو هنوز هم در بازیابی متراکم اهمیت قابل توجهی دارد. گسترش پرس‌وجو، فرمول‌بندی مجدد و انتخاب رمزگذار پرس‌وجو، همگی بر نتایج تأثیر می‌گذارند. تکنیک‌هایی مانند جاسازی‌های فرضی سند (HyDE) و رویکردهای چند برداری مانند ColBERT نشان می‌دهند که مدیریت پرس‌وجوی پیچیده برای دستیابی به عملکرد بهینه بازیابی متراکم همچنان مهم است.

سوالات متداول

تفاوت اصلی بین بازیابی بردار متراکم و پراکنده چیست؟

تفاوت اصلی در نحوه نمایش متن نهفته است. بازیابی متراکم از جاسازی‌های تولید شده توسط شبکه عصبی استفاده می‌کند که در آن هر بُعد دارای یک مقدار پیوسته است و معنای معنایی را ثبت می‌کند. بازیابی پراکنده از بردارهای سنتی مبتنی بر کلمات کلیدی استفاده می‌کند که در آن اکثر ابعاد صفر هستند و مقادیر غیر صفر مربوط به اصطلاحات واژگان خاص هستند. روش‌های متراکم معنا و زمینه را درک می‌کنند، در حالی که روش‌های پراکنده در تطبیق دقیق کلمات کلیدی برتری دارند.

کدام روش بازیابی برای جستجوی در مقیاس بزرگ سریعتر است؟

بازیابی پراکنده به دلیل ساختارهای اندیس معکوس بهینه‌شده که طی دهه‌ها اصلاح شده‌اند، عموماً برای جستجوی در مقیاس بزرگ سریع‌تر است. بازیابی متراکم به الگوریتم‌های جستجوی تقریبی نزدیکترین همسایه نیاز دارد که سریع هستند اما سربار محاسباتی بیشتری دارند. با این حال، سرعت بازیابی متراکم با پایگاه‌های داده برداری تخصصی مانند FAISS، Pinecone و Milvus که از شتاب GPU و اندیس‌گذاری کارآمد استفاده می‌کنند، به طور قابل توجهی بهبود یافته است.

آیا می‌توان بازیابی متراکم و پراکنده را با هم ترکیب کرد؟

بله، بازیابی ترکیبی که هر دو روش را با هم ترکیب می‌کند، به طور فزاینده‌ای رایج است و اغلب به بهترین نتایج دست می‌یابد. رویکردها شامل ادغام رتبه متقابل است که رتبه‌بندی‌ها را از جستجوهای متراکم و پراکنده جداگانه ادغام می‌کند و مدل‌های پراکنده آموخته‌شده مانند SPLADE که قابلیت‌های عصبی را به نمایش‌های پراکنده اضافه می‌کنند. اکثر سیستم‌های RAG تولیدی اکنون از رویکردهای ترکیبی برای بهره‌گیری همزمان از درک معنایی و تطبیق دقیق کلمات کلیدی استفاده می‌کنند.

چه زمانی باید به جای بازیابی متراکم از BM25 استفاده کنم؟

BM25 و بازیابی پراکنده زمانی بهترین عملکرد را دارند که تطبیق دقیق کلمات کلیدی حیاتی باشد، مانند جستجوی نام محصولات، اصطلاحات فنی، استنادهای قانونی یا شناسه‌های کد. همچنین زمانی که به نتایج قابل تفسیر نیاز دارید، داده‌های آموزشی محدودی دارید یا به هزینه‌های زیرساختی کمتری نیاز دارید، این روش‌ها ترجیح داده می‌شوند. روش‌های پراکنده برای بسیاری از سناریوهای جستجوی سازمانی که در آن‌ها کاربران می‌دانند به دنبال چه چیزی هستند، بسیار رقابتی باقی می‌مانند.

چه مدل‌هایی معمولاً برای بازیابی بردار متراکم استفاده می‌شوند؟

مدل‌های بازیابی متراکم محبوب شامل DPR (بازیابی متراکم متن)، ColBERT، ANCE، BGE (تعبیه عمومی BAAI)، E5 و مدل‌های تعبیه متن OpenAI هستند. Sentence-BERT (SBERT) به طور گسترده برای تولید تعبیه‌ها استفاده می‌شود. انتخاب بستگی به الزامات زبان، دامنه و اینکه آیا به پشتیبانی چندزبانه یا تنظیم خاص دامنه نیاز دارید، دارد.

چگونه می‌توانم بُعد جاسازی مناسب را برای بازیابی متراکم انتخاب کنم؟

ابعاد جاسازی‌شده هم بر عملکرد و هم بر هزینه محاسباتی تأثیر می‌گذارد. انتخاب‌های رایج از ۳۸۴ تا ۱۰۲۴ بعد متغیر است. ابعاد کوچک‌تر (۳۸۴) سریع‌تر هستند و از حافظه کمتری استفاده می‌کنند اما ممکن است جزئیات کمتری را ثبت کنند. ابعاد بزرگ‌تر (۱۰۲۴+) می‌توانند اطلاعات بیشتری را رمزگذاری کنند اما به فضای ذخیره‌سازی و محاسبات بیشتری نیاز دارند. با یک مدل اثبات‌شده مانند BGE یا E5 شروع کنید و بر اساس نتایج ارزیابی خود، به جای انتخاب خودسرانه ابعاد، آن را تنظیم دقیق کنید.

آیا بازیابی پراکنده هنوز با هوش مصنوعی مدرن مرتبط است؟

کاملاً. بازیابی پراکنده همچنان بسیار مرتبط است و در اکثر سیستم‌های جستجوی مدرن ادغام شده است. تحقیقات بازیابی اطلاعات عصبی در واقع روش‌های پراکنده را از طریق نمایش‌های پراکنده آموخته‌شده بهبود بخشیده است. شرکت‌هایی مانند Elastic و Vespa همچنان در بازیابی پراکنده سرمایه‌گذاری می‌کنند و سیستم‌های ترکیبی که رویکردهای پراکنده و متراکم را ترکیب می‌کنند، برای بسیاری از کاربردها پیشرفته در نظر گرفته می‌شوند.

SPLADE چیست و چه ارتباطی با بازیابی پراکنده دارد؟

SPLADE (مدل واژگانی و بسط پراکنده) یک مدل عصبی است که با بهره‌گیری از معماری‌های مبتنی بر ترانسفورماتور، بازنمایی‌های پراکنده تولید می‌کند. این مدل، اسناد و پرس‌وجوها را با اصطلاحات مرتبط آموخته‌شده در طول آموزش، گسترش می‌دهد و قابلیت تفسیر بردارهای پراکنده را با مقداری درک معنایی ترکیب می‌کند. SPLADE نشان‌دهنده‌ی یک حد وسط بین BM25 سنتی و بازیابی کاملاً متراکم است و اغلب به نتایج قوی در مجموعه داده‌های معیار دست می‌یابد.

RAG چگونه از بازیابی برداری استفاده می‌کند؟

سیستم‌های تولید افزوده بازیابی (RAG) از بازیابی برداری برای یافتن زمینه مرتبط برای مدل‌های زبانی استفاده می‌کنند. هر دو روش متراکم و پراکنده می‌توانند RAG را تقویت کنند، که بازیابی متراکم به دلیل قابلیت‌های معنایی آن رایج‌تر است. اسناد بازیابی شده اطلاعات پایه‌ای را ارائه می‌دهند که به LLMها کمک می‌کند تا پاسخ‌های دقیق‌تر، به‌روزتر و مرتبط با زمینه تولید کنند و در عین حال توهمات را کاهش دهند.

الزامات ذخیره‌سازی برای هر نوع بازیابی چیست؟

بردارهای متراکم معمولاً بسته به تعداد ابعاد و دقت (float32 در مقابل int8) به ۱ تا ۶ کیلوبایت در هر سند نیاز دارند. بردارهای پراکنده معمولاً در هر سند کوچکتر هستند زیرا فقط ورودی‌های غیر صفر ذخیره می‌شوند، اغلب فقط صدها بایت. با این حال، بازیابی متراکم به شاخص‌های برداری تخصصی نیاز دارد که سربار اضافه می‌کنند، در حالی که بازیابی پراکنده از شاخص‌های معکوس فشرده استفاده می‌کند. کل ذخیره‌سازی به اندازه مجموعه و ساختارهای شاخص انتخاب شده بستگی دارد.

آیا می‌توانم بدون آموزش مدل خودم از بازیابی متراکم استفاده کنم؟

بله، بسیاری از مدل‌های جاسازی از پیش آموزش‌دیده برای استفاده فوری در دسترس هستند. مدل‌هایی مانند BGE، E5، Sentence-BERT و API جاسازی OpenAI، نمایش‌های متراکم با کیفیت بالا را بدون هیچ آموزشی ارائه می‌دهند. می‌توانید اسناد خود را با استفاده از این مدل‌ها رمزگذاری کرده و آنها را در پایگاه‌های داده برداری ذخیره کنید. تنظیم دقیق اختیاری است و فقط برای حوزه‌های تخصصی که مدل‌های عمومی عملکرد ضعیفی دارند، مورد نیاز است.

حکم

وقتی جستجوهای شما شامل زبان طبیعی است، نیاز به درک معنایی دارد، یا وقتی کاربران ممکن است عبارات جستجو را متفاوت از محتوای شما بیان کنند، بازیابی بردار متراکم را انتخاب کنید. وقتی تطبیق دقیق کلمات کلیدی مهم است، به نتایج قابل تفسیر نیاز دارید، یا با محتوای فنی کار می‌کنید که در آن اصطلاحات خاص باید دقیقاً مطابقت داشته باشند، بازیابی بردار پراکنده را انتخاب کنید. برای اکثر سیستم‌های تولیدی، یک رویکرد ترکیبی را در نظر بگیرید که هر دو روش را برای بهره‌گیری از نقاط قوت مکمل آنها ترکیب می‌کند.

مقایسه‌های مرتبط

LLM های مبتنی بر ابزار در مقابل LLM های مستقل

LLM های مبتنی بر ابزار، مدل‌های زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشین‌حساب‌ها و پایگاه‌های داده گسترش می‌دهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکان‌پذیر می‌سازند. LLM های مستقل صرفاً به پارامترهای آموزش‌دیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از داده‌های آموزشی می‌کنند.

LLM های متن باز در مقابل API های اختصاصی LLM

LLM های متن باز، مدل‌های هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه می‌دهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه می‌دهند.

RAG (تولید افزوده بازیابی) در مقابل LLM های تنظیم دقیق

RAG و LLM های تنظیم‌شده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود می‌بخشند، اما به روش‌های اساساً متفاوتی عمل می‌کنند. RAG اطلاعات خارجی را در زمان پرس‌وجو دریافت می‌کند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزن‌های مدل قرار می‌دهد. انتخاب بین آنها بستگی به این دارد که داده‌های شما چند وقت یکبار تغییر می‌کنند و به چه نوع دقتی نیاز دارید.

RAG با متن بصری در مقابل RAG با متن فقط متنی

RAG با زمینه بصری، مدل‌های زبانی را با بازیابی تصاویر، نمودارها و دیاگرام‌ها در کنار متن غنی می‌کند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی ساده‌تر، سریع‌تر و ارزان‌تر برای استقرار باقی می‌ماند.

RAG چندوجهی در مقابل RAG فقط متنی

RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنی‌تر با هم پردازش می‌کند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا داده‌ها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.