خود-RAG یک لایه بازیابی خودبازتابنده را معرفی میکند که به مدلهای زبانی اجازه میدهد خروجیهای خود را نقد و تطبیق دهند، در حالی که خطوط لوله استاندارد RAG به یک گردش کار ثابت بازیابی-سپس-خواندن متکی هستند. تفاوت کلیدی در کنترل تطبیقی در مقابل اجرای خطی و قابل پیشبینی نهفته است.
یک چارچوب بازیابی-افزوده که در آن مدل، اطلاعات را ارزیابی کرده و تصمیم میگیرد چه زمانی آنها را بازیابی کند.
یک رویکرد سنتی بازیابی-تولید افزوده که ابتدا اسناد را بازیابی میکند، سپس آنها را به یک مدل زبانی میدهد.
| ویژگی | خود-RAG | خطوط لوله استاندارد RAG |
|---|---|---|
| استراتژی بازیابی | تطبیقی، مدل تصمیم میگیرد چه زمانی بازیابی کند | همیشه قبل از پاسخ دادن، بازیابی میکند |
| خودارزیابی | توکنهای انعکاس داخلی برای کنترل کیفیت | نبود سازوکار نقد داخلی |
| هزینه محاسباتی | وقتی بازیابی انجام نمیشود، پایینتر میآید | هزینه ثابت برای هر پرس و جو |
| دقت پاسخ | در کارهای استدلالی پیچیده عملکرد بهتری دارد | قوی اما میتواند شامل زمینههای نامربوط باشد |
| پیچیدگی پیادهسازی | آموزشهای پیچیدهتر | استقرار و نگهداری سادهتر |
| انعطافپذیری | به صورت پویا برای هر پرس و جو تنظیم میشود | گردش کار ثابت صرف نظر از نوع پرس و جو |
| الزامات آموزشی | به دادههای برچسبگذاریشده با بازتاب نیاز دارد | تنظیم دقیق استاندارد کافی است |
| تأخیر | بسته به تصمیمات بازیابی متغیر است | تأخیر دو مرحلهای قابل پیشبینی |
RAG استاندارد بر روی یک خط لوله دو مرحلهای سرراست عمل میکند که در آن یک بازیابیکننده اسناد مربوطه را دریافت میکند و یک مولد، پاسخی را که مشروط به آن زمینه است، تولید میکند. Self-RAG یک فرآیند تصمیمگیری را در بالا لایهبندی میکند و به مدل اجازه میدهد توکنهای بازتابی را منتشر کند که تعیین میکند آیا بازیابی مورد نیاز است و آیا خروجی مبتنی بر پایه است یا خیر. این امر باعث میشود Self-RAG از نظر فکری ماژولارتر باشد، در حالی که RAG استاندارد سادهتر و استدلال در مورد آن آسانتر باقی میماند.
در RAG استاندارد، هر پرسوجو صرف نظر از اینکه مدل از قبل دانش لازم را دارد یا خیر، یک مرحله بازیابی را آغاز میکند. Self-RAG با آموزش مدل برای تشخیص اینکه چه زمانی اطلاعات خارجی واقعاً ضروری هستند، این روند را برعکس میکند. برای سوالات واقعی که مدل میتواند با وزنهای خود به آنها پاسخ دهد، Self-RAG به طور کامل از بازیابی صرف نظر میکند، که این امر باعث کاهش نویز و افزایش سرعت پاسخها میشود.
خود-RAG چهار نشانه بازتاب را معرفی میکند که به عنوان نقاط بازرسی در طول فرآیند تولید عمل میکنند. این نشانهها به مدل اجازه میدهند ادعاهای بدون پشتوانه را علامتگذاری کند و در صورت ضعیف بودن شواهد، دوباره تلاش کند. RAG استاندارد چنین حلقه بازخورد داخلی ندارد، بنابراین توهمات یا پاسخهای خارج از موضوع میتوانند از بین بروند، مگر اینکه محافظهای خارجی اضافه شوند.
در معیارهایی مانند PopQA، ARC-Challenge و PubHealth، Self-RAG پیشرفتهای قابل اندازهگیری نسبت به خطوط پایه استاندارد RAG نشان داده است، به خصوص برای سوالاتی که نیاز به استدلال چندگامی دارند. RAG استاندارد هنوز هم در جستجوی حقایق سرراست که در آن بازیابی به طور قابل اعتمادی متن درست را نشان میدهد، عملکرد خوبی دارد. با افزایش پیچیدگی سوال، شکاف عملکرد بیشتر میشود.
RAG استاندارد همچنان انتخاب پیشفرض برای اکثر سیستمهای تولیدی است زیرا به طور تمیز با پایگاههای داده برداری موجود ادغام میشود و نیازی به دادههای آموزشی تخصصی ندارد. Self-RAG به تلاش مهندسی بیشتری نیاز دارد، از جمله تولید مجموعه دادههای دارای برچسب بازتاب و تنظیم دقیق مدل برای انتشار توکنهای مناسب. برای تیمهایی با منابع محدود یادگیری ماشین، RAG استاندارد گزینه عملی است.
Self-RAG کاملاً جایگزین قطعه بازیابی کننده میشود.
Self-RAG هنوز از یک بازیابیکننده استفاده میکند، اما یک لایه تصمیمگیری به آن اضافه میکند. این مدل به جای حذف کامل بازیابی از خط لوله، انتخاب میکند که چه زمانی بازیابی را فراخوانی کند.
RAG استاندارد قدیمی شده و دیگر مفید نیست.
RAG استاندارد همچنان پایه و اساس اکثر سیستمهای هوش مصنوعی تولیدی است. Self-RAG به جای جایگزینی آن، بر اساس آن ساخته میشود و بسیاری از تیمها هنوز با رویکرد کلاسیک نتایج عالی میگیرند.
Self-RAG همیشه اسناد بیشتری نسبت به RAG استاندارد بازیابی میکند.
Self-RAG اغلب اسناد کمتری را بازیابی میکند زیرا میتواند در صورت لزوم از بازیابی صرف نظر کند. ماهیت تطبیقی به این معنی است که فقط زمانی که مدل آن را مفید تشخیص دهد، متن را استخراج میکند.
برای اجرای Self-RAG به GPT-4 نیاز دارید.
Self-RAG را میتوان با مدلهای متنباز مختلفی پیادهسازی کرد. در مقاله اصلی از Llama 2 که با توکنهای بازتاب تنظیم شده بود، استفاده شد و ثابت شد که این رویکرد فراتر از سیستمهای اختصاصی نیز کار میکند.
RAG استاندارد نمیتواند استدلال پیچیده را مدیریت کند.
RAG استاندارد وقتی با مولدهای قوی و استراتژیهای قطعهبندی خوب جفت شود، استدلال پیچیده را به خوبی مدیریت میکند. Self-RAG موارد مرزی را بهبود میبخشد، اما RAG استاندارد ذاتاً محدود به پرسوجوهای ساده نیست.
زمانی که کیفیت پاسخ، کاهش توهم و کارایی تطبیقی بیش از سادگی پیادهسازی اهمیت دارد، به خصوص برای وظایف استدلال پیچیده، Self-RAG را انتخاب کنید. خطوط لوله استاندارد RAG همچنان برای استقرارهای ساده که در آنها تأخیر قابل پیشبینی و ادغام آسان با زیرساختهای موجود از اولویتهای اصلی هستند، مناسبتر هستند.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
