Comparthing Logo
هوش مصنوعیمدل‌های زبان بزرگبازیابی-نسل افزودهیادگیری ماشینیمعماری LLM

بازیابی متن در مقابل حافظه پارامتری در LLM ها

بازیابی متن، اطلاعات خارجی را بر اساس تقاضا دریافت می‌کند، در حالی که حافظه پارامتری، دانشی را که در طول آموزش در وزن‌های مدل گنجانده شده است، ذخیره می‌کند. هر دو، نحوه پاسخگویی مدل‌های زبانی بزرگ به سوالات را شکل می‌دهند، اما از نظر انعطاف‌پذیری، دقت و قابلیت به‌روزرسانی تفاوت‌های چشمگیری دارند. درک بده‌بستان‌های آنها به توضیح این موضوع کمک می‌کند که چرا سیستم‌های هوش مصنوعی مدرن اغلب هر دو رویکرد را ترکیب می‌کنند.

برجسته‌ها

  • بازیابی، دانش را در عرض چند دقیقه به‌روزرسانی می‌کند؛ به‌روزرسانی‌های حافظه پارامتری هفته‌ها آموزش می‌طلبد
  • حافظه پارامتری امکان دسترسی به دانش را بدون تأخیر فراهم می‌کند؛ بازیابی اطلاعات به ازای هر پرس‌وجو ۵۰ تا ۲۰۰ میلی‌ثانیه افزایش می‌یابد
  • بازیابی امکان استناد به منابع را فراهم می‌کند؛ حافظه پارامتری نمی‌تواند پاسخ‌ها را به داده‌های آموزشی ردیابی کند
  • مقیاس‌های حافظه پارامتری با پارامترها؛ مقیاس‌های بازیابی با اندازه پایگاه داده

بازیابی متن چیست؟

روشی که در آن LLMها اطلاعات خارجی مرتبط را در زمان استنتاج دریافت می‌کنند تا پاسخ‌های خود را بر اساس دانش به‌روز یا تخصصی بنا کنند.

  • تولید افزوده بازیابی (RAG) رایج‌ترین پیاده‌سازی است که توسط تحقیقات هوش مصنوعی فیس‌بوک در سال ۲۰۲۰ معرفی شد.
  • این ابزار برای ذخیره جاسازی‌های سند جهت جستجوی شباهت، به پایگاه‌های داده برداری مانند FAISS، Pinecone یا Weaviate متکی است.
  • متن بازیابی شده به اعلان تزریق می‌شود و به مدل اجازه می‌دهد منابع را ذکر کند و توهمات را کاهش دهد.
  • دانش را می‌توان به سادگی با اضافه کردن اسناد جدید، بدون آموزش مجدد مدل زیربنایی، به‌روزرسانی کرد.
  • این با مدل‌های منجمد کار می‌کند و آن را برای استقرارهای سازمانی با داده‌های اختصاصی مقرون‌به‌صرفه می‌سازد.

حافظه پارامتری در LLM ها چیست؟

دانشی که مستقیماً از طریق پیش‌آموزش و تنظیم دقیق در میلیاردها پارامتر یک مدل زبانی کدگذاری شده است.

  • طبق گزارش‌ها، GPT-4 شامل بیش از یک تریلیون پارامتر است که هر کدام بخش‌هایی از دانش آموخته‌شده را ذخیره می‌کنند.
  • حافظه پارامتری در طول آموزش خودنظارتی روی پیکره‌های متنی عظیم مانند Common Crawl به دست می‌آید.
  • این امر امکان استنتاج سریع را فراهم می‌کند، زیرا برای پرسش‌های دانش عمومی نیازی به جستجوی خارجی نیست.
  • به‌روزرسانی این حافظه نیازمند آموزش مجدد یا تنظیم دقیق پرهزینه‌ای است که اغلب میلیون‌ها دلار هزینه دارد.
  • با رویدادهای بسیار اخیر مشکل دارد زیرا داده‌های آموزشی دارای تاریخ پایان ثابتی هستند.

جدول مقایسه

ویژگی بازیابی متن حافظه پارامتری در LLM ها
محل ذخیره دانش پایگاه داده برداری خارجی یا مخزن اسناد وزن‌های (پارامترهای) مدل که درون آن کدگذاری شده‌اند
روش به‌روزرسانی اسناد را در فهرست اضافه یا تغییر دهید مدل را دوباره آموزش دهید یا تنظیم دقیق کنید
تأثیر تأخیر سربار بازیابی را اضافه می‌کند (معمولاً ۵۰ تا ۲۰۰ میلی‌ثانیه) بدون تأخیر اضافی فراتر از استنتاج مدل
خطر توهم وقتی بازیابی دقیق باشد، کمتر است برای حقایق مبهم یا جدید، بالاتر
مقیاس‌پذیری دانش مقیاس‌پذیری با اندازه پایگاه داده، تقریباً نامحدود محدود به تعداد پارامترها و داده‌های آموزشی
هزینه به‌روزرسانی کم (فقط هزینه‌های ذخیره‌سازی و فهرست‌بندی) بسیار بالا (ساعت کارکرد پردازنده گرافیکی، آماده‌سازی داده‌ها)
انتساب منبع می‌تواند به متون و اسناد دقیق استناد کند نمی‌توان به منابع آموزشی خاصی اشاره کرد
بهترین مورد استفاده داده‌های مختص دامنه و اغلب در حال تغییر استدلال عمومی، تسلط به زبان، دانش عمومی

مقایسه دقیق

چگونه دانش به دست می‌آید

بازیابی متن، با فهرست‌بندی اسناد و جستجوی آنها در زمان پرس‌وجو، دانش را به صورت پویا ایجاد می‌کند. خود مدل بدون تغییر باقی می‌ماند، اما دانش مؤثر آن هر زمان که مجموعه اسناد را گسترش می‌دهید، رشد می‌کند. حافظه پارامتری برعکس عمل می‌کند: دانش در طول آموزش به صورت به‌روزرسانی‌های وزنی فشرده می‌شود، بنابراین مدل همه چیز را به صورت داخلی حمل می‌کند. این تفاوت اساسی همه چیز را از هزینه گرفته تا دقت شکل می‌دهد.

دقت و توهم

سیستم‌های بازیابی اطلاعات در مورد سوالات واقعی کمتر دچار توهم می‌شوند، زیرا مدل می‌تواند به جای حدس زدن از الگوها، به متن منبع واقعی تکیه کند. با این حال، اگر بازیابی‌کننده اسناد نامربوط را بیرون بکشد، مدل همچنان می‌تواند با اطمینان پاسخ‌های اشتباه تولید کند. حافظه پارامتری بیشتر مستعد جعل است، به خصوص برای موضوعات خاص یا رویدادهای اخیر، زیرا مدل باید حقایق را از بازنمایی‌های فشرده بازسازی کند.

تازگی و نگهداری

به‌روز نگه‌داشتن حافظه پارامتری کار دشواری است. اضافه کردن اطلاعات جدید معمولاً به معنای تنظیم دقیق مدل است که به مجموعه داده‌های گزینش‌شده، زمان محاسبه و ارزیابی دقیق نیاز دارد. بازیابی متن با فراهم کردن امکان جابجایی اسناد در فهرست و خارج کردن آنها، این مشکل را کاملاً برطرف می‌کند. برای مثال، یک سازمان خبری می‌تواند از طریق بازیابی و بدون تغییر وزن‌های مدل، عناوین خبری امروز را به ربات چت خود ارائه دهد.

هزینه و زیرساخت

حافظه پارامتری نیازمند سرمایه‌گذاری اولیه سنگین در زیرساخت‌های آموزشی است، اما با استنتاج ارزان در مقیاس بزرگ، بازدهی خوبی دارد. بازیابی، هزینه‌ها را به سمت نگهداری یک پایگاه داده برداری و مدیریت تأخیر کمی بالاتر در هر پرس‌وجو تغییر می‌دهد. برای استارت‌آپ‌ها، بازیابی اغلب انتخاب عملی است زیرا از دوره‌های آموزشی چند میلیون دلاری که ارائه‌دهندگان مدل پایه جذب می‌کنند، اجتناب می‌کند.

انعطاف‌پذیری و تخصص‌گرایی

یک مدل پایه واحد می‌تواند از طریق بازیابی، دامنه‌های بسیار متفاوتی را پوشش دهد، زیرا شما فقط فهرست اسناد را عوض می‌کنید. آیا امروز یک دستیار حقوقی و فردا یک دستیار پزشکی می‌خواهید؟ پیکره بازیابی را تغییر دهید. حافظه پارامتری، تخصص را در خود مدل ایجاد می‌کند، به همین دلیل است که مدل‌های خاص دامنه مانند BloombergGPT وجود دارند، اما تطبیق آنها با دامنه‌های جدید نیاز به آموزش مجدد دارد.

رویکردهای ترکیبی

امروزه اکثر سیستم‌های تولید هر دو را با هم ترکیب می‌کنند. بازیابی، داده‌های پایه‌ای واقعی و اختصاصی را مدیریت می‌کند، در حالی که حافظه پارامتری، روانی زبان، توانایی استدلال و دانش عمومی جهان را فراهم می‌کند که پاسخ‌ها را منسجم می‌کند. چارچوب‌هایی مانند LangChain و LlamaIndex، لایه‌بندی بازیابی را بر روی هر مدل پایه‌ای آسان می‌کنند و دانش پارامتری را به عنوان پایه و بازیابی را به عنوان تقویت‌کننده در نظر می‌گیرند.

مزایا و معایب

بازیابی متن

مزایا

  • + به روز رسانی آسان
  • + منابع را ذکر می‌کند
  • + توهم را کاهش می‌دهد
  • + مقیاس‌پذیری مقرون‌به‌صرفه

مصرف شده

  • − تأخیر اضافه شده
  • − خطاهای بازیابی
  • − سربار زیرساخت
  • − محدود به کیفیت شاخص

حافظه پارامتری

مزایا

  • + استنتاج سریع
  • + عدم وابستگی به خارج
  • + استدلال قوی
  • + به طور کلی تعمیم می‌دهد

مصرف شده

  • − به‌روزرسانی گران‌قیمت
  • − محدودیت‌های دانش
  • − حقایق را توهم می زند
  • − منبع دانش مبهم

تصورات نادرست رایج

افسانه

RAG توهمات را در LLM ها به طور کامل از بین می برد.

واقعیت

بازیابی، توهمات مربوط به جستجوهای واقعی را کاهش می‌دهد اما آنها را از بین نمی‌برد. اگر بازیابی‌کننده اسناد نامربوط را بازیابی کند، یا اگر مدل زمینه را نادیده بگیرد، توهمات همچنان رخ می‌دهند. RAG مشکل را از شکاف‌های دانش به کیفیت بازیابی تغییر می‌دهد.

افسانه

مدل‌های بزرگ‌تر، حقایق بیشتری را با دقت بیشتری به خاطر می‌سپارند.

واقعیت

مدل‌های بزرگ‌تر به یک معنا دانش بیشتری را ذخیره می‌کنند، اما با اطمینان بیشتری نیز توهم می‌زنند. مطالعات نشان می‌دهد که حتی GPT-4 نیز استنادها را جعل می‌کند و آمارها را ابداع می‌کند، به خصوص در موضوعاتی که در داده‌های آموزشی کمتر نشان داده شده‌اند.

افسانه

حافظه پارامتری و بازیابی، رویکردهای رقیب هستند.

واقعیت

آنها مکمل یکدیگر هستند. سیستم‌های هوش مصنوعی مدرن تقریباً همیشه هر دو را با هم ترکیب می‌کنند، از دانش پارامتری برای استدلال و تسلط بر زبان استفاده می‌کنند و در عین حال از بازیابی برای پایه‌گذاری واقعی و داده‌های اختصاصی بهره می‌برند.

افسانه

تنظیم دقیق، حقایق جدید را به طور قابل اعتمادی به یک مدل آموزش می‌دهد.

واقعیت

تنظیم دقیق در آموزش سبک و قالب بهتر از تزریق دانش جدید است. مدل‌ها اغلب نمی‌توانند به طور مداوم حقایق آموخته شده از طریق تنظیم دقیق را به یاد بیاورند، پدیده‌ای که محققان آن را «نفرین تازگی» یا فراموشی فاجعه‌بار می‌نامند.

افسانه

پایگاه‌های داده برداری معنای متن را درک می‌کنند.

واقعیت

پایگاه‌های داده برداری، جاسازی‌های عددی را ذخیره کرده و جستجوی شباهت را انجام می‌دهند. آن‌ها معناشناسی را درک نمی‌کنند؛ آن‌ها فقط بردارهایی را پیدا می‌کنند که از نظر ریاضی نزدیک هستند. معنا از مدل جاسازی‌ای که آن بردارها را ایجاد کرده است، ناشی می‌شود.

سوالات متداول

تفاوت اصلی بین بازیابی زمینه و حافظه پارامتری چیست؟
بازیابی زمینه، اطلاعات را از منابع خارجی در زمان پرس‌وجو دریافت می‌کند، در حالی که حافظه پارامتری، دانش حاصل از آموزش را درون وزن‌های مدل ذخیره می‌کند. بازیابی پویا و قابل به‌روزرسانی است؛ حافظه پارامتری ایستا است و در طول آموزش وارد می‌شود.
چرا دانشجویان LLM با وجود حافظه پارامتری، دچار توهم می‌شوند؟
حافظه پارامتری، دانش را در قالب الگوهایی از میلیاردها پارامتر فشرده می‌کند، بنابراین مدل به جای یادآوری کلمه به کلمه پاسخ‌ها، آنها را بازسازی می‌کند. این فرآیند بازسازی می‌تواند گزاره‌های به ظاهر قابل قبول اما نادرستی تولید کند، به خصوص برای حقایق مبهم یا موضوعاتی با داده‌های آموزشی پراکنده.
آیا می‌توان از حافظه بازیابی و پارامتری با هم استفاده کرد؟
کاملاً. اکثر برنامه‌های کاربردی LLM در مرحله تولید از یک رویکرد ترکیبی استفاده می‌کنند که در آن دانش پارامتری مدل، استدلال و زبان را مدیریت می‌کند، در حالی که بازیابی، حقایق خاص، اطلاعات جدید یا داده‌های اختصاصی را ارائه می‌دهد. چارچوب‌هایی مانند LangChain پیاده‌سازی این ترکیب را ساده می‌کنند.
هزینه به‌روزرسانی حافظه پارامتری در مقابل بازیابی چقدر است؟
به‌روزرسانی بازیابی ممکن است چند دلار برای ذخیره‌سازی و محاسبات نمایه‌سازی هزینه داشته باشد. به‌روزرسانی حافظه پارامتری از طریق آموزش مجدد می‌تواند بسته به اندازه مدل، به علاوه هفته‌ها زمان مهندسی، از هزاران تا میلیون‌ها دلار هزینه داشته باشد. این شکاف هزینه دلیل محبوبیت بازیابی است.
آیا RAG با هر LLM کار می‌کند؟
بله، نسل افزوده بازیابی تقریباً با هر مدل زبانی، از جمله مدل‌های متن‌باز مانند Llama و Mistral، و همچنین APIهای اختصاصی مانند GPT-4 و Claude، کار می‌کند. مدل فقط باید دستورالعمل‌ها را دنبال کند و از متن بازیابی شده در اعلان خود استفاده کند.
پایگاه داده برداری چیست و چرا بازیابی به آن نیاز دارد؟
یک پایگاه داده برداری، متن را به صورت جاسازی‌های عددی ذخیره می‌کند که معنای معنایی را ثبت می‌کنند. وقتی از آن درخواست می‌کنید، اسنادی را پیدا می‌کند که جاسازی‌های آنها از نظر ریاضی مشابه سوال شما باشد. این امر امکان تطبیق بازیابی را بر اساس معنا به جای تطابق دقیق کلمات کلیدی فراهم می‌کند، که برای پرس‌وجوهای زبان طبیعی بسیار مهم است.
حافظه پارامتری یک مدل چقدر می‌تواند بزرگ شود؟
از نظر تئوری نامحدود، اما عملاً توسط محاسبات آموزشی و داده‌ها محدود شده است. تخمین زده می‌شود که GPT-4 بیش از یک تریلیون پارامتر داشته باشد، در حالی که مدل‌های متن‌باز مانند Llama 3 به ۴۰۵ میلیارد پارامتر می‌رسند. هر پارامتر قطعات کوچکی از دانش را ذخیره می‌کند، اما ظرفیت کل بسیار زیاد است.
آیا بازیابی اطلاعات کندتر از استفاده صرف از حافظه پارامتری است؟
بله، بازیابی اطلاعات باعث افزایش تأخیر می‌شود، معمولاً بین ۵۰ تا ۲۰۰ میلی‌ثانیه بسته به اندازه پایگاه داده و مدل جاسازی. برای اکثر برنامه‌ها این مقدار ناچیز است، اما سیستم‌های بلادرنگ مانند دستیارهای صوتی گاهی اوقات رویکردهای پارامتری خالص را برای به حداقل رساندن تأخیر پاسخ ترجیح می‌دهند.
آیا تنظیم دقیق می‌تواند جایگزین بازیابی دانش اختصاصی شود؟
قابل اعتماد نیست. تنظیم دقیق اغلب نمی‌تواند به طور مداوم حقایق خاص را آموزش دهد و مدل‌ها تمایل دارند جزئیات را فراموش یا مخلوط کنند. بازیابی برای دانش اختصاصی بسیار قابل اعتمادتر است زیرا به جای تکیه بر مدل برای یادآوری اطلاعات آموخته شده، اسناد دقیق را آشکار می‌کند.
چه اتفاقی می‌افتد وقتی که در مرحله بازیابی، هیچ سند مرتبطی پیدا نشود؟
این مدل به حافظه پارامتری خود بازمی‌گردد، به این معنی که اگر سوال خارج از داده‌های آموزشی آن باشد، ممکن است دچار توهم شود. سیستم‌های RAG خوب این مشکل را با پذیرش عدم قطعیت یا امتناع از پاسخ دادن در صورت پایین بودن اطمینان بازیابی، به خوبی مدیریت می‌کنند.
آیا LLM های جدیدتر هنوز نیاز به بازیابی دارند؟
بله، حتی پیشرفته‌ترین مدل‌ها نیز از بازیابی سود می‌برند زیرا داده‌های آموزشی آنها دارای تاریخ انقضا هستند و آنها به اطلاعات خصوصی یا اختصاصی دسترسی ندارند. بازیابی، دانش مؤثر آنها را بدون نیاز به آموزش مجدد گسترش می‌دهد و صرف نظر از میزان توانایی مدل پایه، آن را ارزشمند می‌کند.

حکم

وقتی داده‌هایتان مرتباً تغییر می‌کنند، وقتی به استناد منابع نیاز دارید، یا وقتی با دانش اختصاصی یا تخصصی کار می‌کنید که در مجموعه آموزشی مدل نبوده است، بازیابی زمینه را انتخاب کنید. برای استدلال عمومی، روانی مکالمه و سناریوهایی که تأخیر کم بیش از دقت کامل در بیان حقایق اهمیت دارد، به حافظه پارامتری تکیه کنید. در عمل، قوی‌ترین سیستم‌ها هر دو را با هم ترکیب می‌کنند، از بازیابی برای اثبات حقایق و از دانش پارامتری برای مدیریت هر چیز دیگری استفاده می‌کنند.

مقایسه‌های مرتبط

LLM های مبتنی بر ابزار در مقابل LLM های مستقل

LLM های مبتنی بر ابزار، مدل‌های زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشین‌حساب‌ها و پایگاه‌های داده گسترش می‌دهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکان‌پذیر می‌سازند. LLM های مستقل صرفاً به پارامترهای آموزش‌دیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از داده‌های آموزشی می‌کنند.

LLM های متن باز در مقابل API های اختصاصی LLM

LLM های متن باز، مدل‌های هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه می‌دهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه می‌دهند.

RAG (تولید افزوده بازیابی) در مقابل LLM های تنظیم دقیق

RAG و LLM های تنظیم‌شده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود می‌بخشند، اما به روش‌های اساساً متفاوتی عمل می‌کنند. RAG اطلاعات خارجی را در زمان پرس‌وجو دریافت می‌کند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزن‌های مدل قرار می‌دهد. انتخاب بین آنها بستگی به این دارد که داده‌های شما چند وقت یکبار تغییر می‌کنند و به چه نوع دقتی نیاز دارید.

RAG با متن بصری در مقابل RAG با متن فقط متنی

RAG با زمینه بصری، مدل‌های زبانی را با بازیابی تصاویر، نمودارها و دیاگرام‌ها در کنار متن غنی می‌کند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی ساده‌تر، سریع‌تر و ارزان‌تر برای استقرار باقی می‌ماند.

RAG چندوجهی در مقابل RAG فقط متنی

RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنی‌تر با هم پردازش می‌کند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا داده‌ها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.