Comparthing Logo
آییادگیری ماشینیال ال امکوانتیزاسیونلبه-هوش مصنوعیهوش مصنوعی

مدل‌های کوچک کوانتیزه شده در مقابل مدل‌های زبانی بزرگ در مقیاس مرکز داده

مدل‌های کوچک کوانتیزه‌شده، سیستم‌های هوش مصنوعی فشرده‌ای هستند که برای اجرای کارآمد روی سخت‌افزارهای مصرفی طراحی شده‌اند، در حالی که مدل‌های زبانی بزرگ در مقیاس مرکز داده، سیستم‌های عظیمی هستند که به هزاران پردازنده گرافیکی نیاز دارند. این بده‌بستان بر دسترسی و هزینه در مقابل قدرت و دقت استدلال خام متمرکز است.

برجسته‌ها

  • مدل‌های کوچک کوانتیزه شده می‌توانند روی لپ‌تاپ اجرا شوند در حالی که مدل‌های بزرگ به هزاران پردازنده گرافیکی (GPU) نیاز دارند.
  • استنتاج محلی با مدل‌های کوچک به این معنی است که داده‌های شما هرگز دستگاه شما را ترک نمی‌کنند.
  • مدل‌های بزرگ هنوز هم در استدلال پیچیده پیشرو هستند، اما این شکاف به سرعت در حال کاهش است.
  • هزینه‌های API برای مدل‌های بزرگ می‌تواند هزینه اولیه اجرای یک مدل کوچک به صورت محلی را کاهش دهد.

مدل‌های کوچک کوانتیزه شده چیست؟

مدل‌های فشرده هوش مصنوعی که برای اجرا روی لپ‌تاپ‌ها، تلفن‌ها و دستگاه‌های لبه‌ای با حافظه و محاسبات کمتر بهینه شده‌اند.

  • کوانتیزاسیون دقت مدل را از ۱۶ بیت یا ۳۲ بیت ممیز شناور به ۴ بیت یا ۸ بیت اعداد صحیح کاهش می‌دهد و اندازه را ۲ تا ۸ برابر کوچک می‌کند.
  • مدل‌هایی مانند Llama 3 8B، Phi-3 Mini و Mistral 7B می‌توانند پس از کوانتیزاسیون، با حداقل ۶ گیگابایت حافظه ویدیویی (VRAM) روی پردازنده‌های گرافیکی مصرف‌کننده اجرا شوند.
  • فرمت‌های کوانتیزاسیون محبوب شامل GGUF، GPTQ، AWQ و bitsandbytes هستند که هر کدام تعادل سرعت-کیفیت متفاوتی را ارائه می‌دهند.
  • مدل‌های کوانتیزه شده معمولاً در مقایسه با مدل‌های با دقت کامل، دقت ۱ تا ۵ درصد را در معیارها از دست می‌دهند، اگرچه کوانتیزه کردن تهاجمی ۴ بیتی می‌تواند عملکرد را به طور قابل توجهی کاهش دهد.
  • آنها استنتاج محلی را بدون ارسال داده به سرورهای خارجی فعال می‌کنند و همین امر آنها را برای برنامه‌های حساس به حریم خصوصی جذاب می‌کند.

مدل‌های زبان بزرگ در مقیاس مرکز داده چیست؟

مدل‌های عظیم هوش مصنوعی با صدها میلیارد پارامتر که در خوشه‌هایی از هزاران شتاب‌دهنده تخصصی آموزش دیده و به کار گرفته شده‌اند.

  • تخمین زده می‌شود که مدل‌های Frontier مانند GPT-4، Claude 3 Opus و Gemini Ultra بر اساس تحلیل‌های مقیاس‌بندی، بیش از یک تریلیون پارامتر را در خود جای داده‌اند.
  • آموزش یک مدل تک‌مرزی می‌تواند بیش از ۱۰۰ میلیون دلار فقط از نظر محاسباتی هزینه داشته باشد و مگاوات ساعت انرژی مصرف کند.
  • این مدل‌ها روی H100، A100 یا شتاب‌دهنده‌های سفارشی مانند TPUها و تراشه‌های Trainium در مراکز داده با ده‌ها هزار دستگاه اجرا می‌شوند.
  • آنها قابلیت‌های نوظهوری را در استدلال، کدنویسی و برنامه‌ریزی چندمرحله‌ای نشان می‌دهند که مدل‌های کوچک‌تر برای مطابقت با آن تلاش می‌کنند.
  • ارائه یک پرس‌وجوی واحد می‌تواند بسته به طول متن و اندازه مدل، 10 تا 100 برابر بیشتر از اجرای یک مدل کوچک کوانتیزه شده به صورت محلی هزینه داشته باشد.

جدول مقایسه

ویژگی مدل‌های کوچک کوانتیزه شده مدل‌های زبان بزرگ در مقیاس مرکز داده
تعداد پارامتر پارامترهای 1B تا 14B معمولاً پارامترهای ۱۰۰B تا ۱T+
الزامات حافظه رم ۴-۱۶ گیگابایتی (کوانتیزه شده) صدها گیگابایت در سراسر خوشه‌های پردازنده گرافیکی
سخت‌افزار مورد نیاز پردازنده گرافیکی یا حتی پردازنده مرکزی مصرف‌کننده مرکز داده با هزاران شتاب‌دهنده
هزینه استنتاج به ازای هر پرس‌وجو اساساً رایگان (فقط برق) بسته به ارائه دهنده، 0.001 تا 0.10 دلار یا بیشتر
توانایی استدلال برای کارهای روتین خوبه قوی در مسائل پیچیده چند مرحله‌ای
حریم خصوصی داده‌ها روی دستگاه شما باقی می‌مانند داده‌های ارسال شده به سرورهای شخص ثالث
تأخیر تقریباً فوری برای درخواست‌های کوتاه رفت و برگشت شبکه به علاوه زمان صف
قابلیت آفلاین کاملاً آفلاین پس از دانلود نیاز به اتصال مداوم به اینترنت
سفارشی‌سازی تنظیم دقیق آسان روی یک پردازنده گرافیکی واحد نیاز به زیرساخت‌های قابل توجه

مقایسه دقیق

عملکرد و قابلیت

مدل‌های مقیاس دیتاسنتر به طور مداوم در معیارهای چالش‌برانگیزی مانند MMLU، HumanEval و آزمون‌های استدلال سطح تحصیلات تکمیلی، عملکرد بهتری نسبت به مدل‌های کوچک کوانتیزه شده دارند. این شکاف بیشتر در کارهایی که نیاز به منطق چند مرحله‌ای، درک زمینه طولانی یا دانش تخصصی حوزه دارند، قابل مشاهده است. با این حال، برای کارهای روزمره مانند خلاصه‌سازی، کمک به کدنویسی اولیه و مکالمه‌های غیررسمی، یک مدل 7B یا 13B کوانتیزه شده خوب، اغلب نتایجی را ارائه می‌دهد که به طرز شگفت‌آوری نزدیک به مرز هستند. تفاوت عملکرد زمانی که یک مدل کوچک را برای مورد استفاده خاص خود تنظیم می‌کنید، بیشتر کاهش می‌یابد.

هزینه و دسترسی

اجرای یک مدل کوانتیزه شده به صورت محلی اساساً چیزی فراتر از برق هزینه ندارد، در حالی که دسترسی API به مدل‌های بزرگ در مقیاس بزرگ به سرعت افزایش می‌یابد. یک استارتاپ که میلیون‌ها سند را پردازش می‌کند، ممکن است ماهانه هزاران دلار برای فراخوانی‌های API هزینه کند، در حالی که همین حجم کار روی یک مدل کوانتیزه شده محلی تنها به یک سرمایه‌گذاری سخت‌افزاری یک‌باره نیاز دارد. مدل‌های کوچک، دسترسی به هوش مصنوعی را برای علاقه‌مندان، دانشجویان و توسعه‌دهندگان در مناطقی که هزینه‌های API گزاف است، همگانی می‌کنند. در همین حال، مدل‌های بزرگ تنها گزینه عملی هستند که به قابلیت‌های سطح بالا نیاز دارید بدون اینکه خودتان زیرساخت‌ها را مدیریت کنید.

حریم خصوصی و امنیت داده‌ها

مدل‌های کوانتیزه که به صورت محلی اجرا می‌شوند، تمام اعلان‌ها و خروجی‌ها را روی دستگاه شما نگه می‌دارند، که برای برنامه‌های مراقبت‌های بهداشتی، حقوقی و سازمانی که داده‌های حساس را مدیریت می‌کنند، بسیار مهم است. مدل‌های مرکز داده نیاز به اعتماد به شخص ثالث برای ورودی‌های شما دارند، حتی اگر ارائه دهندگان سیاست‌های سختگیرانه‌ای برای نگهداری داده‌ها ارائه دهند. صنایع تحت نظارت در امور مالی و دولتی اغلب به دلایل انطباق، هوش مصنوعی داخلی را اجباری می‌کنند و مدل‌های کوچک را تنها مسیر مناسب می‌دانند. این مزیت حریم خصوصی احتمالاً بزرگترین دلیل سرمایه‌گذاری شرکت‌ها در زیرساخت استنتاج محلی با وجود شکاف قابلیت است.

تلاش‌های استقرار و مهندسی

اجرای یک مدل کوانتیزه با استفاده از ابزارهایی مانند Ollama، LM Studio یا llama.cpp چند دقیقه طول می‌کشد و نیازی به تیم DevOps نیست. استقرار یک مدل frontier از طریق API نیز به همان اندازه ساده است، اما سفارشی‌سازی یا میزبانی مستقل آن به مهندسان ML، خطوط لوله MLOps و سرمایه قابل توجهی نیاز دارد. مدل‌های کوچک در سناریوهای نمونه‌سازی اولیه که در آن‌ها نیاز به تکرار سریع بدون هدر دادن بودجه دارید، می‌درخشند. مدل‌های بزرگ زمانی برنده می‌شوند که به عملکرد قابل اعتماد و در سطح تولید با پشتیبانی SLA فروشنده و بهبودهای مداوم نیاز دارید.

انرژی و تأثیرات زیست‌محیطی

یک مدل 7B کوانتیزه شده که روی یک لپ‌تاپ اجرا می‌شود، ممکن است در طول استنتاج 30 تا 80 وات مصرف کند، در حالی که یک پرس‌وجوی مرکز داده به یک مدل بزرگ، با در نظر گرفتن خنک‌کننده، شبکه و سربار سرور غیرفعال، انرژی بسیار بیشتری مصرف می‌کند. مطالعات تخمین می‌زنند که یک پرس‌وجوی مدل بزرگ می‌تواند 10 تا 100 برابر انرژی بیشتری نسبت به یک استنتاج مدل کوچک محلی مصرف کند. برای سازمان‌هایی که حجم پرس‌وجوهای بالایی را پردازش می‌کنند، تفاوت ردپای کربن قابل توجه می‌شود. مدل‌های کوچک مسیر پایدارتری را برای پذیرش هوش مصنوعی ارائه می‌دهند، اگرچه آموزش هر مدلی از ابتدا صرف نظر از اندازه، همچنان پرانرژی است.

مزایا و معایب

مدل‌های کوچک کوانتیزه شده

مزایا

  • + روی سخت‌افزار مصرفی اجرا می‌شود
  • + حریم خصوصی کامل داده‌ها
  • + بدون هزینه API مداوم
  • + کاملاً آفلاین کار می‌کند
  • + تنظیم دقیق آسان

مصرف شده

  • − در استدلال پیچیده ضعیف‌تر است
  • − پنجره‌های زمینه محدود
  • − کیفیت در پهنای بیت‌های پایین افت می‌کند
  • − در درخواست‌های طولانی کندتر عمل می‌کند

مدل‌های زبان بزرگ در مقیاس مرکز داده

مزایا

  • + استدلال پیشرفته
  • + پنجره‌های زمینه‌ای عظیم
  • + هیچ زیرساختی برای مدیریت وجود ندارد
  • + بهبود مستمر قابلیت‌ها

مصرف شده

  • − گران در مقیاس بزرگ
  • − داده‌ها از کنترل شما خارج می‌شوند
  • − نیاز به اتصال به اینترنت
  • − مصرف انرژی بالا

تصورات نادرست رایج

افسانه

کوانتیزاسیون کیفیت مدل را از بین می‌برد و خروجی‌ها را غیرقابل اعتماد می‌کند.

واقعیت

روش‌های مدرن کوانتیزاسیون مانند GPTQ و AWQ بیشتر عملکرد مدل اصلی را حفظ می‌کنند و اغلب در معیارهای استاندارد تنها ۱ تا ۳ درصد از عملکرد مدل اصلی را از دست می‌دهند. در اکثر کاربردهای عملی، کاربران نمی‌توانند بدون آزمایش دقیق، بین یک مدل ۴ بیتی کوانتیزه شده و نسخه با دقت کامل آن تمایز قائل شوند.

افسانه

مدل‌های بزرگ‌تر همیشه برای هر کاری بهتر هستند.

واقعیت

تحقیقات به طور مداوم نشان می‌دهد که برای وظایف محدود و به خوبی تعریف شده، یک مدل کوچک تنظیم‌شده اغلب با یک مدل بزرگ همه منظوره برابری می‌کند یا آن را شکست می‌دهد. فرض «هرچه بزرگتر، بهتر» وقتی که تأخیر، هزینه و توانایی تخصص از طریق تنظیم دقیق را در نظر بگیرید، از بین می‌رود.

افسانه

مدل‌های کوچک نمی‌توانند از پس کدنویسی یا کارهای فنی برآیند.

واقعیت

مدل‌هایی مانند CodeLlama 7B، DeepSeek-Coder 6.7B و Phi-3 Mini پس از کوانتیزاسیون، در معیارهای کدنویسی عملکرد چشمگیری دارند. اگرچه ممکن است در سخت‌ترین مسائل با GPT-4 برابری نکنند، اما وظایف روزمره کمک به کدنویسی، بررسی کد و مستندسازی را به خوبی انجام می‌دهند.

افسانه

اجرای مدل‌ها به صورت محلی برای کاربران غیرفنی بسیار پیچیده است.

واقعیت

ابزارهایی مانند Ollama، LM Studio و Jan، پیاده‌سازی مدل محلی را به سادگی نصب یک برنامه و کلیک روی دانلود، انجام داده‌اند. یک کاربر غیرفنی می‌تواند بدون نیاز به لمس ترمینال، در کمتر از پنج دقیقه یک مدل کوانتیزه شده را اجرا کند.

افسانه

مدل‌های بزرگ ایمن‌تر هستند زیرا شرکت‌ها سرمایه‌گذاری زیادی روی ایمنی انجام می‌دهند.

واقعیت

اقدامات ایمنی سمت ارائه‌دهنده، ریسک اساسی حریم خصوصی ارسال داده‌های حساس به سرورهای خارجی را از بین نمی‌برد. برای بارهای کاری واقعاً حساس، استنتاج محلی با یک مدل کوانتیزه، تمام دسته‌های ریسک از جمله نقض داده‌ها، افشای احضاریه و تغییرات سیاست‌های ارائه‌دهنده را حذف می‌کند.

سوالات متداول

کوانتیزاسیون در واقع چه تاثیری بر یک مدل دارد؟
کوانتیزاسیون، وزن‌های مدل را از قالب‌های با دقت بالا مانند FP16 یا FP32 به اعداد صحیح با دقت پایین‌تر مانند INT8 یا INT4 تبدیل می‌کند. این کار به طور چشمگیری استفاده از حافظه را کاهش می‌دهد و سرعت استنتاج را در سخت‌افزار سازگار افزایش می‌دهد، البته با هزینه‌ی کمی دقت عددی. دانش مدل دست نخورده باقی می‌ماند، اما توانایی آن برای نمایش محاسبات دقیق کمی کاهش می‌یابد.
آیا یک مدل کوانتیزه شده 7B واقعاً می‌تواند با GPT-4 رقابت کند؟
برای بسیاری از کارهای روزمره مانند تهیه پیش‌نویس ایمیل، خلاصه‌سازی مقالات، پاسخ به سوالات واقعی و کدنویسی پایه، یک مدل 7B کوانتیزه شده به اندازه‌ای خوب عمل می‌کند که اکثر کاربران متوجه تفاوت آن نمی‌شوند. با این حال، در استدلال چند مرحله‌ای پیچیده، حل مسئله جدید و کارهایی که نیاز به تخصص عمیق دارند، GPT-4 و مدل‌های مرزی مشابه، مزیت آشکاری را حفظ می‌کنند که کوانتیزه کردن نمی‌تواند آن را جبران کند.
برای اجرای مدل‌های کوانتیزه شده به چه مقدار حافظه ویدیویی (VRAM) نیاز دارم؟
یک مدل 7B کوانتیزه شده 4 بیتی تقریباً به 4 تا 6 گیگابایت حافظه ویدیویی (VRAM) نیاز دارد، در حالی که یک مدل 13B به حدود 8 تا 10 گیگابایت نیاز دارد. برای مدل‌های 70B با کوانتیزه شدن 4 بیتی، حداقل 40 گیگابایت حافظه ویدیویی لازم است، که معمولاً به معنای یک A100 یا چندین پردازنده گرافیکی مصرف‌کننده است. بسیاری از مدل‌های کوانتیزه شده همچنین می‌توانند روی CPU با سرعت کاهش یافته اجرا شوند، اگرچه یک پردازنده گرافیکی اختصاصی تفاوت زیادی ایجاد می‌کند.
آیا اجرای مدل‌های زبانی بزرگ ارزان‌تر می‌شود؟
بله، قیمت APIها در طول دو سال گذشته به طور قابل توجهی کاهش یافته است، زیرا رقابت افزایش یافته و کارایی استنتاج بهبود یافته است. مدل‌های کلاس GPT-4 که در اوایل سال 2024 به ازای هر میلیون توکن 30 دلار قیمت داشتند، اکنون با کسری از آن قیمت از ارائه دهندگان مختلف در دسترس هستند. با این حال، هزینه هنوز هم در مقیاس افزایش می‌یابد و استنتاج محلی پس از سرمایه‌گذاری اولیه سخت‌افزار رایگان باقی می‌ماند.
از کدام فرمت کوانتیزاسیون باید استفاده کنم؟
GGUF برای استنتاج CPU و Apple Silicon بهترین عملکرد را دارد، GPTQ با استنتاج سریع در GPUهای NVIDIA عالی عمل می‌کند، AWQ کیفیت بهتری را در عرض بیت‌های کم ارائه می‌دهد و bitsandbytes بارگذاری آسان ۴ بیتی و ۸ بیتی را برای گردش‌های کاری PyTorch فراهم می‌کند. برای اکثر کاربرانی که تازه شروع به کار کرده‌اند، GGUF با Ollama روان‌ترین تجربه را در بین انواع سخت‌افزار ارائه می‌دهد.
آیا مدل‌های بزرگ هم از کوانتیزاسیون استفاده می‌کنند؟
بله، حتی مدل‌های در مقیاس مرکز داده نیز اغلب از کوانتیزاسیون داخلی برای کاهش هزینه‌های سرویس‌دهی و افزایش توان عملیاتی استفاده می‌کنند. تکنیک‌هایی مانند استنتاج INT8 و ضرب ماتریسی با دقت پایین تخصصی، در زیرساخت‌های هوش مصنوعی تولیدی استاندارد هستند. تفاوت این است که ارائه‌دهندگان می‌توانند آموزش‌های تهاجمی‌تر و آگاه‌تر به کوانتیزاسیون را برای بازیابی کیفیت ارائه دهند.
آیا می‌توانم یک مدل کوانتیزه شده را به طور دقیق تنظیم کنم؟
بله، روش‌هایی مانند QLoRA امکان تنظیم دقیق مدل‌های کوانتیزه شده را با استفاده از حافظه‌ای به طرز شگفت‌آوری کم فراهم می‌کنند. شما می‌توانید یک مدل کوانتیزه شده ۴ بیتی ۷۰B را روی یک پردازنده گرافیکی ۴۸ گیگابایتی تنظیم دقیق کنید، چیزی که همین چند سال پیش به چندین A100 نیاز داشت. این امر سفارشی‌سازی را برای محققان انفرادی و تیم‌های کوچک قابل دسترسی می‌کند.
آیا مدل‌های کوچک در نهایت جایگزین مدل‌های بزرگ خواهند شد؟
احتمالاً نه کاملاً، اما شکاف توانایی سریع‌تر از آنچه اکثر متخصصان پیش‌بینی می‌کردند در حال پر شدن است. بهبود در کیفیت داده‌های آموزشی، نوآوری‌های معماری مانند ترکیب متخصصان و تکنیک‌های تنظیم دقیق‌تر به این معنی است که مدل‌های کوچک همچنان توانمندتر می‌شوند. بسیاری آینده‌ای را پیش‌بینی می‌کنند که در آن بیشتر استنتاج‌ها روی مدل‌های کوچک محلی اتفاق می‌افتد و مدل‌های بزرگ برای سخت‌ترین مسائل در نظر گرفته می‌شوند.
چگونه می‌توانم بین استنتاج محلی و استنتاج API برای پروژه‌ام یکی را انتخاب کنم؟
با فهرست کردن نیازهای خود شروع کنید: حساسیت داده‌ها، حجم پرس‌وجوی مورد انتظار، نیازهای تأخیر و بودجه. اگر با داده‌های حساس سروکار دارید یا انتظار حجم بالایی را دارید، استنتاج محلی معمولاً از نظر هزینه و حریم خصوصی برنده است. اگر به قابلیت‌های سطح بالا نیاز دارید و حجم متوسطی دارید، APIها نسبت قابلیت به تلاش بهتری ارائه می‌دهند. بسیاری از سیستم‌های تولیدی از هر دو استفاده می‌کنند، پرس‌وجوهای ساده را به صورت محلی و پرس‌وجوهای پیچیده را به مدل‌های بزرگ مسیریابی می‌کنند.
آیا مدل‌های کوانتیزه شده برای استفاده در تولید به اندازه کافی خوب هستند؟
کاملاً. شرکت‌هایی مانند Notion، Cursor و شرکت‌های مختلف، مدل‌های کوانتیزه را در محیط تولید برای ویژگی‌های خاص به کار می‌گیرند. نکته کلیدی، تطبیق اندازه مدل با پیچیدگی وظیفه و اعتبارسنجی کیفیت در مورد استفاده خاص شما قبل از انجام کار است. بسیاری از سیستم‌های تولید از مدل‌های کوانتیزه به عنوان موتور استنتاج اصلی خود با نتایج عالی استفاده می‌کنند.

حکم

وقتی حریم خصوصی، هزینه، تأخیر یا دسترسی آفلاین بیشترین اهمیت را دارند و وظایف شما در حوزه درک زبان روتین، کمک به کدنویسی یا تنظیم دقیق دامنه قرار می‌گیرند، مدل‌های کوچک کوانتیزه شده را انتخاب کنید. وقتی به قوی‌ترین استدلال ممکن نیاز دارید، نمی‌توانید زیرساخت را مدیریت کنید یا با مشکلاتی روبرو هستید که واقعاً به قابلیت‌های مرزی نیاز دارند، به سراغ مدل‌های زبانی بزرگ در مقیاس دیتاسنتر بروید. بسیاری از سیستم‌های تولیدی اکنون هر دو را با هم ترکیب می‌کنند و از مدل‌های کوچک برای کارهای ساده با حجم بالا و مدل‌های بزرگ به عنوان جایگزین برای پرس‌وجوهای پیچیده استفاده می‌کنند.

مقایسه‌های مرتبط

LLM های مبتنی بر ابزار در مقابل LLM های مستقل

LLM های مبتنی بر ابزار، مدل‌های زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشین‌حساب‌ها و پایگاه‌های داده گسترش می‌دهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکان‌پذیر می‌سازند. LLM های مستقل صرفاً به پارامترهای آموزش‌دیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از داده‌های آموزشی می‌کنند.

LLM های متن باز در مقابل API های اختصاصی LLM

LLM های متن باز، مدل‌های هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه می‌دهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه می‌دهند.

RAG (تولید افزوده بازیابی) در مقابل LLM های تنظیم دقیق

RAG و LLM های تنظیم‌شده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود می‌بخشند، اما به روش‌های اساساً متفاوتی عمل می‌کنند. RAG اطلاعات خارجی را در زمان پرس‌وجو دریافت می‌کند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزن‌های مدل قرار می‌دهد. انتخاب بین آنها بستگی به این دارد که داده‌های شما چند وقت یکبار تغییر می‌کنند و به چه نوع دقتی نیاز دارید.

RAG با متن بصری در مقابل RAG با متن فقط متنی

RAG با زمینه بصری، مدل‌های زبانی را با بازیابی تصاویر، نمودارها و دیاگرام‌ها در کنار متن غنی می‌کند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی ساده‌تر، سریع‌تر و ارزان‌تر برای استقرار باقی می‌ماند.

RAG چندوجهی در مقابل RAG فقط متنی

RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنی‌تر با هم پردازش می‌کند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا داده‌ها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.