Comparthing Logo
الذكاء الاصطناعيالتعلم الآليخرقةllmالتدريب بالذكاء الاصطناعي

الذكاء الاصطناعي المعزز بالبحث مقابل التدريب باستخدام مجموعة البيانات فقط

يستخلص الذكاء الاصطناعي المُعزز بالبحث معلومات مباشرة من مصادر خارجية عند الاستعلام، بينما يعتمد التدريب باستخدام مجموعة البيانات فقط كليًا على المعرفة المُضمنة في أوزان النموذج أثناء التدريب. ولكل نهج مزايا وعيوب خاصة به من حيث الدقة والتكلفة والحداثة، ومدى كفاءته في التعامل مع الأسئلة التي تقع خارج نطاق تدريبه الأصلي.

المميزات البارزة

  • يمكن للذكاء الاصطناعي المعزز بالبحث الوصول إلى المعلومات المنشورة منذ لحظات، بينما تبقى النماذج التي تعتمد على مجموعة البيانات فقط ثابتة عند حد التدريب الخاص بها.
  • عادةً ما تكون الأنظمة القائمة على الاسترجاع أقل عرضة للوهم لأنها تعتمد على مستندات المصدر الفعلية بدلاً من الذاكرة البارامترية.
  • تتيح لك تقنية RAG تحديث معرفة النموذج عن طريق تبديل المستندات في قاعدة البيانات، مما يجنبك تكلفة إعادة التدريب الكامل.
  • تتميز النماذج التي تعتمد على مجموعة البيانات فقط بسرعة أكبر لكل استعلام وتعمل دون اتصال بالإنترنت، مما يجعلها أكثر ملاءمة للمهام الإبداعية أو الحساسة لوقت الاستجابة.

ما هو الذكاء الاصطناعي المعزز بالبحث؟

أنظمة الذكاء الاصطناعي التي تسترجع وتدمج المعلومات الخارجية من محركات البحث أو قواعد البيانات في الوقت الفعلي عند إنشاء الاستجابات.

  • تم تقديم تقنية التوليد المعزز بالاسترجاع، والتي تُعرف اختصارًا باسم RAG، في ورقة بحثية نُشرت عام 2020 من قبل باتريك لويس وزملائه في قسم أبحاث الذكاء الاصطناعي في فيسبوك.
  • تستطيع الأنظمة المعززة بالبحث الوصول إلى المعلومات المنشورة بعد انتهاء فترة تدريبها، مما يمنحها ميزة كبيرة في حداثة المعلومات.
  • تعتمد نماذج مثل Perplexity AI و Bing Chat بشكل كبير على البحث المباشر على الويب لتأسيس إجاباتها على مصادر حديثة.
  • عادةً ما تقوم بنية RAG بربط مكون الاسترجاع بمكون المولد، مما يسمح للنظام بالاستشهاد بمستندات محددة.
  • تميل معدلات الهلوسة إلى الانخفاض بشكل ملحوظ عندما تستند النماذج إلى الأدلة المسترجعة بدلاً من الاعتماد على الذاكرة البارامترية وحدها.

ما هو التدريب باستخدام مجموعة البيانات فقط؟

نماذج الذكاء الاصطناعي التي تولد استجابات من الأنماط التي يتم تعلمها أثناء التدريب فقط، دون أي استرجاع خارجي أو الوصول إلى البيانات المباشرة.

  • تم تدريب نماذج اللغة الكبيرة GPT-3 و GPT-4 ومعظم النماذج اللغوية الكبيرة التي تم إصدارها قبل عام 2023 بشكل كامل على مجموعات بيانات ثابتة دون استرجاع في وقت الاستدلال.
  • تصبح المعرفة المضمنة في أوزان النموذج قديمة بمجرد انتهاء التدريب، مما يؤدي إلى إنشاء تاريخ قطع ثابت للمعرفة.
  • يمكن أن تكون النماذج البارامترية البحتة أسرع في الاستدلال لأنها تتجاوز خطوة الاسترجاع تمامًا.
  • قد يكلف تدريب نموذج كبير من الصفر ملايين الدولارات ويتطلب أسابيع من الحوسبة على آلاف وحدات معالجة الرسومات.
  • بدون استرجاع المعلومات، تقوم هذه النماذج أحيانًا بتلفيق حقائق تبدو معقولة ولكنها غير صحيحة، وهو سلوك يُعرف باسم الهلوسة.

جدول المقارنة

الميزة الذكاء الاصطناعي المعزز بالبحث التدريب باستخدام مجموعة البيانات فقط
مصدر المعرفة الاسترجاع المباشر من قواعد البيانات الخارجية أو من الإنترنت المعرفة الثابتة المضمنة في أوزان النموذج
حداثة المعلومات يمكن الوصول إلى البيانات المنشورة منذ لحظات يقتصر على تاريخ انتهاء التدريب
خطر الهلوسة أقل عند الاعتماد على المصادر المسترجعة أعلى، خاصة بالنسبة للمواضيع المتخصصة أو الحديثة
سرعة الاستدلال أبطأ بسبب تكاليف الاسترجاع الإضافية تمريرة أمامية واحدة أسرع عبر النموذج
التكلفة الحسابية انخفاض تكلفة التدريب، وارتفاع تكلفة الاستعلام الواحد تكلفة تدريب مرتفعة للغاية، وتكلفة منخفضة لكل استعلام
الشفافية يمكن الاستشهاد بمصادر ووثائق محددة مبهم، لا توجد آلية اقتباس مدمجة
إمكانية العمل دون اتصال بالإنترنت يتطلب الوصول إلى الشبكة أو قاعدة البيانات يعمل بشكل كامل دون اتصال بالإنترنت بعد التدريب.
قابلية توسيع المعرفة يمكن أن تنمو قاعدة المعرفة دون الحاجة إلى إعادة التدريب. لا تنمو المعرفة إلا من خلال إعادة التدريب المكلفة.
أفضل حالات الاستخدام البحث، ودعم العملاء، والتحقق من الحقائق، والأخبار الكتابة الإبداعية، البرمجة، المحادثة العامة

مقارنة مفصلة

كيفية وصولهم إلى المعرفة

يعمل الذكاء الاصطناعي المُعزز بالبحث على مرحلتين: أولاً، يسترجع المستندات ذات الصلة من فهرس بحث أو قاعدة بيانات متجهة أو من الإنترنت المباشر، ثم يُدخل هذه النصوص إلى نموذج لغوي يُولّد إجابة. أما النماذج التي تعتمد على مجموعة البيانات فقط، فتتجاوز خطوة الاسترجاع تمامًا وتعتمد على أنماط مُضغوطة في مليارات المعلمات أثناء التدريب. والفرق العملي هو أن نظام RAG يستطيع اقتباس مقال إخباري نُشر قبل ساعة، بينما لا يعلم النموذج الثابت بوجوده أصلاً.

الدقة والهلوسة

يُسهم ربط النموذج بالأدلة المسترجعة في الحد من التخمينات، لا سيما في المسائل الواقعية. وقد أظهرت دراسات أجرتها شركة Meta AI وغيرها أن أنظمة RAG تُنتج إجابات أكثر قابلية للتحقق، لأن النموذج يعتمد على النصوص المصدرية الفعلية بدلاً من التخمين. في المقابل، قد تُختلق النماذج التي تعتمد على مجموعات البيانات فقط إحصاءات أو اقتباسات أو تفاصيل سيرية تبدو صحيحة ظاهرياً، لكنها في الواقع مُختلقة تماماً. مع ذلك، لا يُزيل الاسترجاع التخمينات تماماً؛ إذ قد يُسيء النموذج تفسير المصادر التي يسترجعها أو يقتبس منها بشكل خاطئ.

التكلفة والبنية التحتية

يُعدّ تدريب نموذج لغوي ضخم من الصفر مكلفًا للغاية، إذ غالبًا ما تصل تكاليف الحوسبة إلى ملايين الدولارات، ويظل النموذج الناتج محدود المعرفة. تُغيّر الأنظمة المُعززة بالبحث هذه المعادلة: إذ يُمكن أن يكون النموذج الأساسي أصغر حجمًا وأقل تكلفة في التدريب، لكن كل استعلام يُكلّف أكثر بسبب خطوة الاسترجاع والرموز الإضافية المُضافة إلى نافذة السياق. بالنسبة للمؤسسات، يعني هذا أن أنظمة البحث المُعززة غالبًا ما تكون أكثر فعالية من حيث التكلفة عند الحاجة إلى معلومات حديثة دون الحاجة إلى إعادة تدريب نموذج قديم.

النضارة والقدرة على التكيف

إحدى أهم مزايا الذكاء الاصطناعي المُعزز بالبحث هي إمكانية تحديث معلوماته ببساطة عن طريق تحديث المستندات في فهرس الاسترجاع. هل تريد أن يتعرف النموذج على خط إنتاج جديد أو تغيير حديث في السياسة؟ ما عليك سوى إضافة المستندات. أما في حالة التدريب باستخدام مجموعات البيانات فقط، فإن تحديث المعلومات يتطلب جمع بيانات جديدة، وإعادة التدريب أو الضبط الدقيق، ثم إعادة النشر، وهي عملية قد تستغرق أسابيع. وهذا ما يجعل الذكاء الاصطناعي المُعزز بالبحث أكثر عمليةً في المجالات سريعة التطور كقطاعات التمويل والقانون والإعلام.

الشفافية والثقة

بفضل قدرة الأنظمة المُعززة بالبحث على تحديد الوثائق المُستخدمة بدقة، يُمكن للمستخدمين التحقق من صحة المعلومات والتعمق في المصادر. يُعدّ هذا مكسبًا هائلًا لتعزيز الثقة، لا سيما في مجالات الصحافة والبحث العلمي وتطبيقات المؤسسات. أما النماذج التي تعتمد على مجموعات البيانات فقط، فلا تُتيح أي وسيلة مُدمجة لتتبع مصدر الإجابة، مما يُصعّب عملية التدقيق. صحيح أن بعض النماذج الثابتة الحديثة تُحاول تقدير مستوى الثقة، إلا أنها لا تُضاهي إمكانية التحقق التي يُوفرها نظام يُظهر عمله بوضوح.

عندما يتألق كل نهج

يتفوق الذكاء الاصطناعي المُعزز بالبحث عندما تكون الدقة والحداثة ونسبة المصدر هي الأهم، كما هو الحال في مساعدي البحث الطبي، وتحليل الوثائق القانونية، أو روبوتات دعم العملاء التي تستقي معلوماتها من قاعدة معرفية. أما التدريب باستخدام مجموعات البيانات فقط، فلا يزال الخيار الأمثل للمهام التي لا تتطلب حقائق خارجية، مثل الكتابة الإبداعية، والعصف الذهني، وتوليد الأكواد، أو المحادثات العادية. في الواقع، تجمع العديد من أنظمة الإنتاج اليوم بين الطريقتين: نموذج أساسي قوي مُعزز بالاسترجاع، ليجمع أفضل ما في كلا النظامين.

الإيجابيات والسلبيات

الذكاء الاصطناعي المعزز بالبحث

المزايا

  • + محدّث دائمًا
  • + يستشهد بالمصادر
  • + تدريب أرخص
  • + تحديثات أسهل

تم

  • استدلال أبطأ
  • يحتاج إلى بنية تحتية
  • أخطاء الاسترجاع
  • تكلفة أعلى لكل استعلام

التدريب باستخدام مجموعة البيانات فقط

المزايا

  • + الاستدلال السريع
  • + يعمل دون اتصال بالإنترنت
  • + نشر سهل
  • + منطق قوي

تم

  • الحد الأدنى للمعرفة
  • زيادة خطر الهلوسة
  • إعادة تأهيل مكلفة
  • لا توجد مراجع للمصادر

الأفكار الخاطئة الشائعة

أسطورة

الذكاء الاصطناعي المعزز بالبحث لا يُصاب بالهلوسة على الإطلاق.

الواقع

يُقلل نظام RAG من الهلوسات، لكنه لا يقضي عليها تمامًا. لا يزال بإمكان النموذج إساءة قراءة النصوص المسترجعة أو اقتباسها بشكل خاطئ أو دمجها بطرق مُضللة. جودة الاسترجاع بالغة الأهمية؛ فالمصادر الرديئة تُؤدي إلى إجابات خاطئة.

أسطورة

لا يمكن للنماذج التي تعتمد على مجموعة البيانات فقط أن تعرف أي شيء جديد بعد التدريب.

الواقع

على الرغم من أن معرفتهم بالمعايير ثابتة، إلا أنه لا يزال بالإمكان ضبطها بدقة أو تزويدها بمعلومات جديدة من خلال التنبيهات ورسائل النظام. لكن هذا الأمر ليس تلقائيًا ويتطلب جهدًا مقصودًا.

أسطورة

RAG ليس سوى محرك بحث فاخر.

الواقع

يجمع الذكاء الاصطناعي المعزز بالبحث بين استرجاع المعلومات ونموذج توليدي يقوم بتوليف وتلخيص وتحليل المحتوى المسترجع. فهو لا يقتصر على عرض الروابط فحسب، بل ينتج إجابات أصلية وسياقية تستند إلى تلك المصادر.

أسطورة

النماذج الأكبر حجماً التي يتم تدريبها على المزيد من البيانات لا تحتاج إلى استرجاع.

الواقع

حتى أكبر النماذج، بما في ذلك GPT-4 وClaude، تستفيد من استرجاع المعلومات لضمان دقة المعلومات وحداثتها. يساعد الحجم على الاستدلال والطلاقة، لكنه لا يحل مشكلة انقطاع المعرفة ولا يضمن دقة المعلومات.

أسطورة

تتميز الأنظمة المعززة بالبحث بدقة أعلى دائماً.

الواقع

تعتمد الدقة بشكل كبير على جودة فهرس الاسترجاع وقدرة النموذج على استخدام السياق المسترجع. قد يكون أداء مسار RAG سيئ التكوين أسوأ من أداء نموذج ثابت مدرب جيدًا في بعض المهام.

الأسئلة المتداولة

ما هو التوليد المعزز بالاسترجاع (RAG)؟
تقنية RAG هي أسلوب يستخدمه نموذج الذكاء الاصطناعي لاسترجاع المستندات ذات الصلة من مصدر خارجي، مثل قاعدة بيانات متجهة أو الإنترنت، قبل توليد الاستجابة. تُغذّى المقاطع المسترجعة إلى سياق النموذج، مما يجعل الإجابة تستند إلى معلومات حقيقية. وقد تمّت صياغة هذا النهج رسميًا في ورقة بحثية نُشرت عام 2020 من قِبل قسم أبحاث الذكاء الاصطناعي في فيسبوك، وأصبح منذ ذلك الحين حجر الزاوية في تطبيقات الذكاء الاصطناعي الحديثة.
لماذا تُصاب نماذج الذكاء الاصطناعي بالهلوسة؟
تحدث الهلوسات عندما يُنتج نموذجٌ ما معلوماتٍ تبدو معقولةً ظاهريًا، لكنها غير صحيحةٍ من الناحية الواقعية. تُدرَّب نماذج اللغة على التنبؤ بالكلمة التالية، لا على التحقق من صحتها، لذا فهي أحيانًا تملأ الفراغات بتخميناتٍ تبدو واثقةً. إن ربط الاستجابات بالمصادر المُسترجعة، كما يفعل نموذج RAG، يُقلل هذه المشكلة بشكلٍ كبيرٍ من خلال تزويد النموذج بأدلةٍ فعليةٍ يستند إليها.
هل يمكن للذكاء الاصطناعي المعزز بالبحث أن يعمل دون اتصال بالإنترنت؟
ليس بالمعنى التقليدي. تحتاج أنظمة البحث المعزز إلى الوصول إلى فهرس استرجاع، وهو ما يعني عادةً قاعدة بيانات أو مخزن بيانات متجهية أو اتصالاً بالإنترنت. مع ذلك، يمكنك تشغيل نظام بحث معزز بالكامل دون اتصال بالإنترنت باستخدام قاعدة بيانات متجهية محلية مثل FAISS أو Chroma مع تخزين المستندات على جهازك. لا يحتاج النموذج نفسه إلى الإنترنت، لكن مكون الاسترجاع يحتاج إلى مصدر بيانات متاح.
كم تبلغ تكلفة تدريب نموذج لغوي كبير؟
قد تتراوح تكلفة تدريب نموذج متطور مثل GPT-4 أو Gemini بين عشرات الملايين وأكثر من مئة مليون دولار، وذلك بحسب حجمه ومدة تدريبه. أما النماذج الأصغر مفتوحة المصدر التي تتراوح معلماتها بين 7 مليارات و70 مليارًا، فيمكن تدريبها بتكلفة تتراوح بين عشرات الآلاف وبضعة ملايين من الدولارات. غالبًا ما تتجنب أساليب البحث المعزز هذه التكلفة تمامًا باستخدام نماذج أصغر مقترنة بتقنيات الاسترجاع.
أيهما أفضل لروبوتات الدردشة الخاصة بدعم العملاء؟
يُعدّ الذكاء الاصطناعي المُعزّز بالبحث الخيار الأمثل لدعم العملاء، إذ يُمكنه استخلاص الإجابات مباشرةً من قاعدة المعرفة، أو وثائق المنتج، أو مقالات مركز المساعدة. وهذا يعني أن الردود تبقى مُحدّثة مع تطوّر منتجاتك وسياساتك، كما يُمكن للروبوت الإشارة إلى المقالة المُناسبة التي ينبغي على العميل قراءتها. أما النموذج الذي يعتمد على مجموعة البيانات فقط، فيحتاج إلى إعادة تدريب مُستمرة لمواكبة التغييرات.
هل تستخدم جميع أنظمة الذكاء الاصطناعي الحديثة نظام الألوان (RAG)؟
لا تعتمد جميعها على الاسترجاع، ولكن عددًا متزايدًا منها يفعل ذلك. تعتمد منتجات مثل Perplexity وBing Chat وNotion AI بشكل كبير على الاسترجاع. بينما تعمل منتجات أخرى، مثل الإصدارات الأساسية من GPT-4 أو Claude، بدون استرجاع افتراضيًا، ولكن يمكن ربطها بأدوات الاسترجاع من خلال واجهات برمجة التطبيقات وأطر العمل مثل LangChain أو LlamaIndex. وتجمع العديد من تطبيقات المؤسسات الآن بين كلا النهجين.
ما هو الحد الفاصل للمعرفة؟
يُعرَّف حد المعرفة بأنه التاريخ الذي لا يمتلك بعده النموذج أي معلومات من بيانات تدريبه. على سبيل المثال، تمتد بيانات تدريب GPT-4 إلى تاريخ معين، وأي بيانات تُنشر بعد ذلك التاريخ لن تكون موجودة في ذاكرته البارامترية. تتجاوز الأنظمة المُعززة بالبحث هذا القيد من خلال استرجاع معلومات جديدة عند الاستعلام، مما يُلغي فعليًا أي حد للمعرفة لديها.
هل يمكنني إضافة ألوان وأشكال هندسية (RAG) إلى نموذج موجود؟
نعم، وهذا شائع جدًا. يمكنك تغليف أي نموذج لغوي تقريبًا بطبقة استرجاع باستخدام أطر عمل مثل LangChain أو LlamaIndex أو Haystack. لا يحتاج النموذج نفسه إلى إعادة تدريب؛ كل ما تحتاجه هو قاعدة بيانات متجهة لمستنداتك وأداة استرجاع تجد المقاطع ذات الصلة لإدراجها في النص المطلوب. هذه إحدى أسرع الطرق لمنح نموذج ثابت إمكانية الوصول إلى معلومات خاصة أو محدّثة.
هل الذكاء الاصطناعي المعزز بالبحث أكثر أماناً؟
يعتمد الأمر على الإعداد. قد يكون نموذج RAG أكثر أمانًا من بعض النواحي لأن البيانات الحساسة تبقى في قاعدة البيانات التي تتحكم بها بدلًا من تضمينها في أوزان النموذج. مع ذلك، فإنه يُضيف أيضًا ثغرات أمنية جديدة، مثل حقن البيانات عبر المستندات المُسترجعة. أما النماذج التي تعتمد على مجموعة البيانات فقط، فتُبقي كل شيء في مكان واحد، لكنها قد تُسرّب بيانات التدريب من خلال الحفظ. كلا النهجين يتطلبان تصميمًا أمنيًا دقيقًا.
هل سيحل نظام RAG محل التدريب التقليدي للنماذج؟
من غير المرجح، على الأقل ليس كليًا. يُكمّل نظام RAG التدريب بدلًا من أن يحل محله. فالنموذج المُدرّب جيدًا لا يزال بحاجة إلى قدرات استدلالية قوية، وفهم للغة، واتباع التعليمات، وهي مهارات لا يوفرها الاسترجاع. تستخدم الأنظمة الأكثر فعالية نموذجًا أساسيًا قويًا مُعززًا بالاسترجاع، ما يمنحها قوة الاستدلال التي يوفرها التدريب وحداثة البحث.

الحكم

إذا كان تطبيقك يتطلب معلومات حديثة، ومصادر موثوقة، والقدرة على تحديث المعرفة دون الحاجة إلى إعادة التدريب، فإن الذكاء الاصطناعي المُعزز بالبحث هو الخيار الأمثل. أما إذا كنت تُعطي الأولوية لسرعة الاستدلال الخام، أو التشغيل دون اتصال بالإنترنت، أو المهام الإبداعية التي لا تتطلب أساسًا واقعيًا كبيرًا، فإن التدريب باستخدام مجموعات البيانات فقط يظل خيارًا قويًا وأبسط في كثير من الأحيان. عمليًا، تجمع الأنظمة الحديثة الأكثر كفاءة بين كلا النهجين بدلًا من الالتزام بأحدهما بشكل مطلق.

المقارنات ذات الصلة

RAG (التوليد المعزز بالاسترجاع) مقابل نماذج LLM المُحسَّنة

يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.

آليات الانتباه الذاتي مقابل نماذج فضاء الحالة

تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.

آليات الانتباه في الرؤية مقابل الانتباه في معالجة اللغة الطبيعية

تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.

أساليب الممثل-الناقد مقابل أساليب تدرج السياسة البحتة

تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.

أساليب تعلم الرسم البياني الزمني مقابل أساليب نمذجة التسلسل

تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.