दृश्य संदर्भासहित RAG, मजकुरासोबत प्रतिमा, चार्ट आणि आकृत्या मिळवून भाषा मॉडेल्सना समृद्ध करते, तर केवळ मजकूर-आधारित RAG फक्त लिखित उताऱ्यांवर अवलंबून असते. दृश्य RAG दस्तऐवज आकलन आणि दृश्य प्रश्नोत्तर यांसारख्या बहुविध माध्यमांच्या कार्यांमध्ये उत्कृष्ट ठरते, तर केवळ मजकूर-आधारित RAG तैनात करण्यासाठी अधिक सोपे, जलद आणि स्वस्त राहते.
एक पुनर्प्राप्ती-संवर्धित निर्मिती पद्धत जी भाषा मॉडेलच्या प्रतिसादांना आधार देण्यासाठी प्रतिमा, आकृत्या आणि दृश्य डेटा वापरते.
एक पारंपरिक पुनर्प्राप्ती-संवर्धित निर्मिती सेटअप, जो केवळ दस्तऐवजांमधील लिखित उताऱ्यांचा वापर करून भाषा मॉडेल्सना आधार देतो.
| वैशिष्ट्ये | दृश्य संदर्भासह RAG | केवळ मजकूर संदर्भासह RAG |
|---|---|---|
| इनपुट मोडॅलिटी | मजकूर + प्रतिमा + दृश्य डेटा | फक्त मजकूर |
| पुनर्प्राप्ती पद्धत | बहुविध एम्बेडिंग (उदा., ColPali, CLIP) | मजकूर एम्बेडिंग (उदा., BGE, OpenAI ada) |
| यासाठी सर्वोत्तम | चार्ट, आकृत्या, स्कॅन केलेली कागदपत्रे, व्हिज्युअल गुणवत्ता तपासणी | लेख, वारंवार विचारले जाणारे प्रश्न, कोड, संरचित मजकूर |
| गुंतागुंत | उच्च — व्हिजन एन्कोडर आणि अधिक स्टोरेजची आवश्यकता आहे | खालचा भाग — सोप्या पाइपलाइन आणि इंडेक्सिंग |
| खर्च | इमेज प्रोसेसिंग आणि टोकन वापरामुळे जास्त | खाली, विशेषतः लहान मजकूर तुकड्यांसह |
| विलंब | इमेज एन्कोडिंगमुळे किंचित जास्त | साधारणपणे अधिक वेगवान |
| OCR अवलंबित्व | थेट प्रतिमा पुनर्प्राप्तीद्वारे अनेकदा काढून टाकले जाते | स्कॅन केलेल्या किंवा प्रतिमा-आधारित PDF साठी आवश्यक |
| उदाहरण मॉडेल | GPT-4V, मिथुन 1.5, LLaVA, Qwen-VL | जीपीटी-४, क्लॉड, मिस्ट्रल, लामा ३ |
केवळ मजकूर-आधारित RAG एका प्रचलित मार्गाचे अनुसरण करते: दस्तऐवजांचे तुकडे केले जातात, त्यांना वेक्टर्समध्ये एम्बेड केले जाते आणि साम्य शोधासाठी डेटाबेसमध्ये संग्रहित केले जाते. व्हिज्युअल RAG एक मूलभूतपणे वेगळा दृष्टिकोन स्वीकारते, ज्यात संपूर्ण पृष्ठे किंवा प्रतिमा व्हिज्युअल एम्बेडिंग म्हणून एन्कोड केल्या जातात. यामुळे प्रणालीला केवळ शब्दांऐवजी मांडणी, आलेख आणि आकृत्यांच्या आधारावर माहिती मिळवता येते. या बदलामुळे व्हिज्युअल RAG आलेख, तक्ते किंवा हस्तलिखित नोंदींमध्ये असलेली माहिती शोधू शकते, जी OCR द्वारे विद्रूप केली जाऊ शकते.
जेव्हा दस्तऐवजांमध्ये आर्थिक चार्ट, अभियांत्रिकी आकृत्या किंवा वैद्यकीय प्रतिमांसारखी समृद्ध दृश्ये असतात, तेव्हा व्हिज्युअल RAG केवळ मजकूर-आधारित पद्धतींपेक्षा अधिक चांगली कामगिरी करते. DocVQA आणि ChartQA बेंचमार्कवरील अभ्यासातून असे दिसून आले आहे की, मजकुरासोबत मिळवलेल्या प्रतिमा प्राप्त करणारे मॉडेल, केवळ काढलेल्या मजकुरावर अवलंबून असलेल्या मॉडेलपेक्षा प्रश्नांची अधिक अचूक उत्तरे देतात. तथापि, ब्लॉग पोस्ट किंवा कोड रिपॉझिटरीजसारख्या पूर्णपणे मजकूर-आधारित स्रोतांसाठी, केवळ मजकूर-आधारित RAG कोणत्याही अतिरिक्त भाराशिवाय तितकीच चांगली कामगिरी करते.
व्हिज्युअल RAG तुमच्या पायाभूत सुविधांवर अधिक भार टाकते. इमेज एम्बेडिंग साठवण्यासाठी जास्त डिस्क स्पेस लागते, ColPali सारख्या व्हिजन एन्कोडर्सना कार्यक्षमतेने चालवण्यासाठी GPU ची आवश्यकता असते, आणि लँग्वेज मॉडेल्समध्ये इमेजेस फीड करण्यासाठी साध्या टेक्स्टपेक्षा खूप जास्त टोकन्स लागतात. बहुतेक टीम्ससाठी, विशेषतः जेव्हा व्हिज्युअल इंटरप्रिटेशनची आवश्यकता नसलेल्या लेखांच्या किंवा डॉक्युमेंटेशनच्या मोठ्या कॉर्पोरासोबत काम करायचे असते, तेव्हा टेक्स्ट-ओन्ली RAG हा एक किफायतशीर पर्याय ठरतो.
जेव्हा तुमच्या नॉलेज बेसमध्ये स्कॅन केलेले PDF, स्लाईड डेक, फोटोंसहित उत्पादन कॅटलॉग किंवा अशी कोणतीही सामग्री समाविष्ट असते जिथे दृश्य मांडणीला महत्त्व असते, तेव्हा व्हिज्युअल RAG निवडा. केवळ मजकूर-आधारित RAG हे कस्टमर सपोर्ट विकी, साध्या मजकुरातील कायदेशीर करार, कोड डॉक्युमेंटेशन आणि संभाषणात्मक एजंटसाठी उत्तम ठरते, जिथे दृश्य सुस्पष्टतेपेक्षा वेग आणि खर्च अधिक महत्त्वाचे असतात. अनेक प्रोडक्शन सिस्टीम आता या दोन्हींचा मेळ घालतात, ज्यात काही प्रश्नांसाठी मजकूर आणि इतरांसाठी प्रतिमा मिळवल्या जातात.
व्हिज्युअल रॅगसाठी प्रतिमांवर प्रक्रिया करण्यास सक्षम असलेल्या मल्टीमोडल मॉडेलची आवश्यकता असते, जसे की GPT-4V, Claude 3.5 Sonnet, Gemini 1.5 Pro, किंवा LLaVA आणि Qwen-VL सारखे ओपन-सोर्स पर्याय. टेक्स्ट-ओन्ली रॅग अक्षरशः कोणत्याही लँग्वेज मॉडेलसोबत काम करते, ज्यात Llama 3 8B किंवा Mistral 7B सारख्या लहान ओपन-वेट मॉडेल्सचा समावेश आहे, ज्यामुळे ते सामान्य हार्डवेअरवरही वापरता येते. जसजसे अधिक मॉडेल्स व्हिजन क्षमता मिळवत आहेत, तसतशी ही सुसंगततेतील तफावत कमी होत आहे, परंतु आजही टेक्स्ट-ओन्ली सेटअप्स अधिक व्यापक वापराचे पर्याय देतात.
व्हिज्युअल रॅग हे टेक्स्ट-ओन्ली रॅगची जागा पूर्णपणे घेते.
व्हिज्युअल RAG हे केवळ मजकूर-आधारित पद्धतींची जागा घेण्याऐवजी त्यांना पूरक ठरते. लेख किंवा कोड यांसारख्या पूर्णपणे मजकूर-आधारित संकलनांसाठी, केवळ मजकूर-आधारित पुनर्प्राप्ती अजूनही अधिक वेगवान आणि तितकीच अचूक आहे. बहुतेक उत्पादन प्रणालींना हायब्रीड सेटअपचा फायदा होतो, जो क्वेरींना योग्य रिट्रीव्हरकडे पाठवतो.
केवळ मजकूर असलेला RAG, प्रतिमा असलेल्या दस्तऐवजांना अजिबात हाताळू शकत नाही.
केवळ मजकूर असलेले RAG (Text-only RAG) सुद्धा, आधी OCR चालवून आणि त्यातून काढलेल्या मजकुराची सूची तयार करून, प्रतिमा असलेल्या दस्तऐवजांवर प्रक्रिया करू शकते. याची गुणवत्ता मोठ्या प्रमाणावर OCR पाइपलाइनवर अवलंबून असते आणि गुंतागुंतीच्या मांडणीमुळे अनेकदा अर्थहीनता येते, परंतु बऱ्याच उपयोगांसाठी हा एक व्यवहार्य दृष्टिकोन आहे.
केवळ मजकूर असलेल्या RAG पेक्षा व्हिज्युअल RAG नेहमीच अधिक चांगली उत्तरे देतो.
जेव्हा मिळवलेली दृश्य माहिती खरोखरच क्वेरीशी संबंधित असते, तेव्हाच व्हिज्युअल RAG हे टेक्स्ट-ओन्ली RAG पेक्षा सरस ठरते. गद्य, कोड किंवा संरचित मजकुराविषयीच्या प्रश्नांसाठी, प्रतिमा जोडल्याने अचूकता न सुधारता अनावश्यक गोंधळ निर्माण होऊ शकतो आणि खर्च वाढू शकतो.
व्हिज्युअल रॅग करण्यासाठी तुम्हाला GPT-4V किंवा जेमिनीची आवश्यकता आहे.
LLaVA, Qwen-VL, InternVL, आणि MiniCPM-V सारखे ओपन-सोर्स मॉडेल्स व्हिज्युअल RAG ची कामे प्रभावीपणे हाताळू शकतात. ColPali सारख्या रिट्रीव्हर्ससोबत जोडलेले लहान व्हिजन एन्कोडर्स ग्राहक GPU वर चालतात, ज्यामुळे मालकी हक्काच्या API शिवाय व्हिज्युअल RAG वापरता येते.
व्हिज्युअल रॅग उत्पादन वापरासाठी खूप महाग आहे.
जरी व्हिज्युअल RAG चा खर्च केवळ मजकूर-आधारित RAG पेक्षा जास्त असला तरी, इमेज कॉम्प्रेशन, एम्बेडिंग कॅशिंग आणि सिलेक्टिव्ह रिट्रीव्हल यांसारखी तंत्रे खर्च आवाक्यात ठेवतात. कायदेशीर, आरोग्यसेवा आणि वित्त यांसारख्या, कागदपत्रांचा मोठ्या प्रमाणावर वापर होणाऱ्या उद्योगांसाठी, अचूकतेतील वाढ अनेकदा खर्चाचे समर्थन करते.
जेव्हा तुमच्या डेटामध्ये प्रतिमांचे प्रमाण जास्त असते किंवा जेव्हा लेआउट, चार्ट्स आणि आकृत्यांना महत्त्वपूर्ण अर्थ असतो, तेव्हा व्हिज्युअल RAG निवडा — डॉक्युमेंट AI आणि व्हिज्युअल प्रश्नोत्तरांसाठी हा एक स्पष्ट विजेता आहे. पारंपरिक नॉलेज बेस, जलद डिप्लॉयमेंट आणि कमी खर्चासाठी केवळ मजकूर-आधारित RAG वापरा, विशेषतः जेव्हा तुमची सामग्री आधीच स्वच्छ मजकूर स्वरूपात असेल. अनेक टीम्सना हायब्रीड पद्धत सर्वोत्तम वाटते, ज्यात क्वेरीचा प्रकार कोणता पुनर्प्राप्ती मार्ग निवडायचा हे ठरवतो.
RAG मधील इमेज ग्राउंडिंग, दस्तऐवजांमधून मिळवलेल्या दृश्य पुराव्यांशी AI च्या प्रतिसादांना जोडते, ज्यामुळे भ्रम कमी होतो आणि तथ्यात्मक अचूकता सुधारते. अनग्राउंडेड मजकूर निर्मिती केवळ प्रशिक्षण डेटामधील पॅरामीट्रिक ज्ञानावर अवलंबून असते, ज्यामुळे पडताळण्यायोग्य स्रोतांशिवाय अस्खलित परंतु संभाव्यतः बनावट आउटपुट तयार होतात.
अनिर्बंध स्थानिक मॉडेल्स कोणत्याही कंटेंट फिल्टर्सशिवाय तुमच्या स्वतःच्या हार्डवेअरवर चालतात, ज्यामुळे तुम्हाला पूर्ण नियंत्रण आणि गोपनीयता मिळते. नियंत्रित व्यावसायिक APIs अंगभूत सुरक्षा फिल्टर्ससह होस्टेड AI, सुलभ सेटअप आणि प्रमुख प्रदात्यांकडून निरंतर समर्थन देतात.
या सविस्तर तुलनेमध्ये, स्थिर वर्तनाच्या स्वयंचलन प्रणालींच्या तुलनेत अनुकूलनशील बुद्धिमत्ता इंजिनांचे रचनात्मक फरक, कार्यान्वयन मर्यादा आणि प्रत्यक्ष कार्यप्रदर्शन यांचा शोध घेतला जातो. नवीन पर्यावरणीय माहितीमधून सतत शिकणाऱ्या प्रणाली, ताठर आणि पूर्वानुमेय नियमांवर आधारित चौकटींपुढे कशा टिकतात, हे आपण पाहतो.
एआय वर्कलोडमधील कार्यक्षमता सुधारण्यासाठी सिक्वेन्स पॅरललायझेशन आणि सिक्वेन्शियल प्रोसेसिंग ऑप्टिमायझेशन या दोन वेगवेगळ्या कार्यनीती आहेत. एकीकडे ट्रेनिंग आणि इन्फरन्सचा विस्तार करण्यासाठी सिक्वेन्स कम्प्युटेशन अनेक डिव्हाइसेसवर वितरित करण्यावर लक्ष केंद्रित केले जाते, तर दुसरीकडे एकाच प्रोसेसिंग फ्लोमध्ये टप्प्याटप्प्याने होणाऱ्या अंमलबजावणीची कार्यक्षमता सुधारून, लेटन्सी आणि कम्प्युटेशनल ओव्हरहेड कमी केले जाते.
अनुक्रमिक निर्णय प्रक्रिया आणि एक-चरण भाकित मॉडेल हे एआयमधील दोन मूलभूतपणे भिन्न दृष्टिकोन आहेत. अनुक्रमिक पद्धती विविध कालावधीत कृतींना अनुकूलित करतात, तर एक-चरण मॉडेल भविष्यातील परिणामांचा विचार न करता एकाच वेळेच्या भाकितांवर लक्ष केंद्रित करतात.
