इमेज-टेक्स्ट अलाइनमेंट मॉडल बनाम इंडिपेंडेंट मोडैलिटी मॉडल

छवि-पाठ संरेखण मॉडल क्या है?

न्यूरल नेटवर्क को पेयर्ड इमेज-कैप्शन डेटा पर ट्रेन किया जाता है ताकि एक कॉमन एम्बेडिंग स्पेस में शेयर्ड विज़ुअल और टेक्स्टुअल रिप्रेजेंटेशन सीख सकें।

• CLIP, जिसे 2021 में OpenAI ने डेवलप किया था, को इंटरनेट से स्क्रैप किए गए लगभग 400 मिलियन इमेज-टेक्स्ट पेयर पर ट्रेन किया गया था।
• ये मॉडल कॉन्ट्रास्टिव लर्निंग ऑब्जेक्टिव का इस्तेमाल करते हैं जो मैचिंग इमेज-टेक्स्ट पेयर्स को एम्बेडिंग स्पेस में पास लाते हैं, जबकि नॉन-मैचिंग पेयर्स को अलग करते हैं।
• ज़ीरो-शॉट क्लासिफिकेशन एक खास क्षमता है, जो मॉडल को इमेज एम्बेडिंग की तुलना टेक्स्ट प्रॉम्प्ट से करके उन कैटेगरी को पहचानने देती है जिन पर उसे कभी खास तौर पर ट्रेन नहीं किया गया था।
• अलाइनमेंट मॉडल में आम तौर पर डुअल-एनकोडर आर्किटेक्चर का इस्तेमाल होता है, जिसमें अलग-अलग विज़न और टेक्स्ट टावर होते हैं जो एक शेयर्ड लेटेंट स्पेस में प्रोजेक्ट होते हैं।
• ALIGN, Florence, और SigLIP जैसे वेरिएंट ने ट्रेनिंग डेटा और कंप्यूट को अरबों पेयर्स तक बढ़ाया है, जिससे बेंचमार्क में डाउनस्ट्रीम परफॉर्मेंस बेहतर हुई है।

स्वतंत्र तौर-तरीके मॉडल क्या है?

AI सिस्टम को इमेज या टेक्स्ट को अलग-अलग हैंडल करने के लिए डिज़ाइन किया गया है, बिना दोनों के बीच शेयर्ड क्रॉस-मोडल रिप्रेजेंटेशन सीखे।

• ResNet और EfficientNet जैसे पारंपरिक कंप्यूटर विज़न मॉडल सिर्फ़ इमेज को प्रोसेस करते हैं, और क्लासिफ़िकेशन, डिटेक्शन और सेगमेंटेशन जैसे कामों के लिए ऑप्टिमाइज़ किए जाते हैं।
• GPT-4, LLaMA, और PaLM जैसे बड़े भाषा मॉडल पूरी तरह से टेक्स्ट टोकन पर काम करते हैं, और सीखे हुए भाषाई पैटर्न के आधार पर अगले शब्दों का अनुमान लगाते हैं।
• ये मॉडल आम तौर पर जनरल मल्टीमॉडल सिस्टम की तुलना में अपने नेटिव मोडैलिटी के अंदर स्पेशलाइज़्ड बेंचमार्क पर सबसे ज़्यादा एक्यूरेसी हासिल करते हैं।
• इंडिपेंडेंट मॉडल्स को बहुत छोटे डेटासेट के साथ ट्रेन किया जा सकता है क्योंकि उन्हें महंगे पेयर्ड एनोटेशन की ज़रूरत नहीं होती।
• वे अक्सर मल्टीमॉडल सिस्टम के लिए बिल्डिंग ब्लॉक्स का काम करते हैं, जिसमें विज़न एनकोडर और लैंग्वेज मॉडल को एडॉप्टर या फ्यूजन लेयर्स के ज़रिए जोड़ा जाता है।

तुलना तालिका

विस्तृत तुलना

लाभ और हानि