A kép-szöveg illesztési modellek, mint például a CLIP és az ALIGN, hatalmas párosított adathalmazokon tanulják meg a közös vizuális-nyelvi reprezentációkat, lehetővé téve a nulla-felvételes átvitelt. A független modalitási modellek külön dolgozzák fel a képeket és a szöveget, gyakran kiválóan teljesítenek speciális, egymodalitású feladatokban, modalitásközi alapozás nélkül.
Párosított kép-felirat adatokon betanított neurális hálózatok, amelyek megosztott vizuális és szöveges reprezentációkat tanulnak meg egy közös beágyazási térben.
Olyan mesterséges intelligenciarendszerek, amelyek képesek képeket vagy szöveget külön-külön kezelni anélkül, hogy megtanulnák a kettő közötti közös, intermodális reprezentációt.
| Funkció | Kép-szöveg igazítási modellek | Független modalitási modellek |
|---|---|---|
| Elsődleges képzési cél | Kontrasztív kép-szöveg illesztés | Egymodalitású feladatvesztés (osztályozás, nyelvi modellezés) |
| Betanítási adatokra vonatkozó követelmények | Több százmillió vagy akár milliárdnyi párosított kép-szöveg példa | Nagyméretű, címkézetlen vagy címkézett adatok egyetlen modalitáson belül |
| Nulla lövés képességek | Erős nulla lövéses átvitel láthatatlan kategóriákba szöveges utasításokon keresztül | A képzés során látott kategóriákra vagy feladatokra korlátozva |
| Építészeti megközelítés | Kettős kódolók, amelyek megosztott beágyazási térbe vetítenek ki | Egyetlen bemeneti típushoz specializált egyetlen kódoló |
| Keresztmodális megértés | Anyanyelvi közös érvelés látás és nyelv segítségével | Külső fúziót vagy csővezetéket igényel a modalitások összekapcsolásához |
| Számítási költség | Magas, a hatalmas párosított adathalmazok és a nagy kötegméretek miatt | Általában alacsonyabb, különösen az unimodális finomhangolásnál |
| Legjobb felhasználási esetek | Képkeresés, nulla-felvételes osztályozás, vizuális keresés | Specializált látásfeladatok vagy tiszta szöveggenerálás és -érvelés |
| Példa modellek | KAPCSOLÁS, IGAZÍTÁS, SigLIP, Florence, BLIP | ResNet, ViT, GPT-4, LLaMA, BERT |
kép-szöveg illesztési modellek azon az elképzelésen alapulnak, hogy a vizuális fogalmak és nyelvi leírásaik egy mögöttes szemantikai struktúrát osztanak meg. Több százmillió kép-felirat páron való betanítással megtanulják mindkét bemenetet egy közös beágyazási térbe leképezni, ahol a szemantikailag kapcsolódó elemek csoportosulnak. A független modalitási modellek az ellenkező utat járják be, minden kapacitásukat az egyik típusú bemenet elsajátítására összpontosítva. Egy csak látáson alapuló modell, mint például egy konvolúciós neurális hálózat, hierarchikus vizuális jellemzőket tanul, míg egy nyelvi modell az emberi szöveg statisztikai mintázatait. Egyik sem próbálja megérteni a másik modalitást a betanítás során.
Az illesztési modellek igazi ereje a nullapontos általánosításban rejlik. Mivel képeket és szöveget kódolnak ugyanabba a térbe, egy képet egyszerűen egy szöveges címke, például „egy arany-retriever fotója” megadásával és a hasonlóság mérésével osztályozhatunk, még akkor is, ha a modell soha nem látta pontosan ezt az osztályt a betanítás során. A független modalitási modellek ezt nem tudják természetes módon megtenni. Egy ImageNeten betanított ResNet csak az ezer betanítási osztályát ismeri, és egy nyelvi modell semmit sem tud a pixelekről. Ahhoz, hogy új feladatokra kiterjesszék őket, jellemzően további címkézett adatokra és finomhangolásra van szükség.
független modalitási modellek gyakran nyernek a saját tartományukon belüli benchmarkokban. Egy dedikált objektumfelismerő modell, mint például a DETR, vagy egy szegmentációs hálózat, mint például a SAM, felülmúlhatja a generalista illesztési modellt a sűrű predikciós feladatokban, mivel kifejezetten a térbeli megértésre vannak optimalizálva. Hasonlóképpen, a nagy nyelvi modellek továbbra is dominálnak a tiszta szöveges érvelésben, kódolásban és hosszú formátumú generálásban. Az illesztési modellek a csúcs egymodalitású teljesítmény egy részét feláldozzák a vizuális és nyelvi megértés egyetlen egységes rendszerben való áthidalásának képességéért.
Egy illesztési modell betanítása a nulláról költséges. A CLIP eredeti betanítási futtatása hetek alatt hatalmas számítási igényt támasztott, és a több milliárd párra való skálázás csak növeli ezeket a költségeket. A független modalitási modellek olcsóbban betaníthatók, különösen előre betanított gerinchálózatok kihasználásával. A betanítás után azonban az illesztési modellek figyelemre méltóan hatékonyak a visszakereséshez és osztályozáshoz szükséges következtetések levonásában, mivel egyetlen előrehaladás minden kódolón keresztül újrafelhasználható beágyazásokat hoz létre. A független modellek gyakran feladatspecifikus fejeket vagy finomhangolást igényelnek minden új alkalmazáshoz.
Az igazítási modellek egy egyre növekvő alkalmazás-ökoszisztémát működtetnek, beleértve a képkeresőket, a vizuális elemeket szöveges leírásokhoz illesztő tartalommoderáló rendszereket és a modern multimodális chatbotok mögött álló vizuális kódolókat. A független modalitási modellek továbbra is az éles mesterséges intelligencia folyamatainak munkafolyamatainak munkalovai, amelyek nagymértékben kezelik az OCR-t, az arcfelismerést, a dokumentumértelmezést és a szöveggenerálást. A két megközelítés egyre inkább konvergál: az olyan rendszerek, mint a GPT-4V és a Gemini, belsőleg független látás- és nyelvi komponenseket használnak, de közös betanítás révén összehangolják őket, elmosva a határvonalat e paradigmák között.
Az igazítási modellek ugyanúgy értelmezik a képeket, mint az emberek.
Ezek a modellek statisztikai összefüggéseket tanulnak a vizuális jellemzők és a szöveg között, nem pedig megalapozott vizuális megértést. Képesek képeket a leírásokhoz illeszteni, de hiányzik belőlük a tárgyak, az oksági összefüggések vagy a fizikai gondolkodás valódi megértése, amelyet az emberek a megtestesült tapasztalatok során fejlesztenek ki.
A multimodális mesterséges intelligencia korában a független modalitási modellek elavultak.
független modellek korántsem elavultak, és továbbra is a legtöbb éles MI-rendszer gerincét alkotják. Gyakran felülmúlják a multimodális modelleket speciális feladatokban, és nagyobb multimodális architektúrák komponenseként szolgálnak.
A CLIP és hasonló modellek teljes mértékben helyettesíthetik a dedikált képosztályozókat.
Míg az illesztési modellek lenyűgöző nullpont-rugalmasságot kínálnak, a finomhangolt speciális osztályozók számos referenciaértéken még mindig felülmúlják őket, különösen a finomszemcsés kategóriák, az orvosi képalkotás vagy a finom vizuális különbségeket mutató tartományok esetében.
Az igazítási modelleknek nincs szükségük sok címkézett adatra, mivel a feliratokból tanulnak.
Hatalmas mennyiségű, gyengén párosított adatra van szükségük, ami másfajta felügyeletet jelent. Több százmillió tiszta kép-szöveg pár kurálása önmagában is komoly mérnöki és etikai kihívást jelent.
A nagyobb illesztési modellek mindig jobbak.
skálázás egy bizonyos pontig segít, de a hozamok csökkennek, és a kisebb modellek, mint például a SigLIP, kimutatták, hogy a betanítási trükkök és az adatminőség alacsonyabb költséggel elérheti vagy meghaladhatja a nyers erővel történő skálázást.
Válasszon kép-szöveg igazítási modelleket, ha alkalmazása rugalmas, promptvezérelt interakciót igényel a vizuális megjelenítés és a nyelv között, például nullapontos osztályozáshoz, képkereséshez vagy multimodális asszisztensek létrehozásához. Válasszon független modalitási modelleket, ha csúcsteljesítményre van szüksége egy jól definiált, egyetlen modalitást magában foglaló feladatban, korlátozott párosított betanítási adatokkal rendelkezik, vagy könnyű, specializált rendszereket szeretne telepíteni a keresztmodális betanítás többletköltsége nélkül.
késleltetésre fókuszált kiszolgálás és a tiszta pontosságoptimalizálás két egymással versengő filozófiát képvisel a mesterséges intelligencia telepítésében. A késleltetésre összpontosító kiszolgálás a sebességet és a felhasználói élményt helyezi előtérbe, míg a tiszta pontosságoptimalizálás a lehető legmagasabb modellteljesítményt célozza meg, függetlenül a következtetési időtől. A kettő közötti választás meghatározza, hogyan viselkednek a mesterséges intelligencia rendszerek éles környezetben.
Az A/B tesztelés a modellkiszolgáló rendszerben a versengő modellverziók közötti forgalmat irányítja át a valós teljesítmény mérése érdekében, míg az egyetlen modell telepítése egyetlen modellt küld minden felhasználónak. A csapatok a kockázattűrés, a forgalom mennyisége és a teljes bevezetés előtti statisztikai validáció szükségessége alapján választanak közöttük.
Az A/B tesztelés a tartalomkiadásokban magában foglalja a variációk különböző közönségszegmensek számára történő bevezetését és a teljesítmény mérését, míg az egyszeri tartalomkiadások egyetlen verziót juttatnak el egyszerre mindenkihez. Minden megközelítés más célokat szolgál, az A/B tesztelés az adatvezérelt optimalizálást, míg az egyszeri kiadások a sebességet és az egyszerűséget helyezik előtérbe.
Ez a részletes összehasonlítás az adaptív intelligenciamotorok architektúrális különbségeit, működési korlátait és valós teljesítményét vizsgálja a fix viselkedésű automatizálási rendszerekkel szemben. Megvizsgáljuk, hogy az új környezeti adatokból folyamatosan tanuló rendszerek hogyan viszonyulnak a merev, kiszámítható, szabályokon alapuló keretrendszerekhez.
Az adaptív lekérések dinamikusan igazítják a rendszer által lekérdezett információk módját és típusát, míg a statikus lekérési folyamatok rögzített szabályokat követnek, a kontextustól függetlenül. Mindkettő modern mesterséges intelligencia alkalmazásokat működtet, de rugalmasságukban, költségükben és pontosságukban élesen különböznek. A választás a köztük lévő feladatok összetettségétől és a költségvetéstől függ.
