A nulla-felvételes képkeresés a betanítás során soha nem látott osztályokból származó vizuális tartalmat azonosít szemantikai leírások felhasználásával, míg a felügyelt osztályozási rendszerek minden felismert kategóriához címkézett példákat igényelnek. Mindkettő számítógépes látási feladatokat szolgál, de alapvetően különböznek abban, hogyan szerzik meg a tudást és hogyan kezelik az új bemeneteket.
Számítógépes látásmód, amely a láthatatlan kategóriáknak megfelelő képeket szemantikai beágyazások segítségével, a címkézett betanítási példák helyett keresi meg.
Hagyományos gépi tanulási modellek, amelyek nagy mennyiségű, manuálisan címkézett betanítási adat felhasználásával előre definiált osztályokba sorolják a képeket.
| Funkció | Nulla felvételű képkeresés | Felügyelt osztályozási rendszerek |
|---|---|---|
| Betanítási adatkövetelmény | Csak szemantikai leírások, nem szükségesek címkézett képek a nem látható osztályokhoz | Nagy mennyiségű címkézett képre van szükség minden osztályhoz |
| Regénykategóriák kezelése | Felismeri azokat az osztályokat, amelyekkel a képzés során még nem találkoztak | Nem tudja kezelni a betanítási eloszláson kívüli kategóriákat |
| Tudásforrás | Mellékinformációk, például attribútumok, szövegbeágyazások vagy tudásgráfok | A címkézett képpéldákból közvetlenül tanult minták |
| Tipikus pontosság a látható osztályokon | Általában alacsonyabb, mint a felügyelt partnereknél | Kiemelkedő teljesítmény standard referenciaértékeken |
| Skálázhatóság új osztályokhoz | Új kategóriák hozzáadása pusztán szemantikai leírások megadásával | Új betanító képek gyűjtését és címkézését igényli |
| Közös architektúrák | Kettős kódolós hálózatok, CLIP stílusú modellek, beágyazási illesztési keretrendszerek | ResNet, EfficientNet, Vision transzformátorok, VGG változatok |
| Értékelési adatkészletek | SUN Tulajdonság, aPY, Tulajdonságokkal rendelkező Állatok, CUB-200 | ImageNet, CIFAR-10/100, COCO, MNIST |
| Telepítési komplexitás | Magasabb a szemantikus metaadat-infrastruktúra iránti igény miatt | Alacsonyabb fejlett keretrendszerekkel és előre betanított ellenőrzőpontokkal |
legalapvetőbb különbség abban rejlik, hogy az egyes rendszerek hogyan sajátítják el a vizuális tartalom felismerésének képességét. A felügyelt osztályozás közvetlenül a címkézett képpéldákból tanul, és statisztikai mintákat épít fel, amelyek a pixeladatokat előre meghatározott kategóriákhoz rendelik. A nulla-felvétel teljesen más utat választ, megtanulja a vizuális jellemzőket szemantikai leírásokkal társítani, így általánosíthat olyan osztályokra, amelyekkel vizuálisan még soha nem találkozott. Ez teszi a nulla-felvételes megközelítéseket különösen vonzóvá azokon a területeken, ahol a címkézés költséges, vagy ahol a kategóriatér nyitott.
felügyelt rendszerek következetesen felülmúlják a zero-shot módszereket a tanulóadatokban jelen lévő osztályokon, mivel közvetlen vizuális példákból tanulhatnak. Ez az előny azonban eltűnik, ha valóban új kategóriákkal szembesülünk. A zero-shot lekérdezés az ismert osztályok esetében a csúcspontosság egy részét feláldozza a teljesen új fogalmak kezelésének rugalmasságáért cserébe. A modern alapmodellek, mint például a CLIP, jelentősen csökkentették ezt a különbséget, versenyképes zero-shot teljesítményt elérve a nagyméretű kép-szöveg előtanítás révén.
felügyelt osztályozás jól definiált, zárt világú forgatókönyvekben jeleskedik, mint például a gyártási hibák észlelése, a fajok azonosítása ellenőrzött adatkészletekben, vagy az orvosi képalkotás, ahol címkézett adatok léteznek. A nullapontos visszakeresés a nyílt szókincsű környezetekben, például a vizuális keresőmotorokban, a tartalomalapú képkeresésben nagy katalógusokból és az olyan alkalmazásokban, ahol a felhasználók olyan fogalmakra kereshetnek, amelyekre a rendszert soha nem képezték ki explicit módon. Sok valós rendszer ma már mindkét megközelítést ötvözi a maximális lefedettség érdekében.
Egy új kategória hozzáadása egy felügyelt rendszerhez több száz vagy több ezer címkézett kép összegyűjtését és a modell újratanítását jelenti, ami költséges és időigényes folyamat. A nullapontos visszakeresés lehetővé teszi az operátorok számára, hogy új osztályokat vezessenek be egyszerűen szemantikai leírások írásával vagy forrásból történő beszerzésével, ami drámaian csökkenti a felismerési képességek bővítésének működési költségeit. Ez a különbség kritikus fontosságúvá válik a gyorsan változó területeken, ahol rendszeresen jelennek meg új termékkategóriák, újonnan megjelenő fenyegetések vagy fejlődő terminológia.
A felügyelt osztályozás jellemzően egytornyos architektúrákat használ, amelyek a képeket közvetlenül osztályvalószínűségekre képezik le softmax rétegeken keresztül. A nullapontos visszakeresés általában kettős kódolót vagy sziámi stílusú terveket alkalmaz, amelyek mind a képeket, mind az osztályleírásokat egy megosztott beágyazási térbe vetítik, ahol a hasonlóság mérhető. A vizuális nyelvi modellek legújabb fejlesztései elmosták ezeket a határokat, az egységes architektúrák képesek mind az osztályozásra, mind a visszakeresésre természetes nyelvi promptokon keresztül.
A nulla lövéses tanulás azt jelenti, hogy a modellnek egyáltalán nincs betanítása.
A nullapont modellek még mindig jelentős képzésen esnek át a látott osztályokon és szemantikai asszociációkon. A „nullapont” címke kifejezetten arra utal, hogy képesek a következtetés időpontjában nem látható kategóriákra általánosítani, nem pedig a tanulási folyamat hiányára.
A felügyelt osztályozók mindig jobban teljesítenek, mint a nulla-lövéses rendszerek.
Ez csak a tanulóhalmazban jelen lévő kategóriákra igaz. Az olyan új osztályokon, amelyekkel a felügyelt modellek még soha nem találkoztak, a pontosságuk nullára csökken, míg a nullapontos rendszerek továbbra is értelmes előrejelzéseket tudnak produkálni szemantikus átvitel révén.
A nullpontos visszakeresés szükségtelenné teszi az adatok előkészítését.
Míg a láthatatlan osztályokhoz nincs szükség címkézett képekre, a nullapontos rendszerek nagymértékben függenek a kiváló minőségű szemantikai leírásoktól, attribútum-annotációktól vagy szöveges beágyazásoktól. Ezen kiegészítő információk gondozása önmagában is jelentős erőfeszítést igényelhet.
A több betanítási adat mindig határozatlan ideig javítja a felügyelt osztályozókat.
A további adatokból származó teljesítménynövekedés csökkenő hozamokat, majd végül stagnálást követ. Az olyan tényezők, mint a címke minősége, az osztályok egyensúlya és az adatok sokfélesége gyakran fontosabbak, mint a nyers mennyiség, különösen a zajos címkéken való túlillesztésre hajlamos mélytanuló modellek esetében.
Ez a két megközelítés a gyakorlatban kizárja egymást.
Sok éles rendszer kombinálja mindkét paradigmát, felügyelt osztályozókat használva a nagy megbízhatóságú ismert kategóriákhoz, miközben a hosszú farok vagy új lekérdezések esetén nulla-lekérdezésre tér vissza. A hibrid architektúrák gyakran jobban teljesítenek, mint bármelyik megközelítés önmagában.
Válassza a felügyelt osztályozást, ha bőséges címkézett adattal, rögzített kategóriákkal rendelkezik, és maximális pontosságra van szüksége az ismert osztályok esetében. Válassza a nulla képfeldolgozást, ha a kategóriatere nyitott, a címkézett adatok szűkösek, vagy ha rugalmasságra van szüksége az új fogalmak felismeréséhez újraképzés nélkül. Számos termelési rendszer profitál a két megközelítés kombinálásából, hogy egyensúlyt teremtsen a pontosság és az alkalmazkodóképesség között.
késleltetésre fókuszált kiszolgálás és a tiszta pontosságoptimalizálás két egymással versengő filozófiát képvisel a mesterséges intelligencia telepítésében. A késleltetésre összpontosító kiszolgálás a sebességet és a felhasználói élményt helyezi előtérbe, míg a tiszta pontosságoptimalizálás a lehető legmagasabb modellteljesítményt célozza meg, függetlenül a következtetési időtől. A kettő közötti választás meghatározza, hogyan viselkednek a mesterséges intelligencia rendszerek éles környezetben.
Az A/B tesztelés a modellkiszolgáló rendszerben a versengő modellverziók közötti forgalmat irányítja át a valós teljesítmény mérése érdekében, míg az egyetlen modell telepítése egyetlen modellt küld minden felhasználónak. A csapatok a kockázattűrés, a forgalom mennyisége és a teljes bevezetés előtti statisztikai validáció szükségessége alapján választanak közöttük.
Az A/B tesztelés a tartalomkiadásokban magában foglalja a variációk különböző közönségszegmensek számára történő bevezetését és a teljesítmény mérését, míg az egyszeri tartalomkiadások egyetlen verziót juttatnak el egyszerre mindenkihez. Minden megközelítés más célokat szolgál, az A/B tesztelés az adatvezérelt optimalizálást, míg az egyszeri kiadások a sebességet és az egyszerűséget helyezik előtérbe.
Ez a részletes összehasonlítás az adaptív intelligenciamotorok architektúrális különbségeit, működési korlátait és valós teljesítményét vizsgálja a fix viselkedésű automatizálási rendszerekkel szemben. Megvizsgáljuk, hogy az új környezeti adatokból folyamatosan tanuló rendszerek hogyan viszonyulnak a merev, kiszámítható, szabályokon alapuló keretrendszerekhez.
Az adaptív lekérések dinamikusan igazítják a rendszer által lekérdezett információk módját és típusát, míg a statikus lekérési folyamatok rögzített szabályokat követnek, a kontextustól függetlenül. Mindkettő modern mesterséges intelligencia alkalmazásokat működtet, de rugalmasságukban, költségükben és pontosságukban élesen különböznek. A választás a köztük lévő feladatok összetettségétől és a költségvetéstől függ.
