Az önreflexiós RAG egy önreflexiós visszakeresési réteget vezet be, amely lehetővé teszi a nyelvi modellek számára, hogy kritizálják és adaptálják saját kimeneteiket, míg a szabványos RAG folyamatok egy fix visszakeresés-majd olvasás munkafolyamaton alapulnak. A fő különbség az adaptív vezérlés és a kiszámítható, lineáris végrehajtás között rejlik.
Egy visszakereséssel kiegészített keretrendszer, ahol a modell önállóan értékeli ki és dönti el, hogy mikor kérjen le információkat.
Egy hagyományos, visszakereséssel kiegészített generálási megközelítés, amely először a dokumentumokat kéri le, majd egy nyelvi modellnek adja át.
| Funkció | Self-RAG | Standard RAG csővezetékek |
|---|---|---|
| Visszakeresési stratégia | Adaptív, a modell dönti el, mikor kell lekérni | Mindig visszakeresi a választ, mielőtt válaszol |
| Önértékelés | Beépített reflexiós tokenek a minőségellenőrzéshez | Nincs belső kritikai mechanizmus |
| Számítási költség | Alacsonyabb, ha a lekérést kihagyjuk | Állandó lekérdezésenkénti költség |
| Válasz pontossága | Jobb az összetett érvelési feladatokban | Erős, de tartalmazhat irreleváns kontextust |
| Megvalósítás összetettsége | Összetettebb képzési folyamat | Egyszerűbb telepítés és karbantartás |
| Rugalmasság | Dinamikusan igazodik lekérdezésenként | Fix munkafolyamat a lekérdezés típusától függetlenül |
| Képzési követelmények | Reflexióval címkézett adatokra van szükség | A standard finomhangolás elegendő |
| Késleltetés | Változó a visszakeresési döntésektől függően | Kiszámítható kétlépéses késleltetés |
A standard RAG egy egyszerű, kétlépcsős folyamaton működik, ahol egy visszakereső lekéri a releváns dokumentumokat, és egy generátor egy, az adott kontextus alapján feltételes választ állít elő. A Self RAG egy döntéshozatali folyamatot rétegez fel, lehetővé téve a modell számára, hogy reflexiós tokeneket bocsásson ki, amelyek meghatározzák, hogy szükség van-e a visszakeresésre, és hogy a kimenet megalapozott-e. Ezáltal a Self RAG gondolkodásmódja modulárisabbá válik, míg a standard RAG egyszerűbb és könnyebben értelmezhető marad.
standard RAG-ban minden lekérdezés elindít egy visszakeresési lépést, függetlenül attól, hogy a modell rendelkezik-e már a szükséges tudással. A Self RAG ezt megfordítja azáltal, hogy betanítja a modellt annak megítélésére, hogy mikor van szükség külső információra. Ténykérdések esetén, amelyeket a modell a saját súlyai alapján tud megválaszolni, a Self RAG teljesen kihagyja a visszakeresést, ami csökkenti a zajt és felgyorsítja a válaszokat.
A Self-RAG négy reflexiós tokent vezet be, amelyek ellenőrzőpontként működnek a generálási folyamat során. Ezek a tokenek lehetővé teszik a modell számára, hogy megjelölje a nem alátámasztott állításokat, és újrapróbálkozzon, ha a bizonyítékok gyengék. A standard RAG-nak nincs ilyen belső visszacsatolási hurokja, így a hallucinációk vagy a témától eltérő válaszok átcsúszhatnak, hacsak nem adnak hozzá külső védőkorlátokat.
Az olyan benchmark teszteken, mint a PopQA, az ARC-Challenge és a PubHealth, a Self-RAG mérhető javulást mutatott a standard RAG alapértékekhez képest, különösen a többugrásos következtetést igénylő kérdéseknél. A standard RAG továbbra is jól teljesít az egyszerű tényszerű keresések során, ahol a visszakeresés megbízhatóan feltárja a megfelelő szövegrészt. A teljesítménybeli különbség a kérdések összetettségének növekedésével egyre nő.
A standard RAG továbbra is az alapértelmezett választás a legtöbb éles rendszer számára, mivel tisztán integrálódik a meglévő vektoradatbázisokkal, és nem igényel speciális betanítási adatokat. Az önálló RAG több mérnöki erőfeszítést igényel, beleértve a reflexiós címkével ellátott adatkészletek létrehozását és a modell finomhangolását a megfelelő tokenek kibocsátása érdekében. Korlátozott gépi tanulási erőforrásokkal rendelkező csapatok számára a standard RAG a pragmatikus megoldás.
A Self-RAG teljesen helyettesíti a retriever komponenst.
A Self-RAG továbbra is használ egy visszakeresőt, de hozzáad egy döntési réteget. A modell választja ki, hogy mikor hívja meg a visszakeresést, ahelyett, hogy teljesen eltávolítaná a visszakeresést a folyamatból.
A standard RAG elavult és már nem hasznos.
A standard RAG továbbra is a legtöbb éles MI-rendszer alapja. Az ön-RAG inkább erre épít, mintsem helyettesítené, és sok csapat még mindig kiváló eredményeket ér el a klasszikus megközelítéssel.
Az ön-RAG módszer mindig több dokumentumot kér le, mint a standard RAG.
Az ön-RAG módszer gyakran kevesebb dokumentumot kér le, mivel szükségtelen esetben kihagyhatja a lekérést. Az adaptív jelleg azt jelenti, hogy csak akkor kéri le a kontextust, ha a modell hasznosnak ítéli.
A Self-RAG futtatásához GPT-4 szükséges.
Az ön-RAG különféle nyílt forráskódú modellekkel valósítható meg. Az eredeti cikk a Llama 2-t használta, amelyet reflexiós tokenekkel finomhangoltak, bizonyítva, hogy a megközelítés a zárt rendszereken túl is működik.
A standard RAG nem képes komplex érvelést kezelni.
A standard RAG jól kezeli az összetett következtetéseket, ha erős generátorokkal és jó darabolási stratégiákkal párosul. Az ön-RAG javítja a szélső eseteket, de a standard RAG nem korlátozódik eredendően az egyszerű lekérdezésekre.
Válassza a Self-RAG módszert, ha a válasz minősége, a hallucinációk csökkentése és az adaptív hatékonyság fontosabb, mint a megvalósítás egyszerűsége, különösen összetett logikai feladatok esetén. A szabványos RAG-folyamatok továbbra is jobban illeszkednek az egyszerű telepítésekhez, ahol a kiszámítható késleltetés és a meglévő infrastruktúrával való egyszerű integráció a legfontosabb prioritás.
késleltetésre fókuszált kiszolgálás és a tiszta pontosságoptimalizálás két egymással versengő filozófiát képvisel a mesterséges intelligencia telepítésében. A késleltetésre összpontosító kiszolgálás a sebességet és a felhasználói élményt helyezi előtérbe, míg a tiszta pontosságoptimalizálás a lehető legmagasabb modellteljesítményt célozza meg, függetlenül a következtetési időtől. A kettő közötti választás meghatározza, hogyan viselkednek a mesterséges intelligencia rendszerek éles környezetben.
Az A/B tesztelés a modellkiszolgáló rendszerben a versengő modellverziók közötti forgalmat irányítja át a valós teljesítmény mérése érdekében, míg az egyetlen modell telepítése egyetlen modellt küld minden felhasználónak. A csapatok a kockázattűrés, a forgalom mennyisége és a teljes bevezetés előtti statisztikai validáció szükségessége alapján választanak közöttük.
Az A/B tesztelés a tartalomkiadásokban magában foglalja a variációk különböző közönségszegmensek számára történő bevezetését és a teljesítmény mérését, míg az egyszeri tartalomkiadások egyetlen verziót juttatnak el egyszerre mindenkihez. Minden megközelítés más célokat szolgál, az A/B tesztelés az adatvezérelt optimalizálást, míg az egyszeri kiadások a sebességet és az egyszerűséget helyezik előtérbe.
Ez a részletes összehasonlítás az adaptív intelligenciamotorok architektúrális különbségeit, működési korlátait és valós teljesítményét vizsgálja a fix viselkedésű automatizálási rendszerekkel szemben. Megvizsgáljuk, hogy az új környezeti adatokból folyamatosan tanuló rendszerek hogyan viszonyulnak a merev, kiszámítható, szabályokon alapuló keretrendszerekhez.
Az adaptív lekérések dinamikusan igazítják a rendszer által lekérdezett információk módját és típusát, míg a statikus lekérési folyamatok rögzített szabályokat követnek, a kontextustól függetlenül. Mindkettő modern mesterséges intelligencia alkalmazásokat működtet, de rugalmasságukban, költségükben és pontosságukban élesen különböznek. A választás a köztük lévő feladatok összetettségétől és a költségvetéstől függ.
