hosszú távú jutalmazás optimalizálása a kumulatív eredmények maximalizálására összpontosít hosszabb horizonton, míg a rövid távú pontosság optimalizálása az egyes feladatok azonnali helyességét helyezi előtérbe. Ez a két mesterséges intelligencia betanítási filozófia alakítja azt, hogy az ágensek hogyan tanulnak, általánosítanak és viselkednek dinamikus környezetekben.
Egy mesterséges intelligencia alapú képzési megközelítés, amely a kumulatív jutalmakat hosszabb időhorizonton maximalizálja, ahelyett, hogy azonnali feladatteljesítményt nyújtana.
Egy olyan betanítási paradigma, amely az azonnali helyességet helyezi előtérbe az egyes predikciók vagy osztályozási feladatok esetében.
| Funkció | Hosszú távú jutalmazás optimalizálása | Rövid távú pontosságoptimalizálás |
|---|---|---|
| Elsődleges cél | A kumulatív jövőbeli jutalom maximalizálása | Azonnali előrejelzés pontosságának maximalizálása |
| Visszajelző jel | Késleltetett, gyér jutalmak | Azonnali, sűrű címkék |
| Tipikus algoritmusok | Q-learning, PPO, A3C, MCTS | Gradiens süllyedés, kereszt-entrópia, visszaterjedés |
| Képzési adatigények | Interaktív környezetek vagy szimulátorok | Nagyméretű, címkézett adathalmazok |
| Kredit hozzárendelés | Hosszú távon kihívásokkal | Közvetlen példánkénti attribúció |
| Számítási költség | Magas a pályaszimuláció miatt | Mérsékelt, az adathalmaz méretével skálázódik |
| Feltárási követelmény | Alapvető a stratégiák felfedezéséhez | Minimális, címkézett példákat követ |
| Változásokkal szembeni ellenálló képesség | Folyamatos jutalmazási visszajelzések révén alkalmazkodik | Eloszlásbeli eltolódás alatt lebomlik |
| Gyakori alkalmazások | Játék, robotika, ajánlórendszerek | Osztályozás, fordítás, képfelismerés |
hosszú távú jutalmazás optimalizálása minden cselekvést egy nagyobb sorozat részeként kezel, ahol a mai döntés percekkel, órákkal vagy akár napokkal később is befolyásolja az eredményeket. Az ágens megtanul egy értékfüggvényt, amely becsli, hogy egy helyzet mennyire jó a jövőbeni haszonszerzéshez. A rövid távú pontosság optimalizálása ezzel szemben minden bemenet-kimenet párt független eseményként kezel. A modell egyszerűen megtanulja a bemeneteket a lehető leggyorsabban és legpontosabban leképezni a helyes kimenetekhez, anélkül, hogy a későbbi következmények miatt aggódna.
Hosszú távú rendszerekben a jutalmak gyakran szórványosan és jelentős késéssel érkeznek meg, ezért léteznek olyan algoritmusok, mint az időbeli különbségtanulás, hogy áthidalják a cselekvés és az eredmény közötti szakadékot. A rövid távú rendszerek sűrű, azonnali visszajelzést kapnak veszteségfüggvényeken keresztül, amelyek minden egyes példán összehasonlítják az előrejelzéseket a valósággal. Ez a rövid távú betanítást stabilabbá, de egyben rövidlátóbbá is teszi, mivel a modell soha nem tanulja meg mérlegelni a mai pontosságot a holnapi költségekkel szemben.
A hosszú távú optimalizálás meghatározó jellemzője az ismeretlen cselekvések feltárásának szükségessége a jobb stratégiák felfedezése érdekében, még akkor is, ha egy ismert cselekvés tisztességes jutalmat hoz. Az olyan technikák, mint az epszilon-kapzsi szabályok, az entrópia bónuszok és a felső konfidenciahatárok mind ezt a célt szolgálják. A rövid távú pontossági modellek ritkán vizsgálják a helyzetet, mivel a tanulójelük címkézett példákból, nem pedig környezeti jutalmakból származik, így az adathalmazban már meglévő mintákat használják ki.
A hosszú távú jutalmazási rendszerek jellemzően interaktív környezeteket vagy kifinomult szimulátorokat igényelnek, amelyek felépítése és üzemeltetése költséges lehet. Az AlphaGo például több millió önállóan játszható játékot generált, mielőtt elérte az emberfeletti teljesítményt. A rövid távú pontosságú rendszerek statikus adatkészletekre támaszkodnak, amelyek számos betanítási futtatás során újra felhasználhatók, így olcsóbbá teszik az iterációjukat, de egyben korlátozzák is őket az adatkészletek által kódolt tudásra.
A hosszú távú optimalizálás olyan szekvenciális döntéshozatali problémákban ragyog, mint az önvezető autók, a dinamikus árazás és a többfordulós párbeszédeket tervező beszélgető ágensek. A rövid távú pontosság dominál az olyan érzékelési feladatokban, mint az orvosi képalkotás, a spamészlelés és a gépi fordítás, ahol minden bemenet önállóan is működik. A két megközelítés nem zárja ki egymást, és a modern rendszerek gyakran ötvözik őket, például egy modell pontossági előtanításával, majd emberi visszajelzésekből származó megerősítéses tanulással finomhangolásával.
Mivel a hosszú távú ágensek folyamatosan visszajelzést kapnak a környezetüktől, olyan módon tudnak alkalmazkodni a változó körülményekhez, amire a statikus pontossági modellek nem képesek. Egy hosszú távú jutalmazási jelekkel betanított ajánlórendszer alkalmazkodik, amikor a felhasználói preferenciák eltolódnak, míg egy rövid távú pontosságra betanított osztályozó csendben meghibásodhat, amikor a bemeneti eloszlás megváltozik. Ez az alkalmazkodóképesség biztonsági aggályok árán megy végbe, mivel a felfedezés káros műveleteket eredményezhet a betanítás során.
A megerősítéses tanulás mindig felülmúlja a felügyelt tanulást, mivel a hosszú távú célokat optimalizálja.
hosszú távú jutalmazás optimalizálása csak akkor múlja felül a rövid távú pontosságot, ha a feladat valóban szekvenciális döntéseket igényel. Független osztályozási vagy regressziós problémák esetén a felügyelt módszerek gyorsabbak, olcsóbbak és gyakran pontosabbak is maradnak.
A rövid távú pontosságú modellek nem tudnak semmit megtudni a jövőbeli következményekről.
A következő token predikcióval betanított nagyméretű nyelvi modellek implicit módon képesek rögzíteni a hosszú távú függőségeket, annak ellenére, hogy a veszteségfüggvényt tokenenként számítják ki. A különbség a betanítási célban rejlik, nem feltétlenül a modell reprezentációs kapacitásában.
A hosszú távú jutalmazás optimalizálásához nincs szükség címkézett adatokra.
Sok gyakorlati rendszer kombinálja mindkettőt, felügyelt előképzést használva egy szabályrendszer bevezetésére a megerősítéses tanulás alkalmazása előtt. A tisztán jutalomalapú, nulláról induló tanulás ritka a játékokon és a szimulációkra épülő területeken kívül.
A teszthalmaz nagyobb pontossága azt jelenti, hogy a modell jobban fog teljesíteni a telepítés során.
teszt pontossága statikus eloszlás alapján méri a teljesítményt. Valós környezetekben, ahol a bemeneti adatok idővel eltolódnak, a folyamatos visszajelzésen keresztül a hosszú távú jutalomra optimalizált modell gyakran felülmúlja a statikus pontossági modellt az alacsonyabb benchmark pontszámok ellenére is.
A jutalomalapú hackelés csak a hosszú távú optimalizálás szempontjából jelent problémát.
Bármely, proxy célkitűzéssel rendelkező rendszer kijátszható. A rövid távú pontossági modellek kihasználhatják az adatkészletben található műtermékeket vagy a címkezajt is a metrikák felfújására a valós hasznosság javítása nélkül.
Válassza a Hosszú Távú Jutalmazás Optimalizálást, ha a problémája szekvenciális döntéseket foglal magában, ahol a korai cselekvések alakítják a későbbi eredményeket, például robotikában, játékban vagy adaptív rendszerekben. Válassza a Rövid Távú Pontosság Optimalizálást, ha megbízható, gyors előrejelzésekre van szüksége független példákon, például osztályozáson, detektáláson vagy fordításon. A gyakorlatban a legerősebb MI-rendszerek gyakran kombinálják mindkettőt, pontosságra összpontosító előtanítást alkalmazva, amelyet jutalomvezérelt finomhangolás követ.
késleltetésre fókuszált kiszolgálás és a tiszta pontosságoptimalizálás két egymással versengő filozófiát képvisel a mesterséges intelligencia telepítésében. A késleltetésre összpontosító kiszolgálás a sebességet és a felhasználói élményt helyezi előtérbe, míg a tiszta pontosságoptimalizálás a lehető legmagasabb modellteljesítményt célozza meg, függetlenül a következtetési időtől. A kettő közötti választás meghatározza, hogyan viselkednek a mesterséges intelligencia rendszerek éles környezetben.
Az A/B tesztelés a modellkiszolgáló rendszerben a versengő modellverziók közötti forgalmat irányítja át a valós teljesítmény mérése érdekében, míg az egyetlen modell telepítése egyetlen modellt küld minden felhasználónak. A csapatok a kockázattűrés, a forgalom mennyisége és a teljes bevezetés előtti statisztikai validáció szükségessége alapján választanak közöttük.
Az A/B tesztelés a tartalomkiadásokban magában foglalja a variációk különböző közönségszegmensek számára történő bevezetését és a teljesítmény mérését, míg az egyszeri tartalomkiadások egyetlen verziót juttatnak el egyszerre mindenkihez. Minden megközelítés más célokat szolgál, az A/B tesztelés az adatvezérelt optimalizálást, míg az egyszeri kiadások a sebességet és az egyszerűséget helyezik előtérbe.
Ez a részletes összehasonlítás az adaptív intelligenciamotorok architektúrális különbségeit, működési korlátait és valós teljesítményét vizsgálja a fix viselkedésű automatizálási rendszerekkel szemben. Megvizsgáljuk, hogy az új környezeti adatokból folyamatosan tanuló rendszerek hogyan viszonyulnak a merev, kiszámítható, szabályokon alapuló keretrendszerekhez.
Az adaptív lekérések dinamikusan igazítják a rendszer által lekérdezett információk módját és típusát, míg a statikus lekérési folyamatok rögzített szabályokat követnek, a kontextustól függetlenül. Mindkettő modern mesterséges intelligencia alkalmazásokat működtet, de rugalmasságukban, költségükben és pontosságukban élesen különböznek. A választás a köztük lévő feladatok összetettségétől és a költségvetéstől függ.
