Strategie průzkumu v posilovacím učení pomáhají agentům objevovat odměňující chování v neznámém prostředí, zatímco rozšiřování dat v kontrolovaném učení rozšiřuje trénovací datové sady a zlepšuje zobecnění modelu. Obě metody řeší nedostatek dat, ale fungují v zásadně odlišných paradigmatech učení.
Metody, které pomáhají agentům učení s posilováním objevovat nové stavy a akce pro učení optimálních politik.
Techniky, které uměle rozšiřují trénovací datové sady vytvářením upravených verzí existujících vzorků.
| Funkce | Strategie průzkumu v RL | Rozšíření dat v řízeném učení |
|---|---|---|
| Paradigma učení | Posilovací učení | Řízené učení |
| Primární cíl | Objevte odměňující stavy a akce | Zvyšte diverzitu a velikost datových sad |
| Řešení klíčové výzvy | Řídké odměny a neznámé prostředí | Omezená tréninková data a nadměrné učení |
| Klíčové techniky | Epsilon-greedy, UCB, ICM, RND, Go-Explore | Rotace, Mixup, CutMix, AutoAugment, zpětný překlad |
| Signál zpětné vazby | Signály odměn z prostředí | Štítky z datové sady |
| Výpočetní náklady | Často vysoká kvůli interakci s prostředím | Obecně mírné, provádí se offline |
| Dopad efektivity vzorku | Snižuje potřebu interakcí s prostředím | Snižuje požadavky na označená data |
| Společné domény | Hraní her, robotika, navigace | Počítačové vidění, NLP, rozpoznávání řeči |
Existují strategie průzkumu, které řeší dilema průzkumu a využití v posilovacím učení, kde se agent musí rozhodnout mezi vyzkoušením nových akcí k nalezení lepších odměn a držením se známých odměňujících akcí. Augmentace dat slouží jinému, ale souvisejícímu účelu: uměle rozšiřuje efektivní velikost označené datové sady, což pomáhá supervidovaným modelům lépe zobecňovat na neviditelné příklady. Obě techniky si v konečném důsledku kladou za cíl zlepšit efektivitu učení, ale řeší zásadně odlišná úzká hrdla ve svých příslušných učebních rámcích.
Metody RL exploration obvykle upravují politiku výběru akcí agenta nebo přidávají vnitřní odměny, aby povzbudily agenta k návštěvě nových stavů. Techniky, jako je učení řízené zvědavostí, odměňují agenta za chyby v predikci a posouvají ho do neznámého teritoria. Augmentace dat funguje tak, že na existující vzorky aplikuje transformace a vytváří nové trénovací příklady, které zachovávají označení a zároveň mění vstupní vlastnosti. Například otočený obrázek kočky je stále označen jako kočka, ale model vidí mírně odlišný vstupní vzorec.
Strategie průzkumu jsou nejcennější v prostředích s řídkými nebo opožděnými odměnami, kde je nepravděpodobné, že by náhodné akce vedly k úspěchu. Hry jako Montezuma's Revenge, proslulá svými náročnými úkoly při průzkumu, byly hnací silou velké části inovací v této oblasti. Rozšiřování dat vyniká, když jsou označená data drahá nebo omezená, což je běžné u lékařského zobrazování, satelitních snímků a specializovaných úkolů NLP. Je také klíčové pro vytváření modelů odolných vůči reálným změnám osvětlení, orientace nebo šumu.
Implementace strategií průzkumu vyžaduje interaktivní prostředí, kde může agent provádět akce a pozorovat důsledky, což je činí výpočetně náročnými a často pomalými na trénování. Augmentace dat se obvykle používá jako krok předzpracování nebo v rámci trénovacích smyček, takže je relativně levná a snadno se integruje do stávajících procesů. Praktik může přidat augmentace do supervizovaného modelu během několika minut, zatímco ladění hyperparametrů průzkumu pro RL agenta může trvat dny nebo týdny.
Je zajímavé, že se tyto dva přístupy v některých moderních systémech prolínají. Samostudijní učení kombinuje prvky obou a využívá techniky podobné augmentaci k vytváření trénovacích signálů bez explicitních označení. Některé nedávné metody RL také používají augmentaci dat, jako například DrQ a RAD, které aplikují augmentaci obrazu ke zlepšení efektivity vzorku při vizuálním posilování učení. Toto křížové opylování naznačuje, že hranice mezi paradigmaty se stávají stále proměnlivějšími.
Průzkumné strategie vždy zpomalují trénink RL, protože ztrácejí čas náhodnými akcemi.
Zatímco naivní zkoumání, jako jsou náhodné akce, může být neefektivní, sofistikované strategie, jako jsou metody řízené zvědavostí, ve skutečnosti urychlují učení tím, že směřují agenty k informativním stavům. Metody jako RND a Go-Explore vyřešily hry, které byly dříve pro RL agenty považovány za neřešitelné.
Augmentace dat je pouze o převracení a otáčení obrázků.
Moderní augmentace zahrnuje naučené postupy (AutoAugment), generativní přístupy (syntéza založená na GAN) a sofistikované techniky míchání (CutMix, Mixup). V NLP augmentace zahrnuje zpětný překlad, kontextovou nahrazování slov a dokonce i použití velkých jazykových modelů ke generování parafrází.
Větší augmentace vždy vede k lepšímu výkonu modelu.
Nadměrné nebo nevhodné rozšiřování může ve skutečnosti negativně ovlivnit výkon zavedením nerealistických vzorků nebo zničením prvků relevantních pro popisky. Klíčem je najít rozšiřování, které zachová sémantický obsah a zároveň změní povrchní prvky, což často vyžaduje odborné znalosti v dané oblasti nebo naučené zásady.
Průzkum a těžba jsou protichůdné síly, které musí být v rovnováze.
Moderní strategie průzkumu se neomezují pouze na kompromisy mezi průzkumem a exploatem. Metody jako distribuční RL a přístupy řízené zvědavostí spojují oba cíle v jednotných rámcích, kde průzkum přirozeně vede k lepšímu exploataci, protože agent se dozvídá více o svém prostředí.
Rozšíření dat je užitečné pouze pro obrazová data.
Augmentační techniky se ukázaly jako cenné napříč různými modalitami, včetně zvuku (specAugment pro řeč), textu (zpětný překlad, EDA), časových řad (jittering, škálování) a dokonce i grafových dat (dropping uzlů, perturbace hran). Princip vytváření smysluplných variací se široce uplatňuje napříč doménami strojového učení.
Zvolte strategie průzkumu v RL, pokud vytváříte agenty, kteří se musí učit interakcí s prostředím, zejména pokud jsou odměny omezené nebo stavový prostor rozsáhlý. Pro rozšiřování dat v řízeném učení se rozhodněte vždy, když máte pevnou datovou sadu a chcete maximalizovat výkon modelu bez shromažďování dalších označených příkladů. Mnoho moderních systémů umělé inteligence těží z kombinace obou přístupů, zejména v oblastech, jako je robotika, kde se vizuální vnímání setkává se sekvenčním rozhodováním.
A/B testování u vydání obsahu zahrnuje zavádění variant pro různé segmenty publika a měření výkonu, zatímco jednorázová vydání obsahu nabídnou jednu verzi všem najednou. Každý přístup vyhovuje jiným cílům, přičemž A/B testování upřednostňuje optimalizaci na základě dat a jednorázová vydání upřednostňují rychlost a jednoduchost.
A/B testování v modelovém servisu směruje provoz mezi konkurenčními verzemi modelů za účelem měření reálného výkonu, zatímco nasazení jednoho modelu dodává jeden model všem uživatelům. Týmy si mezi nimi vybírají na základě tolerance rizika, objemu provozu a potřeby statistického ověření před plným nasazením.
Toto srovnání analyzuje strategické volby v oblasti strojového učení mezi adaptací domény, která přenáší znalosti z označeného zdrojového prostředí do jiného cílového prostředí, a školením v doméně, které vytváří modely výhradně na datech získaných z přesného cílového nastavení nasazení.
Toto podrobné srovnání zkoumá architektonické rozdíly, provozní limity a reálný výkon adaptivních inteligentních systémů v porovnání s automatizačními systémy s pevným chováním. Zaměřujeme se na to, jak se systémy, které se neustále učí z nových environmentálních dat, vyrovnávají s rigidními, předvídatelnými rámci založenými na pravidlech.
Adaptivní vyhledávání dynamicky upravuje, jak a jaké informace systém načítá, na základě dotazu, zatímco statické vyhledávání se řídí pevnými pravidly bez ohledu na kontext. Oba systémy pohánějí moderní aplikace umělé inteligence, ale výrazně se liší ve flexibilitě, nákladech a přesnosti. Výběr mezi nimi závisí na složitosti pracovní zátěže a rozpočtu.
