Předtrénování buduje základní znalosti modelu z masivních datových sad, zatímco optimalizace po trénování zpřesňuje tento základ pro specifické úkoly a přizpůsobení lidským potřebám. Obě fáze jsou v moderním vývoji umělé inteligence nezbytné a slouží spíše komplementárním než konkurenčním rolím.
Počáteční trénovací fáze, ve které se model učí obecné vzorce z obrovského množství surového textu nebo dat.
Techniky používané po předtréninku pro specializaci modelu, zlepšení zarovnání a zvýšení výkonu úkolu.
| Funkce | Předtrénink | Optimalizace po tréninku |
|---|---|---|
| Fáze v procesu | První fáze vývoje modelu | Následuje předtrénink |
| Primární cíl | Naučte se obecné znalosti a vzorce | Specializace a zarovnání modelu |
| Požadavky na data | Triliony tokenů, neoznačených | Tisíce až miliony označených příkladů |
| Vypočítat náklady | Extrémně vysoké (miliony dolarů) | Střední (tisíce dolarů) |
| Běžné techniky | Samostudium, modelování maskovaného jazyka | SFT, RLHF, DPO, ústavní AI |
| Výstup | Základní model s širokými možnostmi | Sladěný model připravený k úkolům |
| Trvání | Týdny až měsíce na velkých shlucích | Hodiny až dny |
| Reverzibilita | Výchozí bod pro veškerou pozdější práci | Lze opakovat nebo upravit |
Předběžné školení slouží jako fáze budování základů, ve které model absorbuje obecné znalosti z obrovského množství nezpracovaných dat. Bez nich by model neměl žádné základní porozumění jazyku, uvažování ani světovým faktům. Optimalizace po školení bere tento základ a formuje ho do něčeho užitečného, čímž model učí, jak dodržovat pokyny, odmítat škodlivé požadavky a vynikat v konkrétních úkolech. Předběžné školení si představte jako získání obecného vzdělání a následné školení jako specializovaný pracovní výcvik, který následuje.
Rozdíl v rozsahu mezi těmito dvěma fázemi je ohromující. Předběžné trénování vyžaduje obrovské datové sady, často biliony tokenů, a běží na tisících GPU po dobu týdnů nebo měsíců. Následné trénování probíhá v mnohem menším měřítku a obvykle využívá upravené datové sady tisíců až milionů příkladů. Díky tomu je následné trénování mnohem dostupnější pro menší týmy a výzkumníky, kteří chtějí přizpůsobit stávající modely, aniž by je museli vytvářet od nuly.
Předtrénování se spoléhá na samoregulační cíle, kde se model v podstatě sám učí predikcí chybějících nebo následujících tokenů v sekvencích. Optimalizace po trénování zahrnuje rozmanitou sadu nástrojů, včetně řízeného jemného doladění párů instrukce a odezvy, RLHF, který využívá žebříčky lidských preferencí k trénování modelu odměn, a novějších metod, jako je DPO, které zjednodušují proces zarovnání. Každá technika po trénování se zaměřuje na jiné cíle, od základní užitečnosti až po komplexní schopnosti uvažování.
Předtrénovaný model sám o sobě je v podstatě sofistikované automatické doplňování, dokáže generovat souvislý text, ale nebude spolehlivě dodržovat pokyny ani se chovat bezpečně. Následné trénování je to, co transformuje model surového jazyka na asistenta chatbota, se kterým chcete skutečně komunikovat. Práce na zarovnání provedená v rámci následného trénování určuje, zda je model užitečný, neškodný, upřímný a schopný vést detailní konverzaci.
Následné školení nabízí mnohem větší flexibilitu, protože jej lze opakovat, kombinovat a upravovat, aniž by se muselo začínat znovu. Týmy mohou model doladit pro lékařské aplikace a poté aplikovat další optimalizaci pro potřeby konkrétní nemocnice. Předběžné školení, jakmile je dokončeno, vytváří pevný základ, na kterém všichni staví. Proto se komunita umělé inteligence zaměřila na výzkum po školení, protože právě tam dochází k nejrychlejšímu přizpůsobení a diferenciaci.
Pouhé předtrénování stačí k vytvoření užitečného asistenta s umělou inteligencí.
Předtrénovaný model je v podstatě sofistikovaný dokončovač textu. Bez optimalizace po trénování nemůže spolehlivě dodržovat pokyny, odmítat škodlivé požadavky ani udržovat souvislé konverzace. Všichni produkční chatboti vyžadují po trénování značné množství práce.
Optimalizace po tréninku je jen jednoduché doladění.
Moderní post-trénink zahrnuje sofistikovanou řadu technik, včetně RLHF, DPO, konstituční umělé inteligence a tréninku zaměřeného na uvažování. Tyto metody zahrnují komplexní modelování odměn, preferenční učení a iterativní zdokonalování, které jdou daleko za rámec základního kontrolovaného jemného doladění.
Více předtrénování vždy vede k lepším modelům.
Výzkum ukázal klesající výnosy z pouhého škálování dat před trénováním. V oboru se stále více uznává, že vylepšení po trénování, zejména v oblasti uvažování a zarovnávání, mohou přinést větší zisky než dodatečné výpočty před trénováním.
RLHF a DPO jsou totéž.
když se oba snaží sladit modely s lidskými preferencemi, fungují odlišně. RLHF trénuje samostatný model odměny, který řídí posilovací učení, zatímco DPO optimalizuje politiku přímo pomocí párů preferencí bez nutnosti modelu odměny. DPO je jednodušší, ale může mít odlišné výkonnostní charakteristiky.
Následné školení dokáže vyřešit jakýkoli problém se základním modelem.
Následné trénování nemůže vytvořit schopnosti, které v základním modelu neexistují. Pokud předtrénovaný model postrádá určité znalosti nebo schopnosti uvažování, žádné doladění je nepřidá. Základy nastavené během předtrénování omezují to, co je možné později.
Optimalizace před školením a po školení nejsou konkurenční přístupy, ale spíše postupné fáze, které mají obrovský význam. Před školením je nezbytné, když vytváříte nový základní model od nuly a potřebujete široké možnosti, zatímco optimalizace po školení je praktickou volbou pro většinu týmů, které chtějí stávající modely přizpůsobit specifickým případům použití. Pro většinu organizací nabízí následné školení nejlepší návratnost investic, protože staví na práci, kterou již odvedly velké laboratoře.
A/B testování u vydání obsahu zahrnuje zavádění variant pro různé segmenty publika a měření výkonu, zatímco jednorázová vydání obsahu nabídnou jednu verzi všem najednou. Každý přístup vyhovuje jiným cílům, přičemž A/B testování upřednostňuje optimalizaci na základě dat a jednorázová vydání upřednostňují rychlost a jednoduchost.
A/B testování v modelovém servisu směruje provoz mezi konkurenčními verzemi modelů za účelem měření reálného výkonu, zatímco nasazení jednoho modelu dodává jeden model všem uživatelům. Týmy si mezi nimi vybírají na základě tolerance rizika, objemu provozu a potřeby statistického ověření před plným nasazením.
Toto srovnání analyzuje strategické volby v oblasti strojového učení mezi adaptací domény, která přenáší znalosti z označeného zdrojového prostředí do jiného cílového prostředí, a školením v doméně, které vytváří modely výhradně na datech získaných z přesného cílového nastavení nasazení.
Toto podrobné srovnání zkoumá architektonické rozdíly, provozní limity a reálný výkon adaptivních inteligentních systémů v porovnání s automatizačními systémy s pevným chováním. Zaměřujeme se na to, jak se systémy, které se neustále učí z nových environmentálních dat, vyrovnávají s rigidními, předvídatelnými rámci založenými na pravidlech.
Adaptivní vyhledávání dynamicky upravuje, jak a jaké informace systém načítá, na základě dotazu, zatímco statické vyhledávání se řídí pevnými pravidly bez ohledu na kontext. Oba systémy pohánějí moderní aplikace umělé inteligence, ale výrazně se liší ve flexibilitě, nákladech a přesnosti. Výběr mezi nimi závisí na složitosti pracovní zátěže a rozpočtu.
