Саясатка негизделген жана баалуулуктарга негизделген ыкмалар бекемдөө боюнча окутууда эки негизги ыкманы билдирет. Саясатка негизделген ыкмалар иш-аракетти тандоо стратегиясын түздөн-түз үйрөнөт, ал эми баалуулуктарга негизделген ыкмалар ар бир аракеттин канчалык жакшы экенин баалайт жана ошол баалоолордон жүрүм-турумду чыгарат. Ар биринин ар кандай көйгөй түрлөрүнө ылайыктуу өзүнчө күчтүү жактары бар.
Агенттин аракет тандоо саясатын баалуулук функциясына муктаж болбостон түздөн-түз оптималдаштырган бекемдөөчү окутуу ыкмалары.
Аба ырайынын же абал-аракет жуптарынын канчалык жакшы экенин үйрөнгөн күчөтүү окуу ыкмалары, андан кийин ошол баалуулуктарды баалоодон саясатты чыгарат.
| Мүмкүнчүлүк | Саясатка негизделген ыкмалар | Баалуулукка негизделген ыкмалар |
|---|---|---|
| Негизги ыкма | Саясатты түздөн-түз оптималдаштырат | Маани функциясын үйрөнөт, андан кийин ага жараша иш-аракет кылат |
| Иш-аракеттер мейкиндиги | Үзгүлтүксүз жана жогорку өлчөмдүү аракеттер менен жакшы иштейт | Дискреттик, аз өлчөмдүү аракеттер үчүн эң ылайыктуу |
| Үлгү натыйжалуулугу | Жалпысынан үлгү алуу натыйжалуулугу төмөн, көбүнчө көбүрөөк маалымат талап кылынат | Адатта, үлгү алууда натыйжалуураак, айрыкча кайталоо буферлери менен |
| Туруктуулук | Туруктуу жаңыртуулар, бирок жергиликтүү оптималдаштырууга өтүшү мүмкүн | Функцияны жакындатуу менен туруксуз болушу мүмкүн, амалдарды талап кылат |
| Изилдөө | Стохастикалык саясат жаратылышты чалгындоого мүмкүндүк берет | Эпсилон-ач көздүк же ызы-чуу инъекциясы сыяктуу эвристикага таянат |
| Градиенттик дисперсия | Жогорку дисперсиялык градиенттер, дисперсияны азайтуу керек | Саясат градиенти жок, ошондуктан ошол эле мааниде дисперсия маселеси жок |
| Белгилүү алгоритмдер | КҮЧӨТҮҮ, PPO, TRPO, A2C | Q-үйрөнүү, DQN, Кош DQN, Дуэлинг DQN |
| Конвергенция кепилдиги | Стандарттык шарттарда жергиликтүү оптималга айланат | Таблицалык жөндөөлөрдө оптималдуу саясатка айланат |
Саясатка негизделген ыкмалар түз жолду тандашат: алар саясаттын өзүн параметрлештиришет, көбүнчө аракет ыктымалдуулуктарын чыгарган нейрон тармагы катары жана ал параметрлерди жогорку сыйлыктарга алып келүүчү аракеттерге ылайыкташтырышат. Баалуулукка негизделген ыкмалар алгач ар бир аракеттин ар бир штатта канчалык баалуу экенин баалоо, андан кийин жөн гана эң жакшы көрүнгөн вариантты тандоо менен кооз жолду тандашат. Бул негизги айырмачылык эки үй-бүлөнүн иш жүзүндө кандай иш алып барышы жөнүндө калган нерселердин баарын калыптандырат.
Аракет мейкиндиги үзгүлтүксүз болгондо, мисалы, роботтун колун башкаруу же унааны башкаруу сыяктуу, саясатка негизделген ыкмалар жаркырап турат, анткени алар үзгүлтүксүз диапазондо ыктымалдуулук бөлүштүрүүсүн чыгара алышат. Баалуулукка негизделген ыкмалар бул жерде кыйынчылык жаратат, анткени максималдуу маанини табуу үчүн бардык мүмкүн болгон аракеттерди санап чыгуунун эч кандай жолу жок. Atari ойноо же ооба же жок чечимдерди кабыл алуу сыяктуу дискреттик аракеттердин чакан топтому менен байланышкан көйгөйлөр үчүн баалуулукка негизделген ыкмалар көбүнчө жөнөкөй жана натыйжалуураак болот.
DQN сыяктуу баалуулукка негизделген ыкмалар үлгүлөрдү натыйжалуураак колдонууга жакын, анткени алар кайталоо буферлеринде сакталган мурунку тажрыйбаларды кайра колдонушат жана ар бир өтүүдөн бир нече жолу үйрөнүшөт. Бирок, алар терең нейрон тармактары менен айкалышканда туруксуз болушу мүмкүн, ошондуктан максаттуу тармактар сыяктуу ыкмалар киргизилген. Саясатка негизделген ыкмалар жылмакай жаңыртылат, бирок көбүнчө биригүү үчүн көбүрөөк үлгүлөрдү талап кылат жана алардын градиенттик баалоолору ызы-чуу болушу мүмкүн.
Саясатка негизделген ыкмалардын жакшы касиети - саясаттын өзү стохастикалык болушу мүмкүн, башкача айтканда, агент өзүнүн иш-аракеттеринин бөлүштүрүлүшүнөн үлгү алуу менен табигый түрдө изилдейт. Баалуулукка негизделген ыкмалар ачык изилдөө стратегияларын талап кылат, ал эми эпсилонго ач көздүк классикалык тандоо болуп саналат, бирок ызы-чуулуу торлор же жогорку ишеним чеги сыяктуу татаалыраак ыкмалар да бар. Бул саясатка негизделген ыкмаларды изилдөө татаал болгон чөйрөлөрдө өзгөчө жагымдуу кылат.
Бул эки үй-бүлөнүн ортосундагы чек дайыма эле так боло бербейт. PPO жана A2C сыяктуу актер-сынчы ыкмалары саясатка жаңыртууларды (актёрду) багыттоо үчүн баалуулук функциясын (сынчыны) колдонуу менен эки идеяны тең айкалыштырат. Бул гибриддик ыкма көп учурда эки дүйнөнүн тең эң жакшысын берет: таза саясат градиенттерине караганда төмөн дисперсия жана таза баалуулукка негизделген ыкмаларга караганда үзгүлтүксүз аракеттерди жакшыраак башкаруу. Көптөгөн тармактардагы заманбап алгоритмдер актер-сынчы варианттары болуп саналат.
Саясатка негизделген ыкмалар терең бекемдөөчү окутууда баалуулукка негизделген ыкмалардан ар дайым ашып түшөт.
Эки үй-бүлө тең универсалдуу түрдө жогору эмес. DQN сыяктуу баалуулуктарга негизделген ыкмалар Atariде чоң жетишкендиктерге жетишти, ал эми саясатка негизделген ыкмалар үзгүлтүксүз башкарууда мыкты. Эң жакшы тандоо иш-аракеттер мейкиндигине, чөйрөнүн динамикасына жана канча маалымат бар экенине жараша болот.
Баалуулукка негизделген методдор үзгүлтүксүз аракет мейкиндиктери менен иштей албайт.
Стандарттык Q-үйрөнүү үзгүлтүксүз аракеттерге каршы турса, Терең Детерминисттик Саясат Градиенти (DDPG) жана Эгиз Кечиктирилген DDPG (TD3) сыяктуу варианттар баалуулукка негизделген идеяларды актер-сынчы архитектураларын колдонуу менен үзгүлтүксүз чөйрөлөргө кеңейтет. Эки үй-бүлөнүн ортосундагы катуу бөлүү катуу эрежеге караганда окутууну жөнөкөйлөштүрүүгө көбүрөөк окшош.
Саясат градиенттери ар дайым оптималдуу саясатка жакындашат.
Саясаттын градиенттик ыкмалары глобалдык оптималдуу эмес, стандарттуу жылмакайлык божомолдору боюнча жергиликтүү оптималдуу саясатка жакындайт деп кепилдик берилет. Оптималдаштыруу ландшафтынын көптөгөн чокулары болушу мүмкүн жана алгоритм баштапкы чекити кайсынысына алып барса, ошолорго токтолот.
Баалуулукка негизделген ыкмалар эч кандай саясаттык өкүлчүлүктү талап кылбайт.
Атүгүл баалуулуктарга негизделген ыкмалар да саясатты өздөрүнүн аракеттерди тандоо эрежеси аркылуу кыйыр түрдө аныктайт, мисалы, ач көздүк же эпсилон-ач көздүк. Айырмасы, саясат түздөн-түз параметрлештирилбейт жана үйрөнүлбөйт; ал баалуулуктарды баалоодон келип чыгат.
Көбүрөөк үлгүлөр ар дайым терең баалуулуктарга негизделген ыкмаларда туруксуздук маселесин чечет.
Терең Q-үйрөнүүдөгү туруксуздук кыймылдуу максат көйгөйүнөн келип чыгат, мында маани функциясы өзүнүн жаңыртууларын кууп жетет. Жөн гана көбүрөөк маалыматтарды кошуу муну чечпейт; окутууну турукташтыруу үчүн максаттуу тармактар, кош Q-үйрөнүү жана артыкчылыктуу кайталоо сыяктуу ыкмалар керек.
Көйгөйүңүз үзгүлтүксүз аракеттерди камтыса, табигый стохастикалык изилдөөнү талап кылса же жылмакай, туруктуу саясат жаңыртууларын кааласаңыз, саясатка негизделген ыкмаларды тандаңыз. Үлгү эффективдүүлүгү маанилүү болгон жана тажрыйбаны кайталоодон пайдалана алган дискреттик аракет маселелери үчүн баалуулукка негизделген ыкмаларды тандаңыз. Көптөгөн реалдуу дүйнөдөгү тапшырмалар үчүн актер-сынчы гибриддери экөөнүн тең күчтүү жактарын айкалыштырган практикалык ортоңку жолду сунуштайт.
CLIP киргизүүлөрү сүрөттөрдү жана текстти жалпы семантикалык мейкиндикте түшүнүү үчүн терең үйрөнүүнү колдонот, ал эми ачкыч сөздөргө негизделген сүрөттү издөө кол менен дайындалган тегдерди же айланасындагы текстти дал келтирүүгө негизделген. CLIP заманбап визуалдык издөө тапшырмалары үчүн алда канча чоң ийкемдүүлүктү жана тактыкты сунуштайт, ал эми ачкыч сөздөрдүн ыкмалары тар, жакшы тандалган контексттерде пайдалуу бойдон калууда.
DeepSeek V4 - бул кытайлык жасалма интеллект лабораториясынан чыккан ачык салмактагы чоң тил модели, ал эми GPT-4 классындагы моделдер OpenAIдин флагмандык жабык булактуу системаларына тиешелүү. Бул салыштыруу иштеп чыгуучуларга жана бизнеске акылдуулук менен тандоо жасоого жардам берүү үчүн алардын архитектурасын, мүмкүнчүлүктөрүн, баасын, жеткиликтүүлүгүн жана реалдуу дүйнөдөгү иштешин изилдейт.
Google издөө алгоритми миллиарддаган веб-баракчаларды машиналык окутууну жана жүздөгөн сигналдарды колдонуп рейтингге киргизет, ал эми жөнөкөйлөтүлгөн класстык моделдер жасалма интеллект концепцияларын үйрөтүүгө боло турган, жеткиликтүү алкактарга бөлөт. Бири өндүрүштө планетардык масштабда иштейт; экинчиси окуучулар үчүн жасалма интеллекттин чындыгында кандай иштээрин үйрөнүү үчүн педагогикалык көпүрө катары кызмат кылат.
Google Издөө – көпчүлүк адамдар күн сайын колдонгон кеңири веб индекстөө системасы, ал эми Knowledge Graph Search – бул түз жоопторду жана маалымат панелдерин колдогон Google'дун структураланган объект маалымат базасы. Алардын кандайча айырмаланарын түшүнүү эмне үчүн кээ бир сурамдар бай маалыматтарды кайтарарын, ал эми башкалары салттуу көк шилтемелерди кайтарарын түшүндүрүүгө жардам берет.
GPT стилиндеги архитектуралар бай контексттик түшүнүктү түзүү үчүн өзүнө көңүл бурган Трансформер декодер моделдерине таянат, ал эми Мамбага негизделген тил моделдери ырааттуулуктарды натыйжалуураак иштетүү үчүн структураланган абал мейкиндигин моделдөөнү колдонушат. Негизги компромисс - GPT стилиндеги системалардагы экспрессивдүүлүк жана ийкемдүүлүк, ал эми Мамбага негизделген моделдердеги масштабдуулук жана узак контексттик натыйжалуулук.
