Kaedah berasaskan dasar dan berasaskan nilai mewakili dua pendekatan asas dalam pembelajaran peneguhan. Kaedah berasaskan dasar mempelajari secara langsung strategi pemilihan tindakan, manakala kaedah berasaskan nilai menganggarkan sejauh mana kebaikan setiap tindakan dan memperoleh tingkah laku daripada anggaran tersebut. Setiap satu mempunyai kekuatan tersendiri yang sesuai untuk jenis masalah yang berbeza.
Pendekatan pembelajaran pengukuhan yang mengoptimumkan secara langsung dasar pemilihan tindakan ejen tanpa memerlukan fungsi nilai.
Pendekatan pembelajaran peneguhan yang mempelajari sejauh mana keadaan atau pasangan keadaan-tindakan adalah baik, kemudian memperoleh dasar daripada anggaran nilai tersebut.
| Ciri-ciri | Kaedah Berasaskan Dasar | Kaedah Berasaskan Nilai |
|---|---|---|
| Pendekatan Teras | Mengoptimumkan dasar secara langsung | Mempelajari fungsi nilai, kemudian bertindak ke atasnya |
| Ruang Tindakan | Berfungsi dengan baik dengan tindakan berterusan dan berdimensi tinggi | Paling sesuai untuk tindakan diskret dan berdimensi rendah |
| Kecekapan Sampel | Secara amnya kurang cekap sampel, selalunya memerlukan lebih banyak data | Biasanya lebih cekap sampel, terutamanya dengan penimbal ulangan |
| Kestabilan | Kemas kini yang stabil tetapi boleh menumpu kepada optima tempatan | Boleh menjadi tidak stabil dengan penghampiran fungsi, memerlukan helah |
| Penerokaan | Dasar stokastik membolehkan penerokaan semula jadi | Bergantung pada heuristik seperti epsilon-greedy atau suntikan hingar |
| Varians Kecerunan | Kecerunan varians yang tinggi, memerlukan pengurangan varians | Tiada kecerunan dasar, jadi tiada isu varians dalam erti kata yang sama |
| Algoritma Terkemuka | TEGUHKAN, PPO, TRPO, A2C | Pembelajaran-Q, DQN, DQN Berganda, DQN Bertarung |
| Jaminan Konvergensi | Menumpu kepada optimum setempat di bawah keadaan piawai | Menumpu kepada dasar optimum dalam tetapan jadual |
Kaedah berasaskan dasar mengambil laluan yang lebih langsung: ia memparometrikan dasar itu sendiri, selalunya sebagai rangkaian saraf yang menghasilkan kebarangkalian tindakan dan melaraskan parameter tersebut untuk memihak kepada tindakan yang membawa kepada ganjaran yang lebih tinggi. Kaedah berasaskan nilai mengambil laluan pemandangan dengan terlebih dahulu menganggarkan betapa berharganya setiap tindakan dalam setiap keadaan, kemudian hanya memilih pilihan yang paling menarik. Perbezaan asas ini membentuk segala-galanya tentang bagaimana kedua-dua keluarga bertindak dalam amalan.
Apabila ruang tindakan berterusan, seperti mengawal lengan robot atau memandu kereta, kaedah berasaskan dasar menonjol kerana ia boleh mengeluarkan taburan kebarangkalian pada julat berterusan. Kaedah berasaskan nilai menghadapi kesukaran di sini kerana tiada cara untuk menyenaraikan setiap tindakan yang mungkin untuk mencari maksimum. Untuk masalah dengan set kecil tindakan diskret, seperti bermain Atari atau membuat keputusan ya atau tidak, kaedah berasaskan nilai selalunya lebih mudah dan lebih berkesan.
Kaedah berasaskan nilai seperti DQN cenderung lebih cekap sampel kerana ia menggunakan semula pengalaman lepas yang disimpan dalam penimbal ulangan dan belajar daripada setiap peralihan beberapa kali. Walau bagaimanapun, ia boleh menjadi tidak stabil apabila digabungkan dengan rangkaian saraf yang mendalam, itulah sebabnya teknik seperti rangkaian sasaran diperkenalkan. Kaedah berasaskan dasar dikemas kini dengan lebih lancar tetapi biasanya memerlukan lebih banyak sampel untuk berkumpul, dan anggaran kecerunannya boleh menjadi bising.
Satu sifat baik kaedah berasaskan dasar ialah dasar itu sendiri boleh menjadi stokastik, bermakna ejen secara semula jadi meneroka dengan mengambil sampel daripada taburan tindakannya. Kaedah berasaskan nilai memerlukan strategi penerokaan yang eksplisit, dengan epsilon-greedy menjadi pilihan klasik, walaupun pendekatan yang lebih canggih seperti jaring bising atau batas keyakinan atas juga wujud. Ini menjadikan kaedah berasaskan dasar amat menarik dalam persekitaran di mana penerokaan adalah rumit.
Garisan antara kedua-dua keluarga ini tidak selalunya tajam. Kaedah Aktor-Pengkritik, termasuk PPO dan A2C, menggabungkan kedua-dua idea dengan menggunakan fungsi nilai (pengkritik) untuk membimbing kemas kini dasar (pelaku). Pendekatan hibrid ini selalunya mendapat yang terbaik daripada kedua-dua dunia: varians yang lebih rendah daripada kecerunan dasar tulen dan pengendalian tindakan berterusan yang lebih baik daripada kaedah berasaskan nilai tulen. Algoritma canggih moden dalam banyak domain adalah varian aktor-pengkritik.
Kaedah berasaskan dasar sentiasa mengatasi kaedah berasaskan nilai dalam pembelajaran peneguhan mendalam.
Kedua-dua keluarga ini tidak unggul secara universal. Kaedah berasaskan nilai seperti DQN mencapai keputusan cemerlang di Atari, manakala kaedah berasaskan dasar cemerlang dalam kawalan berterusan. Pilihan terbaik bergantung pada ruang tindakan, dinamik persekitaran dan berapa banyak data yang tersedia.
Kaedah berasaskan nilai tidak boleh berfungsi dengan ruang tindakan berterusan.
Walaupun pembelajaran-Q standard bergelut dengan tindakan berterusan, varian seperti Kecerunan Dasar Deterministik Mendalam (DDPG) dan DDPG Tertunda Berkembar (TD3) melanjutkan idea berasaskan nilai kepada domain berterusan dengan menggunakan seni bina pelakon-kritik. Pemisahan ketat antara kedua-dua keluarga lebih kepada penyederhanaan pengajaran daripada peraturan yang ketat.
Kecerunan dasar sentiasa menumpu kepada dasar yang optimum.
Kaedah kecerunan dasar dijamin akan menumpu kepada dasar optimum setempat di bawah andaian kelancaran standard, bukan optimum global. Landskap pengoptimuman boleh mempunyai banyak puncak, dan algoritma akan menentukan yang mana satu akan membawa kepada titik permulaannya.
Kaedah berasaskan nilai tidak memerlukan sebarang perwakilan dasar.
Malah kaedah berasaskan nilai secara tersirat mentakrifkan sesuatu dasar melalui peraturan pemilihan tindakan mereka, seperti tamak atau epsilon-tamak. Perbezaannya ialah dasar tersebut tidak diparameterkan dan dipelajari secara langsung; ia diperoleh daripada anggaran nilai.
Lebih banyak sampel sentiasa menyelesaikan masalah ketidakstabilan dalam kaedah berasaskan nilai yang mendalam.
Ketidakstabilan dalam pembelajaran Q mendalam berpunca daripada masalah sasaran bergerak, di mana fungsi nilai mengejar kemas kininya sendiri. Hanya menambah lebih banyak data tidak menyelesaikan masalah ini; teknik seperti rangkaian sasaran, pembelajaran Q berganda dan ulangan berprioritas diperlukan untuk menstabilkan latihan.
Pilih kaedah berasaskan dasar apabila masalah anda melibatkan tindakan berterusan, memerlukan penerokaan stokastik semula jadi atau apabila anda mahukan kemas kini dasar yang lancar dan stabil. Gunakan kaedah berasaskan nilai untuk masalah tindakan diskret yang mana kecekapan sampel penting dan anda boleh memanfaatkan ulangan pengalaman. Untuk banyak tugasan dunia sebenar, hibrid pelakon-pengkritik menawarkan jalan tengah praktikal yang menggabungkan kekuatan kedua-duanya.
Adaptasi bahasa dalam AI memberi tumpuan kepada pengajaran model untuk mengendalikan bahasa tertentu melalui penalaan halus dan pembelajaran pemindahan, manakala sistem AI agnostik bahasa bertujuan untuk memproses sebarang bahasa tanpa latihan khusus bahasa. Kedua-dua pendekatan menangani cabaran berbilang bahasa tetapi berbeza secara asasnya dalam seni bina, data latihan dan penggunaan dunia sebenar.
Perbandingan ini menganalisis pilihan strategik dalam pembelajaran mesin antara Adaptasi Domain, yang memindahkan pengetahuan daripada persekitaran sumber berlabel kepada persekitaran sasaran yang berbeza, dan Latihan Dalam Domain, yang membina model sepenuhnya pada data yang dituai daripada tetapan penggunaan sasaran yang tepat.
Pengagregatan keutamaan menggabungkan pelbagai keutamaan individu ke dalam keputusan kolektif, manakala pemodelan ramalan individu meramalkan tingkah laku peribadi menggunakan pembelajaran mesin pada data pengguna tunggal. Kedua-duanya mempunyai tujuan yang berbeza dalam sistem AI, daripada enjin cadangan kepada platform pengundian demokratik.
Pecahan seni bina ini menganalisis paradigma berbeza bagi sistem kecerdasan buatan berpandukan matlamat dan berpandukan input. Walaupun seni bina berpandukan input cemerlang dalam pemprosesan reaktif dan pengecaman corak serta-merta, sistem berpandukan matlamat mempunyai rangka kerja kognitif lanjutan yang diperlukan untuk penaakulan berbilang langkah, perancangan adaptif dan penyelesaian masalah autonomi.
Perbandingan ini menerangkan perbezaan utama antara kecerdasan buatan dan automasi, dengan memberi tumpuan kepada cara ia berfungsi, masalah yang diselesaikannya, kebolehsuaiannya, kerumitan, kos, dan kes penggunaan perniagaan dalam dunia sebenar.
