Kaedah pengkritik pelakon menggabungkan kecerunan dasar dengan fungsi nilai yang dipelajari untuk mengurangkan varians dan mempercepat pembelajaran, manakala kaedah kecerunan dasar tulen bergantung sepenuhnya pada pulangan dasar dan Monte Carlo. Memilih antara kaedah tersebut bergantung pada sama ada anda memerlukan kestabilan dan kecekapan sampel atau kesederhanaan dan anggaran yang tidak berat sebelah.
Algoritma pembelajaran peneguhan hibrid yang menggabungkan rangkaian dasar (pelaku) dengan rangkaian penganggaran nilai (pengkritik) untuk latihan yang lebih stabil.
Algoritma pembelajaran pengukuhan yang mengoptimumkan dasar berparameter secara langsung menggunakan pendakian kecerunan pada pulangan yang dijangkakan, tanpa model nilai yang berasingan.
| Ciri-ciri | Kaedah Pelakon-Pengkritik | Kaedah Kecerunan Dasar Tulen |
|---|---|---|
| Mekanisme Teras | Menggabungkan rangkaian dasar (pelaku) dengan rangkaian nilai (pengkritik) | Mengoptimumkan dasar secara langsung menggunakan pulangan sampel |
| Varians Anggaran Kecerunan | Varians yang lebih rendah disebabkan oleh garis dasar yang dipelajari | Varians yang lebih tinggi daripada pulangan Monte Carlo |
| Bias | Sedikit bias yang diperkenalkan oleh penghampiran pengkritik | Anggaran kecerunan yang tidak berat sebelah |
| Kecekapan Sampel | Secara amnya lebih tinggi, menggunakan semula data melalui bootstrapping | Lebih rendah, memerlukan episod penuh atau banyak sampel |
| Kerumitan Pelaksanaan | Lebih kompleks, memerlukan latihan dua rangkaian | Lebih mudah, hanya satu rangkaian untuk diuruskan |
| Kestabilan Latihan | Lebih stabil berkat varians dan kawasan kepercayaan yang lebih rendah | Kurang stabil, sensitif terhadap kadar pembelajaran dan skala ganjaran |
| Pengendalian Penerokaan | Boleh menggabungkan bonus entropi atau pengkritik stokastik | Secara semula jadi stokastik, mudah untuk menggalakkan penerokaan |
| Kes Penggunaan Lazim | RL berskala besar, robotik, RLHF untuk model bahasa | Tugasan kawalan mudah, garis dasar penyelidikan, masalah episodik |
Perbezaan praktikal terbesar antara kedua-dua keluarga ini bergantung pada cara mereka menganggarkan arah penambahbaikan. Kaedah kecerunan dasar tulen bergantung pada pulangan Monte Carlo yang dikumpulkan daripada episod penuh, yang memberikan isyarat yang tidak berat sebelah tetapi berubah-ubah secara liar bergantung pada nasib mana-mana pelancaran tunggal. Kaedah pengkritik pelakon menggantikan pulangan yang bising itu dengan fungsi nilai yang dipelajari, dengan berkesan menolak garis dasar yang menangkap hasil yang dijangkakan. Hasilnya ialah kecerunan varians yang jauh lebih rendah yang membolehkan latihan berjalan dengan lebih lancar, terutamanya dalam persekitaran di mana ganjaran jarang atau tertangguh.
Pertukaran varians untuk bias merupakan kompromi utama dalam reka bentuk pelakon-pengkritik. Pengkritik itu sendiri merupakan penghampiran, jadi anggarannya boleh salah, dan ralat itu meresap ke dalam kemas kini dasar. Kaedah kecerunan dasar tulen mengelakkan perkara ini sepenuhnya kerana ia tidak pernah menghampiri fungsi nilai, tetapi ia membayar untuk ketulenan itu dengan kemas kini yang lebih bising. Dalam praktiknya, algoritma pelakon-pengkritik moden seperti PPO dan SAC menguruskan pertukaran ini dengan begitu baik sehingga bias kecil jarang menjadi masalah, itulah sebabnya ia menguasai penanda aras.
Kecekapan sampel sangat penting apabila berinteraksi dengan persekitaran adalah mahal, seperti dalam robotik atau sistem dialog dunia sebenar. Kaedah pelakon-kritik menonjol di sini kerana pengkritik mengambil but daripada ramalannya sendiri, membolehkan algoritma belajar daripada setiap peralihan beberapa kali. Kaedah kecerunan dasar tulen biasanya memerlukan data dasar yang baharu untuk setiap kemas kini, yang bermaksud lebih banyak interaksi persekitaran untuk jumlah penambahbaikan dasar yang sama. Inilah salah satu sebab algoritma gaya REINFORCE lebih biasa dalam tetapan penyelidikan di mana simulasi murah.
Jika anda mahukan sesuatu yang cepat untuk diprototaip, kaedah kecerunan dasar tulen adalah menarik. Anda hanya memerlukan rangkaian dasar, fungsi kerugian yang dibina daripada kebarangkalian log yang ditimbang oleh pulangan dan cara untuk mengumpul trajektori. Kaedah pengkritik-pelakon menambah beban melatih rangkaian kedua, mengimbangi kadar pembelajarannya terhadap kadar pembelajaran pelakon dan memastikan pengkritik menumpu cukup pantas untuk menjadi berguna. Kerumitan tambahan itu membuahkan hasil dalam prestasi, tetapi ia meningkatkan standard untuk pendatang baru.
Kedua-dua pendekatan mengendalikan dasar stokastik secara semula jadi, tetapi ia menggalakkan penerokaan secara berbeza. Kaedah kecerunan dasar tulen mendapatkan penerokaan secara percuma daripada entropi dasar itu sendiri, yang berfungsi dengan baik dalam masalah dengan taburan tindakan yang jelas. Kaedah pelakon-pengkritik selalunya menambah bonus entropi eksplisit kepada objektif, seperti yang dilakukan oleh Pelakon-Pengkritik Lembut, untuk mengelakkan dasar daripada runtuh terlalu awal. Ini menjadikan varian pelakon-pengkritik lebih mantap dalam tugasan di mana ejen mungkin tersekat dalam tingkah laku suboptimum.
Kaedah pengkritik pelakon merupakan keluarga algoritma yang sama sekali berbeza daripada kecerunan dasar.
Kaedah pengkritik pelakon sebenarnya merupakan subset kaedah kecerunan dasar. Ia mengira kecerunan dasar yang sama, tetapi menggunakan fungsi nilai yang dipelajari untuk mengurangkan varians dan bukannya bergantung pada pulangan mentah.
Kaedah kecerunan dasar tulen sentiasa menumpu lebih pantas kerana ia tidak berat sebelah.
Ketidakberatsamaan tidak bermakna penumpuan yang pantas. Varians anggaran Monte Carlo yang tinggi sering memperlahankan latihan secara mendadak, terutamanya dalam tugasan jangka panjang di mana ganjaran ditangguhkan.
Kaedah pengkritik pelakon tidak boleh berfungsi dengan ruang aksi berterusan.
Banyak algoritma pengkritik pelakon, termasuk SAC dan DDPG, direka khusus untuk kawalan berterusan dan berfungsi dengan sangat baik dalam robotik dan simulasi berasaskan fizik.
Anda sentiasa memerlukan pengkritik untuk melakukan pembelajaran peneguhan dengan baik.
Kaedah kecerunan dasar tulen seperti REINFORCE dan TRPO telah menyelesaikan banyak masalah tanpa pengkritik. Pengkritik adalah alat untuk pengurangan varians, bukan keperluan yang ketat.
PPO ialah kaedah kecerunan dasar tulen.
PPO secara teknikalnya merupakan algoritma pengkritik pelakon. Ia menggunakan objektif pengganti yang dipotong pada bahagian dasar, tetapi ia bergantung pada rangkaian nilai untuk mengira kelebihan dan membimbing kemas kini.
Pilih kaedah kecerunan dasar tulen apabila anda mahukan algoritma yang mudah dan tidak berat sebelah untuk masalah ufuk pendek atau sebagai garis dasar penyelidikan yang bersih. Dapatkan kaedah pengkritik pelakon apabila anda mengambil berat tentang kecekapan sampel, kestabilan latihan atau penskalaan kepada persekitaran kompleks seperti robotik dan penalaan halus model bahasa besar.
Adaptasi bahasa dalam AI memberi tumpuan kepada pengajaran model untuk mengendalikan bahasa tertentu melalui penalaan halus dan pembelajaran pemindahan, manakala sistem AI agnostik bahasa bertujuan untuk memproses sebarang bahasa tanpa latihan khusus bahasa. Kedua-dua pendekatan menangani cabaran berbilang bahasa tetapi berbeza secara asasnya dalam seni bina, data latihan dan penggunaan dunia sebenar.
Perbandingan ini menganalisis pilihan strategik dalam pembelajaran mesin antara Adaptasi Domain, yang memindahkan pengetahuan daripada persekitaran sumber berlabel kepada persekitaran sasaran yang berbeza, dan Latihan Dalam Domain, yang membina model sepenuhnya pada data yang dituai daripada tetapan penggunaan sasaran yang tepat.
Pengagregatan keutamaan menggabungkan pelbagai keutamaan individu ke dalam keputusan kolektif, manakala pemodelan ramalan individu meramalkan tingkah laku peribadi menggunakan pembelajaran mesin pada data pengguna tunggal. Kedua-duanya mempunyai tujuan yang berbeza dalam sistem AI, daripada enjin cadangan kepada platform pengundian demokratik.
Pecahan seni bina ini menganalisis paradigma berbeza bagi sistem kecerdasan buatan berpandukan matlamat dan berpandukan input. Walaupun seni bina berpandukan input cemerlang dalam pemprosesan reaktif dan pengecaman corak serta-merta, sistem berpandukan matlamat mempunyai rangka kerja kognitif lanjutan yang diperlukan untuk penaakulan berbilang langkah, perancangan adaptif dan penyelesaian masalah autonomi.
Perbandingan ini menerangkan perbezaan utama antara kecerdasan buatan dan automasi, dengan memberi tumpuan kepada cara ia berfungsi, masalah yang diselesaikannya, kebolehsuaiannya, kerumitan, kos, dan kes penggunaan perniagaan dalam dunia sebenar.
