Optimasi kebijakan berbasis gradien mempelajari strategi kontrol melalui sinyal imbalan coba-coba, sementara sistem kontrol berbasis aturan mengikuti logika yang dikodekan secara manual. Yang satu beradaptasi dengan lingkungan yang kompleks melalui pengalaman, yang lain menawarkan perilaku yang dapat diprediksi dan transparan tanpa data pelatihan.
Pendekatan pembelajaran penguatan yang menyesuaikan parameter kebijakan menggunakan sinyal gradien yang berasal dari umpan balik imbalan.
Arsitektur kontrol yang beroperasi berdasarkan kondisi logis, ambang batas, dan pernyataan if-then yang telah ditentukan sebelumnya dan ditulis oleh para insinyur.
| Fitur | Optimasi Kebijakan Berbasis Gradien | Sistem Kontrol Berbasis Aturan |
|---|---|---|
| Pendekatan Pembelajaran | Mempelajari sinyal imbalan melalui pembaruan gradien. | Menjalankan aturan yang telah diprogram sebelumnya tanpa perlu belajar. |
| Persyaratan Data | Membutuhkan data interaksi dalam jumlah besar. | Tidak diperlukan data pelatihan. |
| Interpretasi | Seringkali seperti kotak hitam; bobot kebijakan tidak transparan. | Sangat transparan; aturan dapat dibaca langsung. |
| Kemampuan beradaptasi | Mampu beradaptasi dengan situasi baru melalui pelatihan berkelanjutan. | Tetap pada tahap perancangan; memerlukan pembaruan manual. |
| Kecepatan Penyebaran | Lambat; seringkali dibutuhkan pelatihan selama berminggu-minggu hingga berbulan-bulan. | Cepat; terapkan setelah aturan ditulis dan diuji. |
| Menangani Input Berdimensi Tinggi | Unggul dalam pengolahan piksel mentah, susunan sensor, dan ruang keadaan yang kompleks. | Kesulitan tanpa rekayasa fitur manual |
| Jaminan Keamanan | Sulit untuk diverifikasi secara formal; dapat menunjukkan perilaku yang tidak terduga. | Lebih mudah diverifikasi melalui metode dan pengujian formal. |
| Biaya Komputasi pada Saat Eksekusi | Tingkat lebih tinggi; membutuhkan inferensi jaringan saraf. | Lebih rendah; operasi logika sederhana sudah cukup. |
Optimasi kebijakan berbasis gradien bekerja dengan memparameterisasi suatu kebijakan, biasanya sebagai jaringan saraf, dan kemudian menggeser bobotnya ke arah yang meningkatkan imbalan yang diharapkan. Sistem mengeksplorasi tindakan, mengamati hasil, dan menggunakan gradien sinyal imbalan untuk meningkatkan kinerja dari waktu ke waktu. Sistem berbasis aturan, sebaliknya, mengikuti pohon keputusan tetap atau serangkaian kondisi logis. Seorang insinyur menulis sesuatu seperti 'jika suhu melebihi 90°C, kurangi daya,' dan pengontrol mematuhi aturan itu setiap saat tanpa penyimpangan.
Agar metode gradien kebijakan dapat berfungsi, diperlukan pendefinisian fungsi imbalan, pengaturan lingkungan untuk interaksi, dan menjalankan optimasi hingga kebijakan konvergen, yang dapat memakan waktu berhari-hari atau berminggu-minggu komputasi. Sistem berbasis aturan melewati semua itu. Seorang ahli di bidangnya menerjemahkan pengetahuan ke dalam kode, mengujinya, dan merilisnya. Kelemahannya adalah sistem berbasis aturan hanya mengetahui apa yang Anda berikan, sementara kebijakan yang dipelajari dapat menemukan strategi yang tidak secara eksplisit ditulis oleh programmer.
Ketika pengendali berbasis aturan berperilaku tidak wajar, Anda dapat melacak kondisi pasti yang memicu keluaran yang buruk. Kemampuan audit semacam ini adalah alasan mengapa sistem berbasis aturan mendominasi penerbangan, perangkat medis, dan kontrol pembangkit nuklir. Metode gradien kebijakan tidak menawarkan kemewahan seperti itu. Perilakunya muncul dari jutaan nilai bobot, dan bahkan para peneliti terkadang kesulitan menjelaskan mengapa agen terlatih memilih tindakan tertentu dalam keadaan tertentu.
Untuk tugas-tugas dengan input sensorik yang kaya, seperti memainkan game Atari dari piksel mentah atau mengendalikan robot humanoid dengan puluhan sendi, metode berbasis gradien memiliki keunggulan yang jelas. Metode ini mempelajari fitur hierarkis secara otomatis dan dapat menangani ruang aksi kontinu yang tidak praktis untuk dikodekan secara manual. Sistem berbasis aturan cenderung mencapai titik jenuh dalam pengaturan seperti itu karena jumlah aturan yang dibutuhkan tumbuh secara eksponensial dengan kompleksitas input.
Industri yang diatur umumnya lebih menyukai sistem berbasis aturan karena dapat diverifikasi secara formal. Anda dapat membuktikan bahwa pengontrol tidak akan pernah memasuki kondisi tidak aman tertentu. Kebijakan yang dipelajari menolak jenis analisis ini, meskipun penelitian tentang pembelajaran penguatan yang dapat diverifikasi sedang berlangsung. Pendekatan hibrida, di mana lapisan keamanan berbasis aturan membungkus kebijakan yang dipelajari, menjadi populer sebagai jalan tengah.
Metode gradien kebijakan selalu mengungguli sistem berbasis aturan.
Pada tugas kontrol industri yang terdefinisi dengan baik, pengontrol berbasis aturan yang disetel dengan benar sering kali menyamai atau mengungguli kebijakan yang dipelajari sambil menggunakan sebagian kecil daya komputasi. Metode yang dipelajari unggul di bidang di mana penulisan aturan secara manual tidak praktis, bukan di setiap masalah.
Sistem berbasis aturan sudah usang dalam AI modern.
Sistem berbasis aturan tetap menjadi tulang punggung infrastruktur yang kritis terhadap keselamatan, mulai dari autopilot pesawat hingga pompa infus medis. Sistem ini sering dikombinasikan dengan komponen yang dipelajari dalam arsitektur hibrida, alih-alih digantikan sepenuhnya.
Setelah dilatih, agen gradien kebijakan dianggap 'selesai' dan tidak perlu diperbarui lagi.
Pergeseran distribusi, penyimpangan sensor, dan perubahan lingkungan dapat menurunkan kinerja kebijakan yang telah dilatih. Banyak sistem yang diterapkan mencakup pembelajaran berkelanjutan atau pelatihan ulang berkala agar tetap efektif.
Sistem berbasis aturan tidak dapat menangani ketidakpastian.
Pengontrol logika fuzzy dan sistem aturan probabilistik telah menangani ketidakpastian selama beberapa dekade. Mereka menggunakan fungsi keanggotaan dan ambang kepercayaan, bukan kondisi boolean yang pasti, untuk menalar tentang input yang bising.
Metode gradien kebijakan selalu konvergen ke kebijakan optimal.
Jaminan konvergensi hanya ada di bawah asumsi yang ketat. Dalam praktiknya, kebijakan sering kali berujung pada optimasi lokal, dan desain fungsi imbalan sangat memengaruhi apa arti 'optimal' sebenarnya.
Pilih optimasi kebijakan berbasis gradien ketika lingkungan terlalu kompleks untuk dikodekan secara manual, ketika Anda memiliki data simulasi atau interaksi yang melimpah, dan ketika kinerja puncak lebih penting daripada interpretasi. Pilih sistem kontrol berbasis aturan ketika sertifikasi keselamatan diperlukan, ketika masalahnya dipahami dengan baik, atau ketika Anda membutuhkan solusi yang berfungsi hari ini tanpa infrastruktur pelatihan.
Adaptasi bahasa dalam AI berfokus pada pengajaran model untuk menangani bahasa tertentu melalui penyempurnaan dan pembelajaran transfer, sementara sistem AI yang tidak bergantung pada bahasa bertujuan untuk memproses bahasa apa pun tanpa pelatihan khusus bahasa. Kedua pendekatan tersebut mengatasi tantangan multibahasa tetapi berbeda secara mendasar dalam arsitektur, data pelatihan, dan penerapan di dunia nyata.
Perbandingan ini menganalisis pilihan strategis dalam pembelajaran mesin antara Adaptasi Domain, yang mentransfer pengetahuan dari lingkungan sumber berlabel ke lingkungan target yang berbeda, dan Pelatihan Dalam Domain, yang membangun model sepenuhnya berdasarkan data yang dikumpulkan dari pengaturan penerapan target yang tepat.
Agen AI berorientasi tugas dibangun untuk menyelesaikan alur kerja spesifik secara mandiri, sementara model bahasa tujuan umum berfungsi sebagai generator teks serbaguna yang merespons berbagai macam perintah. Memilih di antara keduanya bergantung pada apakah Anda membutuhkan eksekusi tugas yang andal atau kecerdasan percakapan yang fleksibel.
Agen AI otonom beroperasi secara independen dengan merencanakan, menalar, dan mengeksekusi tugas multi-langkah dengan masukan manusia minimal, sementara sistem AI berbasis perintah merespons instruksi pengguna individual satu interaksi pada satu waktu. Perbedaan utamanya terletak pada kemampuan bertindak: agen mengejar tujuan lintas sesi, sedangkan sistem berbasis perintah menunggu arahan.
Agen AI personal adalah sistem baru yang bertindak atas nama pengguna, membuat keputusan dan menyelesaikan tugas multi-langkah secara otonom, sementara alat SaaS tradisional bergantung pada alur kerja yang digerakkan pengguna dan antarmuka yang telah ditentukan sebelumnya. Perbedaan utamanya terletak pada otonomi, kemampuan beradaptasi, dan seberapa besar beban kognitif yang dialihkan dari pengguna ke perangkat lunak itu sendiri.
