Strategi eksplorasi dalam pembelajaran penguatan membantu agen menemukan perilaku yang menguntungkan di lingkungan yang tidak dikenal, sementara penambahan data dalam pembelajaran terawasi memperluas kumpulan data pelatihan untuk meningkatkan generalisasi model. Keduanya mengatasi kelangkaan data tetapi beroperasi dalam paradigma pembelajaran yang pada dasarnya berbeda.
Metode yang membantu agen pembelajaran penguatan menemukan keadaan dan tindakan baru untuk mempelajari kebijakan optimal.
Teknik yang secara artifisial memperluas kumpulan data pelatihan dengan membuat versi modifikasi dari sampel yang sudah ada.
| Fitur | Strategi Eksplorasi dalam RL | Augmentasi Data dalam Pembelajaran Terawasi |
|---|---|---|
| Paradigma Pembelajaran | Pembelajaran Penguatan | Pembelajaran Terbimbing |
| Tujuan Utama | Temukan kondisi dan tindakan yang bermanfaat. | Meningkatkan keragaman dan ukuran dataset. |
| Tantangan Utama Teratasi | Imbalan yang sedikit dan lingkungan yang tidak dikenal | Data pelatihan terbatas dan overfitting |
| Teknik-Teknik Utama | Epsilon-greedy, UCB, ICM, RND, Go-Explore | Rotasi, Pencampuran, Potong Campur, Penambahan Otomatis, terjemahan balik |
| Sinyal Umpan Balik | Sinyal penghargaan dari lingkungan | Label sebenarnya dari dataset |
| Biaya Komputasi | Seringkali tinggi karena interaksi lingkungan | Secara umum tingkat kesulitannya sedang, dilakukan secara offline. |
| Dampak Efisiensi Sampel | Mengurangi interaksi lingkungan yang dibutuhkan | Mengurangi kebutuhan data berlabel |
| Domain Umum | Bermain game, robotika, navigasi | Visi komputer, NLP, pengenalan suara |
Strategi eksplorasi ada untuk menyelesaikan dilema eksplorasi-eksploitasi dalam pembelajaran penguatan, di mana agen harus memutuskan antara mencoba tindakan baru untuk menemukan imbalan yang lebih baik dan tetap menggunakan tindakan yang sudah diketahui memberikan imbalan. Augmentasi data memiliki tujuan yang berbeda tetapi terkait: ia secara artifisial memperluas ukuran efektif dari dataset berlabel, membantu model yang diawasi untuk melakukan generalisasi lebih baik pada contoh yang belum pernah dilihat sebelumnya. Kedua teknik tersebut pada akhirnya bertujuan untuk meningkatkan efisiensi pembelajaran, tetapi mereka mengatasi hambatan yang pada dasarnya berbeda dalam kerangka kerja pembelajaran masing-masing.
Metode eksplorasi RL biasanya memodifikasi kebijakan pemilihan tindakan agen atau menambahkan imbalan intrinsik untuk mendorong kunjungan ke keadaan baru. Teknik seperti pembelajaran berbasis rasa ingin tahu memberi penghargaan kepada agen atas kesalahan prediksi, mendorongnya menuju wilayah yang tidak dikenal. Augmentasi data bekerja dengan menerapkan transformasi pada sampel yang ada, menciptakan contoh pelatihan baru yang mempertahankan label sambil memvariasikan fitur input. Misalnya, gambar kucing yang diputar masih diberi label sebagai kucing, tetapi model melihat pola input yang sedikit berbeda.
Strategi eksplorasi paling berharga di lingkungan dengan imbalan yang jarang atau tertunda, di mana tindakan acak kecil kemungkinannya untuk membuahkan hasil. Permainan seperti Montezuma's Revenge, yang terkenal karena menghukum eksplorasi, telah mendorong banyak inovasi di bidang ini. Augmentasi data unggul ketika data berlabel mahal atau terbatas, yang umum terjadi dalam pencitraan medis, citra satelit, dan tugas NLP khusus. Hal ini juga penting untuk membangun model yang tangguh terhadap variasi dunia nyata dalam pencahayaan, orientasi, atau kebisingan.
Menerapkan strategi eksplorasi membutuhkan lingkungan interaktif di mana agen dapat mengambil tindakan dan mengamati konsekuensinya, sehingga membutuhkan komputasi yang intensif dan seringkali lambat untuk dilatih. Augmentasi data biasanya diterapkan sebagai langkah pra-pemrosesan atau di dalam loop pelatihan, sehingga relatif murah dan mudah diintegrasikan ke dalam pipeline yang ada. Seorang praktisi dapat menambahkan augmentasi ke model supervised dalam hitungan menit, sementara penyetelan hyperparameter eksplorasi untuk agen RL mungkin membutuhkan waktu berhari-hari atau berminggu-minggu.
Menariknya, kedua pendekatan ini bertemu dalam beberapa sistem modern. Pembelajaran mandiri (self-supervised learning) menggabungkan elemen dari keduanya, menggunakan teknik seperti augmentasi untuk menciptakan sinyal pelatihan tanpa label eksplisit. Beberapa metode RL terbaru juga menggunakan augmentasi data, seperti DrQ dan RAD, yang menerapkan augmentasi gambar untuk meningkatkan efisiensi sampel dalam pembelajaran penguatan visual. Perpaduan ini menunjukkan bahwa batasan antara paradigma menjadi semakin cair.
Strategi eksplorasi selalu memperlambat pelatihan RL karena membuang waktu pada tindakan acak.
Meskipun eksplorasi sederhana seperti tindakan acak bisa tidak efisien, strategi canggih seperti metode berbasis rasa ingin tahu justru mempercepat pembelajaran dengan mengarahkan agen menuju keadaan yang informatif. Metode seperti RND dan Go-Explore telah memecahkan permainan yang sebelumnya dianggap tidak dapat dipecahkan oleh agen RL.
Augmentasi data hanyalah tentang membalik dan memutar gambar.
Augmentasi modern mencakup kebijakan yang dipelajari (AutoAugment), pendekatan generatif (sintesis berbasis GAN), dan teknik pencampuran yang canggih (CutMix, Mixup). Dalam NLP, augmentasi mencakup terjemahan balik, penggantian kata kontekstual, dan bahkan penggunaan model bahasa besar untuk menghasilkan parafrasa.
Penambahan fitur yang lebih banyak selalu menghasilkan kinerja model yang lebih baik.
Penambahan yang berlebihan atau tidak tepat justru dapat merusak kinerja dengan memperkenalkan sampel yang tidak realistis atau menghancurkan fitur yang relevan dengan label. Kuncinya adalah menemukan penambahan yang mempertahankan konten semantik sambil memvariasikan fitur permukaan, yang seringkali membutuhkan keahlian domain atau kebijakan yang dipelajari.
Eksplorasi dan eksploitasi adalah kekuatan yang berlawanan yang harus diseimbangkan.
Strategi eksplorasi modern tidak hanya sekadar melakukan trade-off antara eksplorasi dan eksploitasi. Metode seperti RL terdistribusi dan pendekatan berbasis rasa ingin tahu menggabungkan kedua tujuan tersebut dalam kerangka kerja terpadu, di mana eksplorasi secara alami mengarah pada eksploitasi yang lebih baik seiring agen mempelajari lebih banyak tentang lingkungannya.
Augmentasi data hanya berguna untuk data gambar.
Teknik augmentasi telah terbukti berharga di berbagai modalitas termasuk audio (specAugment untuk ucapan), teks (terjemahan balik, EDA), deret waktu (jittering, penskalaan), dan bahkan data grafik (penghapusan node, perturbasi tepi). Prinsip menciptakan variasi yang bermakna berlaku secara luas di seluruh domain pembelajaran mesin.
Pilih strategi eksplorasi dalam RL (Reinforcement Learning) ketika Anda membangun agen yang harus belajar melalui interaksi dengan lingkungan, terutama ketika imbalannya sedikit atau ruang keadaannya luas. Pilih augmentasi data dalam pembelajaran terawasi (supervised learning) setiap kali Anda memiliki dataset tetap dan ingin memaksimalkan kinerja model tanpa mengumpulkan lebih banyak contoh berlabel. Banyak sistem AI modern mendapat manfaat dari menggabungkan kedua pendekatan tersebut, terutama di bidang seperti robotika di mana persepsi visual bertemu dengan pengambilan keputusan berurutan.
Adaptasi bahasa dalam AI berfokus pada pengajaran model untuk menangani bahasa tertentu melalui penyempurnaan dan pembelajaran transfer, sementara sistem AI yang tidak bergantung pada bahasa bertujuan untuk memproses bahasa apa pun tanpa pelatihan khusus bahasa. Kedua pendekatan tersebut mengatasi tantangan multibahasa tetapi berbeda secara mendasar dalam arsitektur, data pelatihan, dan penerapan di dunia nyata.
Perbandingan ini menganalisis pilihan strategis dalam pembelajaran mesin antara Adaptasi Domain, yang mentransfer pengetahuan dari lingkungan sumber berlabel ke lingkungan target yang berbeda, dan Pelatihan Dalam Domain, yang membangun model sepenuhnya berdasarkan data yang dikumpulkan dari pengaturan penerapan target yang tepat.
Agen AI berorientasi tugas dibangun untuk menyelesaikan alur kerja spesifik secara mandiri, sementara model bahasa tujuan umum berfungsi sebagai generator teks serbaguna yang merespons berbagai macam perintah. Memilih di antara keduanya bergantung pada apakah Anda membutuhkan eksekusi tugas yang andal atau kecerdasan percakapan yang fleksibel.
Agen AI otonom beroperasi secara independen dengan merencanakan, menalar, dan mengeksekusi tugas multi-langkah dengan masukan manusia minimal, sementara sistem AI berbasis perintah merespons instruksi pengguna individual satu interaksi pada satu waktu. Perbedaan utamanya terletak pada kemampuan bertindak: agen mengejar tujuan lintas sesi, sedangkan sistem berbasis perintah menunggu arahan.
Agen AI personal adalah sistem baru yang bertindak atas nama pengguna, membuat keputusan dan menyelesaikan tugas multi-langkah secara otonom, sementara alat SaaS tradisional bergantung pada alur kerja yang digerakkan pengguna dan antarmuka yang telah ditentukan sebelumnya. Perbedaan utamanya terletak pada otonomi, kemampuan beradaptasi, dan seberapa besar beban kognitif yang dialihkan dari pengguna ke perangkat lunak itu sendiri.
