Mekanisme perhatian kendiri dan model ruang keadaan merupakan dua pendekatan asas kepada pemodelan jujukan dalam AI moden. Perhatian kendiri cemerlang dalam menangkap hubungan token-ke-token yang kaya tetapi menjadi mahal dengan jujukan yang panjang, manakala model ruang keadaan memproses jujukan dengan lebih cekap dengan penskalaan linear, menjadikannya menarik untuk aplikasi konteks panjang dan masa nyata.
Pendekatan pemodelan jujukan di mana setiap token secara dinamik menangani semua token lain untuk mengira perwakilan kontekstual.
Rangka kerja pemodelan jujukan yang mewakili input sebagai keadaan tersembunyi yang berkembang dari semasa ke semasa.
| Ciri-ciri | Mekanisme Perhatian Kendiri (Transformer) | Model Angkasa Negeri |
|---|---|---|
| Idea Teras | Perhatian token-ke-token merentasi urutan penuh | Evolusi keadaan tersembunyi dari semasa ke semasa |
| Kerumitan Pengiraan | Penskalaan kuadratik | Penskalaan linear |
| Penggunaan Memori | Tinggi untuk urutan yang panjang | Lebih cekap memori |
| Pengendalian Urutan Panjang | Mahal melebihi tempoh konteks tertentu | Direka untuk urutan yang panjang |
| Selarikan | Sangat selari semasa latihan | Lebih berurutan sifatnya |
| Kebolehtafsiran | Peta perhatian sebahagiannya boleh ditafsirkan | Dinamik keadaan kurang boleh ditafsirkan secara langsung |
| Kecekapan Latihan | Sangat cekap pada pemecut moden | Cekap tetapi kurang mesra selari |
| Kes Penggunaan Lazim | Model bahasa besar, transformer penglihatan, sistem multimodal | Siri masa, audio, pemodelan konteks panjang |
Mekanisme perhatian kendiri, seperti yang digunakan dalam transformer, secara eksplisit membandingkan setiap token dengan setiap token lain untuk membina perwakilan kontekstual. Ini mewujudkan sistem yang sangat ekspresif yang menangkap hubungan secara langsung. Model ruang keadaan sebaliknya menganggap jujukan sebagai sistem yang berkembang, di mana maklumat mengalir melalui keadaan tersembunyi yang dikemas kini langkah demi langkah, mengelakkan perbandingan berpasangan yang eksplisit.
Perhatian kendiri kurang berskala dengan jujukan yang panjang kerana setiap token tambahan meningkatkan bilangan interaksi berpasangan secara mendadak. Model ruang keadaan mengekalkan kos pengiraan yang lebih stabil apabila panjang jujukan meningkat, menjadikannya lebih sesuai untuk input yang sangat panjang seperti dokumen, strim audio atau data siri masa.
Perhatian kendiri boleh menghubungkan token jauh secara langsung, yang menjadikannya berkuasa untuk menangkap hubungan jarak jauh, tetapi ini datang dengan kos pengiraan yang tinggi. Model ruang keadaan mengekalkan ingatan jarak jauh melalui kemas kini keadaan berterusan, menawarkan bentuk penaakulan konteks panjang yang lebih cekap tetapi kadangkala kurang langsung.
Perhatian kendiri mendapat banyak manfaat daripada selari GPU dan TPU, itulah sebabnya transformer mendominasi latihan berskala besar. Model ruang keadaan selalunya lebih berjujukan, yang boleh mengehadkan kecekapan selari, tetapi ia mengimbangi dengan inferens yang lebih pantas dalam senario jujukan panjang.
Perhatian kendiri telah disepadukan secara mendalam ke dalam sistem AI moden, memperkasakan kebanyakan model bahasa dan visi yang canggih. Model ruang keadaan adalah lebih baharu dalam aplikasi pembelajaran mendalam tetapi semakin mendapat perhatian sebagai alternatif yang boleh diskalakan untuk domain yang mana kecekapan konteks panjang adalah penting.
Model ruang keadaan hanyalah transformer yang dipermudahkan
Model ruang keadaan pada asasnya berbeza. Ia berdasarkan sistem dinamik berterusan dan bukannya perhatian token-ke-token yang eksplisit, menjadikannya kerangka matematik yang berasingan dan bukannya versi transformer yang dipermudahkan.
Perhatian kendiri langsung tidak dapat mengendalikan urutan yang panjang
Perhatian kendiri boleh mengendalikan jujukan yang panjang, tetapi ia menjadi mahal dari segi pengiraan. Pelbagai pengoptimuman dan penghampiran wujud, walaupun ia tidak menghapuskan sepenuhnya batasan penskalaan.
Model ruang keadaan tidak dapat menangkap kebergantungan jarak jauh
Model ruang keadaan direka khusus untuk menangkap kebergantungan jarak jauh melalui keadaan tersembunyi yang berterusan, walaupun ia melakukannya secara tidak langsung dan bukannya melalui perbandingan token yang eksplisit.
Perhatian diri sentiasa mengatasi kaedah lain
Walaupun sangat berkesan, perhatian kendiri tidak selalunya optimum. Dalam tetapan jujukan panjang atau terhad sumber, model ruang keadaan boleh menjadi lebih cekap dan berdaya saing.
Model ruang keadaan ketinggalan zaman kerana ia berasal daripada teori kawalan
Walaupun berakar umbi dalam teori kawalan klasik, model ruang keadaan moden telah direka bentuk semula untuk pembelajaran mendalam dan dikaji secara aktif sebagai alternatif berskala kepada seni bina berasaskan perhatian.
Mekanisme perhatian kendiri kekal sebagai pendekatan dominan disebabkan oleh kuasa ekspresif dan sokongan ekosistem yang kuat, terutamanya dalam model bahasa yang besar. Model ruang keadaan menawarkan alternatif yang menarik untuk aplikasi kritikal kecekapan, terutamanya apabila panjang jujukan yang panjang menjadikan perhatian sangat mahal. Kedua-dua pendekatan berkemungkinan wujud bersama, setiap satunya memenuhi keperluan pengiraan dan aplikasi yang berbeza.
Adaptasi bahasa dalam AI memberi tumpuan kepada pengajaran model untuk mengendalikan bahasa tertentu melalui penalaan halus dan pembelajaran pemindahan, manakala sistem AI agnostik bahasa bertujuan untuk memproses sebarang bahasa tanpa latihan khusus bahasa. Kedua-dua pendekatan menangani cabaran berbilang bahasa tetapi berbeza secara asasnya dalam seni bina, data latihan dan penggunaan dunia sebenar.
Perbandingan ini menganalisis pilihan strategik dalam pembelajaran mesin antara Adaptasi Domain, yang memindahkan pengetahuan daripada persekitaran sumber berlabel kepada persekitaran sasaran yang berbeza, dan Latihan Dalam Domain, yang membina model sepenuhnya pada data yang dituai daripada tetapan penggunaan sasaran yang tepat.
Pengagregatan keutamaan menggabungkan pelbagai keutamaan individu ke dalam keputusan kolektif, manakala pemodelan ramalan individu meramalkan tingkah laku peribadi menggunakan pembelajaran mesin pada data pengguna tunggal. Kedua-duanya mempunyai tujuan yang berbeza dalam sistem AI, daripada enjin cadangan kepada platform pengundian demokratik.
Pecahan seni bina ini menganalisis paradigma berbeza bagi sistem kecerdasan buatan berpandukan matlamat dan berpandukan input. Walaupun seni bina berpandukan input cemerlang dalam pemprosesan reaktif dan pengecaman corak serta-merta, sistem berpandukan matlamat mempunyai rangka kerja kognitif lanjutan yang diperlukan untuk penaakulan berbilang langkah, perancangan adaptif dan penyelesaian masalah autonomi.
Perbandingan ini menerangkan perbezaan utama antara kecerdasan buatan dan automasi, dengan memberi tumpuan kepada cara ia berfungsi, masalah yang diselesaikannya, kebolehsuaiannya, kerumitan, kos, dan kes penggunaan perniagaan dalam dunia sebenar.
