Mixture of Experts (MoE) dan Dense Neural Networks (Jaringan Saraf Padat) mewakili dua pendekatan yang sangat berbeda untuk meningkatkan skala model AI. Sementara jaringan padat mengaktifkan setiap parameter untuk setiap input, arsitektur MoE secara selektif mengarahkan input ke sub-jaringan khusus, menawarkan peningkatan efisiensi yang telah membentuk kembali desain model bahasa besar modern.
Arsitektur jaringan saraf yang secara selektif mengaktifkan hanya sebagian parameter untuk setiap input, sehingga meningkatkan efisiensi komputasi.
Arsitektur jaringan saraf tradisional di mana setiap parameter diaktifkan dan dihitung untuk setiap input yang dilewatkan melalui model.
| Fitur | Gabungan Para Ahli | Jaringan Saraf Padat |
|---|---|---|
| Aktivasi Parameter | Hanya sebagian kecil pakar yang diaktifkan per masukan. | Semua parameter diaktifkan untuk setiap input. |
| Biaya Komputasi | Skala sub-linier dengan parameter total | Berbanding secara linier dengan parameter total. |
| Kompleksitas Pelatihan | Membutuhkan jaringan gating dan penyeimbangan beban. | Backpropagation standar bekerja secara langsung |
| Persyaratan Memori | Harus memuat semua parameter tetapi menghitung lebih sedikit FLOP. | Harus memuat dan menghitung semua parameter. |
| Skalabilitas | Mampu mengakses triliunan parameter secara efisien. | Batasan praktis sekitar ratusan miliar |
| Kecepatan Inferensi | Per-token lebih cepat karena aktivasi yang jarang. | Latensi per-token lebih lambat tetapi dapat diprediksi. |
| Optimasi Perangkat Keras | Menantang karena pola komputasi yang tidak teratur. | Sangat dioptimalkan untuk GPU dan TPU. |
| Contoh Model | Mixtral 8x7B, Transformator Sakelar, DeepSeek-V3 | GPT-3, LLaMA, BERT, ResNet |
Perbedaan mendasar terletak pada bagaimana setiap arsitektur memproses informasi. Jaringan padat memperlakukan setiap parameter sebagai hal penting untuk setiap komputasi, menciptakan aliran data yang seragam melalui semua lapisan. Model MoE, sebaliknya, berfungsi lebih seperti tim spesialis di mana router memutuskan ahli mana yang menangani setiap input spesifik. Ini berarti model MoE mungkin memiliki total 140 miliar parameter tetapi hanya menggunakan 20 miliar untuk setiap token tertentu, secara dramatis mengurangi komputasi aktual yang dilakukan.
Jaringan padat (dens network) diuntungkan oleh dinamika pelatihan yang mudah dipahami dan aliran gradien yang sederhana, sehingga lebih mudah dioptimalkan dan di-debug. Arsitektur MoE (Multiple of Experts) memperkenalkan kompleksitas tambahan melalui mekanisme gating, yang harus belajar mengarahkan input secara efektif sambil mempertahankan pemanfaatan ahli yang seimbang. Tanpa penyeimbangan beban yang cermat, model MoE dapat mengalami kolaps routing di mana sebagian besar input mengalir hanya ke beberapa ahli, sehingga menggagalkan tujuan memiliki banyak spesialis.
Selama inferensi, model dense menawarkan latensi yang dapat diprediksi dan konsisten karena komputasi yang sama terjadi terlepas dari input. Model MoE rata-rata bisa lebih cepat tetapi menimbulkan variabilitas karena input yang berbeda memicu kombinasi expert yang berbeda. Ketidakaturan ini menciptakan tantangan bagi akselerasi perangkat keras dan dapat menyebabkan hambatan memori karena semua bobot expert harus dimuat meskipun hanya sebagian yang digunakan.
Jaringan padat tetap dominan dalam skenario yang membutuhkan kinerja konsisten, penyebaran yang lebih sederhana, dan perangkat yang mapan, terutama dalam visi komputer dan model bahasa yang lebih kecil. Arsitektur MoE unggul ketika organisasi perlu menyebarkan model yang sangat besar dengan anggaran komputasi yang terbatas, seperti melayani model bahasa dengan triliunan parameter secara hemat biaya. Pilihan seringkali bergantung pada apakah prioritas Anda adalah kesederhanaan penyebaran atau jumlah parameter maksimum dalam anggaran komputasi.
Di sinilah MoE menjadi menarik: ia mengorbankan memori demi efisiensi komputasi. Model padat 70B membutuhkan memori 140GB dalam FP16 dan melakukan 70 miliar FLOP per token. Model MoE dengan total parameter 140B mungkin membutuhkan memori yang serupa tetapi hanya melakukan setara dengan 20 miliar FLOP per token. Hal ini membuat MoE menarik ketika Anda memiliki memori yang berlebih tetapi ingin meminimalkan waktu komputasi GPU yang mahal.
Model MoE selalu lebih cepat daripada model padat dengan kualitas yang sama.
Model MoE bisa lebih cepat per token, tetapi memerlukan pemuatan semua bobot ahli ke dalam memori, yang dapat menciptakan hambatan. Keunggulan kecepatan sangat bergantung pada perangkat keras, ukuran batch, dan seberapa baik perutean mendistribusikan pekerjaan di antara para ahli.
Jaringan padat sudah usang sekarang karena adanya MoE.
Jaringan padat tetap menjadi standar untuk sebagian besar penerapan produksi, terutama dalam visi komputer, pengenalan suara, dan model bahasa yang lebih kecil. MoE adalah alat khusus untuk tantangan penskalaan tertentu, bukan pengganti universal.
Model MoE memiliki parameter yang lebih sedikit daripada model padat.
Model MoE biasanya memiliki jumlah parameter total yang jauh lebih banyak daripada model dense, terkadang 10 kali lipat atau lebih. Kuncinya adalah hanya sebagian parameter yang aktif per input, tetapi jumlah parameter keseluruhan menentukan kebutuhan memori.
Semua model bahasa besar saat ini menggunakan arsitektur MoE.
Sebagian besar LLM yang diterapkan masih menggunakan arsitektur padat, termasuk LLaMA, Claude (versi sebelumnya), dan sebagian besar model sumber terbuka. Adopsi MoE semakin meningkat tetapi belum universal di antara model-model terdepan.
Pelatihan MoE sama seperti pelatihan intensif dengan tambahan tahapan.
Pelatihan MoE (Maintenance of Experts) memerlukan penyetelan yang cermat terhadap kerugian tambahan, desain router, dan faktor kapasitas ahli. Melatih MoE secara asal-asalan seringkali mengakibatkan kinerja yang buruk karena kegagalan perutean atau spesialisasi ahli yang tidak merata.
Pilih Mixture of Experts (Mekanisme Gabungan Pakar) ketika Anda perlu menangani jumlah parameter yang sangat besar sambil menjaga biaya inferensi tetap terkendali, dan tim Anda dapat menangani kompleksitas tambahan dari perutean dan penyeimbangan beban. Dense Neural Networks (DNNN) tetap menjadi pilihan yang lebih baik untuk sebagian besar aplikasi praktis di mana kesederhanaan, kinerja yang dapat diprediksi, dan perangkat yang matang lebih penting daripada mendorong jumlah parameter hingga batas absolutnya.
Adaptasi bahasa dalam AI berfokus pada pengajaran model untuk menangani bahasa tertentu melalui penyempurnaan dan pembelajaran transfer, sementara sistem AI yang tidak bergantung pada bahasa bertujuan untuk memproses bahasa apa pun tanpa pelatihan khusus bahasa. Kedua pendekatan tersebut mengatasi tantangan multibahasa tetapi berbeda secara mendasar dalam arsitektur, data pelatihan, dan penerapan di dunia nyata.
Perbandingan ini menganalisis pilihan strategis dalam pembelajaran mesin antara Adaptasi Domain, yang mentransfer pengetahuan dari lingkungan sumber berlabel ke lingkungan target yang berbeda, dan Pelatihan Dalam Domain, yang membangun model sepenuhnya berdasarkan data yang dikumpulkan dari pengaturan penerapan target yang tepat.
Agen AI berorientasi tugas dibangun untuk menyelesaikan alur kerja spesifik secara mandiri, sementara model bahasa tujuan umum berfungsi sebagai generator teks serbaguna yang merespons berbagai macam perintah. Memilih di antara keduanya bergantung pada apakah Anda membutuhkan eksekusi tugas yang andal atau kecerdasan percakapan yang fleksibel.
Agen AI otonom beroperasi secara independen dengan merencanakan, menalar, dan mengeksekusi tugas multi-langkah dengan masukan manusia minimal, sementara sistem AI berbasis perintah merespons instruksi pengguna individual satu interaksi pada satu waktu. Perbedaan utamanya terletak pada kemampuan bertindak: agen mengejar tujuan lintas sesi, sedangkan sistem berbasis perintah menunggu arahan.
Agen AI personal adalah sistem baru yang bertindak atas nama pengguna, membuat keputusan dan menyelesaikan tugas multi-langkah secara otonom, sementara alat SaaS tradisional bergantung pada alur kerja yang digerakkan pengguna dan antarmuka yang telah ditentukan sebelumnya. Perbedaan utamanya terletak pada otonomi, kemampuan beradaptasi, dan seberapa besar beban kognitif yang dialihkan dari pengguna ke perangkat lunak itu sendiri.
