kecerdasan buatanpembelajaran mesingenerasi yang ditingkatkan dengan pengambilanmodel bahasa besarArsitektur AI
Peningkatan Memori Eksternal vs Memori Model Internal
Augmentasi memori eksternal memberi sistem AI penyimpanan pengetahuan terpisah yang dapat dicari dan dapat mereka gunakan pada saat inferensi, sementara memori model internal menanamkan pengetahuan langsung ke dalam bobot jaringan saraf selama pelatihan. Setiap pendekatan mengorbankan fleksibilitas, latensi, dan kedalaman penalaran dengan cara yang berbeda.
Sorotan
Memori eksternal dapat diperbarui dalam hitungan menit; memori internal memerlukan pelatihan ulang yang mahal.
Memori internal menawarkan inferensi yang lebih cepat karena tidak diperlukan langkah pengambilan data.
Memori eksternal mengurangi halusinasi dengan mendasarkan respons pada sumber yang telah diingat.
Arsitektur hibrida yang menggabungkan kedua pendekatan tersebut menjadi standar produksi.
Apa itu Peningkatan Memori Eksternal?
Pendekatan berbasis pengambilan data di mana model AI mengakses informasi yang tersimpan dari sumber eksternal selama inferensi, alih-alih hanya mengandalkan parameter yang dipelajari.
Retrieval-Augmented Generation (RAG) adalah bentuk yang paling banyak diadopsi, diperkenalkan oleh Facebook AI Research pada tahun 2020.
Memori eksternal biasanya berupa basis data vektor seperti FAISS, Pinecone, atau Weaviate yang menyimpan embedding dokumen.
Pengetahuan dapat diperbarui secara real-time hanya dengan menambahkan atau memodifikasi entri di penyimpanan eksternal, tanpa perlu melatih ulang model.
Sistem seperti mode penelusuran ChatGPT dan Pencarian Berbasis Fakta Google mengandalkan pengambilan informasi eksternal untuk mendasarkan respons pada informasi terkini.
Pendekatan ini secara dramatis mengurangi halusinasi ketika konteks yang diambil relevan dan terstruktur dengan baik.
Apa itu Memori Model Internal?
Pengetahuan dikodekan langsung dalam parameter jaringan saraf melalui pelatihan, memungkinkan model untuk mengingat informasi tanpa pencarian eksternal.
Model bahasa besar seperti GPT-4, Claude, dan Llama menyimpan sebagian besar pengetahuan faktual mereka dalam miliaran bobot yang dipelajari.
Memori internal diperoleh selama pelatihan awal pada korpus teks yang besar dan disempurnakan melalui penyesuaian halus dan pembelajaran penguatan.
Setelah pelatihan selesai, pengetahuan tersebut bersifat tetap kecuali model tersebut menjalani pelatihan tambahan atau penyempurnaan.
Pengambilan informasi dari memori internal terjadi melalui proses maju yang mengaktifkan jalur saraf yang relevan, menghasilkan keluaran dalam satu langkah.
Penelitian dari MIT dan Anthropic menunjukkan bahwa ingatan faktual tentang berat badan seringkali bersifat asosiatif dan dapat tidak konsisten di berbagai formulasi kalimat.
Tabel Perbandingan
Fitur
Peningkatan Memori Eksternal
Memori Model Internal
Lokasi Penyimpanan Pengetahuan
Basis data vektor atau penyimpanan dokumen terpisah
Dikodekan dalam parameter model (bobot)
Metode Pembaruan
Tambahkan atau edit dokumen di penyimpanan eksternal.
Latih ulang atau sempurnakan model tersebut.
Latensi Inferensi
Lebih tinggi karena langkah pengambilan
Umpan ke depan tunggal yang lebih rendah.
Skalabilitas Pengetahuan
Praktis tak terbatas, dapat diskalakan dengan penyimpanan.
Dibatasi oleh ukuran model dan data pelatihan.
Risiko Halusinasi
Lebih rendah jika pengambilan data akurat.
Lebih tinggi, terutama untuk fakta-fakta yang kurang dikenal atau baru-baru ini terjadi.
Biaya Komputasi
Biaya pelatihan lebih rendah, biaya per kueri lebih tinggi.
Biaya pelatihan tinggi, biaya per kueri rendah.
Transparansi
Sumber dapat dikutip secara langsung.
Tidak transparan, pengetahuan didistribusikan di berbagai bobot.
Penalaran umum, tugas kreatif, kelancaran percakapan
Perbandingan Detail
Bagaimana Pengetahuan Diperoleh dan Disimpan
Augmentasi memori eksternal membangun pengetahuan di luar model, biasanya dengan menyematkan dokumen ke dalam vektor dan menyimpannya dalam basis data yang diakses model saat dibutuhkan. Memori internal model bekerja sebaliknya: fakta diserap ke dalam miliaran bobot numerik selama pelatihan, menjadi bagian dari struktur saraf model. Pendekatan pertama memperlakukan memori seperti perpustakaan yang dikunjungi model, sedangkan pendekatan kedua memperlakukannya seperti pengalaman hidup yang dibawa model.
Memperbarui dan Memelihara Pengetahuan
Ketika informasi baru muncul, sistem memori eksternal dapat diperbarui dalam hitungan menit dengan memperbarui basis data. Model memori internal memerlukan pelatihan ulang atau penyempurnaan yang mahal yang dapat memakan waktu berminggu-minggu dan biaya jutaan dolar. Hal ini membuat penambahan eksternal jauh lebih praktis untuk domain di mana informasi berubah dengan cepat, seperti basis data hukum, pedoman medis, atau katalog produk.
Akurasi dan Perilaku Halusinasi
Memori eksternal cenderung mendasarkan respons pada sumber yang dapat diverifikasi, yang secara signifikan mengurangi jawaban yang dibuat-buat ketika langkah pengambilan mengembalikan bagian-bagian yang relevan. Model memori internal dapat dengan yakin menghasilkan fakta yang terdengar masuk akal tetapi tidak benar, terutama untuk topik khusus atau apa pun yang muncul setelah batas waktu pelatihannya. Sistem hibrida yang menggabungkan kedua pendekatan tersebut seringkali mengungguli salah satu pendekatan saja pada tolok ukur faktual.
Pertimbangan antara Kinerja dan Biaya
Memori internal unggul dalam kecepatan inferensi mentah karena tidak memerlukan langkah pengambilan data, sehingga ideal untuk aplikasi yang sensitif terhadap latensi seperti chatbot dan asisten pemrograman. Memori eksternal menambahkan langkah pengambilan data yang dapat menambah 100 hingga 500 milidetik per kueri, tetapi secara dramatis mengurangi jumlah parameter yang dibutuhkan untuk cakupan pengetahuan tertentu. Banyak sistem produksi sekarang menggunakan model yang lebih kecil dengan memori eksternal yang kaya daripada model besar dengan semua data terintegrasi.
Penalaran dan Generalisasi
Memori internal unggul dalam penalaran abstrak, analogi, dan sintesis kreatif karena pengetahuan tersebut terintegrasi secara mendalam dengan sirkuit penalaran model. Memori eksternal lebih berfungsi sebagai alat pencarian, bagus untuk fakta tetapi kurang efektif dalam menggabungkan ide-ide dengan cara yang baru. Batasan penelitian AI semakin berfokus pada sistem yang memadukan keduanya, menggunakan memori internal untuk penalaran dan memori eksternal untuk landasan.
Kelebihan & Kekurangan
Peningkatan Memori Eksternal
Keuntungan
+Pembaruan waktu nyata
+Kutipan sumber
+Biaya pelatihan lebih rendah
+Skala pengetahuan tak terbatas
Tersisa
−Latensi kueri yang lebih tinggi
−Kualitas pengambilan bergantung pada
−Biaya tambahan infrastruktur
−Penalaran yang kurang efektif
Memori Model Internal
Keuntungan
+Inferensi cepat
+Kemampuan penalaran mendalam
+Tidak ada ketergantungan eksternal
+Penyebaran yang ringkas
Tersisa
−Mahal untuk diperbarui
−Batas pengetahuan
−Risiko halusinasi lebih tinggi
−Penyimpanan pengetahuan yang buram
Kesalahpahaman Umum
Mitologi
Penambahan memori eksternal sepenuhnya menghilangkan halusinasi pada sistem AI.
Realitas
Meskipun penguatan pada proses pengambilan data secara signifikan mengurangi halusinasi, hal itu tidak menghilangkannya sepenuhnya. Jika langkah pengambilan data mengembalikan dokumen yang tidak relevan atau berkualitas rendah, model masih dapat menghasilkan jawaban yang salah. Efektivitasnya sangat bergantung pada kualitas embedding, strategi chunking, dan peringkat relevansi dari pengambil data.
Mitologi
Model yang lebih besar mengingat lebih banyak fakta dengan andal dibandingkan model yang lebih kecil.
Realitas
Penskalaan meningkatkan rata-rata daya ingat tetapi tidak menjamin konsistensi. Penelitian telah menunjukkan bahwa bahkan model besar pun dapat gagal mengingat fakta yang jelas mereka temui selama pelatihan, terutama ketika pertanyaan dirumuskan berbeda dari konteks aslinya. Memori dalam jaringan saraf bersifat asosiatif dan rapuh dibandingkan dengan penyimpanan basis data eksplisit.
Mitologi
Sistem RAG tidak memerlukan pelatihan atau penyempurnaan apa pun.
Realitas
Meskipun basis pengetahuan itu sendiri tidak memerlukan pelatihan, sistem RAG produksi sangat diuntungkan dari penyempurnaan retriever, model embedding, dan terkadang generator. Pipeline RAG siap pakai seringkali berkinerja lebih rendah daripada pipeline yang disetel khusus dengan selisih yang signifikan pada tugas-tugas spesifik domain.
Mitologi
Memori internal model akan tetap sama selamanya setelah pelatihan berakhir.
Realitas
Teknik modern seperti pembelajaran berkelanjutan, penyempurnaan LoRA, dan pengeditan model memungkinkan pembaruan yang ditargetkan pada pengetahuan internal model tanpa pelatihan ulang penuh. Metode seperti ROME dan MEMIT dapat langsung mengedit fakta spesifik dalam bobot model, meskipun pendekatan ini masih kurang andal dibandingkan dengan sekadar memperbarui basis data eksternal.
Mitologi
Memori eksternal dan memori internal adalah pendekatan yang saling eksklusif.
Realitas
Sebagian besar sistem AI canggih menggunakan keduanya secara bersamaan. Sebuah model mungkin mengandalkan bobot internal untuk penalaran umum dan kelancaran berbahasa sambil mengambil fakta spesifik dari penyimpanan eksternal. Kerangka kerja seperti LangChain dan LlamaIndex dirancang secara eksplisit untuk mengatur perilaku hibrida ini.
Pertanyaan yang Sering Diajukan
Apa perbedaan utama antara augmentasi memori eksternal dan memori model internal?
Augmentasi memori eksternal menyimpan pengetahuan dalam basis data terpisah yang diakses model saat dijalankan, sementara memori internal model mengkodekan pengetahuan langsung ke dalam bobot jaringan saraf selama pelatihan. Yang pertama seperti memberi model akses ke perpustakaan, dan yang kedua seperti membuat model menghafal semua yang telah dibacanya.
Pendekatan mana yang lebih efektif mengurangi halusinasi AI?
Peningkatan memori eksternal umumnya mengurangi halusinasi secara lebih efektif karena respons didasarkan pada dokumen yang diambil yang dapat dikutip dan diverifikasi. Model memori internal masih dapat berhalusinasi dengan percaya diri, terutama pada fakta atau topik yang tidak jelas di luar distribusi pelatihannya. Meskipun demikian, kualitas pengambilan sangat penting, dan pengambil yang buruk dapat menimbulkan kesalahannya sendiri.
Bisakah Anda menggabungkan penambahan memori eksternal dengan memori model internal?
Ya, dan sebagian besar sistem AI produksi melakukan hal yang persis sama. Model menggunakan bobot internalnya untuk penalaran, pembangkitan bahasa, dan pengenalan pola, sambil mengambil fakta spesifik dari penyimpanan eksternal. Pendekatan hibrida ini adalah dasar dari asisten modern berbasis RAG dan didukung oleh kerangka kerja seperti LangChain, LlamaIndex, dan Haystack.
Berapa biaya yang dibutuhkan untuk memperbarui pengetahuan di setiap sistem?
Memperbarui memori eksternal pada dasarnya gratis dalam hal komputasi, Anda hanya perlu menambahkan atau memodifikasi dokumen dalam basis data. Memperbarui memori internal melalui pelatihan ulang dapat menghabiskan biaya mulai dari ribuan hingga jutaan dolar tergantung pada ukuran model, dan teknik yang lebih ringan seperti penyempurnaan LoRA masih membutuhkan waktu GPU dan evaluasi yang cermat.
Apakah RAG sama dengan augmentasi memori eksternal?
RAG adalah implementasi augmentasi memori eksternal yang paling populer, tetapi konsepnya lebih luas. Memori eksternal juga dapat mencakup penggunaan alat, panggilan API, scratchpad, dan buffer memori episodik. RAG secara khusus merujuk pada pengambilan bagian teks dari basis data vektor untuk mengkondisikan respons model.
Pendekatan mana yang lebih cepat pada waktu inferensi?
Memori model internal lebih cepat karena hanya membutuhkan satu kali proses maju melalui jaringan saraf. Penambahan memori eksternal menambahkan langkah pengambilan yang biasanya membutuhkan waktu 100 hingga 500 milidetik, tergantung pada ukuran basis data dan metode pencarian embedding. Untuk aplikasi waktu nyata, perbedaan latensi ini bisa signifikan.
Apakah model bahasa berukuran besar menggunakan memori eksternal sama sekali?
Ya, semakin sering. ChatGPT menggunakan pengambilan data untuk fitur penelusuran dan GPT kustomnya, Claude dapat mencari dokumen dan alat, dan Gemini mengintegrasikan hasil Pencarian Google secara langsung. Bahkan model dengan memori internal yang besar pun mendapat manfaat dari pengambilan data eksternal untuk peristiwa terkini dan informasi rahasia.
Apa yang terjadi ketika pengambilan data dari memori eksternal gagal?
Ketika pencarian tidak menghasilkan sesuatu yang relevan, model biasanya kembali ke memori internalnya, yang berarti halusinasi masih dapat terjadi. Sistem RAG yang tangguh menangani hal ini dengan mengakui ketidakpastian, mengajukan pertanyaan klarifikasi, atau menolak untuk menjawab ketika tingkat kepercayaan rendah. Oleh karena itu, kualitas pencari adalah komponen terpenting dalam alur kerja RAG.
Bisakah memori internal model diedit tanpa pelatihan ulang?
Ya, melalui teknik pengeditan model seperti ROME, MEMIT, dan metode distilasi pengetahuan yang menargetkan fakta spesifik dalam bobot. Pendekatan ini dapat menyisipkan, memodifikasi, atau menghapus fakta individual, tetapi kurang dapat diandalkan dibandingkan dengan memperbarui basis data eksternal dan terkadang dapat menurunkan kinerja model secara keseluruhan.
Pendekatan mana yang lebih baik untuk aplikasi AI perusahaan?
Penambahan memori eksternal biasanya merupakan pilihan yang lebih baik untuk aplikasi perusahaan karena memungkinkan perusahaan untuk menyimpan data kepemilikan di basis data aman mereka sendiri tanpa perlu melatih ulang model. Hal ini juga memberikan kemampuan audit melalui kutipan sumber, yang penting untuk industri yang diatur seperti keuangan, perawatan kesehatan, dan hukum.
Putusan
Pilih penambahan memori eksternal ketika aplikasi Anda membutuhkan informasi terkini, atribusi sumber, dan kemampuan untuk memperbarui pengetahuan tanpa pelatihan ulang. Pilih memori model internal ketika Anda membutuhkan inferensi cepat, kemampuan penalaran yang kuat, dan sistem mandiri yang tidak bergantung pada infrastruktur eksternal. Dalam praktiknya, sistem AI paling mumpuni saat ini menggabungkan keduanya, menggunakan pengambilan untuk mendasarkan fakta dan bobot internal untuk melakukan penalaran atas fakta tersebut.
