Model bahasa-visi memproses gambar dan teks secara bersamaan, memungkinkan tugas-tugas seperti menjawab pertanyaan visual dan memberi keterangan pada gambar. Model bahasa murni berfokus secara eksklusif pada teks, unggul dalam menulis, penalaran, dan tugas percakapan tanpa kemampuan masukan visual.
Sistem AI yang secara bersamaan memahami dan menghasilkan konten dari masukan visual dan tekstual, menjembatani visi komputer dengan pemrosesan bahasa alami.
Sistem AI yang dirancang khusus untuk tugas berbasis teks, dilatih menggunakan korpus besar konten tertulis untuk memahami dan menghasilkan bahasa manusia.
| Fitur | Model Visi-Bahasa | Model Bahasa Murni |
|---|---|---|
| Modalitas Masukan | Gambar dan teks (multimodal) | Hanya teks (unimodal) |
| Arsitektur Inti | Pengkode visi + model bahasa dengan fusi lintas modal. | Model bahasa berbasis Transformer saja |
| Data Pelatihan | Pasangan gambar-teks, keterangan gambar, kumpulan data tanya jawab visual, serta korpus teks. | Korpus teks skala besar dari web, buku, dan kode. |
| Kemampuan Utama | Pembuatan keterangan gambar, penalaran visual, analisis dokumen, obrolan multimodal | Pembuatan teks, penalaran, penerjemahan, kode, percakapan |
| Contoh Model | GPT-4V, Gemini 1.5, LLaVA, Qwen-VL, Claude 3.5 Soneta | GPT-4, Llama 3, Mistral, Claude 3.5, Phi-3 |
| Biaya Komputasi | Lebih tinggi karena biaya pemrosesan visual. | Lebih rendah, dioptimalkan untuk inferensi berbasis teks saja. |
| Tolok Ukur Umum | MMMU, VQA, MMStar, MathVista, DocVQA | MMLU, HumanEval, GSM8K, HellaSwag, BIG-Bench |
| Kasus Penggunaan Terbaik | Analisis visual, aksesibilitas, AI dokumen, asisten berbasis gambar | Menulis, pengkodean, analisis, chatbot, penelusuran pengetahuan |
Model bahasa-visi menggabungkan komponen pemrosesan visual, biasanya Vision Transformer atau encoder bergaya CLIP, dengan model bahasa. Kedua bagian ini dihubungkan melalui lapisan proyeksi atau mekanisme perhatian silang yang memungkinkan model untuk menyelaraskan fitur visual dengan representasi teks. Model bahasa murni sepenuhnya mengabaikan komponen visual, hanya mengandalkan lapisan transformer yang memproses teks yang telah di-tokenisasi. Hal ini membuat desainnya lebih sederhana tetapi sangat dioptimalkan untuk pola linguistik.
Melatih model bahasa-visi membutuhkan data gambar-teks berpasangan, seperti foto dengan keterangan, kumpulan data visual instruksional, dan gambar dokumen dengan anotasi. Model tersebut belajar untuk mengasosiasikan piksel dengan kata dan konsep. Model bahasa murni dilatih pada korpus teks yang sangat besar, mempelajari tata bahasa, fakta, dan pola penalaran melalui prediksi token berikutnya. Kedua pendekatan tersebut menggunakan pembelajaran mandiri dalam skala besar, tetapi model bahasa-visi membutuhkan pelatihan penyelarasan tambahan untuk menjembatani kedua modalitas tersebut.
Model bahasa-visi unggul ketika konteks visual penting, seperti mendeskripsikan bagan, membaca teks dari gambar, atau menjawab pertanyaan tentang foto. Model bahasa murni mendominasi tugas-tugas yang banyak melibatkan teks seperti penulisan esai, pembuatan kode, dan penalaran logis tanpa masukan visual. Menariknya, banyak sistem modern bersifat multimodal secara default, artinya perbedaan tersebut semakin kabur karena laboratorium terkemuka mengintegrasikan visi ke dalam model unggulan mereka.
Bisnis menggunakan model bahasa-visual untuk otomatisasi dokumen, pencarian visual, alat aksesibilitas, dan dukungan pelanggan yang melibatkan tangkapan layar atau gambar produk. Model bahasa murni mendukung chatbot, alat pembuatan konten, asisten kode, dan sistem pencarian perusahaan. Memilih di antara keduanya bergantung pada apakah alur kerja Anda melibatkan konten visual. Untuk alur kerja teks murni, model bahasa tetap lebih cepat dan lebih murah untuk dijalankan.
Model bahasa-visi membutuhkan lebih banyak memori dan daya komputasi karena memproses data gambar berdimensi tinggi bersamaan dengan teks. Hal ini menyebabkan biaya inferensi yang lebih tinggi dan waktu respons yang sedikit lebih lambat. Model bahasa murni lebih efisien, terutama saat dijalankan pada model open-weight yang lebih kecil seperti Llama 3 8B atau Mistral 7B. Untuk aplikasi teks bervolume tinggi, perbedaan biaya dapat signifikan dalam skala besar.
Model bahasa-visual terkadang mengalami halusinasi detail tentang gambar atau kesulitan dengan penalaran visual yang rumit seperti menghitung objek kecil. Model bahasa murni sama sekali tidak dapat melihat gambar, sehingga membatasi kegunaannya untuk tugas apa pun yang membutuhkan masukan visual. Baik model bahasa-visual maupun model bahasa murni tidak benar-benar memahami dunia seperti manusia, tetapi model bahasa-visual lebih mendekati hal itu dengan mendasarkan bahasa pada realitas visual.
Model bahasa-visi benar-benar dapat melihat dan memahami gambar seperti yang dilakukan manusia.
Mereka memproses gambar sebagai pola piksel dan mempelajari asosiasi statistik dengan teks selama pelatihan. Mereka kurang memiliki pemahaman visual yang sebenarnya dan dapat tertipu oleh gambar yang menyesatkan atau melewatkan detail yang akan mudah ditangkap oleh manusia.
Model bahasa murni menjadi usang karena AI multimodal.
Model bahasa murni tetap menjadi tulang punggung sebagian besar aplikasi AI dan seringkali lebih efisien untuk tugas-tugas yang hanya melibatkan teks. Banyak sistem menggunakan model bahasa bersamaan dengan model visi, bukan menggantikannya.
Model bahasa-visi hanyalah model bahasa yang ditambahkan pengklasifikasi gambar.
Model bahasa-visi modern menggunakan perhatian lintas modal yang canggih dan pelatihan bersama, bukan sekadar klasifikasi sederhana. Komponen visi dan bahasa terintegrasi secara mendalam melalui lapisan penyelarasan yang dipelajari.
Model bahasa murni sama sekali tidak dapat bernalar tentang konsep visual.
Model bahasa yang dilatih dengan cukup banyak teks dapat mengembangkan pengetahuan visual yang mengejutkan hanya melalui deskripsi. Mereka dapat membahas gaya seni, mendeskripsikan adegan, dan bernalar tentang konsep visual tanpa pernah memproses gambar.
Model bahasa-visi selalu mengungguli model bahasa murni dalam tugas-tugas penalaran.
Pada tolok ukur penalaran teks murni, model bahasa-visual seringkali berkinerja serupa atau sedikit lebih buruk daripada model yang hanya berbasis teks. Menambahkan kemampuan visual tidak secara otomatis meningkatkan penalaran logis atau matematis.
Pilih model bahasa-visi jika aplikasi Anda perlu menginterpretasikan gambar, dokumen, atau konten visual bersamaan dengan teks. Gunakan model bahasa murni untuk alur kerja hanya teks di mana kecepatan, biaya, dan penalaran linguistik yang mendalam paling penting. Banyak implementasi modern mendapat manfaat dari keduanya, menggunakan model bahasa-visi untuk tugas visual dan model bahasa murni untuk semua hal lainnya.
Adaptasi bahasa dalam AI berfokus pada pengajaran model untuk menangani bahasa tertentu melalui penyempurnaan dan pembelajaran transfer, sementara sistem AI yang tidak bergantung pada bahasa bertujuan untuk memproses bahasa apa pun tanpa pelatihan khusus bahasa. Kedua pendekatan tersebut mengatasi tantangan multibahasa tetapi berbeda secara mendasar dalam arsitektur, data pelatihan, dan penerapan di dunia nyata.
Perbandingan ini menganalisis pilihan strategis dalam pembelajaran mesin antara Adaptasi Domain, yang mentransfer pengetahuan dari lingkungan sumber berlabel ke lingkungan target yang berbeda, dan Pelatihan Dalam Domain, yang membangun model sepenuhnya berdasarkan data yang dikumpulkan dari pengaturan penerapan target yang tepat.
Agen AI berorientasi tugas dibangun untuk menyelesaikan alur kerja spesifik secara mandiri, sementara model bahasa tujuan umum berfungsi sebagai generator teks serbaguna yang merespons berbagai macam perintah. Memilih di antara keduanya bergantung pada apakah Anda membutuhkan eksekusi tugas yang andal atau kecerdasan percakapan yang fleksibel.
Agen AI otonom beroperasi secara independen dengan merencanakan, menalar, dan mengeksekusi tugas multi-langkah dengan masukan manusia minimal, sementara sistem AI berbasis perintah merespons instruksi pengguna individual satu interaksi pada satu waktu. Perbedaan utamanya terletak pada kemampuan bertindak: agen mengejar tujuan lintas sesi, sedangkan sistem berbasis perintah menunggu arahan.
Agen AI personal adalah sistem baru yang bertindak atas nama pengguna, membuat keputusan dan menyelesaikan tugas multi-langkah secara otonom, sementara alat SaaS tradisional bergantung pada alur kerja yang digerakkan pengguna dan antarmuka yang telah ditentukan sebelumnya. Perbedaan utamanya terletak pada otonomi, kemampuan beradaptasi, dan seberapa besar beban kognitif yang dialihkan dari pengguna ke perangkat lunak itu sendiri.
