Byte Pair Encoding dan WordPiece adalah dua algoritma tokenisasi subkata yang banyak digunakan dan mendukung model NLP modern, yang perbedaannya terutama terletak pada cara mereka menggabungkan token selama pelatihan dan metrik penilaiannya.
Algoritma tokenisasi subkata yang secara iteratif menggabungkan pasangan karakter yang paling sering muncul dan berdekatan menjadi token baru.
Metode tokenisasi subkata yang menggabungkan token berdasarkan maksimalisasi kemungkinan, bukan frekuensi mentah.
| Fitur | Pengkodean Pasangan Byte | Tokenisasi WordPiece |
|---|---|---|
| Kriteria Penggabungan | Frekuensi pasangan yang berdekatan | Kemungkinan data pelatihan |
| Kasus Penggunaan Utama | Seri GPT, RoBERTa, CLIP | BERT, DistilBERT, ALBERT |
| Inisialisasi Kosakata | Karakter atau byte individual | Karakter individu |
| Penanganan Kata-Kata Langka | Terpecah menjadi unit subkata yang sering muncul | Pemisahan berdasarkan segmentasi berbasis kemungkinan |
| Kecepatan Latihan | Secara umum lebih cepat karena penghitungannya sederhana. | Sedikit lebih lambat karena perhitungan kemungkinan. |
| Gaya Keluaran Token | Seringkali lebih rinci | Seringkali lebih terkonsolidasi untuk kata-kata umum. |
| Pengembangan Asli | 1994 sebagai kompresi; 2016 untuk NLP | Tim Pengenalan Suara Google |
BPE mendekati tokenisasi sebagai masalah kompresi, secara serakah menggabungkan pasangan mana pun yang paling sering muncul dalam korpus pelatihan. Pendekatan berbasis frekuensi yang lugas ini membuatnya intuitif dan relatif cepat untuk dihitung. WordPiece mengambil sudut pandang yang lebih probabilistik, menanyakan penggabungan mana yang akan membuat data pelatihan paling mungkin berdasarkan asumsi model bahasa unigram. Pergeseran halus dalam kerangka kerja ini mengarah pada batas token yang berbeda, terutama untuk bahasa yang kaya secara morfologis.
Karena BPE hanya mengejar frekuensi, terkadang ia memisahkan kata pada titik-titik yang secara linguistik tidak wajar jika hal tersebut kebetulan merupakan pola umum dalam data. Pendekatan berbasis kemungkinan WordPiece cenderung lebih menghormati batas morfem, menghasilkan token yang lebih selaras dengan unit yang bermakna. Untuk bahasa Inggris, kedua metode tersebut berkinerja serupa, tetapi perbedaannya menjadi lebih jelas dalam bahasa dengan morfologi yang lebih kaya seperti bahasa Jerman atau Turki.
Pilihan antara tokenizer ini seringkali bergantung pada arsitektur model yang Anda gunakan, bukan pada preferensi mendalam terhadap algoritma itu sendiri. Keluarga GPT dari OpenAI distandarisasi berdasarkan BPE, sehingga siapa pun yang menyempurnakan atau menerapkan model ini mewarisi skema tokenisasi tersebut. Ekosistem BERT Google memantapkan WordPiece sebagai pilihan de facto untuk model transformer yang hanya menggunakan encoder. Penguatan ekosistem ini berarti para praktisi jarang mengganti tokenizer secara independen dari arsitektur model.
Kedua algoritma tersebut mengalami kesulitan dengan kasus-kasus khusus tertentu, tetapi dengan cara yang berbeda. BPE bisa rapuh dengan spasi dan tanda baca, terkadang menghasilkan token yang tidak terduga ketika format bervariasi. WordPiece biasanya menambahkan simbol awalan khusus (seperti ## di BERT) untuk menunjukkan subkata lanjutan, yang membuat rekonstruksi teks asli lebih eksplisit tetapi juga memperkenalkan artefak tokenisasi yang harus dipelajari oleh model selanjutnya.
Beberapa tahun terakhir telah menyaksikan evolusi signifikan di luar kedua algoritma tersebut. SentencePiece menawarkan kerangka kerja terpadu yang dapat mengimplementasikan tokenisasi model bahasa BPE, WordPiece, atau unigram dengan satu pustaka. BPE tingkat byte (digunakan dalam GPT-2) beroperasi pada byte mentah daripada karakter Unicode, sehingga sepenuhnya menghilangkan masalah token yang tidak diketahui. Sementara itu, pendekatan yang lebih baru seperti BPE-dropout memperkenalkan stokastisitas selama pelatihan untuk meningkatkan ketahanan. Perkembangan ini menunjukkan bahwa meskipun BPE dan WordPiece tetap menjadi dasar, bidang ini terus berkembang.
BPE dan WordPiece selalu menghasilkan tokenisasi yang berbeda untuk teks yang sama.
Untuk banyak kata bahasa Inggris umum, kedua algoritma tersebut sebenarnya menghasilkan segmentasi yang identik atau hampir identik. Perbedaan menjadi lebih jelas pada kata-kata langka, istilah yang kompleks secara morfologis, dan dalam bahasa dengan pola infleksi yang lebih kaya daripada bahasa Inggris.
WordPiece menggunakan jaringan saraf selama proses tokenisasi.
Meskipun digunakan dalam model neural, WordPiece sendiri sepenuhnya non-neural. Perhitungan kemungkinan didasarkan pada statistik frekuensi unigram sederhana, bukan pada representasi neural yang dipelajari. 'Model bahasa' dalam WordPiece hanyalah tabel frekuensi, bukan transformer atau jaringan berulang.
BPE tidak dapat menangani bahasa dengan jumlah karakter yang besar seperti bahasa Mandarin.
BPE tingkat byte secara khusus mengatasi hal ini dengan beroperasi pada byte UTF-8 mentah, bukan karakter. Ini berarti ia dapat merepresentasikan teks Unicode apa pun tanpa pernah menemui karakter yang tidak dikenal, meskipun mungkin memerlukan lebih banyak token untuk melakukannya pada skrip dengan ribuan karakter.
Pemilihan tokenizer sangat memengaruhi performa model pada tugas-tugas selanjutnya.
Meskipun tokenisasi penting, arsitektur model dan skala data pelatihan biasanya jauh lebih penting daripada pilihan tokenizer. Studi menunjukkan bahwa BPE dan WordPiece berkinerja sebanding ketika semua faktor lain sama, dengan perbedaan yang biasanya kecil dan bergantung pada tugas.
WordPiece diciptakan khusus untuk BERT.
WordPiece sudah ada beberapa tahun sebelum BERT. Google awalnya mengembangkannya untuk pencarian suara bahasa Jepang dan Korea pada awal tahun 2010-an, kemudian mengadaptasinya untuk penerjemahan mesin saraf sebelum muncul di BERT. Keterkaitannya dengan BERT sangat kuat karena BERT-lah yang mempopulerkannya di komunitas penelitian NLP.
Ukuran kosakata BPE tidak masalah asalkan cukup besar.
Ukuran kosakata sangat memengaruhi kinerja model dan efisiensi komputasi. Jika terlalu kecil, model akan membuang kapasitas pada urutan token yang panjang. Jika terlalu besar, matriks penyematan menjadi sulit dikelola sementara token yang jarang muncul akan mendapatkan representasi yang buruk. Sebagian besar praktisi dengan cermat menyetel hyperparameter ini, biasanya menetapkan angka antara 30.000 dan 50.000 token.
Pilih BPE saat bekerja dengan model bergaya GPT atau saat Anda membutuhkan tokenisasi sederhana dan cepat yang menangani beragam teks termasuk kode dan data multibahasa. Pilih WordPiece saat membangun arsitektur berbasis BERT atau saat Anda menginginkan batas token yang lebih selaras dengan morfem linguistik. Bagi sebagian besar praktisi, keputusan tersebut pada dasarnya ditentukan oleh model pra-terlatih yang Anda pilih.
Adaptasi bahasa dalam AI berfokus pada pengajaran model untuk menangani bahasa tertentu melalui penyempurnaan dan pembelajaran transfer, sementara sistem AI yang tidak bergantung pada bahasa bertujuan untuk memproses bahasa apa pun tanpa pelatihan khusus bahasa. Kedua pendekatan tersebut mengatasi tantangan multibahasa tetapi berbeda secara mendasar dalam arsitektur, data pelatihan, dan penerapan di dunia nyata.
Perbandingan ini menganalisis pilihan strategis dalam pembelajaran mesin antara Adaptasi Domain, yang mentransfer pengetahuan dari lingkungan sumber berlabel ke lingkungan target yang berbeda, dan Pelatihan Dalam Domain, yang membangun model sepenuhnya berdasarkan data yang dikumpulkan dari pengaturan penerapan target yang tepat.
Agen AI berorientasi tugas dibangun untuk menyelesaikan alur kerja spesifik secara mandiri, sementara model bahasa tujuan umum berfungsi sebagai generator teks serbaguna yang merespons berbagai macam perintah. Memilih di antara keduanya bergantung pada apakah Anda membutuhkan eksekusi tugas yang andal atau kecerdasan percakapan yang fleksibel.
Agen AI otonom beroperasi secara independen dengan merencanakan, menalar, dan mengeksekusi tugas multi-langkah dengan masukan manusia minimal, sementara sistem AI berbasis perintah merespons instruksi pengguna individual satu interaksi pada satu waktu. Perbedaan utamanya terletak pada kemampuan bertindak: agen mengejar tujuan lintas sesi, sedangkan sistem berbasis perintah menunggu arahan.
Agen AI personal adalah sistem baru yang bertindak atas nama pengguna, membuat keputusan dan menyelesaikan tugas multi-langkah secara otonom, sementara alat SaaS tradisional bergantung pada alur kerja yang digerakkan pengguna dan antarmuka yang telah ditentukan sebelumnya. Perbedaan utamanya terletak pada otonomi, kemampuan beradaptasi, dan seberapa besar beban kognitif yang dialihkan dari pengguna ke perangkat lunak itu sendiri.
