Pengekodan Pasangan Bait dan WordPiece ialah dua algoritma tokenisasi subkata yang digunakan secara meluas yang menguasakan model NLP moden, yang berbeza terutamanya dalam cara ia menggabungkan token semasa latihan dan metrik pemarkahannya.
Algoritma tokenisasi subkata yang menggabungkan pasangan aksara bersebelahan yang paling kerap secara berulang menjadi token baharu.
Kaedah tokenisasi subkata yang menggabungkan token berdasarkan pemaksimuman kemungkinan dan bukannya frekuensi mentah.
| Ciri-ciri | Pengekodan Pasangan Bait | Tokenisasi WordPiece |
|---|---|---|
| Kriteria Gabungan | Kekerapan pasangan bersebelahan | Kemungkinan data latihan |
| Kes Penggunaan Utama | Siri GPT, RoBERTa, CLIP | BERT, DistilBERT, ALBERT |
| Permulaan Perbendaharaan Kata | Aksara atau bait individu | Watak individu |
| Pengendalian Perkataan Jarang | Berpecah kepada unit subkata kerap | Pembahagian berdasarkan segmentasi berasaskan kemungkinan |
| Kelajuan Latihan | Secara amnya lebih pantas kerana pengiraan mudah | Sedikit lebih perlahan disebabkan oleh pengiraan kemungkinan |
| Gaya Output Token | Selalunya lebih berbutir | Selalunya lebih disatukan untuk perkataan biasa |
| Pembangunan Asal | 1994 sebagai pemampatan; 2016 untuk NLP | Pasukan Pengecaman Pertuturan Google |
BPE menganggap tokenisasi sebagai masalah pemampatan, dengan rakus menggabungkan pasangan apa sahaja yang paling kerap muncul dalam korpus latihan. Pendekatan berasaskan frekuensi yang mudah ini menjadikannya intuitif dan agak pantas untuk dikira. WordPiece mengambil sudut yang lebih probabilistik, menanyakan penggabungan mana yang akan menjadikan data latihan paling berkemungkinan di bawah andaian model bahasa unigram. Perubahan halus dalam pembingkaian ini membawa kepada sempadan token yang berbeza, terutamanya untuk bahasa yang kaya secara morfologi.
Oleh kerana BPE semata-mata mengejar kekerapan, ia kadangkala memisahkan perkataan pada titik yang tidak wajar secara linguistik jika itu merupakan corak umum dalam data. Pendekatan berasaskan kemungkinan WordPiece cenderung untuk menghormati sempadan morfem dengan lebih baik, menghasilkan token yang lebih sejajar dengan unit yang bermakna. Bagi bahasa Inggeris, kedua-dua kaedah berfungsi sama, tetapi perbezaannya menjadi lebih ketara dalam bahasa yang mempunyai morfologi yang lebih kaya seperti bahasa Jerman atau Turki.
Pilihan antara tokenizer ini selalunya bergantung kepada seni bina model yang anda gunakan dan bukannya keutamaan yang mendalam untuk algoritma itu sendiri. Keluarga GPT OpenAI diseragamkan pada BPE, jadi sesiapa yang memperhalusi atau menggunakan model ini mewarisi skema tokenisasi tersebut. Ekosistem BERT Google mengukuhkan WordPiece sebagai pilihan de facto untuk model transformer pengekod sahaja. Pengukuhan ekosistem ini bermakna pengamal jarang menukar tokenizer secara bebas daripada seni bina model.
Kedua-dua algoritma ini menghadapi masalah dengan kes pinggir tertentu, tetapi dalam cara yang berbeza. BPE boleh menjadi rapuh dengan ruang kosong dan tanda baca, kadangkala menghasilkan token yang tidak dijangka apabila pemformatan berbeza-beza. WordPiece biasanya menambah simbol awalan khas (seperti ## dalam BERT) untuk menunjukkan subkata sambungan, yang menjadikan pembinaan semula teks asal lebih jelas tetapi juga memperkenalkan artifak tokenisasi yang mesti dipelajari oleh model hiliran untuk dikendalikan.
Tahun-tahun kebelakangan ini telah menyaksikan evolusi yang ketara melangkaui kedua-dua algoritma. SentencePiece menawarkan rangka kerja bersepadu yang boleh melaksanakan BPE, WordPiece atau tokenisasi model bahasa unigram dengan satu pustaka. BPE peringkat bait (digunakan dalam GPT-2) beroperasi pada bait mentah dan bukannya aksara Unicode, menghapuskan sepenuhnya isu token yang tidak diketahui. Sementara itu, pendekatan yang lebih baharu seperti BPE-dropout memperkenalkan stokastik semasa latihan untuk meningkatkan kekukuhan. Perkembangan ini menunjukkan bahawa walaupun BPE dan WordPiece kekal asas, bidang ini terus maju.
BPE dan WordPiece sentiasa menghasilkan tokenisasi yang berbeza untuk teks yang sama.
Bagi kebanyakan perkataan Inggeris yang lazim, kedua-dua algoritma sebenarnya bertemu pada segmentasi yang sama atau hampir sama. Perbezaannya menjadi lebih jelas dengan perkataan yang jarang ditemui, istilah yang kompleks secara morfologi dan dalam bahasa yang mempunyai corak infleksi yang lebih kaya daripada bahasa Inggeris.
WordPiece menggunakan rangkaian saraf semasa tokenisasi.
Walaupun digunakan dalam model saraf, WordPiece sendiri sepenuhnya bukan saraf. Pengiraan kemungkinan adalah berdasarkan statistik frekuensi unigram mudah, bukan pada sebarang perwakilan saraf yang dipelajari. 'Model bahasa' dalam WordPiece hanyalah jadual frekuensi, bukan transformer atau rangkaian berulang.
BPE tidak boleh mengendalikan bahasa dengan set aksara yang besar seperti bahasa Cina.
BPE peringkat bait secara khusus menangani perkara ini dengan beroperasi pada bait UTF-8 mentah dan bukannya aksara. Ini bermakna ia boleh mewakili sebarang teks Unicode tanpa pernah menemui aksara yang tidak diketahui, walaupun ia mungkin memerlukan lebih banyak token untuk berbuat demikian bagi skrip dengan beribu-ribu aksara.
Pemilihan tokenizer memberi kesan yang ketara kepada prestasi model pada tugasan hiliran.
Walaupun tokenisasi penting, seni bina model dan skala data latihan biasanya mengatasi kepentingan pilihan tokenizer. Kajian telah menunjukkan bahawa BPE dan WordPiece berfungsi secara setanding apabila semua faktor lain adalah sama, dengan perbezaan biasanya kecil dan bergantung pada tugas.
WordPiece dicipta khusus untuk BERT.
WordPiece telah mendahului BERT selama beberapa tahun. Google pada mulanya membangunkannya untuk carian suara Jepun dan Korea pada awal tahun 2010-an, kemudian menyesuaikannya untuk terjemahan mesin saraf sebelum ia muncul dalam BERT. Hubungan dengan BERT adalah kukuh hanya kerana BERT menjadikannya terkenal dalam komuniti penyelidikan NLP.
Saiz perbendaharaan kata BPE tidak penting selagi ia cukup besar.
Saiz perbendaharaan kata memberi kesan yang ketara kepada prestasi model dan kecekapan pengiraan. Terlalu kecil, model akan membazirkan kapasiti pada jujukan token yang panjang. Terlalu besar, matriks pembenaman menjadi sukar dikawal manakala token yang jarang ditemui menerima perwakilan yang lemah. Kebanyakan pengamal melaraskan hiperparameter ini dengan teliti, biasanya menetapkan antara 30,000 dan 50,000 token.
Pilih BPE apabila menggunakan model gaya GPT atau apabila anda memerlukan tokenisasi yang ringkas dan pantas yang mengendalikan teks yang pelbagai termasuk kod dan data berbilang bahasa. Pilih WordPiece apabila membina seni bina berasaskan BERT atau apabila anda mahukan sempadan token yang lebih sejajar dengan morfem linguistik. Bagi kebanyakan pengamal, keputusan dibuat secara berkesan oleh model pra-latihan yang anda pilih.
Adaptasi bahasa dalam AI memberi tumpuan kepada pengajaran model untuk mengendalikan bahasa tertentu melalui penalaan halus dan pembelajaran pemindahan, manakala sistem AI agnostik bahasa bertujuan untuk memproses sebarang bahasa tanpa latihan khusus bahasa. Kedua-dua pendekatan menangani cabaran berbilang bahasa tetapi berbeza secara asasnya dalam seni bina, data latihan dan penggunaan dunia sebenar.
Perbandingan ini menganalisis pilihan strategik dalam pembelajaran mesin antara Adaptasi Domain, yang memindahkan pengetahuan daripada persekitaran sumber berlabel kepada persekitaran sasaran yang berbeza, dan Latihan Dalam Domain, yang membina model sepenuhnya pada data yang dituai daripada tetapan penggunaan sasaran yang tepat.
Pengagregatan keutamaan menggabungkan pelbagai keutamaan individu ke dalam keputusan kolektif, manakala pemodelan ramalan individu meramalkan tingkah laku peribadi menggunakan pembelajaran mesin pada data pengguna tunggal. Kedua-duanya mempunyai tujuan yang berbeza dalam sistem AI, daripada enjin cadangan kepada platform pengundian demokratik.
Pecahan seni bina ini menganalisis paradigma berbeza bagi sistem kecerdasan buatan berpandukan matlamat dan berpandukan input. Walaupun seni bina berpandukan input cemerlang dalam pemprosesan reaktif dan pengecaman corak serta-merta, sistem berpandukan matlamat mempunyai rangka kerja kognitif lanjutan yang diperlukan untuk penaakulan berbilang langkah, perancangan adaptif dan penyelesaian masalah autonomi.
Perbandingan ini menerangkan perbezaan utama antara kecerdasan buatan dan automasi, dengan memberi tumpuan kepada cara ia berfungsi, masalah yang diselesaikannya, kebolehsuaiannya, kerumitan, kos, dan kes penggunaan perniagaan dalam dunia sebenar.
