Байт-парне кодування та WordPiece – це два широко використовувані алгоритми токенізації підслів, що лежать в основі сучасних моделей NLP, які відрізняються головним чином тим, як вони об'єднують токени під час навчання та їхніми метриками оцінювання.
Алгоритм токенізації підслів, який ітеративно об'єднує найчастіше зустрічаються суміжні пари символів у нові токени.
Метод токенізації підслів, який об'єднує токени на основі максимізації правдоподібності, а не на основі частоти.
| Функція | Кодування пар байтів | Токенізація WordPiece |
|---|---|---|
| Критерій об'єднання | Частота сусідніх пар | Ймовірність навчальних даних |
| Основні випадки використання | Серія GPT, RoBERTa, CLIP | БЕРТ, ДістилБЕРТ, АЛЬБЕРТ |
| Ініціалізація словника | Окремі символи або байти | Окремі персонажі |
| Обробка рідкісних слів | Розділяється на часті підсловні одиниці | Розподіл на основі сегментації на основі правдоподібності |
| Швидкість тренування | Зазвичай швидше завдяки простому підрахунку | Трохи повільніше через обчислення правдоподібності |
| Стиль виводу токена | Частіше більш детальний | Часто більш консолідований для поширених слів |
| Оригінальна розробка | 1994 як стиснення; 2016 для НЛП | Команда Google з розпізнавання мовлення |
BPE підходить до токенізації як до задачі стиснення, жадібно об'єднуючи будь-які пари, що найчастіше зустрічаються в навчальному корпусі. Цей прямолінійний підхід, заснований на частоті, робить його інтуїтивно зрозумілим та відносно швидким для обчислення. WordPiece займає більш ймовірнісну точку зору, запитуючи, яке злиття зробить навчальні дані найімовірнішими за припущення моделі мови уніграм. Цей незначний зсув у фреймінгу призводить до різних меж токенів, особливо для морфологічно багатих мов.
Оскільки BPE виключно женеться за частотою, він іноді розділяє слова в лінгвістично неприродних точках, якщо це трапляються поширені закономірності в даних. Підхід WordPiece, заснований на ймовірності, як правило, краще враховує межі морфем, створюючи токени, які ближче відповідають значущим одиницям. Для англійської мови обидва методи працюють однаково, але різниця стає більш помітною в мовах з багатшою морфологією, таких як німецька чи турецька.
Вибір між цими токенізаторами часто зводиться до того, яку архітектуру моделі ви використовуєте, а не до глибоких уподобань щодо самого алгоритму. Сімейство GPT OpenAI стандартизоване на BPE, тому будь-хто, хто налаштовує або розгортає ці моделі, успадковує цю схему токенізації. Екосистема BERT від Google закріпила WordPiece як фактичний вибір для моделей трансформаторів лише з кодером. Таке закріплення екосистеми означає, що фахівці рідко змінюють токенізатори незалежно від архітектури моделі.
Обидва алгоритми мають проблеми з певними граничними випадками, але по-різному. BPE може бути крихким з пробілами та пунктуацією, іноді створюючи неочікувані токени, коли форматування змінюється. WordPiece зазвичай додає спеціальний префікс (наприклад, ## у BERT) для позначення підслів продовження, що робить реконструкцію оригінального тексту більш чіткою, але також вводить артефакти токенізації, які мають навчитися обробляти наступні моделі.
За останні роки відбувся значний розвиток обох алгоритмів. SentencePiece пропонує єдину платформу, яка може реалізувати токенізацію моделей мови BPE, WordPiece або unigram за допомогою однієї бібліотеки. BPE на рівні байтів (використовується в GPT-2) працює з необробленими байтами, а не з символами Unicode, повністю усуваючи проблеми з невідомими токенами. Тим часом, новіші підходи, такі як BPE-dropout, вводять стохастичність під час навчання для підвищення стійкості. Ці розробки показують, що хоча BPE та WordPiece залишаються фундаментальними, ця галузь продовжує розвиватися.
BPE та WordPiece завжди створюють різні токенізації для одного й того ж тексту.
Для багатьох поширених англійських слів обидва алгоритми фактично сходяться на ідентичних або майже ідентичних сегментаціях. Відмінності стають більш очевидними для рідкісних слів, морфологічно складних термінів та мов з багатшими флективними моделями, ніж англійська.
WordPiece використовує нейронну мережу під час токенізації.
Незважаючи на використання в нейронних моделях, сам WordPiece є повністю ненейронним. Обчислення правдоподібності базується на простій статистиці частот уніграм, а не на якомусь вивченому нейронному представленні. «Мовна модель» у WordPiece — це просто таблиця частот, а не трансформатор чи рекурентна мережа.
BPE не може обробляти мови з великими наборами символів, такі як китайська.
Байтовий BPE вирішує цю проблему, оперуючи з необробленими байтами UTF-8, а не з символами. Це означає, що він може представляти будь-який текст Unicode, ніколи не зустрічаючи невідомих символів, хоча для скриптів із тисячами символів може знадобитися більше токенів.
Вибір токенізатора суттєво впливає на продуктивність моделі для виконання наступних завдань.
Хоча токенізація має значення, архітектура моделі та масштаб навчальних даних зазвичай переважають вибір токенізатора за важливістю. Дослідження показали, що BPE та WordPiece працюють порівнянно, коли всі інші фактори рівні, причому відмінності зазвичай невеликі та залежать від завдання.
WordPiece був винайдений спеціально для BERT.
WordPiece виник на кілька років раніше, ніж BERT. Спочатку Google розробив його для голосового пошуку японською та корейською мовами на початку 2010-х, а потім адаптував для нейронного машинного перекладу, ще до того, як він з'явився в BERT. Асоціація з BERT є сильною просто тому, що BERT зробив його відомим у спільноті дослідників НЛП.
Розмір словникового запасу BPE не має значення, головне, щоб він був достатньо великим.
Розмір словника суттєво впливає як на продуктивність моделі, так і на обчислювальну ефективність. Занадто малий розмір призводить до марнування ресурсів моделі на довгі послідовності токенів. Занадто великий розмір призводить до того, що матриці вбудовування стають громіздкими, а рідкісні токени отримують погане представлення. Більшість практиків ретельно налаштовують цей гіперпараметр, зазвичай встановлюючи значення від 30 000 до 50 000 токенів.
Оберіть BPE, коли працюєте з моделями в стилі GPT або коли вам потрібна проста та швидка токенізація, яка обробляє різноманітний текст, включаючи код та багатомовні дані. Оберіть WordPiece, коли будуєте на архітектурах на основі BERT або коли вам потрібні межі токенів, які точніше відповідають лінгвістичним морфемам. Для більшості практиків рішення фактично приймається на основі обраної вами попередньо навченої моделі.
A/B-тестування в моделюванні спрямовує трафік між конкуруючими версіями моделей для вимірювання реальної продуктивності, тоді як розгортання однієї моделі надає одну модель усім користувачам. Команди обирають між ними на основі толерантності до ризику, обсягу трафіку та необхідності статистичної перевірки перед повним розгортанням.
A/B-тестування в релізах контенту передбачає розгортання варіацій для різних сегментів аудиторії та вимірювання ефективності, тоді як одноразові релізи контенту пропонують одну версію всім одночасно. Кожен підхід відповідає різним цілям, причому A/B-тестування надає перевагу оптимізації на основі даних, а одноразові релізи надають пріоритет швидкості та простоті.
DeepSeek V4 — це нова модель великої мови програмування відкритої ваги від китайської лабораторії штучного інтелекту, тоді як моделі класу GPT-4 відносяться до флагманських систем із закритим кодом OpenAI. Це порівняння досліджує їхні архітектури, можливості, ціни, доступність та реальну продуктивність, щоб допомогти розробникам та компаніям робити правильний вибір.
LLM, що використовують інструменти, розширюють автономні мовні моделі, підключаючи їх до зовнішніх API, калькуляторів та баз даних, що дозволяє отримувати інформацію та виконувати завдання в режимі реального часу. Автономні LLM покладаються виключно на навчені параметри, що робить їх самостійними, але обмеженими знаннями з навчальних даних.
LLM з відкритим кодом пропонують налаштовувані, самостійно розміщені моделі штучного інтелекту з повним доступом до коду, тоді як власні API LLM надають керовані, відшліфовані послуги через хмарні кінцеві точки з ціноутворенням на основі використання.
