Mã hóa cặp byte (Byte Pair Encoding) và WordPiece là hai thuật toán phân tách từ con được sử dụng rộng rãi, là nền tảng của các mô hình xử lý ngôn ngữ tự nhiên hiện đại, khác nhau chủ yếu ở cách chúng kết hợp các token trong quá trình huấn luyện và các chỉ số chấm điểm.
Một thuật toán phân tách từ con, trong đó các cặp ký tự liền kề xuất hiện thường xuyên nhất được ghép lại với nhau để tạo thành các từ mới một cách lặp đi lặp lại.
Một phương pháp phân tách từ con bằng cách hợp nhất các từ dựa trên việc tối đa hóa xác suất xảy ra chứ không phải tần suất xuất hiện thô.
| Tính năng | Mã hóa cặp byte | Phân tách từ WordPiece |
|---|---|---|
| Tiêu chí hợp nhất | Tần suất của các cặp liền kề | Xác suất của dữ liệu huấn luyện |
| Các trường hợp sử dụng chính | Dòng GPT, RoBERTa, CLIP | BERT, DistilBERT, ALBERT |
| Khởi tạo từ vựng | Các ký tự hoặc byte riêng lẻ | Tính cách cá nhân |
| Xử lý các từ hiếm gặp | Chia thành các đơn vị từ nhỏ thường xuyên | Phân chia dựa trên phân đoạn dựa trên xác suất |
| Tốc độ luyện tập | Nhìn chung nhanh hơn do chỉ cần đếm đơn giản. | Tốc độ xử lý chậm hơn một chút do tính toán xác suất. |
| Kiểu đầu ra mã thông báo | Thường chi tiết hơn | Thường được viết gọn hơn đối với các từ thông dụng. |
| Phát triển ban đầu | Năm 1994 được sử dụng cho nén dữ liệu; năm 2016 được sử dụng cho xử lý ngôn ngữ tự nhiên (NLP). | Nhóm nhận dạng giọng nói của Google |
BPE tiếp cận việc mã hóa từ vựng như một bài toán nén, hợp nhất một cách tham lam bất kỳ cặp từ nào xuất hiện thường xuyên nhất trong tập dữ liệu huấn luyện. Cách tiếp cận dựa trên tần suất đơn giản này làm cho nó trực quan và tương đối nhanh để tính toán. WordPiece tiếp cận theo góc độ xác suất hơn, đặt câu hỏi rằng sự hợp nhất nào sẽ làm cho dữ liệu huấn luyện có khả năng xảy ra cao nhất theo giả định mô hình ngôn ngữ đơn từ. Sự thay đổi tinh tế trong cách tiếp cận này dẫn đến các ranh giới từ khác nhau, đặc biệt đối với các ngôn ngữ giàu hình thái học.
Vì BPE chỉ tập trung vào tần suất xuất hiện, đôi khi nó chia từ tại những điểm không tự nhiên về mặt ngôn ngữ nếu đó là những mẫu phổ biến trong dữ liệu. Phương pháp dựa trên xác suất của WordPiece có xu hướng tôn trọng ranh giới hình vị tốt hơn, tạo ra các từ có sự tương đồng chặt chẽ hơn với các đơn vị có nghĩa. Đối với tiếng Anh, cả hai phương pháp đều cho kết quả tương tự, nhưng sự khác biệt trở nên rõ rệt hơn ở những ngôn ngữ có cấu trúc hình thái phong phú hơn như tiếng Đức hoặc tiếng Thổ Nhĩ Kỳ.
Việc lựa chọn giữa các bộ mã hóa từ này thường phụ thuộc vào kiến trúc mô hình bạn đang sử dụng hơn là sở thích cá nhân đối với thuật toán. Họ mô hình GPT của OpenAI đã chuẩn hóa BPE, vì vậy bất kỳ ai tinh chỉnh hoặc triển khai các mô hình này đều kế thừa lược đồ mã hóa từ đó. Hệ sinh thái BERT của Google đã củng cố WordPiece trở thành lựa chọn mặc định cho các mô hình transformer chỉ sử dụng bộ mã hóa. Sự vững chắc của hệ sinh thái này có nghĩa là các chuyên gia hiếm khi chuyển đổi bộ mã hóa từ một cách độc lập với kiến trúc mô hình.
Cả hai thuật toán đều gặp khó khăn với một số trường hợp ngoại lệ, nhưng theo những cách khác nhau. BPE có thể dễ bị lỗi với khoảng trắng và dấu câu, đôi khi tạo ra các token không mong muốn khi định dạng thay đổi. WordPiece thường thêm một ký hiệu tiền tố đặc biệt (như ## trong BERT) để chỉ ra các từ con tiếp nối, điều này làm cho việc tái tạo văn bản gốc rõ ràng hơn nhưng cũng tạo ra các lỗi phân tách token mà các mô hình tiếp theo phải học cách xử lý.
Những năm gần đây đã chứng kiến sự phát triển đáng kể vượt ra ngoài cả hai thuật toán trên. SentencePiece cung cấp một khung thống nhất có thể triển khai BPE, WordPiece hoặc phân tách từ bằng mô hình ngôn ngữ unigram chỉ với một thư viện duy nhất. BPE cấp byte (được sử dụng trong GPT-2) hoạt động trên các byte thô thay vì các ký tự Unicode, loại bỏ hoàn toàn các vấn đề về token không xác định. Trong khi đó, các phương pháp mới hơn như BPE-dropout đưa tính ngẫu nhiên vào trong quá trình huấn luyện để cải thiện độ bền vững. Những phát triển này cho thấy rằng mặc dù BPE và WordPiece vẫn là nền tảng, lĩnh vực này vẫn tiếp tục tiến bộ.
BPE và WordPiece luôn tạo ra các tokenization khác nhau cho cùng một văn bản.
Đối với nhiều từ tiếng Anh thông dụng, cả hai thuật toán thực tế đều cho ra kết quả phân đoạn giống hệt nhau hoặc gần như giống hệt nhau. Sự khác biệt trở nên rõ ràng hơn với những từ hiếm gặp, các thuật ngữ phức tạp về mặt hình thái học, và trong các ngôn ngữ có cấu trúc biến tố phong phú hơn tiếng Anh.
WordPiece sử dụng mạng nơ-ron trong quá trình phân tách từ.
Mặc dù được sử dụng trong các mô hình thần kinh, bản thân WordPiece hoàn toàn không phải là mạng thần kinh. Việc tính toán xác suất dựa trên thống kê tần suất từ đơn giản, chứ không phải dựa trên bất kỳ biểu diễn thần kinh nào đã được học. 'Mô hình ngôn ngữ' trong WordPiece chỉ là một bảng tần suất, chứ không phải là một bộ chuyển đổi hay mạng nơ-ron hồi quy.
BPE không thể xử lý các ngôn ngữ có bộ ký tự lớn như tiếng Trung Quốc.
Giao thức BPE cấp byte giải quyết vấn đề này bằng cách hoạt động trên các byte UTF-8 thô thay vì các ký tự. Điều này có nghĩa là nó có thể biểu diễn bất kỳ văn bản Unicode nào mà không bao giờ gặp phải ký tự không xác định, mặc dù có thể cần nhiều token hơn để làm được điều đó đối với các hệ chữ viết có hàng nghìn ký tự.
Việc lựa chọn bộ mã hóa từ (tokenizer) có tác động đáng kể đến hiệu năng của mô hình trong các tác vụ tiếp theo.
Mặc dù việc mã hóa từ (tokenization) rất quan trọng, nhưng kiến trúc mô hình và quy mô dữ liệu huấn luyện thường có tầm quan trọng lớn hơn nhiều so với việc lựa chọn công cụ mã hóa từ. Các nghiên cứu đã chỉ ra rằng BPE và WordPiece có hiệu suất tương đương nhau khi tất cả các yếu tố khác đều như nhau, với sự khác biệt thường nhỏ và phụ thuộc vào nhiệm vụ cụ thể.
WordPiece được phát minh dành riêng cho BERT.
WordPiece ra đời trước BERT vài năm. Google đã phát triển nó ban đầu cho tìm kiếm bằng giọng nói tiếng Nhật và tiếng Hàn vào đầu những năm 2010, sau đó điều chỉnh nó cho dịch máy thần kinh trước khi nó xuất hiện trong BERT. Mối liên hệ với BERT rất mạnh mẽ đơn giản vì BERT đã làm cho nó nổi tiếng trong cộng đồng nghiên cứu xử lý ngôn ngữ tự nhiên (NLP).
Kích thước từ vựng của BPE không quan trọng miễn là nó đủ lớn.
Kích thước từ vựng ảnh hưởng đáng kể đến cả hiệu suất mô hình và hiệu quả tính toán. Nếu quá nhỏ, mô hình sẽ lãng phí dung lượng vào các chuỗi token dài. Nếu quá lớn, ma trận nhúng sẽ trở nên cồng kềnh trong khi các token hiếm nhận được biểu diễn kém. Hầu hết các nhà thực hành đều điều chỉnh cẩn thận siêu tham số này, thường chọn mức từ 30.000 đến 50.000 token.
Hãy chọn BPE khi làm việc với các mô hình kiểu GPT hoặc khi bạn cần phân tách từ đơn giản, nhanh chóng, xử lý được nhiều loại văn bản khác nhau, bao gồm cả mã lập trình và dữ liệu đa ngôn ngữ. Chọn WordPiece khi xây dựng trên các kiến trúc dựa trên BERT hoặc khi bạn muốn các ranh giới từ gần giống với các hình vị ngôn ngữ hơn. Đối với hầu hết người dùng, quyết định thực chất được đưa ra bởi mô hình được huấn luyện trước mà bạn chọn.
Trí tuệ nhân tạo được tăng cường bằng tìm kiếm sẽ lấy thông tin trực tiếp từ các nguồn bên ngoài tại thời điểm truy vấn, trong khi huấn luyện chỉ dựa trên tập dữ liệu lại hoàn toàn dựa vào kiến thức được tích hợp vào trọng số của mô hình trong quá trình huấn luyện. Mỗi phương pháp đều có những đánh đổi riêng về độ chính xác, chi phí, tính cập nhật và khả năng xử lý các câu hỏi nằm ngoài phạm vi huấn luyện ban đầu.
Bài so sánh này khám phá những điểm khác biệt chính giữa AI mã nguồn mở và AI độc quyền, bao gồm khả năng tiếp cận, tùy chỉnh, chi phí, hỗ trợ, bảo mật, hiệu suất và các trường hợp sử dụng thực tế, giúp các tổ chức và nhà phát triển quyết định phương pháp nào phù hợp với mục tiêu và năng lực kỹ thuật của họ.
Sự so sánh này giải thích những điểm khác biệt chính giữa trí tuệ nhân tạo và tự động hóa, tập trung vào cách chúng hoạt động, những vấn đề chúng giải quyết, tính thích ứng, độ phức tạp, chi phí và các trường hợp ứng dụng thực tế trong kinh doanh.
Sự so sánh này khám phá sự khác biệt giữa AI trên thiết bị và AI đám mây, tập trung vào cách chúng xử lý dữ liệu, tác động đến quyền riêng tư, hiệu suất, khả năng mở rộng, và các trường hợp sử dụng điển hình cho tương tác thời gian thực, mô hình quy mô lớn, cũng như yêu cầu kết nối trong các ứng dụng hiện đại.
Những người bạn đồng hành AI là các hệ thống kỹ thuật số được thiết kế để mô phỏng cuộc trò chuyện, hỗ trợ cảm xúc và sự hiện diện, trong khi tình bạn giữa người với người được xây dựng trên kinh nghiệm sống chung, sự tin tưởng và sự tương hỗ về mặt cảm xúc. Bài so sánh này khám phá cách cả hai hình thức kết nối này định hình giao tiếp, hỗ trợ cảm xúc, sự cô đơn và hành vi xã hội trong một thế giới ngày càng số hóa.
