Phương pháp phân tách từ dựa trên dữ liệu học các quy tắc phân tách từ các kho văn bản lớn bằng cách sử dụng các phương pháp thống kê hoặc mạng nơ-ron, trong khi phương pháp phân tách từ dựa trên quy tắc dựa vào các mẫu ngôn ngữ và từ điển được xây dựng thủ công. Cả hai phương pháp đều phân tách văn bản thành các đơn vị có ý nghĩa, nhưng chúng khác biệt rõ rệt về tính linh hoạt, độ chính xác và yêu cầu tính toán.
Một phương pháp học máy tự động phát hiện ranh giới giữa các từ bằng cách phân tích các mẫu trong các tập dữ liệu văn bản lớn.
Một phương pháp truyền thống phân tách văn bản bằng cách sử dụng các quy tắc ngôn ngữ được xác định trước, biểu thức chính quy và danh sách từ được chọn lọc.
| Tính năng | Mã hóa dữ liệu dựa trên dữ liệu | Mã hóa dựa trên quy tắc |
|---|---|---|
| Tiếp cận | Học hỏi từ các kho dữ liệu văn bản lớn bằng cách sử dụng các phương pháp thống kê hoặc mạng nơ-ron. | Sử dụng các quy tắc được thiết kế thủ công, các mẫu biểu thức chính quy và từ điển. |
| Cần đào tạo | Vâng, cần có lượng dữ liệu văn bản thô hoặc dữ liệu được chú thích đáng kể. | Không, các quy tắc được các nhà phát triển viết thủ công. |
| Xử lý các từ không xác định | Phân tách các từ hiếm thành các đơn vị từ con đã biết. | Thường xuyên gặp lỗi hoặc yêu cầu cập nhật từ điển thủ công. |
| Khả năng giải thích | Thấp hơn, vì các mô hình đã học được nhúng vào trọng số của mô hình. | Cao, mọi quy tắc đều có thể được đọc và kiểm tra. |
| Khả năng thích ứng với ngôn ngữ mới | Dễ dàng huấn luyện lại trên các tập dữ liệu mới. | Yêu cầu phải xây dựng các bộ quy tắc mới từ đầu. |
| Chi phí tính toán | Hiệu năng cao hơn trong quá trình huấn luyện, tốc độ suy luận nhanh. | Tổng quan thấp, chạy được trên phần cứng tối thiểu. |
| Các thuật toán phổ biến | BPE, WordPiece, Unigram LM, SentencePiece | Tách biểu thức chính quy, loại bỏ hậu tố, tra cứu từ điển |
| Được sử dụng bởi | GPT, BERT, RoBERTa, T5 và hầu hết các mô hình LLM hiện đại. | NLTK, các quy trình xử lý luật spaCy, các hệ thống NLP cũ |
Các bộ phân tách từ dựa trên dữ liệu phân tích các mẫu tần suất trên hàng triệu câu để quyết định nơi một từ kết thúc và một từ khác bắt đầu. Ví dụ, BPE bắt đầu với các ký tự riêng lẻ và liên tục hợp nhất các cặp ký tự liền kề có tần suất xuất hiện cao nhất cho đến khi đạt được kích thước từ vựng mục tiêu. Ngược lại, các bộ phân tách từ dựa trên quy tắc áp dụng một chuỗi các thao tác cố định như tách theo khoảng trắng, loại bỏ dấu chấm câu hoặc loại bỏ các hậu tố như "-ing" và "-ed" dựa trên các bảng hình thái học được xác định trước.
Một trong những ưu điểm lớn nhất của các phương pháp dựa trên dữ liệu là khả năng xử lý khéo léo các từ mà mô hình chưa từng gặp. Một thuật ngữ y khoa hiếm gặp như "pneumonoultramicroscopicsilicovolcanoconiosis" được chia nhỏ thành các từ con quen thuộc mà mô hình đã hiểu. Các hệ thống dựa trên quy tắc thường gặp khó khăn với những từ như vậy, hoặc để chúng dưới dạng một mã thông báo quá khổ duy nhất hoặc loại bỏ chúng hoàn toàn trừ khi ai đó thêm chúng vào từ điển theo cách thủ công.
Các bộ phân tách văn bản dựa trên quy tắc có ưu điểm về tính minh bạch. Nhà phát triển có thể mở tệp quy tắc, đọc chính xác cách văn bản được tách ra và truy tìm bất kỳ kết quả đầu ra không mong muốn nào về một mẫu cụ thể. Các bộ phân tách văn bản dựa trên dữ liệu hoạt động giống như hộp đen, trong đó cùng một đầu vào luôn tạo ra cùng một đầu ra, nhưng để giải thích lý do tại sao một cách tách cụ thể được chọn thì cần phải kiểm tra số liệu thống kê huấn luyện hoặc các chi tiết bên trong mô hình.
Việc huấn luyện một bộ mã hóa từ vựng dựa trên dữ liệu đòi hỏi tài nguyên tính toán và lưu trữ đáng kể, thường phải xử lý hàng chục gigabyte văn bản để xây dựng một bộ từ vựng chất lượng. Sau khi được huấn luyện, quá trình suy luận diễn ra nhanh chóng và tệp mã hóa từ vựng có kích thước nhỏ. Ngược lại, các bộ mã hóa từ vựng dựa trên quy tắc hầu như không cần tài nguyên để xây dựng hoặc chạy, điều này khiến chúng trở nên hấp dẫn đối với các hệ thống có độ trễ thấp, thiết bị nhúng hoặc các dự án không có cơ sở hạ tầng huấn luyện.
Các phương pháp dựa trên dữ liệu có thể mở rộng một cách tự nhiên sang các ngôn ngữ mới bằng cách đơn giản là huấn luyện lại trên một tập dữ liệu mới, đó là lý do tại sao các mô hình đa ngôn ngữ như XLM-Roberta có thể bao phủ hàng chục ngôn ngữ với một bộ mã hóa từ duy nhất. Các hệ thống dựa trên quy tắc đòi hỏi chuyên môn ngôn ngữ học đối với mỗi ngôn ngữ mới, vì các quy tắc về hậu tố, lớp ký tự và danh sách từ phải được tạo ra thủ công bởi người am hiểu về hình thái học.
Đối với các tác vụ xử lý ngôn ngữ tự nhiên hiện đại, các bộ phân tách từ dựa trên dữ liệu luôn cho hiệu quả vượt trội so với các bộ phân tách từ dựa trên quy tắc trên các bộ dữ liệu chuẩn bao gồm văn bản nhiễu, mạng xã hội hoặc mã lập trình. Các bộ phân tách từ dựa trên quy tắc vẫn giữ vững vị thế của mình trong các lĩnh vực có cấu trúc tốt như tài liệu pháp lý hoặc văn bản chính thức, nơi việc phân tách có thể dự đoán được và các quy tắc dễ đọc đối với con người quan trọng hơn việc xử lý các trường hợp ngoại lệ.
Phương pháp mã hóa dựa trên quy tắc đã lỗi thời và không còn được sử dụng trong trí tuệ nhân tạo hiện đại.
Các bộ mã hóa dựa trên quy tắc vẫn phổ biến trong các quy trình xử lý ngôn ngữ tự nhiên (NLP) thực tế, đặc biệt là trong các bước tiền xử lý như tách câu, chuẩn hóa và phát hiện ngôn ngữ. Nhiều hệ thống hiện đại kết hợp các phương pháp dựa trên quy tắc và dựa trên dữ liệu thay vì thay thế phương pháp này bằng phương pháp kia.
Phương pháp mã hóa từ dựa trên dữ liệu luôn cho kết quả tốt hơn so với các phương pháp dựa trên quy tắc.
Chất lượng phụ thuộc rất nhiều vào tập dữ liệu huấn luyện và nhiệm vụ. Một bộ mã hóa dựa trên dữ liệu được huấn luyện kém có thể hoạt động tệ hơn một bộ mã hóa dựa trên quy tắc được tinh chỉnh tốt, đặc biệt là đối với văn bản chuyên ngành mà dữ liệu huấn luyện không khớp với phân bố mục tiêu.
Tokenization đơn giản chỉ là việc tách văn bản dựa trên khoảng trắng.
Các bộ phân tách từ thực tế xử lý dấu câu, từ viết tắt, cụm từ đa từ, biểu tượng cảm xúc và các đơn vị từ con. Việc tách từ bằng khoảng trắng đơn giản bỏ sót hầu hết sự phức tạp mà quá trình phân tách từ được thiết kế để giải quyết.
Sau khi được huấn luyện, bộ mã hóa dựa trên dữ liệu không cần phải cập nhật nữa.
Từ vựng thay đổi theo sự phát triển của ngôn ngữ, khi tiếng lóng mới xuất hiện và các thuật ngữ chuyên ngành nổi lên. Nhiều nhóm định kỳ đào tạo lại hoặc mở rộng bộ phân tách từ của họ để theo kịp sự thay đổi trong phân bố văn bản.
Tất cả các phần mềm LLM hiện đại đều sử dụng cùng một bộ phân tách từ.
Các họ mô hình khác nhau sử dụng các lược đồ mã hóa từ khác nhau. Mô hình GPT sử dụng BPE, BERT sử dụng WordPiece, và T5 sử dụng SentencePiece. Những lựa chọn này ảnh hưởng đến kích thước từ vựng, số lượng từ và hiệu suất xử lý sau đó theo những cách có thể đo lường được.
Hãy chọn phương pháp phân tách từ dựa trên dữ liệu khi xây dựng các hệ thống xử lý ngôn ngữ tự nhiên (NLP) hoặc quản lý ngôn ngữ (LLM) hiện đại cần xử lý vốn từ vựng đa dạng, nhiều ngôn ngữ hoặc văn bản thực tế nhiễu. Hãy chọn phương pháp phân tách từ dựa trên quy tắc khi bạn cần sự minh bạch hoàn toàn, tính toán tối thiểu hoặc đang làm việc trong một lĩnh vực hẹp mà các quy tắc thủ công đã nắm bắt ngôn ngữ tốt.
Trí tuệ nhân tạo được tăng cường bằng tìm kiếm sẽ lấy thông tin trực tiếp từ các nguồn bên ngoài tại thời điểm truy vấn, trong khi huấn luyện chỉ dựa trên tập dữ liệu lại hoàn toàn dựa vào kiến thức được tích hợp vào trọng số của mô hình trong quá trình huấn luyện. Mỗi phương pháp đều có những đánh đổi riêng về độ chính xác, chi phí, tính cập nhật và khả năng xử lý các câu hỏi nằm ngoài phạm vi huấn luyện ban đầu.
Bài so sánh này khám phá những điểm khác biệt chính giữa AI mã nguồn mở và AI độc quyền, bao gồm khả năng tiếp cận, tùy chỉnh, chi phí, hỗ trợ, bảo mật, hiệu suất và các trường hợp sử dụng thực tế, giúp các tổ chức và nhà phát triển quyết định phương pháp nào phù hợp với mục tiêu và năng lực kỹ thuật của họ.
Sự so sánh này giải thích những điểm khác biệt chính giữa trí tuệ nhân tạo và tự động hóa, tập trung vào cách chúng hoạt động, những vấn đề chúng giải quyết, tính thích ứng, độ phức tạp, chi phí và các trường hợp ứng dụng thực tế trong kinh doanh.
Sự so sánh này khám phá sự khác biệt giữa AI trên thiết bị và AI đám mây, tập trung vào cách chúng xử lý dữ liệu, tác động đến quyền riêng tư, hiệu suất, khả năng mở rộng, và các trường hợp sử dụng điển hình cho tương tác thời gian thực, mô hình quy mô lớn, cũng như yêu cầu kết nối trong các ứng dụng hiện đại.
Những người bạn đồng hành AI là các hệ thống kỹ thuật số được thiết kế để mô phỏng cuộc trò chuyện, hỗ trợ cảm xúc và sự hiện diện, trong khi tình bạn giữa người với người được xây dựng trên kinh nghiệm sống chung, sự tin tưởng và sự tương hỗ về mặt cảm xúc. Bài so sánh này khám phá cách cả hai hình thức kết nối này định hình giao tiếp, hỗ trợ cảm xúc, sự cô đơn và hành vi xã hội trong một thế giới ngày càng số hóa.
