trí tuệ nhân tạothế hệ tăng cường truy xuấtgiẻ ráchhệ thống tìm kiếmnlp
Truy xuất có nhận thức ngữ cảnh so với truy xuất không nhận thức ngữ cảnh
Tìm kiếm dựa trên ngữ cảnh sử dụng thông tin xung quanh như lịch sử truy vấn, ý định người dùng và mối quan hệ giữa các tài liệu để cung cấp kết quả phù hợp hơn, trong khi tìm kiếm không dựa trên ngữ cảnh xử lý mỗi truy vấn một cách riêng lẻ. Loại thứ nhất là nền tảng của trí tuệ nhân tạo đàm thoại hiện đại và tìm kiếm cá nhân hóa, trong khi loại thứ hai vẫn hữu ích cho các tìm kiếm đơn giản, một lần.
Điểm nổi bật
Việc truy xuất thông tin dựa trên ngữ cảnh giúp duy trì sự mạch lạc của cuộc hội thoại bằng cách ghi nhớ các truy vấn trước đó và tín hiệu từ người dùng.
Việc truy xuất không phụ thuộc ngữ cảnh nhanh hơn, rẻ hơn và dễ triển khai hơn đối với các tìm kiếm thông tin đơn lẻ.
Hầu hết các trợ lý AI trong sản xuất hiện nay đều dựa vào khả năng truy xuất thông tin theo ngữ cảnh để xử lý chính xác các câu hỏi tiếp theo.
Các nghiên cứu học thuật cho thấy các phương pháp nhận biết ngữ cảnh vượt trội hơn các phương pháp không nhận biết ngữ cảnh từ 10–20% trong các nhiệm vụ nhiều lượt.
Truy xuất dựa trên ngữ cảnh là gì?
Một phương pháp truy xuất xem xét lịch sử truy vấn, hành vi người dùng và ngữ cảnh tài liệu để trả về các kết quả phù hợp hơn.
Nó kết hợp các tín hiệu như lượt hội thoại trước đó, tùy chọn của người dùng và siêu dữ liệu cấp phiên để tinh chỉnh kết quả tìm kiếm.
Các hệ thống RAG hiện đại dựa vào việc truy xuất thông tin theo ngữ cảnh để duy trì các cuộc hội thoại đa lượt mạch lạc với các mô hình ngôn ngữ lớn.
Các kỹ thuật như viết lại truy vấn, HyDE và nhúng ngữ cảnh thuộc loại này.
Các cơ sở dữ liệu vector như Pinecone, Weaviate và Chroma hỗ trợ truy xuất theo ngữ cảnh thông qua lọc siêu dữ liệu và tìm kiếm kết hợp.
Phương pháp này thường đạt được độ chính xác cao hơn trên các tiêu chuẩn hội thoại và cá nhân hóa so với các phương pháp không phụ thuộc ngữ cảnh.
Truy xuất không phụ thuộc ngữ cảnh là gì?
Một phương pháp truy xuất xử lý từng truy vấn một cách độc lập mà không xem xét các tương tác trước đó hoặc các tín hiệu đặc thù của người dùng.
Nó coi mỗi truy vấn tìm kiếm là một yêu cầu độc lập, bỏ qua lịch sử hội thoại hoặc ngữ cảnh phiên.
Các công cụ tìm kiếm từ khóa cổ điển như các phiên bản Lucene và BM25 đời đầu hoạt động theo cách này.
Phương pháp này tiết kiệm chi phí tính toán và nhanh hơn vì không cần xử lý hoặc lưu trữ thêm bất kỳ ngữ cảnh nào.
Phương pháp này hoạt động tốt đối với việc tra cứu thông tin thực tế, trong đó chỉ riêng truy vấn đã chứa đủ thông tin để tìm ra câu trả lời.
Nó đóng vai trò là tiêu chuẩn cơ bản để đánh giá các phương pháp nhận biết ngữ cảnh trong các bài kiểm tra học thuật.
Bảng So Sánh
Tính năng
Truy xuất dựa trên ngữ cảnh
Truy xuất không phụ thuộc ngữ cảnh
Xử lý truy vấn
Sử dụng lịch sử phiên và tín hiệu người dùng.
Xử lý từng truy vấn một cách độc lập.
Tính liên quan trong các cuộc hội thoại
Cao — duy trì sự mạch lạc của cuộc đối thoại
Thấp — gặp khó khăn trong việc theo dõi
Chi phí tính toán
Cao hơn do xử lý ngữ cảnh
Tốc độ xử lý mỗi truy vấn nhanh hơn và chi phí thấp hơn.
Cá nhân hóa
Hỗ trợ tùy chỉnh ở cấp độ người dùng
Không có tùy chỉnh mặc định
Độ phức tạp triển khai
Yêu cầu bộ nhớ, ghi lại và siêu dữ liệu.
Tra cứu chỉ mục đảo ngược đơn giản hoặc tra cứu vectơ
Các trường hợp sử dụng tốt nhất
Chatbot, trợ lý ảo, tìm kiếm cá nhân hóa
Truy vấn thông tin thực tế đơn lẻ, tra cứu tài liệu.
Ví dụ về các kỹ thuật
HyDE, viết lại truy vấn, nhúng ngữ cảnh
BM25, truy xuất dữ liệu dày đặc cơ bản, tìm kiếm từ khóa
Yêu cầu lưu trữ
Cần lưu trữ phiên và siêu dữ liệu.
Tối giản — chỉ có mục lục
So sánh chi tiết
Cách mỗi phương pháp hiểu các truy vấn
Truy xuất dựa trên ngữ cảnh diễn giải truy vấn như một phần của tương tác đang diễn ra, dựa vào các lượt tương tác trước đó, hồ sơ người dùng và thậm chí cả siêu dữ liệu xung quanh tài liệu để tìm ra ý nghĩa thực sự mà người dùng muốn truyền đạt. Ngược lại, truy xuất không dựa trên ngữ cảnh chỉ xem xét truy vấn một cách riêng lẻ — các từ bạn nhập là tín hiệu duy nhất mà hệ thống sử dụng. Điều này làm cho các hệ thống không dựa trên ngữ cảnh dễ dự đoán và dễ gỡ lỗi, nhưng chúng thường không chính xác khi câu hỏi phụ thuộc vào những gì đã xảy ra trước đó.
Hiệu suất trong bối cảnh hội thoại
Khi mọi người trò chuyện với trợ lý AI, các câu hỏi tiếp theo hiếm khi đứng độc lập. Những cụm từ như "còn cái thứ hai thì sao?" hoặc "so sánh thì thế nào?" chỉ có ý nghĩa khi có ngữ cảnh trước đó. Việc truy xuất thông tin dựa trên ngữ cảnh sẽ xử lý những trường hợp này một cách tự nhiên bằng cách viết lại các truy vấn mơ hồ thành các truy vấn hoàn chỉnh trước khi tìm kiếm. Việc truy xuất thông tin không dựa trên ngữ cảnh thường trả về các kết quả không liên quan trong những trường hợp như vậy, đó là lý do tại sao hầu hết các chatbot hiện nay đều sử dụng một số hình thức xử lý thông tin dựa trên ngữ cảnh.
Tốc độ, Chi phí và Cơ sở hạ tầng
Vì phương pháp truy xuất không phụ thuộc ngữ cảnh bỏ qua công việc duy trì bộ nhớ và viết lại truy vấn, nên nó chạy nhanh hơn và tốn ít chi phí hơn khi vận hành ở quy mô lớn. Phương pháp truy xuất có phụ thuộc ngữ cảnh lại làm tăng thêm chi phí – bạn cần lưu trữ trạng thái phiên, chạy các mô hình viết lại truy vấn và thường phải lọc kết quả vector theo siêu dữ liệu. Đối với các khối lượng công việc lớn, độ phức tạp thấp như lập chỉ mục hàng triệu tài liệu tĩnh, các phương pháp không phụ thuộc ngữ cảnh vẫn giữ được ưu thế.
Độ chính xác và kết quả so sánh chuẩn
Các nghiên cứu về truy xuất thông tin hội thoại chuyên sâu, bao gồm cả công trình của Meta AI và Microsoft trên các tập dữ liệu như QReCC và TopiOCQA, luôn cho thấy các phương pháp nhận biết ngữ cảnh vượt trội hơn các phương pháp không nhận biết ngữ cảnh từ 10–20% về điểm MRR và nDCG. Khoảng cách này càng lớn hơn đối với các truy vấn nhiều lượt, nơi đại từ và tham chiếu chiếm ưu thế. Tuy nhiên, đối với các câu hỏi thực tế một lượt, sự khác biệt giảm đi đáng kể.
Khi sự đơn giản chiến thắng
Không phải ứng dụng nào cũng cần nhận biết ngữ cảnh. Các cơ sở tri thức nội bộ, tìm kiếm tài liệu pháp lý và tra cứu sản phẩm thương mại điện tử thường hoạt động tốt với truy xuất không cần ngữ cảnh vì các truy vấn thường cụ thể và độc lập. Trong những trường hợp này, sự đơn giản, tốc độ và chi phí cơ sở hạ tầng thấp hơn của truy xuất không cần ngữ cảnh khiến nó trở thành lựa chọn thiết thực hơn.
Ưu & Nhược điểm
Truy xuất dựa trên ngữ cảnh
Ưu điểm
+Xử lý các cuộc hội thoại nhiều lượt
+Hỗ trợ cá nhân hóa
+Điểm mức độ liên quan cao hơn
+Thích hợp hơn cho các truy vấn không rõ ràng
Đã lưu
−Chi phí tính toán cao hơn
−Việc triển khai phức tạp hơn.
−Yêu cầu lưu trữ phiên
−Khó gỡ lỗi hơn
Truy xuất không phụ thuộc ngữ cảnh
Ưu điểm
+Nhanh và nhẹ
+Dễ thực hiện
+Chi phí cơ sở hạ tầng thấp hơn
+Hành vi có thể dự đoán được
Đã lưu
−Khả năng giải đáp thắc mắc tiếp theo kém.
−Không cá nhân hóa
−Độ chính xác thấp hơn trong cuộc trò chuyện
−Bỏ lỡ các tín hiệu giao tiếp.
Những hiểu lầm phổ biến
Huyền thoại
Việc truy xuất có nhận thức ngữ cảnh luôn hiệu quả hơn việc truy xuất không nhận thức ngữ cảnh.
Thực tế
Không nhất thiết. Đối với các truy vấn đơn lượt, được xác định rõ ràng, các phương pháp không phụ thuộc ngữ cảnh có thể sánh ngang hoặc thậm chí vượt trội hơn các phương pháp phụ thuộc ngữ cảnh vì chúng tránh được nhiễu mà ngữ cảnh bổ sung đôi khi gây ra. Ưu điểm của việc truy xuất phụ thuộc ngữ cảnh thể hiện rõ nhất trong các kịch bản đa lượt hoặc cá nhân hóa.
Huyền thoại
Việc truy xuất thông tin không phụ thuộc ngữ cảnh đã lỗi thời và không còn được sử dụng nữa.
Thực tế
Hoàn toàn không phải vậy. BM25 và khả năng truy xuất dữ liệu dày đặc cơ bản vẫn là xương sống của nhiều hệ thống tìm kiếm trong môi trường sản xuất, bao gồm cả tìm kiếm tài liệu doanh nghiệp và các nền tảng thương mại điện tử. Chúng đóng vai trò là nền tảng vững chắc và thường được kết hợp với các lớp nhận biết ngữ cảnh trong các kiến trúc lai.
Huyền thoại
Truy xuất dựa trên ngữ cảnh có nghĩa là mô hình 'ghi nhớ' mọi thứ.
Thực tế
Trên thực tế, các hệ thống này sử dụng một cửa sổ giới hạn các cuộc hội thoại gần đây, siêu dữ liệu được tóm tắt hoặc các truy vấn được viết lại. Trí nhớ dài hạn thực sự vẫn là một vấn đề nghiên cứu mở, và hầu hết các hệ thống đều quên các lượt hội thoại cũ hơn sau khi chúng rời khỏi cửa sổ ngữ cảnh.
Huyền thoại
Tìm kiếm vector luôn luôn nhận biết ngữ cảnh.
Thực tế
Việc truy xuất vector dày đặc có thể thuộc cả hai loại. Tra cứu vector thông thường mà không lọc siêu dữ liệu hoặc viết lại truy vấn về cơ bản là không nhạy cảm với ngữ cảnh. Việc thêm lịch sử phiên, bộ lọc hoặc mở rộng truy vấn mới làm cho nó nhạy cảm với ngữ cảnh.
Huyền thoại
Khả năng truy xuất dựa trên ngữ cảnh giúp loại bỏ ảo giác trong các hệ thống RAG.
Thực tế
Nó làm giảm thiểu những lỗi đó nhưng không loại bỏ hoàn toàn. Ngay cả với khả năng truy xuất tốt, các mô hình ngôn ngữ vẫn có thể hiểu sai đoạn văn hoặc kết hợp thông tin không chính xác. Chất lượng truy xuất chỉ là một phần của vấn đề — hành vi tạo ra thông tin cũng quan trọng không kém.
Các câu hỏi thường gặp
Truy xuất dựa trên ngữ cảnh trong RAG là gì?
Trong RAG, truy xuất dựa trên ngữ cảnh đề cập đến việc tìm nạp tài liệu có xem xét lịch sử hội thoại, ý định của người dùng và siêu dữ liệu thay vì chỉ dựa vào truy vấn thô. Quá trình này thường bao gồm việc viết lại truy vấn, nhúng ngữ cảnh hoặc lọc dựa trên phiên để đảm bảo các đoạn văn được truy xuất thực sự trả lời những gì người dùng muốn nói trong ngữ cảnh cụ thể.
Cơ chế truy xuất không phụ thuộc ngữ cảnh hoạt động như thế nào?
Việc truy xuất không phụ thuộc ngữ cảnh hoạt động bằng cách so khớp truy vấn của người dùng với chỉ mục mà không cần tham chiếu đến các tương tác trước đó. Tìm kiếm từ khóa BM25 cổ điển và tra cứu vectơ dày đặc cơ bản thuộc loại này. Mỗi truy vấn được coi là một yêu cầu mới, độc lập, giúp hệ thống hoạt động nhanh và dễ dự đoán.
Đối với chatbot, phương pháp truy xuất dựa trên ngữ cảnh hay không dựa trên ngữ cảnh sẽ tốt hơn?
Việc truy xuất thông tin dựa trên ngữ cảnh hầu như luôn tốt hơn cho chatbot vì người dùng thường đặt các câu hỏi tiếp theo phụ thuộc vào các lượt trả lời trước đó. Nếu thiếu ngữ cảnh, hệ thống không thể phân biệt được các đại từ hoặc các tham chiếu như "cái đó" hoặc "lựa chọn trước đó", dẫn đến các câu trả lời không phù hợp.
Bạn có thể kết hợp cả hai phương pháp truy xuất không?
Đúng vậy, các hệ thống truy xuất lai kết hợp tìm kiếm từ khóa (không phụ thuộc ngữ cảnh) và tìm kiếm ngữ nghĩa (thường phụ thuộc ngữ cảnh) để cân bằng giữa tốc độ và độ chính xác. Nhiều hệ thống đang hoạt động sử dụng BM25 cùng với các embedding dày đặc, sau đó hợp nhất kết quả bằng cách kết hợp thứ hạng tương hỗ trước khi áp dụng các bộ lọc ngữ cảnh.
Việc truy xuất dựa trên ngữ cảnh có tốn nhiều tài nguyên hơn không?
Thông thường là vậy, vì bạn cần lưu trữ trạng thái phiên, chạy các mô hình viết lại truy vấn và áp dụng các bộ lọc siêu dữ liệu. Chi phí phát sinh có thể khác nhau, nhưng hãy dự kiến độ trễ và khả năng tính toán sẽ cao hơn khoảng 20-50% so với tra cứu vectơ thông thường, tùy thuộc vào mức độ phức tạp của việc xử lý ngữ cảnh.
Việc viết lại truy vấn trong truy xuất dựa trên ngữ cảnh là gì?
Viết lại truy vấn là quá trình chuyển đổi một câu hỏi mơ hồ, phụ thuộc vào ngữ cảnh thành một truy vấn độc lập, tự chứa thông tin trước khi tìm kiếm. Ví dụ, câu hỏi "Giá của nó thì sao?" có thể được viết lại thành "Giá của iPhone 15 là bao nhiêu?" dựa trên lịch sử hội thoại. Đây là một trong những kỹ thuật phổ biến nhất được sử dụng trong các hệ thống nhận biết ngữ cảnh.
Liệu BM25 có hoạt động mà không phụ thuộc vào ngữ cảnh không?
Đúng vậy, thuật toán BM25 truyền thống không phụ thuộc vào ngữ cảnh. Nó chấm điểm tài liệu dựa hoàn toàn vào tần suất xuất hiện của từ và tần suất xuất hiện nghịch đảo của tài liệu so với truy vấn hiện tại. Tuy nhiên, bạn có thể tích hợp BM25 vào một quy trình xử lý có nhận biết ngữ cảnh bằng cách viết lại truy vấn trước hoặc lọc kết quả theo siêu dữ liệu phiên.
Những tiêu chuẩn nào đo lường khả năng truy xuất thông tin dựa trên ngữ cảnh?
Các bộ dữ liệu chuẩn phổ biến bao gồm QReCC (Viết lại câu hỏi trong ngữ cảnh hội thoại), TopiOCQA (Hỏi đáp hội thoại theo chủ đề) và CAsT (Theo dõi hỗ trợ hội thoại). Các bộ dữ liệu này đánh giá mức độ hiệu quả của hệ thống trong việc xử lý các truy vấn nhiều lượt, trong đó ngữ cảnh là yếu tố thiết yếu để tìm ra câu trả lời đúng.
Liệu tất cả các cơ sở dữ liệu vector đều hỗ trợ truy xuất theo ngữ cảnh?
Hầu hết các cơ sở dữ liệu vector hiện đại như Pinecone, Weaviate, Chroma và Qdrant đều hỗ trợ lọc siêu dữ liệu và tìm kiếm kết hợp, đây là những khối xây dựng cho việc truy xuất theo ngữ cảnh. Tuy nhiên, việc xử lý ngữ cảnh thực tế — viết lại truy vấn, bộ nhớ phiên — thường được triển khai ở lớp ứng dụng trên cơ sở dữ liệu.
Khi nào thì tôi nên sử dụng truy xuất không phụ thuộc ngữ cảnh?
Tìm kiếm không phụ thuộc ngữ cảnh là lựa chọn phù hợp khi các truy vấn độc lập, không cần cá nhân hóa và độ trễ hoặc chi phí là ưu tiên hàng đầu. Ví dụ bao gồm tìm kiếm tài liệu nội bộ, tra cứu pháp lý, tìm kiếm sản phẩm trên các trang thương mại điện tử và bất kỳ trường hợp nào mà người dùng thường nhập các câu hỏi đầy đủ và cụ thể.
Phán quyết
Hãy chọn phương pháp truy xuất nhận biết ngữ cảnh khi ứng dụng của bạn liên quan đến các cuộc hội thoại nhiều lượt, cá nhân hóa hoặc các truy vấn tiếp theo không rõ ràng — đây là tiêu chuẩn cho các trợ lý RAG và AI hiện đại. Hãy sử dụng phương pháp truy xuất không nhận biết ngữ cảnh cho các tìm kiếm đơn giản, một lượt duy nhất, nơi tốc độ và chi phí thấp quan trọng hơn độ sâu của cuộc hội thoại.
