Trong PPO, việc cắt xén chính sách giới hạn mức độ sai lệch của chính sách mới so với chính sách cũ trong mỗi lần cập nhật, giúp duy trì sự ổn định của quá trình huấn luyện. Việc cập nhật chính sách không giới hạn cho phép chính sách mới thay đổi tự do, điều này có thể tăng tốc độ học nhưng thường dẫn đến sự không ổn định hoặc sụp đổ trong môi trường phức tạp.
Một kỹ thuật trong Tối ưu hóa Chính sách Gần đúng (Proximal Policy Optimization) giới hạn mức độ thay đổi của chính sách trong mỗi bước cập nhật.
Một phương pháp cho phép các tham số chính sách thay đổi bất kỳ mức độ nào trong một chu kỳ huấn luyện duy nhất mà không có ràng buộc rõ ràng.
| Tính năng | Cắt giảm chi phí bảo hiểm trong PPO | Cập nhật chính sách không giới hạn |
|---|---|---|
| Cập nhật ràng buộc | Được cắt tỉa theo tỷ lệ 0,1–0,2 | Không có ràng buộc rõ ràng |
| Luyện tập sự ổn định | Nhìn chung ổn định qua các lần lặp. | Dễ bị dao động và sụp đổ |
| Hiệu quả mẫu | Cao, tái sử dụng các quỹ đạo đã thu thập. | Biến đổi, thường yêu cầu dữ liệu mới. |
| Độ phức tạp triển khai | Mục tiêu đơn lẻ, kích thước trung bình | Thuật toán leo dốc đơn giản, tiêu chuẩn |
| Độ nhạy của siêu tham số | Phạm vi cắt thấp hơn dễ điều chỉnh hơn. | Tốc độ học tập càng cao thì càng quan trọng. |
| Nguy cơ sụp đổ chính sách | Thấp do hạn chế về khoảng cách | Cao nếu không có biện pháp bảo vệ bên ngoài |
| Các trường hợp sử dụng phổ biến | Robot học, trí tuệ nhân tạo trong game, RLHF, điều khiển liên tục | Các bài toán đồ chơi đơn giản, phân tích lý thuyết |
| Nguồn gốc | OpenAI, bài báo PPO năm 2017 | Các nghiên cứu ban đầu về chính sách chênh lệch độ dốc, thập niên 1990–2000 |
Trong PPO, cơ chế cắt xén chính sách hoạt động bằng cách tính toán tỷ lệ giữa xác suất hành động mới và cũ, sau đó cắt xén tỷ lệ đó để giữ trong một phạm vi hẹp (thường từ 0,8 đến 1,2). Khi tỷ lệ cố gắng vượt ra ngoài phạm vi này, tín hiệu độ dốc sẽ bị đặt về 0, về cơ bản báo hiệu cho trình tối ưu hóa "đừng tiếp tục đẩy theo hướng này". Các cập nhật không giới hạn bỏ qua hoàn toàn cơ chế bảo vệ này, cho phép trình tối ưu hóa di chuyển các tham số chính sách đến bất cứ nơi nào độ dốc chỉ vào, bất kể sự thay đổi lớn đến mức nào.
Phương pháp cắt xén nổi tiếng về độ tin cậy vì nó ngăn chặn hiện tượng quên lãng nghiêm trọng thường xảy ra ở các phương pháp không giới hạn. Khi tìm thấy một chính sách tốt, việc cắt xén sẽ ngăn nó bị phá hủy bởi một bản cập nhật quá tự tin. Các bản cập nhật không giới hạn đôi khi có thể tìm ra những đột phá nhanh hơn, nhưng chúng cũng có xu hướng làm mất đi hàng tuần tiến bộ chỉ trong một bước sai lầm duy nhất, đó là lý do tại sao hầu hết các hệ thống sản xuất đều tránh sử dụng chúng.
Phương pháp cắt xén của PPO cho phép tối ưu hóa nhiều chu kỳ trên cùng một tập dữ liệu kinh nghiệm đã thu thập, cải thiện đáng kể hiệu quả sử dụng mẫu. Vì chính sách không thể thay đổi quá nhiều, dữ liệu vẫn giữ được tính phù hợp qua nhiều bước gradient. Các cập nhật không giới hạn thường yêu cầu lấy mẫu mới trong mỗi lần lặp vì chính sách có thể đã thay đổi quá nhiều đến mức các quỹ đạo cũ không còn phản ánh hành vi hiện tại, gây lãng phí tài nguyên tính toán và môi trường.
Việc cắt xén giúp PPO trở nên cực kỳ dễ sử dụng với các siêu tham số. Phạm vi cắt xén 0,2 hoạt động tốt trên rất nhiều nhiệm vụ mà không cần tinh chỉnh nhiều. Các bản cập nhật không giới hạn phụ thuộc vào tốc độ học: quá nhỏ thì quá trình học diễn ra chậm, quá lớn thì chính sách phân kỳ. Sự nhạy cảm này khiến các phương pháp không giới hạn trở nên khó sử dụng đối với những người thực hành không có thời gian cho các lần quét rộng rãi.
Khi xem xét bất kỳ mã nguồn RL hiện đại nào, bạn sẽ thấy PPO chiếm ưu thế, từ các công trình của chính OpenAI đến các phòng thí nghiệm robot và các quy trình tinh chỉnh mô hình ngôn ngữ như RLHF. Các cập nhật chính sách không giới hạn chủ yếu vẫn nằm trong sách giáo khoa và các cuộc thảo luận lý thuyết, thỉnh thoảng xuất hiện trong các bài báo nghiên cứu cần một cơ sở để so sánh. Khoảng cách trong việc áp dụng phản ánh hàng thập kỷ tích lũy bằng chứng về phương pháp nào thực sự hiệu quả trong thực tế.
Việc cắt xén hoàn toàn ngăn cản chính sách thay đổi đáng kể.
Giới hạn chỉ áp dụng cho phép thay đổi chính sách trong một bước cập nhật duy nhất. Qua nhiều lần lặp, chính sách vẫn có thể thay đổi đáng kể miễn là mỗi bước riêng lẻ nằm trong phạm vi giới hạn. Giới hạn này chỉ áp dụng cho từng bước, chứ không phải vĩnh viễn.
Các bản cập nhật không giới hạn luôn hội tụ nhanh hơn các phương pháp cắt xén.
Các bản cập nhật không giới hạn thoạt nhìn có vẻ nhanh hơn, nhưng chúng thường bị lệch hướng hoặc sụp đổ, buộc phải khởi động lại và xóa bỏ mọi lợi ích ban đầu. Trên thực tế, các phương pháp cắt bớt như PPO thường đạt được hiệu suất cuối cùng tốt hơn trong thời gian thực ngắn hơn vì chúng không lãng phí công sức để phục hồi từ các bản cập nhật lỗi.
Việc cắt bớt mã PPO khiến nó tương đương với mã TRPO.
Cả hai phương pháp đều hạn chế việc cập nhật chính sách, nhưng TRPO sử dụng ràng buộc phân kỳ KL cứng với tìm kiếm đường thẳng, trong khi PPO sử dụng giới hạn mềm trên tỷ lệ xác suất. PPO đơn giản hơn, hỗ trợ nhiều epoch trên mỗi batch và có khả năng mở rộng tốt hơn đối với các mô hình lớn, đó là lý do tại sao nó phần lớn đã thay thế TRPO trong thực tế.
Phạm vi clip rộng hơn luôn đồng nghĩa với việc học tập tích cực hơn.
Việc tăng phạm vi cắt cho phép cập nhật lớn hơn, nhưng nó cũng làm giảm hiệu ứng bảo vệ của việc cắt xén. Vượt quá một điểm nhất định, thuật toán hoạt động giống như một bản cập nhật không giới hạn và mất đi lợi ích về tính ổn định. Phạm vi mặc định 0.2 là điểm tối ưu, chứ không phải là điểm khởi đầu để tinh chỉnh tăng lên.
Việc cập nhật chính sách không giới hạn đã lỗi thời và vô dụng.
Các bản cập nhật không giới hạn vẫn có giá trị như những cơ sở nghiên cứu và hoạt động khá tốt trong các môi trường đơn giản như thế giới lưới nhỏ hoặc các nhiệm vụ điều khiển chiều thấp. Chúng cũng đóng vai trò là công cụ sư phạm để hiểu lý do tại sao các phương pháp vùng tin cậy được phát triển ngay từ đầu.
Hãy chọn phương pháp cắt xén chính sách trong PPO bất cứ khi nào bạn cần huấn luyện đáng tin cậy, có thể tái tạo trên nhiều môi trường khác nhau, đặc biệt là trong môi trường sản xuất hoặc nghiên cứu, nơi tính ổn định quan trọng hơn tốc độ thô. Việc cập nhật chính sách không giới hạn chỉ có ý nghĩa đối với các bài toán đơn giản, có chiều dữ liệu thấp hoặc các nghiên cứu lý thuyết mà bạn muốn quan sát cụ thể các chế độ lỗi mà phương pháp cắt xén được thiết kế để ngăn chặn.
Trí tuệ nhân tạo được tăng cường bằng tìm kiếm sẽ lấy thông tin trực tiếp từ các nguồn bên ngoài tại thời điểm truy vấn, trong khi huấn luyện chỉ dựa trên tập dữ liệu lại hoàn toàn dựa vào kiến thức được tích hợp vào trọng số của mô hình trong quá trình huấn luyện. Mỗi phương pháp đều có những đánh đổi riêng về độ chính xác, chi phí, tính cập nhật và khả năng xử lý các câu hỏi nằm ngoài phạm vi huấn luyện ban đầu.
Bài so sánh này khám phá những điểm khác biệt chính giữa AI mã nguồn mở và AI độc quyền, bao gồm khả năng tiếp cận, tùy chỉnh, chi phí, hỗ trợ, bảo mật, hiệu suất và các trường hợp sử dụng thực tế, giúp các tổ chức và nhà phát triển quyết định phương pháp nào phù hợp với mục tiêu và năng lực kỹ thuật của họ.
Sự so sánh này giải thích những điểm khác biệt chính giữa trí tuệ nhân tạo và tự động hóa, tập trung vào cách chúng hoạt động, những vấn đề chúng giải quyết, tính thích ứng, độ phức tạp, chi phí và các trường hợp ứng dụng thực tế trong kinh doanh.
Sự so sánh này khám phá sự khác biệt giữa AI trên thiết bị và AI đám mây, tập trung vào cách chúng xử lý dữ liệu, tác động đến quyền riêng tư, hiệu suất, khả năng mở rộng, và các trường hợp sử dụng điển hình cho tương tác thời gian thực, mô hình quy mô lớn, cũng như yêu cầu kết nối trong các ứng dụng hiện đại.
Những người bạn đồng hành AI là các hệ thống kỹ thuật số được thiết kế để mô phỏng cuộc trò chuyện, hỗ trợ cảm xúc và sự hiện diện, trong khi tình bạn giữa người với người được xây dựng trên kinh nghiệm sống chung, sự tin tưởng và sự tương hỗ về mặt cảm xúc. Bài so sánh này khám phá cách cả hai hình thức kết nối này định hình giao tiếp, hỗ trợ cảm xúc, sự cô đơn và hành vi xã hội trong một thế giới ngày càng số hóa.
