Các quy luật về tỷ lệ mô hình và sự đổi mới kiến trúc đại diện cho hai triết lý cạnh tranh nhau trong việc nâng cao khả năng của trí tuệ nhân tạo. Các quy luật về tỷ lệ cho rằng các mô hình lớn hơn được huấn luyện trên nhiều dữ liệu hơn sẽ mang lại những lợi ích có thể dự đoán được, trong khi sự đổi mới kiến trúc tập trung vào các thiết kế thông minh hơn, đạt được nhiều hơn với ít tài nguyên tính toán hơn.
Các nguyên tắc thực nghiệm cho thấy hiệu suất của mô hình AI được cải thiện một cách có thể dự đoán được khi có nhiều tham số, dữ liệu và khả năng tính toán hơn.
Các thiết kế mạng nơ-ron mới giúp nâng cao hiệu quả và khả năng của trí tuệ nhân tạo vượt xa những gì mà việc mở rộng quy mô đơn thuần có thể mang lại.
| Tính năng | Các định luật tỷ lệ mô hình | Đổi mới kiến trúc |
|---|---|---|
| Triết lý cốt lõi | Mô hình lớn hơn + nhiều dữ liệu hơn = hiệu suất tốt hơn | Thiết kế thông minh hơn giúp đạt được nhiều hơn với ít tài nguyên tính toán hơn. |
| Yếu tố chi phí chính | Tính toán và năng lượng cho việc huấn luyện | Nghiên cứu năng lực và thiết kế lặp lại |
| Khả năng dự đoán lợi nhuận | Có thể dự đoán được rất cao thông qua các định luật lũy thừa. | Khó đoán trước; những đột phá xảy ra không thường xuyên. |
| Các nhân tố chủ chốt | OpenAI, Anthropic, những người ủng hộ giả thuyết về khả năng mở rộng. | DeepMind, các nhà nghiên cứu học thuật, các phòng thí nghiệm tập trung vào hiệu quả. |
| Yêu cầu tính toán | Quy mô khổng lồ và đang tăng trưởng theo cấp số nhân. | Thường có giá thành thấp hơn; có thể chạy trên phần cứng cấu hình khiêm tốn. |
| Mức hiệu suất tối đa | Bị giới hạn bởi khả năng tính toán và dữ liệu sẵn có. | Bị giới hạn bởi sự khéo léo của con người trong thiết kế. |
| Thời gian dự kiến để có kết quả | Có thể dự đoán được nhưng tiến độ chậm (nhiều tháng huấn luyện) | Biến đổi; có thể nhanh chóng mang lại những đột phá. |
| Ví dụ tiêu biểu | GPT-4, Claude 3, Gemini Ultra | Mamba, các mô hình MoE, Flash Attention, hệ thống RAG |
Các quy luật mở rộng mô hình dựa trên một ý tưởng đơn giản nhưng mạnh mẽ: trí thông minh xuất hiện từ quy mô. Bằng chứng thực nghiệm từ bài báo năm 2020 của Kaplan và sự tinh chỉnh năm 2022 của Chinchilla cho thấy rằng sự cải thiện hiệu suất tuân theo các mối quan hệ toán học có thể dự đoán được. Đổi mới kiến trúc lại có quan điểm ngược lại, cho rằng kỹ thuật khéo léo có thể khai thác nhiều khả năng hơn từ sức mạnh tính toán hiện có. Cả hai phe đều đồng ý rằng việc mở rộng quy mô có hiệu quả; họ bất đồng về việc liệu đó có phải là con đường duy nhất hay không.
Việc huấn luyện các mô hình quy mô tiên tiến hiện nay chỉ riêng về chi phí tính toán đã tiêu tốn hàng chục triệu đô la, với các hệ thống thuộc lớp GPT-4 được cho là vượt quá 100 triệu đô la. Đổi mới kiến trúc mang lại một nền kinh tế hoàn toàn khác: một mô hình được thiết kế tốt có thể sánh ngang hoặc vượt trội hơn các đối thủ lớn hơn với chi phí huấn luyện thấp hơn nhiều. Điều này làm cho đổi mới kiến trúc trở nên đặc biệt hấp dẫn đối với các phòng thí nghiệm học thuật, các công ty khởi nghiệp và các tổ chức không có ngân sách như các nhà cung cấp dịch vụ điện toán đám mây quy mô lớn.
Các định luật về tỷ lệ cung cấp một điều hiếm hoi trong nghiên cứu AI: khả năng dự đoán. Nếu bạn tính toán gấp đôi, bạn sẽ biết大致 mức cải thiện dự kiến. Đổi mới kiến trúc vốn dĩ rủi ro hơn vì những đột phá phụ thuộc vào sự thấu hiểu hơn là toán học. Tuy nhiên, khi những đột phá về kiến trúc thành công, chúng có thể bỏ qua nhiều năm nỗ lực tăng tỷ lệ dần dần. Bản thân Transformer là một bước nhảy vọt như vậy, làm cho nhiều năm nghiên cứu về mở rộng quy mô mạng nơ-ron hồi quy (RNN) trở nên lỗi thời chỉ sau một đêm.
Ngành công nghiệp ngày càng nhận ra rằng việc mở rộng quy mô thuần túy có những giới hạn. Ngay cả ban lãnh đạo của OpenAI cũng đã công khai thảo luận về việc gặp phải những rào cản liên quan đến khả năng truy cập dữ liệu và hiệu quả tính toán. Trong khi đó, sự đổi mới về kiến trúc đang tăng tốc: các mô hình kết hợp nhiều chuyên gia như Mixtral, các biến thể cơ chế chú ý hiệu quả và các mô hình không gian trạng thái đang ngày càng được quan tâm. Hầu hết các phòng thí nghiệm tiên phong hiện nay đều theo đuổi cả hai chiến lược cùng lúc, coi chúng là bổ sung cho nhau chứ không phải cạnh tranh.
Nhìn về phía trước, có lẽ không một phương pháp nào riêng lẻ có thể đưa trí tuệ nhân tạo đạt đến khả năng của con người. Các định luật về tỷ lệ cho thấy chúng ta sẽ tiếp tục đẩy kích thước mô hình lên, nhưng hiệu quả giảm dần và những hạn chế về tài nguyên sẽ buộc chúng ta phải dựa nhiều hơn vào sự khéo léo trong kiến trúc. Con đường triển vọng nhất là kết hợp cả hai: sử dụng các định luật về tỷ lệ để xác định kích thước mô hình tối ưu đồng thời áp dụng những đổi mới về kiến trúc để tối đa hóa khả năng trên mỗi tham số. Phương pháp kết hợp này định nghĩa ranh giới hiện tại của nghiên cứu trí tuệ nhân tạo.
Theo quy luật tỷ lệ, mô hình càng lớn thì càng tốt.
Chinchilla đã chỉ ra rằng kích thước mô hình và dữ liệu huấn luyện phải tương xứng với nhau. Một mô hình 70B được huấn luyện trên dữ liệu không đủ sẽ hoạt động kém hơn một mô hình nhỏ hơn được huấn luyện trên dữ liệu đầy đủ. Mối quan hệ này là về sự cân bằng, không chỉ là về kích thước.
Đổi mới kiến trúc chỉ là một cách để tránh chi phí cho điện toán.
Những đột phá về kiến trúc thường cho phép tạo ra những khả năng hoàn toàn mới mà việc mở rộng quy mô đơn thuần không thể đạt được. Mô hình Transformer không chỉ giúp giảm chi phí mô hình mà còn cho phép xử lý các ngữ cảnh dài hơn và huấn luyện song song mà các mạng RNN về cơ bản không thể hỗ trợ.
Các quy luật về tỷ lệ sẽ tiếp tục diễn ra vô thời hạn cho đến khi chúng ta đạt được Trí tuệ Nhân tạo Tổng quát (AGI).
Các nhà nghiên cứu đã ghi nhận hiện tượng lợi ích giảm dần ở ranh giới công nghệ. Mỗi lần tăng gấp đôi khả năng tính toán hiện nay mang lại hiệu suất tăng ít hơn so với các lần tăng gấp đôi trước đó. Chất lượng và tính khả dụng của dữ liệu cũng đang trở thành những ràng buộc khó vượt qua mà việc mở rộng quy mô đơn thuần không thể khắc phục được.
Hai cách tiếp cận này loại trừ lẫn nhau.
Các mô hình biên giới hiện đại sử dụng cả hai. GPT-4 có thể kết hợp những đổi mới về kiến trúc cùng với quy mô khổng lồ. Cuộc tranh luận thực chất là về sự nhấn mạnh và phân bổ nguồn lực, chứ không phải là lựa chọn hoặc cái này hoặc cái kia.
Đổi mới trong kiến trúc luôn vượt trội hơn so với mở rộng quy mô.
Một kiến trúc thông minh nhưng thiếu thông số hoặc dữ liệu sẽ bị chững lại. Đổi mới kiến trúc thường hiệu quả nhất khi kết hợp với quy mô phù hợp. Các hệ thống thành công nhất tối ưu hóa cả hai khía cạnh cùng một lúc.
Hãy chọn các quy luật mở rộng mô hình khi bạn có ngân sách tính toán khổng lồ và cần những cải tiến gia tăng, có thể dự đoán được trên các kiến trúc đã được thiết lập. Hãy chọn đổi mới kiến trúc khi nguồn lực bị hạn chế, khi bạn cần hiệu quả trong quá trình suy luận, hoặc khi bạn đang theo đuổi những khả năng mà việc mở rộng thuần túy khó có thể mang lại. Trên thực tế, các hệ thống AI thành công nhất hiện nay kết hợp cả hai triết lý thay vì chỉ tập trung vào một trong hai.
Trí tuệ nhân tạo được tăng cường bằng tìm kiếm sẽ lấy thông tin trực tiếp từ các nguồn bên ngoài tại thời điểm truy vấn, trong khi huấn luyện chỉ dựa trên tập dữ liệu lại hoàn toàn dựa vào kiến thức được tích hợp vào trọng số của mô hình trong quá trình huấn luyện. Mỗi phương pháp đều có những đánh đổi riêng về độ chính xác, chi phí, tính cập nhật và khả năng xử lý các câu hỏi nằm ngoài phạm vi huấn luyện ban đầu.
Bài so sánh này khám phá những điểm khác biệt chính giữa AI mã nguồn mở và AI độc quyền, bao gồm khả năng tiếp cận, tùy chỉnh, chi phí, hỗ trợ, bảo mật, hiệu suất và các trường hợp sử dụng thực tế, giúp các tổ chức và nhà phát triển quyết định phương pháp nào phù hợp với mục tiêu và năng lực kỹ thuật của họ.
Sự so sánh này giải thích những điểm khác biệt chính giữa trí tuệ nhân tạo và tự động hóa, tập trung vào cách chúng hoạt động, những vấn đề chúng giải quyết, tính thích ứng, độ phức tạp, chi phí và các trường hợp ứng dụng thực tế trong kinh doanh.
Sự so sánh này khám phá sự khác biệt giữa AI trên thiết bị và AI đám mây, tập trung vào cách chúng xử lý dữ liệu, tác động đến quyền riêng tư, hiệu suất, khả năng mở rộng, và các trường hợp sử dụng điển hình cho tương tác thời gian thực, mô hình quy mô lớn, cũng như yêu cầu kết nối trong các ứng dụng hiện đại.
Những người bạn đồng hành AI là các hệ thống kỹ thuật số được thiết kế để mô phỏng cuộc trò chuyện, hỗ trợ cảm xúc và sự hiện diện, trong khi tình bạn giữa người với người được xây dựng trên kinh nghiệm sống chung, sự tin tưởng và sự tương hỗ về mặt cảm xúc. Bài so sánh này khám phá cách cả hai hình thức kết nối này định hình giao tiếp, hỗ trợ cảm xúc, sự cô đơn và hành vi xã hội trong một thế giới ngày càng số hóa.
