Tối ưu hóa cơ sở hạ tầng học máy tập trung vào việc tinh giản các hệ thống, phần cứng và quy trình huấn luyện và phục vụ mô hình, trong khi đổi mới kiến trúc mô hình tập trung vào việc thiết kế các cấu trúc mạng nơ-ron mới nhằm cải thiện hiệu quả và khả năng học tập. Cả hai đều là những trụ cột thiết yếu của sự phát triển AI hiện đại, nhưng chúng tiếp cận tiến bộ từ những góc độ hoàn toàn khác nhau.
Cải thiện các hệ thống, phần cứng và quy trình làm việc hỗ trợ việc đào tạo và triển khai các mô hình máy học trên quy mô lớn.
Thiết kế các kiến trúc mạng nơ-ron và thuật toán học tập mới nhằm nâng cao khả năng và hiệu quả của mô hình.
| Tính năng | Tối ưu hóa cơ sở hạ tầng ML | Đổi mới kiến trúc mô hình |
|---|---|---|
| Trọng tâm chính | Hệ thống, phần cứng và đường ống | Thiết kế mạng nơ-ron và thuật toán học tập |
| Các ngành học cốt lõi | Hệ thống phân tán, DevOps, MLOps | Lý thuyết học sâu, toán học, khoa học nhận thức |
| Các công cụ và khung chính | Kubernetes, Ray, NCCL, Triton, vLLM | PyTorch, JAX, Hugging Face Transformers, FlashAttention |
| Các mục tiêu tối ưu hóa điển hình | Thông lượng, độ trễ, chi phí mỗi token, mức sử dụng GPU | Độ chính xác, hiệu quả tham số, khả năng suy luận, khả năng khái quát hóa |
| Thời gian dự kiến cho tác động | Ngay lập tức (vài tuần đến vài tháng) | Trung hạn đến dài hạn (vài tháng đến vài năm) |
| Cấu trúc chi phí | Đầu tư vốn lớn (phần cứng, chi phí điện toán đám mây) | Nghiên cứu chuyên sâu (nhân tài, năng lực tính toán cho các thí nghiệm) |
| Bộ kỹ năng cần thiết | Kỹ thuật hệ thống, mạng máy tính, phân tích hiệu năng | Toán học, nghiên cứu học máy, thiết kế thí nghiệm |
| Những đổi mới tiêu biểu | ZeRO, FlashAttention serving, giải mã suy đoán, PagedAttention | Máy biến áp, MoE, Mamba, RWKV, mô hình khuếch tán |
Tối ưu hóa cơ sở hạ tầng tạo ra giá trị bằng cách làm cho các mô hình hiện có hoạt động rẻ hơn, nhanh hơn và đáng tin cậy hơn. Một hệ thống máy chủ được tinh chỉnh tốt có thể biến một mô hình chậm và tốn kém thành một sản phẩm sinh lời. Ngược lại, đổi mới kiến trúc tạo ra những khả năng hoàn toàn mới mà trước đây không thể có, chẳng hạn như bước nhảy vọt từ mạng nơ-ron hồi quy (RNN) sang Transformer đã tạo ra các mô hình ngôn ngữ hiện đại.
Các công việc liên quan đến cơ sở hạ tầng thường mang lại hiệu quả nhanh chóng. Ví dụ, việc chuyển từ xử lý theo lô đơn giản sang xử lý theo lô liên tục với vLLM có thể tăng thông lượng lên gấp 20 lần chỉ trong một chu kỳ phát triển. Mặt khác, những đột phá về kiến trúc thường đòi hỏi nhiều tháng thử nghiệm và các đợt huấn luyện quy mô lớn trước khi lợi ích của chúng được thể hiện rõ ràng trong các hệ thống sản xuất.
Các dự án cơ sở hạ tầng chủ yếu tiềm ẩn rủi ro về mặt thực thi: các kỹ thuật đã được chứng minh, và sự thành công phụ thuộc vào kỷ luật kỹ thuật. Nghiên cứu kiến trúc lại tiềm ẩn rủi ro khoa học, vì các thiết kế mới có thể không hoạt động ổn định hoặc hoạt động kém hiệu quả hơn so với các mô hình cơ bản đã được thiết lập. Nhiều kiến trúc đầy hứa hẹn thậm chí không bao giờ vượt qua được giai đoạn bài báo nghiên cứu.
Các nhóm hạ tầng thường bao gồm các kỹ sư hệ thống phân tán, kỹ sư hiệu năng và các kỹ sư SRE (Single Service Reliability) có tư duy hướng đến thông lượng và độ trễ. Các nhóm kiến trúc thường gồm các nhà khoa học nghiên cứu và kỹ sư học máy có nền tảng toán học vững chắc, những người thường tạo nguyên mẫu trên notebook trước khi mở rộng quy mô. Hai nhóm thường hợp tác chặt chẽ, vì một kiến trúc xuất sắc cũng vô dụng nếu không có cơ sở hạ tầng vững chắc để huấn luyện và vận hành nó.
Các lĩnh vực này bổ sung cho nhau một cách sâu sắc. FlashAttention bắt đầu như một hiểu biết về kiến trúc liên quan đến tính toán cơ chế chú ý dựa trên I/O, nhưng đã trở thành một thành phần cơ bản được sử dụng trong toàn bộ quá trình huấn luyện và suy luận. Tương tự, kiến trúc MoE chỉ trở nên khả thi khi cơ sở hạ tầng song song hóa chuyên gia đủ trưởng thành để định tuyến token một cách hiệu quả trên hàng nghìn GPU.
Chỉ riêng việc cải thiện cơ sở hạ tầng thôi cũng đủ để giúp hiệu suất mô hình được nâng cao vô thời hạn.
Việc tối ưu hóa cơ sở hạ tầng gặp phải những giới hạn cứng do kiến trúc nền tảng đặt ra. Bạn có thể tăng hiệu quả lên khoảng 2-5 lần từ một thiết kế mô hình nhất định, nhưng việc vượt qua những giới hạn khả năng mới hầu như luôn đòi hỏi sự thay đổi về kiến trúc.
Sự đổi mới trong kiến trúc đã được giải quyết kể từ thời máy biến áp.
Các nghiên cứu tích cực vẫn đang tiếp tục về các giải pháp thay thế như Mô hình Không gian Trạng thái, kiến trúc tăng cường khả năng truy xuất và thiết kế MoE dạng mô-đun. Mỗi thế hệ kiến trúc đều mở khóa những khả năng mà thế hệ trước đó không thể đạt được một cách hiệu quả.
Bạn nên tập trung vào một khía cạnh và bỏ qua khía cạnh còn lại.
Các phòng thí nghiệm AI hàng đầu đầu tư mạnh vào cả hai lĩnh vực này. Các mô hình tiên tiến đòi hỏi kiến trúc mới để thúc đẩy khả năng, và cơ sở hạ tầng tiên tiến để đào tạo và vận hành chúng với chi phí hợp lý.
Công việc xây dựng cơ sở hạ tầng chỉ là lắp đặt đường ống nước mà không có chiều sâu về mặt trí tuệ.
Cơ sở hạ tầng học máy hiện đại bao gồm nghiên cứu hệ thống chuyên sâu, từ tối ưu hóa trình biên dịch như XLA và Triton đến các thuật toán lập lịch nhằm tối đa hóa việc sử dụng GPU trên hàng nghìn nút.
Kiến trúc thông minh có thể bù đắp cho cơ sở hạ tầng yếu kém.
Ngay cả kiến trúc tốt nhất cũng sẽ hoạt động kém hiệu quả nếu lớp huấn luyện không ổn định hoặc lớp máy chủ không thể xử lý tải sản xuất. Cả hai lớp đều phải vững chắc.
Hãy chọn tối ưu hóa cơ sở hạ tầng ML khi điểm nghẽn của bạn là chi phí, độ trễ hoặc khả năng mở rộng các mô hình hiện có cho nhiều người dùng hơn. Đầu tư vào đổi mới kiến trúc mô hình khi bạn cần các khả năng hoàn toàn mới hoặc muốn vượt trội so với đối thủ cạnh tranh về chất lượng và hiệu quả. Hầu hết các tổ chức AI thành công đều theo đuổi cả hai song song, coi cơ sở hạ tầng là động cơ và kiến trúc là bản thiết kế.
So sánh này phân tích Amazon Web Services và Google Cloud bằng cách đánh giá các dịch vụ cung cấp, mô hình giá, cơ sở hạ tầng toàn cầu, hiệu suất, trải nghiệm nhà phát triển và các trường hợp sử dụng lý tưởng, giúp các tổ chức lựa chọn nền tảng đám mây phù hợp nhất với yêu cầu kỹ thuật và kinh doanh của họ.
Cơ chế ngắt mạch và giảm độ trễ an toàn là hai cách tiếp cận bổ sung cho nhau để xây dựng các hệ thống phân tán có khả năng phục hồi cao. Cơ chế ngắt mạch ngăn chặn các lỗi lan truyền bằng cách dừng các yêu cầu đến các dịch vụ không ổn định, trong khi giảm độ trễ an toàn đảm bảo chức năng hoạt động một phần khi các phụ thuộc phía sau gặp sự cố.
Bộ nhớ đệm cục bộ lưu trữ dữ liệu trực tiếp trên máy chủ ứng dụng để truy cập với độ trễ cực thấp, trong khi các cụm bộ nhớ đệm tập trung triển khai cơ sở hạ tầng chuyên dụng, dùng chung mà nhiều dịch vụ có thể truy cập đồng thời để quản lý trạng thái nhất quán.
Các chiến lược bộ nhớ đệm trong hệ thống học máy lưu trữ kết quả đầu ra của mô hình đã được tính toán trước hoặc dữ liệu trung gian để tăng tốc các truy vấn lặp lại, trong khi tính toán theo yêu cầu tạo ra kết quả mới mỗi lần, đánh đổi tốc độ lấy sự đơn giản và giảm chi phí lưu trữ.
Cân bằng tải trong các hệ thống học máy quản lý khối lượng công việc suy luận và huấn luyện đòi hỏi nhiều tài nguyên GPU trên phần cứng chuyên dụng, trong khi xử lý yêu cầu API đơn giản phân phối lưu lượng HTTP nhẹ trên các máy chủ đa năng. Chúng khác nhau đáng kể về độ phức tạp, yêu cầu tài nguyên và khả năng định tuyến.
