Mặc dù các nhà khoa học dữ liệu thường xuyên gặp cả hai thuật ngữ này trong việc giảm chiều dữ liệu, nhưng thành phần chính (PCA) mô tả hướng có phương sai tối đa trong tập dữ liệu, trong khi giá trị riêng (SVD) đo lường độ lớn của sự thay đổi tỷ lệ dọc theo các trục hình học đó trong quá trình phân tích ma trận. Hiểu được mối liên hệ toán học giữa chúng là điều cần thiết để nắm vững các thuật toán như PCA và SVD.
Các vectơ trực giao chỉ theo hướng có phương sai tối đa, giúp đơn giản hóa và cô đọng dữ liệu đa chiều.
Các phần tử trên đường chéo chính của ma trận giá trị riêng, biểu thị các hệ số tỷ lệ tuyệt đối của một phép biến đổi tuyến tính.
| Tính năng | Các thành phần chính | Giá trị đơn lẻ |
|---|---|---|
| Nguồn gốc toán học | Các vectơ riêng của ma trận hiệp phương sai | Các yếu tố phân rã ma trận (SVD) |
| Giải thích hình học | Hướng có phương sai tối đa | Tỷ lệ độ dài của các trục chính |
| Yêu cầu dữ liệu | Cần dữ liệu đã được căn giữa theo giá trị trung bình để có ý nghĩa thống kê. | Áp dụng cho bất kỳ ma trận hình chữ nhật hoặc hình vuông tùy ý nào. |
| Mối quan hệ với giá trị riêng | Bằng với các giá trị riêng của ma trận hiệp phương sai. | Bằng căn bậc hai của các giá trị riêng của tích ma trận. |
| Ứng dụng chính | Giảm chiều dữ liệu và trích xuất đặc trưng | Đảo ngược ma trận, tính toán nghịch đảo giả và xấp xỉ hạng thấp |
| Sự phụ thuộc vào quy mô | Bị thay đổi đáng kể do dịch chuyển hoặc thu phóng dữ liệu | Thuộc tính vốn có của ma trận cụ thể đang được phân rã |
| Giải thích vật lý | Các trục của hình elip đám mây dữ liệu | Các yếu tố kéo giãn của một hình cầu đơn vị đã biến đổi |
Các thành phần chính biểu thị các hướng cụ thể nơi dữ liệu biến đổi nhiều nhất, đóng vai trò là các trục mới cho một hệ tọa độ được tối ưu hóa. Ngược lại, các giá trị riêng là các đại lượng vô hướng cho biết ma trận kéo giãn hoặc nén không gian dọc theo các trục đó bao nhiêu. Trong khi một cái cho bạn biết hướng của đám mây dữ liệu, cái kia đo lường độ lớn của chính phép biến đổi đó.
Theo phương pháp truyền thống, để tìm các thành phần chính, bạn phải tính toán các vectơ riêng của ma trận hiệp phương sai của tập dữ liệu. Các giá trị kỳ dị xuất hiện từ phép phân tích giá trị kỳ dị (Singular Value Decomposition), trong đó bất kỳ ma trận nào cũng được chia thành ba ma trận thành phần riêng biệt. Khi bạn chuẩn hóa dữ liệu bằng cách trừ đi giá trị trung bình, bình phương của một giá trị kỳ dị chia cho kích thước mẫu trừ đi một sẽ bằng chính xác phương sai của thành phần chính đó.
Các thành phần chính sẽ thay đổi đáng kể nếu bạn quên trung tâm hóa hoặc chuẩn hóa dữ liệu, bởi vì phương sai thống kê phụ thuộc rất nhiều vào điểm gốc và thang đo của biến. Tuy nhiên, các giá trị riêng lẻ là một thuộc tính đại số cơ bản của ma trận thô được cung cấp. Chúng không quan tâm đến các giả định thống kê trừ khi người dùng cố ý xây dựng trước một ma trận giống như ma trận hiệp phương sai đã được trung tâm hóa.
Các nhà phân tích dữ liệu dựa vào các thành phần chính để trực quan hóa các tập dữ liệu phức tạp, đa chiều trên các biểu đồ hai chiều đơn giản. Mặt khác, các kỹ sư thị giác máy tính sử dụng các giá trị riêng (SVD) để nén ảnh và xây dựng hệ thống đề xuất thông qua các phép xấp xỉ ma trận hạng thấp. Trên thực tế, SVD là công cụ tính toán được ưa chuộng hơn cả PCA vì việc tính toán các giá trị riêng giúp tránh được sự mất độ chính xác xảy ra khi xây dựng ma trận hiệp phương sai.
Thành phần chính và giá trị riêng là hai khái niệm hoàn toàn độc lập.
Chúng liên kết chặt chẽ với nhau thông qua việc tập trung dữ liệu. Khi một ma trận dữ liệu được trừ đi giá trị trung bình, các giá trị riêng của nó tỷ lệ thuận với căn bậc hai của phương sai dọc theo các thành phần chính.
Bạn luôn phải tính ma trận hiệp phương sai để tìm các thành phần chính.
Phần mềm hiện đại hiếm khi tính toán ma trận hiệp phương sai vì nó gây ra sai số làm tròn số. Thay vào đó, các thuật toán thực hiện phân tích giá trị riêng (SVD) trực tiếp trên ma trận dữ liệu, trích xuất các thành phần chính một cách an toàn và hiệu quả hơn nhiều.
Giá trị riêng có thể âm nếu dữ liệu cho thấy mối tương quan nghịch.
Theo định nghĩa, giá trị kỳ dị là căn bậc hai dương của các giá trị riêng từ một ma trận đối xứng. Chúng luôn là các số thực không âm, biểu thị độ dài hoặc hệ số giãn nở, bất kể các mối tương quan trong dữ liệu gốc.
Việc cộng thêm một giá trị không đổi vào tất cả các điểm dữ liệu sẽ làm thay đổi các giá trị riêng và các thành phần chính một cách đồng đều.
Việc dịch chuyển dữ liệu một hằng số sẽ làm thay đổi các giá trị riêng vì các phần tử ma trận thô bị thay đổi. Tuy nhiên, vì các thành phần chính dựa trên ma trận hiệp phương sai, vốn dĩ đã trừ đi giá trị trung bình, nên việc dịch chuyển dữ liệu sẽ không làm thay đổi các thành phần chính.
Thành phần chính đầu tiên luôn bao gồm tất cả các thông tin có giá trị.
Thành phần đầu tiên chỉ nắm bắt được phương sai tối đa dọc theo một trục duy nhất. Nếu dữ liệu của bạn được phân bố theo hình cầu hoặc chứa các mẫu phi tuyến tính quan trọng, một thành phần tuyến tính duy nhất có thể bỏ sót hoàn toàn các cấu trúc quan trọng nhất.
Chọn phương pháp phân tích thành phần chính khi mục tiêu chính của bạn là diễn giải, trực quan hóa hoặc giảm bớt các đặc điểm của tập dữ liệu thống kê dựa trên phương sai. Chọn phương pháp giá trị riêng khi bạn cần giải hệ phương trình tuyến tính, nén ma trận hoặc thực hiện các phép tính số ổn định mà không cần lo lắng về việc xử lý sơ bộ thống kê.
Cốt lõi của mọi mô hình toán học là mối quan hệ giữa nguyên nhân và kết quả. Biến độc lập đại diện cho đầu vào hay "nguyên nhân" mà bạn kiểm soát hoặc thay đổi, trong khi biến phụ thuộc là "kết quả" hay hậu quả mà bạn quan sát và đo lường khi nó phản ứng với những thay đổi đó.
Trong khi phép biến đổi hình học thiết lập quy tắc toán học hoàn hảo để dịch chuyển, xoay hoặc thay đổi kích thước tọa độ trong không gian lý tưởng, thì việc triển khai vật lý lại chuyển đổi bản thiết kế này thành thế giới hữu hình, xử lý các thực tế về dung sai cơ học, độ đàn hồi của vật liệu và lượng tử hóa kỹ thuật số.
Cả phép biến đổi Laplace và Fourier đều là những công cụ không thể thiếu để chuyển đổi các phương trình vi phân từ miền thời gian phức tạp sang miền tần số đại số đơn giản hơn. Trong khi phép biến đổi Fourier được sử dụng phổ biến để phân tích các tín hiệu trạng thái ổn định và các dạng sóng, thì phép biến đổi Laplace là một phép tổng quát mạnh mẽ hơn, xử lý các hành vi thoáng qua và các hệ thống không ổn định bằng cách thêm một hệ số suy giảm vào phép tính.
Trong toán học, biểu diễn độ lớn và biểu diễn hướng là hai trụ cột nền tảng được sử dụng để mô tả đầy đủ các vectơ và các đại lượng đa chiều. Trong khi độ lớn thể hiện kích thước, tỷ lệ hoặc phạm vi tuyệt đối thuần túy bằng số của một đối tượng, hướng xác định hướng không gian, độ nghiêng hoặc hướng di chuyển của nó, tạo ra sự cân bằng rõ ràng giữa lượng đo được và vị trí của nó.
Mặc dù tất cả các biểu thức hữu tỉ đều nằm trong phạm vi rộng lớn của các biểu thức đại số, nhưng chúng đại diện cho một loại phụ rất cụ thể và hạn chế. Biểu thức đại số là một phạm trù rộng bao gồm căn bậc hai và số mũ khác nhau, trong khi biểu thức hữu tỉ được định nghĩa một cách nghiêm ngặt là thương của hai đa thức, tương tự như một phân số được tạo thành từ các biến số.
