Trong khi làm sạch dữ liệu chủ động loại bỏ các bản sao, sửa chữa các bất thường và định dạng lại các dữ liệu đầu vào lộn xộn để tăng độ chính xác của thuật toán học máy ở các bước tiếp theo, thì bảo tồn dữ liệu tập trung vào việc giữ nguyên lịch sử thô, không bị thay đổi để bảo vệ việc tuân thủ kiểm toán dài hạn và ngăn ngừa việc vô tình mất các trường hợp ngoại lệ hiếm gặp nhưng quan trọng.
Quá trình có hệ thống nhằm xác định, sửa chữa hoặc loại bỏ các bản ghi bị lỗi, không chính xác hoặc không liên quan khỏi tập dữ liệu.
Việc bảo vệ và lưu trữ dữ liệu thô, chưa qua chỉnh sửa ở trạng thái ban đầu để tuân thủ các quy định lâu dài và phân tích lại.
| Tính năng | Làm sạch dữ liệu | Bảo quản dữ liệu |
|---|---|---|
| Mục tiêu chính | Tối ưu hóa tính hữu ích tức thời và độ chính xác của dữ liệu. | Đảm bảo tính chính xác lịch sử và khả năng tái tạo lâu dài. |
| Tình trạng dữ liệu | Đã được sửa đổi, tiêu chuẩn hóa và lọc. | Bản thô, chưa chỉnh sửa và có thể gây hỗn loạn. |
| Hành động cốt lõi | Sửa đổi hoặc xóa các mục có vấn đề | Khóa và lưu trữ hồ sơ một cách bất biến. |
| Kiến trúc lưu trữ | Kho dữ liệu và kho lưu trữ tính năng hiệu suất cao | Hồ dữ liệu có khả năng mở rộng và kho lưu trữ dữ liệu lạnh. |
| Người thụ hưởng chính | Công cụ phân tích kinh doanh và mô hình học máy | Các chuyên gia kiểm toán dữ liệu, nhà phân tích pháp y và các nhà nghiên cứu tương lai. |
| Rủi ro kỹ thuật chính | Việc vô tình xóa bỏ các dị thường trong thế giới thực. | Tích tụ rác kỹ thuật số đắt tiền và tuân thủ các quy định. |
Việc bảo toàn dữ liệu diễn ra ngay tại điểm tiếp nhận ban đầu, thu thập thông tin trực tiếp từ nguồn trước khi bất kỳ quy trình xử lý nào can thiệp vào. Việc làm sạch dữ liệu diễn ra ở giai đoạn sau, chuyển đổi các tập tin thô đã lưu thành các tài sản được chọn lọc sẵn sàng cho các bảng điều khiển kinh doanh. Bảo toàn dữ liệu giúp ngăn ngừa mất dữ liệu, trong khi làm sạch dữ liệu giúp sắp xếp các "phòng" bên trong để phục vụ các hoạt động hàng ngày.
Quy trình làm sạch thường xuyên đánh dấu các đỉnh nhọn bất thường hoặc các trường trống là lỗi, làm mịn chúng hoặc loại bỏ chúng để giữ cho quá trình hồi quy ổn định. Quá trình bảo tồn giữ lại chính xác những bản ghi bị lỗi đó, nhận ra rằng một kết nối bị gián đoạn hoặc một đỉnh nhọn bất thường của cảm biến có thể là chìa khóa để phát hiện ra lỗi phần cứng trong tương lai. Làm sạch tối ưu hóa các xu hướng mượt mà, trong khi bảo tồn coi trọng thực tế thô, không bị chỉnh sửa.
Các quy trình làm sạch dữ liệu đòi hỏi sức mạnh tính toán lớn để phân tích chuỗi ký tự, thực hiện các phép nối và chạy logic loại bỏ dữ liệu trùng lặp ngay lập tức. Việc bảo tồn dữ liệu bỏ qua các logic xử lý phức tạp, chuyển ngân sách sang các thiết lập lưu trữ đối tượng khổng lồ, chi phí thấp được thiết kế để lưu trữ hàng petabyte tệp tin vô thời hạn. Bạn trả tiền cho sức mạnh tính toán đang hoạt động khi làm sạch, nhưng bạn trả tiền cho dung lượng đĩa ổn định khi bảo tồn.
Các khuôn khổ pháp lý hiện đại yêu cầu các tổ chức phải chứng minh chính xác cách họ đi đến một kết luận phân tích cụ thể. Vì việc làm sạch dữ liệu làm thay đổi vĩnh viễn các giá trị hoặc xóa các hàng, nên chỉ riêng tập dữ liệu đã được làm sạch không thể đáp ứng được yêu cầu kiểm toán kỹ thuật số nghiêm ngặt. Việc bảo tồn cung cấp bằng chứng bằng văn bản chưa bị chỉnh sửa, cho phép các nhóm an ninh và các cơ quan quản lý tái tạo lại các phép tính từ đầu mà không có sự mơ hồ.
Làm sạch dữ liệu và bảo tồn dữ liệu là hai lựa chọn loại trừ lẫn nhau trong một dự án.
Trên thực tế, chúng tạo thành một mối quan hệ hợp tác mạnh mẽ trong kiến trúc dữ liệu hiện đại. Các nhóm kỹ sư ưu tú sẽ bảo toàn dữ liệu thô đầu vào bên trong một tầng lưu trữ bất biến (immutable lake tier) trước, sau đó khởi tạo các quy trình làm sạch độc lập để tạo ra các bản sao đã được tinh chỉnh và đưa vào các kho dữ liệu để phân tích hàng ngày.
Việc lưu giữ mọi dữ liệu thô đảm bảo bạn tự động tuân thủ luật bảo mật thông tin.
Việc lưu trữ dữ liệu thô vô thời hạn có thể xung đột với các quy định về quyền riêng tư như quyền được lãng quên theo GDPR. Việc bảo quản đòi hỏi chiến lược theo dõi siêu dữ liệu và mã hóa tinh vi để các hồ sơ khách hàng cụ thể vẫn có thể được xóa hoặc ẩn danh mà không phá hủy toàn bộ kho lưu trữ.
Các quy trình làm sạch dữ liệu tự động luôn an toàn hơn so với sự can thiệp thủ công của con người.
Tự động hóa có thể ngay lập tức làm trầm trọng thêm các lỗi. Nếu một kịch bản tự động chứa một lỗi logic nhỏ, nó có thể âm thầm ghi đè lên hàng nghìn hàng dữ liệu hợp lệ trong toàn bộ cơ sở dữ liệu, cho thấy tầm quan trọng của việc giữ bản sao lưu dự phòng.
Sau khi dữ liệu được làm sạch kỹ lưỡng, bạn sẽ không bao giờ cần đến các tệp gốc nữa.
Các yêu cầu phân tích thay đổi liên tục. Nếu doanh nghiệp của bạn chuyển sang mô hình học máy mới xử lý các giá trị thiếu theo cách khác, dữ liệu đã được làm sạch cũ của bạn sẽ trở nên lỗi thời, buộc bạn phải lấy lại các tệp dữ liệu thô đã lưu trữ và xây dựng lại quy trình xử lý dữ liệu.
Hãy chọn làm sạch dữ liệu khi ưu tiên trước mắt của bạn là huấn luyện mô hình máy học, xây dựng bảng điều khiển quản lý rõ ràng hoặc loại bỏ các lỗi định dạng rõ ràng gây ảnh hưởng đến mã sản xuất. Hãy tập trung mạnh vào bảo tồn dữ liệu khi xây dựng cơ sở hạ tầng dài hạn, đáp ứng các yêu cầu pháp lý nghiêm ngặt hoặc thiết kế quy trình điều tra chuyên sâu, nơi việc mất đi dù chỉ một pixel thô hoặc dòng nhật ký cũng là không thể chấp nhận được.
Hiểu rõ sự khác biệt giữa việc tỏ ra bận rộn và thực sự tạo ra kết quả là điều vô cùng quan trọng đối với bất kỳ doanh nghiệp nào đang phát triển. Trong khi ảo tưởng về sự tiến bộ dựa trên các chỉ số hào nhoáng và hoạt động hối hả, thì tăng trưởng có thể đo lường được lại dựa trên dữ liệu khách quan và kết quả bền vững tích lũy theo thời gian để xây dựng giá trị lâu dài thực sự.
Sự so sánh này làm rõ sự căng thẳng chiến lược giữa việc giữ nguyên vẹn dữ liệu thô để sử dụng trong những trường hợp bất ngờ trong tương lai và việc giảm thiểu dung lượng bộ dữ liệu nhằm tối ưu hóa hiệu suất cơ sở hạ tầng. Cân bằng hai ưu tiên phân tích này quyết định mức độ hiệu quả mà một tổ chức quản lý chi phí lưu trữ đám mây trong khi vẫn duy trì khả năng phân tích lịch sử chuyên sâu.
Hiểu được mối tương quan giữa bối cảnh và số liệu thống kê là dấu ấn của một phân tích tinh tế. Trong khi số liệu thống kê cung cấp một khung sườn toán học chặt chẽ về những gì đang xảy ra trong một quần thể, thì bối cảnh lại bổ sung thêm phần cốt lõi, giải thích tại sao những mô hình đó tồn tại và những hoàn cảnh cụ thể nào đã định hình nên các con số cuối cùng.
Để theo dõi hiệu suất một cách hiệu quả, cần nắm vững cả các chỉ số dẫn đầu và chỉ số chậm. Trong khi các chỉ số chậm xác nhận những gì đã xảy ra, chẳng hạn như tổng doanh thu, thì các chỉ số dẫn đầu đóng vai trò là tín hiệu dự báo giúp các nhóm điều chỉnh chiến lược của họ trong thời gian thực để đạt được các mục tiêu đầy tham vọng.
Mặc dù khối lượng dữ liệu lớn từng là mục tiêu chính để xây dựng trí tuệ nhân tạo mạnh mẽ, nhưng trọng tâm hiện nay đã chuyển sang các tập dữ liệu có độ chính xác cao. Chất lượng nhấn mạnh tính chính xác và mức độ liên quan của thông tin, trong khi số lượng cung cấp phạm vi thống kê cần thiết để các mô hình học sâu có thể khái quát hóa trên các tình huống phức tạp, thực tế.
