Οι επαγγελματίες δεδομένων συχνά αντιμετωπίζουν μια δύσκολη αντιστάθμιση μεταξύ της συρρίκνωσης τεράστιων συνόλων δεδομένων για την επίτευξη απόδοσης και της διατήρησης αυτών των δεδομένων κατανοητών από τους ανθρώπινους υπεύθυνους λήψης αποφάσεων. Η υψηλή απόδοση συμπίεσης εξοικονομεί κόστος αποθήκευσης και επιταχύνει την επεξεργασία, αλλά μπορεί να προκαλέσει απώλεια ερμηνευσιμότητας, καθιστώντας σχεδόν αδύνατη την παρακολούθηση του πώς συγκεκριμένες εισροές οδήγησαν στα τελικά επιχειρηματικά συμπεράσματα.
Το μέτρο του πόσο αποτελεσματικά μειώνεται ο όγκος δεδομένων σε σχέση με το αρχικό του μέγεθος.
Η μείωση της ικανότητας ενός ανθρώπου να εξηγήσει ή να κατανοήσει δεδομένα μετά τον μετασχηματισμό.
| Λειτουργία | Αποδοτικότητα συμπίεσης | Απώλεια Ερμηνευσιμότητας |
|---|---|---|
| Πρωταρχικός στόχος | Ελαχιστοποίηση αποτυπώματος | Μεγιστοποίηση της διαφάνειας |
| Επιπτώσεις στους Πόρους | Μειώνει το κόστος αποθήκευσης | Αυξάνει τον χρόνο ανθρώπινου ελέγχου |
| Τεχνική εστίαση | Αλγόριθμοι και μαθηματικά | Λογική και πλαίσιο |
| Λειτουργία βλάβης | Αλλοίωση δεδομένων | Ανεξήγητα αποτελέσματα |
| Εργαλείο βελτιστοποίησης | Κωδικοποίηση και κατακερματισμός | Τεκμηρίωση και μεταδεδομένα |
| Επιχειρηματική Αξία | Ταχύτητα λειτουργίας | Στρατηγική εμπιστοσύνη |
Οι μηχανικοί συχνά πιέζουν για μέγιστη απόδοση συμπίεσης για να διατηρούν τα συστήματα σε ομαλή και γρήγορη λειτουργία. Ωστόσο, καθώς τα δεδομένα γίνονται πιο αφηρημένα μέσω τεχνικών όπως η Ανάλυση Κύριων Συνιστωσών (PCA), το υποκείμενο «γιατί» εξαφανίζεται. Μπορεί να καταλήξετε με ένα σύστημα που προβλέπει τέλεια τις πωλήσεις, αλλά δεν μπορεί να σας πει ποια συγκεκριμένη καμπάνια μάρκετινγκ οδήγησε στην πραγματικότητα στα έσοδα.
Η συγκέντρωση δεδομένων σε μικρές, αποτελεσματικές περιλήψεις είναι ένας εξαιρετικός τρόπος για να εξοικονομήσετε χρήματα από τον λογαριασμό σας στο AWS. Ο κίνδυνος προκύπτει όταν μια ρυθμιστική αρχή ή ένας πελάτης ζητά μια λεπτομερή ανάλυση ενός συγκεκριμένου συμβάντος. Εάν η συμπίεση ήταν πολύ επιθετική, αυτά τα λεπτομερή στοιχεία εξαφανίζονται, αφήνοντας την εταιρεία με υψηλή απόδοση, αλλά με έναν τεράστιο πονοκέφαλο σε θέματα νομικής ή συμμόρφωσης.
Οι τεχνικές που χρησιμοποιούνται για την αύξηση της αποδοτικότητας συχνά περιλαμβάνουν τη μείωση του αριθμού των μεταβλητών ή «διαστάσεων» σε ένα σύνολο δεδομένων. Ενώ αυτό κάνει τους μαθηματικούς υπολογισμούς ευκολότερους για έναν υπολογιστή, καθιστά τα δεδομένα ξένα για έναν άνθρωπο. Όταν ένα σύνολο δεδομένων συμπιέζεται σε μεγάλο βαθμό σε αφηρημένα διανύσματα, ένας αναλυτής δεν μπορεί πλέον να εξετάσει μια γραμμή και να την αναγνωρίσει ως συναλλαγή πελάτη, οδηγώντας σε πλήρη απώλεια της διαίσθησης.
Η συμπίεση χωρίς απώλειες είναι το «χρυσό πρότυπο» για τη διατήρηση της ερμηνευσιμότητας άθικτης, επειδή κάθε bit μπορεί να αποκατασταθεί τέλεια. Η συμπίεση με απώλειες, ωστόσο, ανταλλάσσει την ακρίβεια με εξαιρετική αποτελεσματικότητα. Στην ανάλυση, η «συμπίεση με απώλειες» συχνά σημαίνει λήψη μέσων όρων των μέσων όρων. Ενώ το μέγεθος του αρχείου είναι μικροσκοπικό, χάνετε τις ακραίες τιμές και τις αποχρώσεις που συχνά περιέχουν τις πιο πολύτιμες επιχειρηματικές πληροφορίες.
Κάθε συμπίεση έχει ως αποτέλεσμα κάποια απώλεια κατανόησης.
Οι μορφές συμπίεσης χωρίς απώλειες σάς επιτρέπουν να συρρικνώνετε δεδομένα χωρίς να χάνετε ούτε μια λεπτομέρεια. Η ερμηνευσιμότητα επηρεάζεται μόνο εάν επιλέξετε να μετατρέψετε τα δεδομένα σε μορφή που οι άνθρωποι δεν μπορούν να διαβάσουν εύκολα, όπως δυαδικά blob ή κατακερματισμένες συμβολοσειρές.
Θα πρέπει πάντα να διατηρείτε κάθε κομμάτι ακατέργαστων δεδομένων για πάντα.
Η διατήρηση των πάντων είναι συχνά οικονομικά αδύνατη και δημιουργεί «βάλτους δεδομένων». Ο στόχος είναι να βρεθεί μια μέση λύση όπου θα συμπιέζετε αρκετά ώστε να είστε αποτελεσματικοί, διατηρώντας παράλληλα το «DNA» των δεδομένων προσβάσιμο για μελλοντικές ερωτήσεις.
Η ερμηνευσιμότητα είναι σημαντική μόνο για τους επιστήμονες δεδομένων.
Τα μη τεχνικά ενδιαφερόμενα μέρη, όπως οι διευθυντές μάρκετινγκ ή οι διευθύνοντες σύμβουλοι, είναι τα κύρια θύματα της απώλειας ερμηνευσιμότητας. Εάν δεν κατανοούν τη λογική πίσω από μια αναφορά, είναι λιγότερο πιθανό να ενεργήσουν με βάση τις πληροφορίες που παρέχει.
Η υψηλότερη συμπίεση κάνει πάντα τα ερωτήματα πιο γρήγορα.
Όχι πάντα. Εάν η συμπίεση είναι πολύ περίπλοκη, ο χρόνος που αφιερώνει ο υπολογιστής στην «αποσυμπίεση» των δεδομένων μπορεί στην πραγματικότητα να είναι μεγαλύτερος από τον χρόνο που εξοικονομείται διαβάζοντας ένα μικρότερο αρχείο.
Δώστε προτεραιότητα στην αποτελεσματικότητα συμπίεσης για αρχειοθετημένα αρχεία καταγραφής και τηλεμετρία μεγάλου όγκου, όπου η ακατέργαστη ταχύτητα είναι ο μόνος στόχος. Εστιάστε στην ελαχιστοποίηση της απώλειας ερμηνείας για μετρήσεις που απευθύνονται σε πελάτες και τυχόν δεδομένα που χρησιμοποιούνται για την αιτιολόγηση σημαντικών οικονομικών ή νομικών αποφάσεων.
Αυτή η ανάλυση αναλύσεων αντιπαραβάλλει τις χαοτικές, απεριποίητες πληροφορίες που παράγονται από τα σύγχρονα περιβάλλοντα παραγωγής με τα τέλεια δομημένα, εξυγιανμένα μοντέλα δεδομένων που χρησιμοποιούνται στη θεωρητική εκπαίδευση. Διερευνά πώς τα απροσδόκητα κενά και οι ανωμαλίες του συστήματος αναγκάζουν τους μηχανικούς δεδομένων να δημιουργούν ισχυρούς αγωγούς αντί να βασίζονται σε στατιστικές υποθέσεις εγχειριδίων.
Ενώ και οι δύο μεθοδολογίες χρησιμεύουν στη βελτιστοποίηση της ψηφιακής απόδοσης, λειτουργούν σε θεμελιωδώς διαφορετικά επίπεδα τεχνολογίας. Οι άμεσες δοκιμές επικεντρώνονται στη βελτίωση των γλωσσικών εισροών που καθοδηγούν τα μοντέλα γενετικής τεχνητής νοημοσύνης, ενώ οι δοκιμές A/B παρέχουν ένα αυστηρό στατιστικό πλαίσιο για τη σύγκριση δύο ξεχωριστών εκδόσεων μιας ιστοσελίδας ή μιας λειτουργίας εφαρμογής, για να διαπιστωθεί ποια έχει καλύτερη απήχηση σε πραγματικούς ανθρώπινους χρήστες.
Η ανάλυση νεοσύστατων επιχειρήσεων βάσει δεδομένων βασίζεται σε μετρήσιμα μετρήσιμα στοιχεία όπως η ανάπτυξη, τα έσοδα και η διατήρηση για την αξιολόγηση των νεοσύστατων επιχειρήσεων, ενώ η ανάλυση που βασίζεται στην αφήγηση εστιάζει στην αφήγηση, το όραμα και τα ποιοτικά σήματα. Και οι δύο προσεγγίσεις χρησιμοποιούνται ευρέως από επενδυτές και ιδρυτές για την αξιολόγηση των δυνατοτήτων, αλλά διαφέρουν ως προς τον τρόπο με τον οποίο ερμηνεύονται τα στοιχεία και τον τρόπο με τον οποίο δικαιολογούνται οι αποφάσεις.
Αυτή η σύγκριση περιγράφει λεπτομερώς τις λειτουργικές διαφορές μεταξύ της ανάλυσης logistics σε πραγματικό χρόνο, η οποία επεξεργάζεται δεδομένα αισθητήρων σε πραγματικό χρόνο για τη βελτιστοποίηση των οχημάτων κατά τη διάρκεια της διαδρομής, και της ανασκόπησης μετά το ταξίδι, η οποία αξιολογεί ιστορικά μετρικά ταξιδιού στη συνέχεια για να αποκαλύψει συστημικές ανεπάρκειες του στόλου και μακροπρόθεσμες ευκαιρίες εξοικονόμησης κόστους.
Η επιλογή μεταξύ της ανάλυσης συμπεριφοράς χρήστη που βασίζεται σε δεδομένα και της εμπειρικής διαίσθησης του σχεδιαστή αντιπροσωπεύει μια θεμελιώδη ισορροπία στη σύγχρονη ανάπτυξη ψηφιακών προϊόντων. Ενώ η ανάλυση παρέχει εμπειρική, ποσοτική απόδειξη για το πώς οι χρήστες αλληλεπιδρούν με μια ζωντανή διεπαφή, η διαίσθηση αξιοποιεί την επαγγελματική εμπειρογνωμοσύνη και την ψυχολογία για να καινοτομήσει και να λύσει αφηρημένα προβλήματα χρηστών πριν καν υπάρξουν δεδομένα.
