Πώς να διασφαλίσετε την ποιότητα και την ακεραιότητα των δεδομένων

Για να βασιστείτε στα δεδομένα και να γίνετε πραγματικά ένας οργανισμός που βασίζεται στα δεδομένα, πρέπει πρώτα απ’ όλα να τον εμπιστευτείτε. ένα από τα θεμελιώδη στοιχεία με αυτή την έννοια είναι η χρήση τεχνικών και λύσεων της σειράς δεδομένων.

Το Data Lineage είναι η τεχνική που σας επιτρέπει να προσδιορίσετε και να αναπαραστήσετε τον κύκλο ζωής των δεδομένων από τη στιγμή που εισέρχονται στον οργανισμό μας μέχρι να τον εγκαταλείψουν, παρακολουθώντας τους μετασχηματισμούς που υφίσταται με την πάροδο του χρόνου, οι οποίες είναι οι κύριες διαδικασίες που το περιλαμβάνουν και αλληλεξαρτήσεις της τελευταίας με άλλα εταιρικά συστήματα.

Είναι λοιπόν προφανές, από τον ορισμό της, ότι το Data Lineage είναι θεμελιώδες στοιχείο, γενικά για τη Διακυβέρνηση Δεδομένων και ακόμη περισσότερο για την Ποιότητα Δεδομένων, επειδή όσο πιο σημαντική είναι η γνώση των συστημάτων, των διαδικασιών και των μετασχηματισμών που χαρακτηρίζουν τα δεδομένα, η εφαρμογή ελέγχων σε αυτές είναι πολύ πιο αποτελεσματική.

Ο κίνδυνος του ασύρματου τηλεφώνου

Ο κίνδυνος της μη υιοθέτησης αποτελεσματικών λύσεων Data Lineage είναι αυτός που εμφανίζεται όταν παίζετε στο ασύρματο τηλέφωνο: οι λέξεις που εισάγονται στο σύστημα από τον πρώτο παίκτη μπορεί να παραμορφωθούν πλήρως κατά τη διάρκεια μιας από στόμα σε στόμα που χαρακτηρίζει το παιχνίδι, με κίνδυνο η τελευταία Ο παίκτης προφέρει τελείως διαφορετικές λέξεις από την αρχική αλλάζοντας το νόημα της αρχικής πρότασης, χωρίς να μπορεί να ανακατασκευάσει πού έχουν αλλάξει οι λέξεις.

Αντικαθιστώντας τις λέξεις με δεδομένα, αυτό ακριβώς συμβαίνει σε μια εταιρεία απουσία συστήματος Data Lineage: τα δεδομένα, κατά τη διάρκεια του κύκλου ζωής τους, ρέουν μέσα σε μια σύνθετη αρχιτεκτονική, λύσεις και διαδικασίες και, εάν δεν διαχειρίζονται επαρκώς, μπορεί να υποφέρουν από την εφαρμογή λανθασμένων κανόνων ή να μην έχουν πληροφορίες και να φτάσουν στο τέλος του κύκλου τους (για παράδειγμα την παραγωγή μιας αναφοράς) χωρίς κανείς να μπορεί να εξηγήσει πού και γιατί δημιουργήθηκε το σφάλμα ή η αλλαγή.

Οι πελάτες, οι νομοθέτες και οι επιχειρηματικοί χρήστες χρειάζονται ασφαλή και συμβατά δεδομένα. Αυτά τα δεδομένα πρέπει να είναι διαθέσιμα όταν και όπου χρειάζονται και, ανά πάσα στιγμή, είναι απαραίτητο να είναι δυνατή η ανασυγκρότηση της ιστορίας τους. αυτή η ανάγκη γίνεται ακόμη μεγαλύτερη σε πολύπλοκους οργανισμούς όπου συνήθως βρίσκουμε μεγάλες πλατφόρμες που χρησιμοποιούνται από πολλούς χρήστες, δεδομένα σε διάφορες μορφές και υβριδικές αρχιτεκτονικές (τόσο στο cloud όσο και στις παραδοσιακές).

The Value Of The Data Lineage

Το Data Lineage προσφέρει πολλά πλεονεκτήματα σε όλους όσους έχουν να κάνουν με δεδομένα και συστήματα Διακυβέρνησης Δεδομένων γενικά:

Ανάλυση Συμβάντων Δεδομένων

Συχνά, τα σφάλματα δεδομένων εντοπίζονται μόνο στο τέλος της διαδικασίας που τα περιλαμβάνει, συνήθως όταν διαβάζεται μια αναφορά. Συχνά, ωστόσο, το σφάλμα προήλθε πολύ πιο πίσω. Η σειρά δεδομένων σάς επιτρέπει να ανακατασκευάσετε εύκολα και γρήγορα την αλυσίδα που παρήγαγε αυτά τα δεδομένα και, επομένως, να προσδιορίσετε γρήγορα τη στιγμή που παρουσιάστηκε το σφάλμα.

Ανάλυση επιπτώσεων

Συχνά είναι απαραίτητο να αλλάξετε τα υπάρχοντα συστήματα για ρυθμιστικούς ή επαγγελματικούς λόγους ή να αλλάξετε ορισμένα συστήματα λογισμικού. Όταν η αλλαγή περιλαμβάνει δεδομένα, το Data Lineage σάς επιτρέπει να αξιολογήσετε εκ των προτέρων ποιες εφαρμογές, ποια δεδομένα και ποιες μεταγενέστερες διεργασίες θα επηρεαστούν από την αλλαγή και σας βοηθά να προγραμματίσετε τις ενημερώσεις των διαφόρων εφαρμογών.

Αξιολόγησης της απόδοσης

Το Data Lineage καθιστά δυνατό τον εντοπισμό τυχόν «σημείων συμφόρησης» στη διαχείριση δεδομένων και, ως εκ τούτου, επιτρέπει την παρέμβαση με εναλλακτικές λύσεις που μπορούν να αξιολογηθούν μέσω της ανάλυσης επιπτώσεων.

Γραμμή δεδομένων, Διακυβέρνηση δεδομένων και ποιότητα δεδομένων

Όπως αναμενόταν προηγουμένως, υπάρχει ένας ισχυρός δεσμός αλληλεξάρτησης μεταξύ Data Lineage, Data Governance και Data Quality. Το Data Lineage υποδεικνύει από πού προέρχονται τα δεδομένα, πού πηγαίνουν και ποιοι μετασχηματισμοί εφαρμόζονται σε αυτά μέσω πολλαπλών διεργασιών: μία από τις βασικές διαδικασίες πληροφοριών για τη διαχείριση μεταδεδομένων.

Από την άποψη της ποιότητας δεδομένων και της διακυβέρνησης δεδομένων, είναι σημαντικό να χρησιμοποιείται το Data Lineage για να διασφαλιστεί ότι υπάρχουν ή όχι επιχειρηματικοί κανόνες, ότι εφαρμόζονται όπου απαιτείται, ότι οι κανόνες υπολογισμού και άλλοι μετασχηματισμοί είναι σωστοί και ότι τα στοιχεία εισόδου και Οι έξοδοι των συστημάτων είναι συμβατές. Η ιχνηλασιμότητα των δεδομένων, που εγγυάται η Γραμμή Ημερομηνίας, είναι επίσης το καλύτερο εργαλείο για την επικύρωση δεδομένων και αντιπροσωπεύει ένα εργαλείο ελέγχου που σχετίζεται με τη χρήση τους για σκοπούς ελέγχου και συμμόρφωσης με τους κανονισμούς.

Η σύνδεση μεταξύ επιχειρήσεων και λειτουργιών

Η χαρτογράφηση των διαδικασιών από επιχειρηματική άποψη και η πραγματοποίηση της από τεχνική/λειτουργική άποψη είναι αρκετά διαφορετική. Ωστόσο, υπάρχει μια σύνδεση: τα δεδομένα βρίσκονται πίσω από την επιχείρηση και όλες τις λειτουργίες. Με τη δημιουργία των επιχειρηματικών μεταδεδομένων και του τεχνικού τους αντίστοιχου, ακολουθώντας τον κύκλο ζωής των δεδομένων ή χρησιμοποιώντας το Data Lineage, είναι δυνατή η δημιουργία αυτής της σύνδεσης. Το αποτέλεσμα είναι εκπληκτικό, καθώς είναι δυνατός ο εντοπισμός συγκεκριμένων επιχειρηματικών μεταδεδομένων και η παρακολούθηση τους σε πολλαπλές εφαρμογές, πηγές δεδομένων, διεπαφές, μοντέλα, αναλυτικά στοιχεία, αναφορές και πολλά άλλα. Αυτό εγγυάται σε ολόκληρο τον οργανισμό της εταιρείας μέγιστη αξιοπιστία δεδομένων, διαφάνεια στη διαχείρισή του και πιθανή συνεργασία σε όλα τα επίπεδα.