Wie zu priorisieren Big Data Quality
Die richtige Perspektive auf die Datenqualität kann in der Welt der großen Daten sehr schwierig sein. Mit der Mehrheit der großen Datenquellen, müssen Sie davon ausgehen, dass Sie mit Daten arbeiten, die nicht sauber ist. In der Tat ist die überwältigende Fülle von scheinbar zufälligen und getrennten Daten in Strömen von Social-Media-Daten eines der Dinge, die es so nützlich für Unternehmen zu machen.
Sie beginnen mit der Petabyte Daten suchen, ohne zu wissen, was Sie finden können, nachdem Sie auf der Suche nach Mustern in den Daten beginnen. Sie müssen die Tatsache akzeptieren, dass eine Menge Lärm in den Daten vorhanden ist. Es ist nur durch die Suche und Pattern-Matching, dass Sie einige Funken der Wahrheit in der Mitte von einigen sehr schmutzig Daten finden können.
Natürlich haben einige große Datenquellen wie Daten von RFID-Tags oder Sensoren Regeln besser etabliert als Social-Media-Daten. Sensordaten sollten einigermaßen sauber sein, obwohl Sie erwarten können einige Fehler zu finden. Es ist immer in Ihrer Verantwortung, wenn große Datenmengen zu analysieren für die Qualität dieser Daten zu planen. Sie sollten eine Zwei-Phasen-Ansatz für die Datenqualität wie folgt vor:
Phase 1: Suche nach Mustern in großen Daten ohne Sorge um die Datenqualität.
Phase 2: Nachdem Sie Ihre Muster zu finden und Ergebnisse etablieren, die für das Unternehmen von Bedeutung sind, gelten die gleichen Daten Qualitätsstandards, die Sie zu Ihrem traditionellen Datenquellen gelten. Sie wollen vermeiden, das Sammeln und Verwalten von großen Datenmengen, die nicht wichtig für das Unternehmen und wird möglicherweise korrupt andere Datenelemente in Hadoop oder andere große Datenplattformen.
Wie Sie die Ergebnisse Ihrer großen Datenanalyse in Ihre Geschäftsprozesse zu integrieren beginnen, erkennen, dass qualitativ hochwertige Daten für ein Unternehmen unerlässlich ist, Entscheidungen Sound-Geschäft zu machen. Dies gilt für große Daten sowie traditionelle Daten.
Die Qualität der Daten bezieht sich auf Merkmale über die Daten, einschließlich Konsistenz, Genauigkeit, Zuverlässigkeit, Vollständigkeit, Aktualität, Angemessenheit und Gültigkeit. Die Datenqualität Software stellt sicher, dass Datenelemente auf die gleiche Weise in den verschiedenen Datenspeichern oder Systeme dargestellt werden, um die Konsistenz der Daten zu erhöhen.
Zum Beispiel kann ein Datenspeicher zwei Zeilen für eine Adresse des Kunden verwenden und andere Datenspeicher kann eine Zeile verwenden. Dieser Unterschied in der Art der Daten repräsentiert wird in ungenauen Informationen über Kunden, wie beispielsweise ein Kunde zu werden, die als zwei verschiedene Kunden führen kann.
Ein Unternehmen könnte Dutzende von Variationen seines Firmennamen verwenden, wenn es sich um Produkte kauft. in Ihren verschiedenen Datenspeichern Datenqualitätssoftware kann verwendet werden, um alle Variationen des Firmennamens zu identifizieren und sicherzustellen, dass Sie alles, was dieser Kunde kauft von Ihrem Unternehmen kennen.
Dieser Vorgang wird aufgerufen eine einheitliche Sicht auf Kunden oder Produkt. Die Datenqualität Software vergleicht Daten über verschiedene Systeme und bereinigt oder entfernt redundante Daten. Der Datenqualitätsprozess bietet das Geschäft mit Informationen, die einfacher zu bedienen ist, zu interpretieren und zu verstehen.
Daten Profilierwerkzeuge werden im Datenqualitätsprozess verwendet, um Ihnen helfen, den Inhalt, die Struktur und den Zustand Ihrer Daten zu verstehen. Sie sammeln Informationen über die Merkmale der Daten in einer Datenbank oder anderen Datenspeicher, um den Prozess zu beginnen, die Daten in eine vertraute Form drehen. Die Werkzeuge analysieren die Daten Fehler und Inkonsistenzen zu identifizieren.
Sie können diese Probleme und Fehler korrigieren Anpassungen für. Die Werkzeuge überprüfen für akzeptable Werte, Muster und Bereiche und helfen überlappende Daten zu identifizieren. Die Datenprofilierungsprozess, beispielsweise überprüft, ob die Daten alpha oder numerisch sein soll. Die Werkzeuge überprüfen auch für Abhängigkeiten oder um zu sehen, wie die Daten, um Daten aus anderen Datenbanken beziehen.
Daten-Profiling-Tools für große Datenmengen haben eine ähnliche Funktion, um Daten-Profiling-Tools für herkömmliche Daten. Daten-Profiling-Tools für Hadoop erhalten Sie wichtige Informationen über die Daten in Hadoop-Cluster bieten. Diese Tools können verwendet werden, für die Spiele zu sehen und Doppelungen zu entfernen. Als Ergebnis können Sie sicherstellen, dass Ihre großen Daten konsistent sind. Hadoop-Tools wie HiveQL und Schwein-Latein für den Transformationsprozess verwendet werden.