Die Schaffung von Überschaubare Big Data Structures

Als Computing in den kommerziellen Markt bewegt, wurde in einfachen Dateien gespeichert, die keine Struktur auferlegt. Heute große Daten erfordert überschaubare Datenstrukturen. Wenn Unternehmen auf ein Niveau von detailliertes Verständnis über Kunden zu bekommen benötigt, mussten sie Brute-Force-Methoden, einschließlich sehr detaillierte Programmiermodelle anwenden einen gewissen Wert zu schaffen.

Später in den 1970er Jahren änderten sich die Dinge mit der Erfindung des relationalen Datenmodells und der relationalen Datenbank-Management-System (RDBMS), die Struktur auferlegt und ein Verfahren zur Verbesserung der Leistung. Am wichtigsten ist, fügte der relationalen Modell eine Abstraktionsebene, so dass es leichter war für Programmierer, die ihren gestiegenen Geschäftsanforderungen gerecht zu werden aus den Daten zu extrahieren Wert.

Das relationale Modell bot ein Ökosystem von Werkzeugen aus einer großen Anzahl von neuen Software-Unternehmen. Es füllte einen wachsenden Bedarf Unternehmen besser zu helfen, ihre Daten zu organisieren und in der Lage sein, Transaktionen von einem zum anderen Geographie zu vergleichen.

Darüber hinaus half es Managern, die Informationen zu prüfen, wie Inventar in der Lage sein wollte, und vergleichen Sie es mit Kundenauftrag Informationen für Entscheidungszwecke. Aber ein Problem entstand aus dieser explodierende Nachfrage nach Antworten: Speicherung dieser wachsenden Datenvolumen war teuer und den Zugriff auf sie war langsam. Erschwerend kommt hinzu, viele Datenduplizierung existierte, und der tatsächliche Geschäftswert der Daten war schwer zu messen.

Wenn das Volumen der Daten, die Organisationen zur Verwaltung benötigt außer Kontrolle wuchs, vorausgesetzt, das Data Warehouse eine Lösung. Das Data Warehouse ermöglicht die IT-Organisation eine Teilmenge der Daten auszuwählen gespeichert werden, so dass es einfacher wäre, für das Geschäft zu versuchen, Erkenntnisse zu gewinnen.

Das Data Warehouse sollte Unternehmen mit immer größeren Mengen an strukturierten Daten umgehen zu helfen, die sie benötigt, um durch Verringerung des Volumens der Daten etwas kleiner und fokussierter auf einen bestimmten Bereich des Unternehmens zu analysieren. Es erfüllte, dass die operative Entscheidungsunterstützung Verarbeitung und Entscheidungsunterstützung zu trennen - aus Performance-Gründen.

Hallen lagern oft Daten aus früheren Jahren für die organisatorische Leistung zu verstehen, zu identifizieren Trends und hilft, Verhaltensmuster zu belichten. Vorgesehen, einen integrierten Informationsquelle aus über verschiedene Datenquellen, die für die Analyse verwendet werden konnten. Heute sind sowohl Content-Management-Systeme und Data Warehouse sind in der Lage die Vorteile von Verbesserungen bei der Skalierbarkeit von Hardware, Virtualisierungstechnologien zu übernehmen, und die Fähigkeit, integrierte Hard- und Software-Systeme zu erstellen.

Manchmal Lagerhallen diese Daten selbst waren zu komplex und zu groß und nicht die Geschwindigkeit und Agilität bieten, dass das Geschäft erforderlich. Die Antwort war eine weitere Verfeinerung der Daten durch Data Marts verwaltet werden. Diese Daten Marts wurden auf spezifische Business-Themen fokussiert und unterstützt das Geschäft für rasches Abfragen. Das Lager hat sich weiterentwickelt, um neue Technologien wie integrierte Systeme und Datengeräte unterstützen.

Data Warehouses und Data Marts gelöst viele Probleme für die Unternehmen eine konsistente Art und Weise, um massiven Transaktionsdaten zu verwalten. Aber wenn es darum ging, große Mengen an unstrukturierten oder semi-strukturierte Daten zu verwalten, war das Lager nicht in der Lage genug entwickeln sich ändernden Anforderungen gerecht zu werden.

Erschwerend kommt hinzu, Data Warehouse werden in der Regel in Batch-Abständen, in der Regel wöchentlich oder täglich gefüttert. Das ist gut für die Planung, Rechnungslegung und traditionelle Marketing-Kampagnen, aber es ist zu langsam für immer in Echtzeit Business- und Consumer-Umgebungen.

Wie würden Unternehmen in der Lage sein, ihre traditionellen Datenmanagementansätze zu transformieren das expandierende Volumen unstrukturierter Datenelemente zu behandeln? Die Lösung ist nicht über Nacht entstehen. Da die Unternehmen unstrukturierte Daten zu speichern begann, begann Anbieter neue Funktionen hinzuzufügen, wie BLOBs (Binary Large Objects).

Im Wesentlichen würde ein unstrukturierter Datenelement in einer relationalen Datenbank als einen zusammenhängenden Datenblock gespeichert werden. Diese Aufgabe konnte markiert werden, aber man konnte nicht sehen, was in diesem Objekt war. Klar, das würde nicht lösen sich ändernden Kunden oder geschäftlichen Anforderungen.

Geben Sie die Objekt-Datenbank-Management-System (ODBMS). Die Objektdatenbank des BLOB als adressierbaren Satz von Stücken gespeichert, so dass Sie, was da drin war sehen konnte. Im Gegensatz zu den BLOB, die eine unabhängige Einheit mit einer traditionellen relationalen Datenbank angehängt war, sofern die Objektdatenbank ein einheitliches Konzept für die mit unstrukturierten Daten zu tun haben.

Objektdatenbanken umfassen eine Programmiersprache und eine Struktur für die Datenelemente, so dass es einfacher ist, verbindet verschiedene Datenobjekte ohne Programmierung und komplex zu manipulieren. Die Objektdatenbanken eingeführt ein neues Maß an Innovation, die Führung zu der zweiten Welle der Datenverwaltung geholfen.