Die Hybrid-Daten Preprocess Option in Hadoop

Neben größeren Volumina kaltem Daten speichern zu müssen, ein Druck, den Sie in der traditionellen Data Warehouse zu sehen ist, dass Mengen an Verarbeitungsressourcen zu erhöhen sind für die Transformation (ELT) Workloads verwendet werden.

Die Idee hinter der Verwendung von Hadoop als Vorverarbeitung Motordatentransformation zu behandeln bedeutet, dass wertvolle Verarbeitungszyklen bis werden freigegeben, so dass der Data-Warehouse zu seinem ursprünglichen Zweck zu erfüllen: Antwort wiederholte Geschäftsfragen analytische Anwendungen zu unterstützen. Auch Sie sehen, wie Hadoop traditionelle Data-Warehouse-Implementierungen ergänzen und ihre Produktivität zu steigern.

Vielleicht eine kleine, imaginäre Glühbirne hat über dem Kopf beleuchtet und Sie denken, # 147-Hey, vielleicht gibt sind einige Transformationsaufgaben perfekt geeignet für die Datenverarbeitung Fähigkeit des Hadoop, aber ich weiß, es gibt auch eine Menge in der algebraischen tränkt Transformationsarbeit, Schritt-für-Schritt-Aufgaben, bei denen auf einer relationalen Datenbank-Engine SQL läuft die bessere Wahl wäre. Wäre es nicht cool, wenn ich SQL auf Hadoop # 148 laufen könnte?;

SQL auf Hadoop ist bereits hier. Mit der Möglichkeit, SQL-Abfragen von Daten in Hadoop zu erteilen, die Sie nicht nur mit einem ETL-Ansatz, um Ihre Daten stecken Flüsse - Sie können auch ELT-ähnliche Anwendungen bereitstellen.

Ein weiterer Hybrid-Ansatz zu berücksichtigen ist, wo Ihre Transformationslogik zu laufen: in Hadoop oder im Data Warehouse? Obwohl einige Organisationen über alles, was in ihrem Lager, sondern Analytik läuft betroffen sind, bleibt die Tatsache, dass relationale Datenbanken SQL am Laufen sind ausgezeichnet, und könnte ein praktischer Ort sein, um eine Transformation als Hadoop auszuführen.