Die Prinzipien der Sqoop Entwurf
Wenn es um Sqoop kommt, ist ein Bild oft mehr als tausend Worte, so die Figur überprüfen, die Sie aus der Vogelperspektive auf die Sqoop Architektur gibt.
Die Idee hinter Sqoop ist, dass es nutzt Karte Aufgaben - Aufgaben, die die parallele Import und Export von relationalen Datenbanktabellen durchführen - direkt aus dem Hadoop MapReduce-Framework. Dies ist eine gute Nachricht, da die MapReduce Framework Fehlertoleranz für den Import und Export-Jobs zusammen mit Parallelverarbeitung bietet!
Sie werden die Fehlertoleranz zu schätzen, wenn es zu einem Ausfall bei einem großen Tisch Import oder Export ist, weil die MapReduce Framework erholen werden Sie, ohne dass der Prozess wieder zu starten.
Sqoop können Daten auf Hive und HBase importieren. Beachten Sie jedoch, dass die Pfeile auf Hive und HBase Punkt in nur eine Richtung. Daten, die in jeder relationalen Datenbank mit JDBC-Unterstützung können direkt in die Hive oder HBase importiert werden, um Systeme mit Sqoop. Ausfuhren sind jedoch aus den Daten, gespeichert in HDFS durchgeführt.
Deshalb, wenn Sie Ihre Hive Tabellen exportieren müssen, zeigen Sie Sqoop auf HDFS Verzeichnisse, die Ihre Tabellen Hive speichern. Wenn Sie HBase Tabellen exportieren müssen, müssen Sie sie zunächst in HDFS exportieren und dann den Befehl Sqoop Export ausführen.