Der Apache Hadoop Ökosystem
Hadoop ist mehr als MapReduce und HDFS (Hadoop Distributed File System): Es ist auch eine Familie verwandter Projekte (ein Ökosystem, wirklich) für Distributed Computing und große Datenverarbeitung. Die meisten (aber nicht alle) dieser Projekte werden von der Apache Software Foundation gehostet. In der Tabelle sind einige dieser Projekte.
| Projektname | Beschreibung |
|---|---|
| Ambari | Ein integrierter Satz von Hadoop-Verwaltungstools forinstalling, Überwachung und ein Hadoop-Cluster erhalten. Alsoincluded sind Werkzeuge hinzufügen oder Slave-Knoten zu entfernen. |
| Avro | Ein Rahmen für die effiziente Serialisierung (eine Art oftransformation) von Daten in eine kompakte Binärformat |
| Flume | Ein Datenflussdienst für die Bewegung großer Mengen von Logdaten in Hadoop |
| HBase | Eine verteilte Datenbank, die säulen HDFS für itsunderlying Speicher verwendet. Mit HBase, können Sie speichern Daten in extremelylarge Tabellen mit variabler Säulenstrukturen. |
| HCatalog | Ein Service für eine relationale Sicht auf die Daten gespeichert inHadoop, einschliesslich einen Standardansatz für tabellarische Daten |
| Bienenstock | Ein verteiltes Data-Warehouse für Daten, die gespeichert ist HDFS-auch eine Abfragesprache bereitstellt, die auf SQL (HiveQL) basiert |
| Farbton | Eine Hadoop Administrationsoberfläche mit praktischem GUI-Tools forbrowsing Dateien, Ausgabe Hive und Pig-Abfragen und Entwicklung Oozieworkflows |
| Mahaut | Eine Bibliothek von Maschinen statistische Algorithmen lernen, die in MapReduce wereimplemented und nativ auf Hadoop laufen kann |
| Oozie | Ein Workflow-Management-Tool, das die Terminierung verarbeiten kann andchaining gemeinsam von Hadoop-Anwendungen |
| Schwein | Eine Plattform für die Analyse von sehr großen Datenmengen, die HDFS und mit einer Infrastruktur-Schicht runson eines compilerthat bestehend erzeugt Sequenzen von MapReduce-Programme und die Sprache layerconsisting der Abfragesprache namens Schwein-Latein |
| Sqoop | Ein Werkzeug für effizient große Datenmengen betweenrelational Datenbanken und HDFS Bewegen |
| ZooKeeper | Eine einfache Schnittstelle an die zentrale Koordinierung der Dienste (wie Namensgebung, Konfiguration und Synchronisation) verwendet bydistributed Anwendungen |
Das Hadoop Ökosystem und seine kommerziellen Distributionen weiterentwickeln, mit neuen oder verbesserten Technologien und Werkzeuge Schwellen die ganze Zeit.
Die Abbildung zeigt die verschiedenen Hadoop Ökosystem-Projekte und wie sie sich auf einem anderen:
