Slave-Knoten in Hadoop-Clustern
In einem Hadoop Universum sind Slave-Knoten in dem Hadoop-Daten gespeichert sind und wenn die Datenverarbeitung stattfindet. Die folgenden Dienste ermöglichen Slave-Knoten und Prozessdaten zu speichern:
NodeManager: Koordinaten, die Ressourcen für einen einzelnen Slave-Knoten und Berichte zurück an den Ressourcen-Manager.
ApplicationMaster: Verfolgt die Fortschritte aller Aufgaben auf dem Hadoop-Cluster für eine bestimmte Anwendung ausgeführt wird. Für jede Client-Anwendung setzt der Resource Manager eine Instanz des ApplicationMaster Dienst in einem Container auf einem Slave-Knoten. (Denken Sie daran, dass jeder Knoten Ausführen des NodeManager Dienst an der Resource Manager sichtbar ist.)
Container: Eine Sammlung aller benötigten Ressourcen einzelne Aufgaben für eine Anwendung auszuführen. Wenn eine Anwendung auf dem Cluster ausgeführt wird, laufen die Resource Manager plant die Aufgaben für die Anwendung als Container-Dienste auf den Slave-Knoten des Clusters.
Tasktracker: Verwaltet die einzelnen Karte und reduzieren Ausführung von Aufgaben auf einem Slave-Knoten für Hadoop 1 Cluster. In Hadoop 2 ist dieser Service veraltet und wurde durch GARN Dienste ersetzt.
DataNode: Ein HDFS Dienst, der die NameNode zum Speichern von Blöcken auf dem Slave-Knoten ermöglicht.
RegionServer: Speichert Daten für das HBase System. In Hadoop 2 verwendet HBase Hoya, die RegionServer Instanzen ausgeführt werden in Containern ermöglicht.
Hier wird jeder Slave-Knoten läuft immer eine DataNode Instanz (die HDFS ermöglicht zu speichern und Datenblöcke auf dem Slave-Knoten abgerufen werden) und eine NodeManager Instanz (die die Resource Manager ermöglicht es Anwendungsaufgaben an den Slave-Knoten für die Verarbeitung zuweisen). Die Container-Prozesse sind einzelne Aufgaben für Anwendungen, die auf dem Cluster ausgeführt werden.
Jede laufende Anwendung verfügt über eine eigene ApplicationMaster Aufgabe, die auch in einem Container ausgeführt wird, und verfolgt die Ausführung aller Aufgaben auf dem Cluster ausgeführt werden, bis die Anwendung beendet ist.
Mit HBase auf Hadoop 2 wird der Container-Modell noch gefolgt, wie man sehen kann:
HBase auf Hadoop 2 wird durch die Hoya Anwendung Master initiiert, die Behälter für die HMaster Dienste. (Sie müssen mehrere HMaster Dienste für Redundanz). Die Hoya Anwendung Master fordert auch Ressourcen für RegionServers, die ebenfalls in speziellen Behältern ausgeführt werden.
Die folgende Abbildung zeigt die bereitgestellten Dienste auf Hadoop 1 Slave-Knoten.
Für Hadoop 1, läuft jeder Slave-Knoten immer eine DataNode Instanz (die HDFS ermöglicht zu speichern und Datenblöcke auf dem Slave-Knoten abgerufen werden) und eine Tasktracker-Instanz (die die Jobtracker ermöglicht Karte zuweisen und reduzieren Aufgaben an den Slave-Knoten für die Verarbeitung) .
Slave-Knoten haben eine feste Anzahl von Kartenschlitzen und reduzieren Schlitze für die Ausführung der Karte und reduzieren Aufgaben sind. Wenn Ihr Cluster HBase läuft, müssen eine Reihe Ihrer Slave-Knoten einen RegionServer Dienst auszuführen. Je mehr Daten Sie in HBase speichern, desto mehr RegionServer Instanzen Sie benötigen.
Die Hardware-Kriterien für die Slave-Knoten sind nicht verschieden von denen für Master nodes- in der Tat, die Kriterien nicht diejenigen, die in der traditionellen Hardware-Referenz-Architekturen für Datenserver gefunden entsprechen. Ein großer Teil der Summen Hadoop umgibt, ist die Verwendung von Standard-Hardware in den Konstruktionskriterien von Hadoop-Clustern durch, aber bedenken Sie, dass Ware Hardware bezieht sich nicht auf Consumer-Hardware.
Hadoop Slave-Knoten noch der Enterprise-Klasse-Hardware erfordern, aber am unteren Ende des Spektrums Kosten, vor allem für die Lagerung.