Verwalten Big Data Ressourcen und Anwendungen mit Hadoop GARN
Job Scheduling und Tracking für große Daten sind integrale Bestandteile von Hadoop MapReduce und kann verwendet werden, um Ressourcen und Anwendungen zu verwalten. Die frühen Versionen von Hadoop unterstützt eine rudimentäre Job und Aufgabe-Tracking-System, sondern als die Mischung aus der Arbeit von Hadoop unterstützt geändert, könnte der Planer nicht mithalten.
Insbesondere könnte der alte Scheduler nicht MapReduce Jobs nicht verwalten, und es war nicht in der Lage Clusterauslastung zu optimieren. So wurde eine neue Fähigkeit entwickelt, um diese Mängel zu beseitigen und mehr Flexibilität, Effizienz und Leistung bieten.
Noch eine Ressource Negotiator (GARN) ist ein Kern Hadoop Service zwei wichtige Dienstleistungen erbringen:
Globale Ressourcenmanagement (Resourcemanager)
Per-Application Management (ApplicationMaster)
Der Resourcemanager ist ein Master-Service und Kontrolle NodeManager in jedem der Knoten eines Hadoop-Clusters. Inbegriffen im Resourcemanager ist Scheduler, deren einzige Aufgabe es ist, die Systemressourcen für bestimmte laufende Anwendungen (Aufgaben) zu vergeben, aber nicht überwachen oder den aktuellen Status der Anwendung zu verfolgen.
Alle erforderlichen Systeminformationen in einer Ressourcen Container gespeichert. Es enthält detaillierte CPU, Festplatte, Netzwerk und andere wichtige Ressource-Attribute, die für Anwendungen, die auf dem Knoten und in dem Cluster ausgeführt wird.
Jeder Knoten verfügt über ein NodeManager zum globalen Resourcemanager im Cluster geschuftet. Die NodeManager überwacht die Nutzung der Anwendung von CPU, Festplatte, Netzwerk und Speicher und Berichte zurück an den Resourcemanager. Für jede Anwendung auf dem Knoten läuft gibt es eine entsprechende ApplicationMaster.
Wenn mehrere Ressourcen erforderlich, um die laufende Anwendung zu unterstützen, benachrichtigt der ApplicationMaster die NodeManager und die NodeManager verhandelt mit dem Resourcemanager (Scheduler) für die Zusatzkapazität im Namen der Anwendung. Die NodeManager ist auch verantwortlich für die Verfolgung des Auftragsstatus und den Fortschritt in seinem Knoten.