GARN der Resource Manager

Die Kernkomponente von GARN ist (eine weitere Ressource Negotiator) den Resource Manager, der alle Datenverarbeitungsressourcen im Hadoop Cluster regelt. Einfach ausgedrückt, ist die Resource Manager einen dedizierten Scheduler, der Ressourcen anfordernden Anwendungen zuweist. Seine einzige Aufgaben sind eine globale Sicht auf alle Ressourcen im Cluster zu halten, Ressourcenanforderungen der Handhabung, die Planung der Anforderung, und dann Ressourcen an die anfragende Anwendung zuweisen.

Der Ressourcen-Manager, eine kritische Komponente in einem Hadoop-Cluster, sollte auf einem dedizierten Master-Knoten laufen.

Auch wenn der Resource Manager im Grunde eine reine Scheduler ist, setzt sie auf Scheduler-Module für die aktuelle Planungslogik. Sie können aus den gleichen Disponenten wählen, die 1 in Hadoop zur Verfügung standen, die alle haben aktualisiert mit GARN zu arbeiten: FIFO (first in, first out), Kapazität, oder Fair Share.

Der Resource Manager ist völlig agnostisch in Bezug auf beide Anwendungen und Frameworks - es hat keine Hunde in diesen besonderen Jagden, mit anderen Worten. Es hat kein Konzept von Karte oder Aufgaben zu reduzieren, ist es nicht den Fortschritt der Arbeit oder ihre individuellen Aufgaben verfolgen, und es nicht Failovern behandeln.

Kurz gesagt, ist der Resource Manager eine vollständige Abkehr von der Jobtracker-Daemon für Hadoop 1 Umgebungen. Was ist der Resource Manager tut, ist Zeitplan Workloads, und es macht den Job gut.

Dieser hohe Grad Pflichten der Trennung - auf einen Aspekt zu konzentrieren, während alles ignorieren andere - ist genau das, was GARN viel besser skalierbar, in der Lage ist eine generische Plattform für Anwendungen zur Verfügung zu stellen, und in der Lage ein zu unterstützen Multi-Tenant Hadoop Cluster - Multi-Tenant, weil die unterschiedlichen Geschäftseinheiten können die gleiche Hadoop-Cluster teilen.

Menü