Die GARN Architektur in Hadoop

GARN, für die, die gerade in dieser besonderen Partei ankommen, steht für eine weitere Ressource Negotiator, ein Werkzeug, das andere Datenverarbeitungs Frameworks ermöglicht auf Hadoop auszuführen. Der Ruhm von GARN ist, dass es Hadoop mit einer eleganten Lösung für eine Reihe von langjährigen Herausforderungen.

GARN soll als die Planung eines effizienteren und flexibleren Arbeitsbelastung zu schaffen und eine Ressourcen-Management-Anlage, von denen beide letztlich Hadoop ermöglicht mehr als nur MapReduce Jobs auszuführen.

bild0.jpg

Die Figur zeigt in allgemeiner Form, wie GARN in Hadoop passt und macht auch deutlich, wie es Hadoop ermöglicht hat für die Datenverarbeitung eine universell verwendbaren Plattform zu werden. Die folgende Liste gibt den Text der Melodie:

  • Verteilte Speicher: Nichts hat sich mit der Verschiebung von MapReduce zu GARN hier geändert - HDFS ist immer noch die Speicherschicht für Hadoop.

  • Resourcenmanagement: Der Schlüssel zu Grunde liegende Konzept in der Umstellung auf GARN von Hadoop 1 Entkopplung von Ressourcenmanagement von der Datenverarbeitung. Dies ermöglicht GARN Ressourcen zu jedem Verarbeitungs Rahmen für Hadoop geschrieben, einschließlich MapReduce.

  • Die Verarbeitung Rahmen: Da GARN ein Allzweck-Ressource-Management-Einrichtung ist, kann es Cluster-Ressourcen zu jeder Datenverarbeitungs-Framework für Hadoop geschrieben zuordnen. Die Verarbeitung Rahmen behandelt dann Anwendung Laufzeitprobleme.

    Um die Kompatibilität für den gesamten Code beizubehalten, die 1 für Hadoop entwickelt wurde, dient MapReduce als erster Rahmen für den Einsatz auf GARN. Zum Zeitpunkt des Schreibens dieses Artikels war der Apache Tez Projekt ein Inkubator-Projekt in der Entwicklung als Alternative Rahmen für die Umsetzung von Pig und Hive-Anwendungen. Tez wird wahrscheinlich als Standard-Hadoop-Konfiguration entstehen.

  • Application Programming Interface (API): Mit der Unterstützung für zusätzliche Verarbeitungs Frameworks, die Unterstützung für zusätzliche APIs wird kommen. Zum Zeitpunkt des Schreibens dieses Artikels, Hoya (für HBase auf GARN läuft), Apache Giraph (für Graph-Verarbeitung), Open MPI (für Nachricht in parallelen Systemen vorbei), Apache Storm (für Datenstrom-Verarbeitung) sind in der aktiven Entwicklung.

Ähnliche

Menü