Hadoop Distributed File System (HDFS) Federation

Die Lösung für den Ausbau Hadoop-Clustern auf unbestimmte Zeit zu vereinigen die NameNode. Vor Hadoop 2 die Szene betrat, hatte Hadoop-Cluster mit der Tatsache leben, dass NameNode Grenzen für den Grad platziert, auf die konnten sie skalieren. Nur wenige Cluster konnten über 3.000 oder 4.000 Knoten zu skalieren.

NameNode die Notwendigkeit, Aufzeichnungen für jeden Datenblock in dem Cluster gespeichert erwies sich als der wichtigste Faktor zu sein, zu beschränken größer Clusterwachstum. Wenn Sie zu viele Blöcke haben, wird es immer schwieriger für die NameNode als die Hadoop-Cluster aus skaliert, Scale-up.

Insbesondere müssen Sie HDFS eingerichtet, so dass Sie mehrere NameNode Instanzen auf ihre eigenen, speziellen Master-Knoten laufen und dann jede NameNode nur für die Dateiblöcke im eigenen Namensraum verantwortlich zu machen.

Die Abbildung zeigt die Replikation Muster von Datenblöcken in HDFS. Sie können einen Hadoop-Cluster mit zwei NameNodes sehen einen einzigen Cluster dienen. Die Slave-Knoten enthalten alle Blöcke von beiden Namensräume.