Hadoop Rack-Überlegungen

Ein Grundprinzip von Hadoop ist mit zusätzlichen Slave-Knoten horizontale Skalierung zur Erhöhung der Datenspeicherung und -verarbeitung Anforderungen gerecht werden. In einem Scale-Out-Modell, müssen Sie sorgfältig Cluster Design betrachten, weil Dutzende und sogar Hunderte von Slave-Knoten letztlich zu stark beansprucht, angetrieben, vernetzt, benötigen und abgekühlt.

Server-Formfaktoren

Eine der ersten Entscheidungen, die IT-Architekten konfrontiert sein wird, wenn ein Hadoop-Cluster ist die Gestaltung, welche der folgenden zwei Formfaktoren für Hadoop-Knoten verwenden:

• Blade-Server: Für maximale Dichte, können Sie stopfen, da viele dieser Babys in einem Rack wie möglich. Blade-Server passen in Blade-Gehäuse, die viele Standardserverkomponenten, wie dedizierte Speicher, Netzwerk, Stromversorgung und Kühlung. Diese Komponenten sind zwischen den Blade-Servern gemeinsam genutzt, was bedeutet, dass jedes einzelne Blade-Server wesentlich kleiner sein kann.

  Blade-Server sind eine attraktive Wahl auf der Oberfläche, weil Sie ein Standard-Rack nehmen und verteilen zwischen 40 und 50 dieser Blade-Server. Das Problem mit den Klingen für Hadoop-Implementierungen ist, dass sie auf bestimmte gemeinsame Komponenten verlassen, die nicht im Einklang mit Hadoop Architektur Shared-Nothing ist, wobei jeder der Slave-Knoten sind in sich abgeschlossen und haben ihre eigenen dedizierten Ressourcen.

  Noch wichtiger ist, haben Klingen für lokal angeschlossene Speicher wenig Raum, oft nicht mehr mit als zwei oder drei Laufwerksschächte. Dies ist ein nicht-Starter für Hadoop, da Slave-Knoten viel mehr gewidmet Speicherkapazität benötigen.

• Rack-Server: Komplette Server ohne gemeinsam genutzten Komponenten und Raum für Hardware-Erweiterung, Rack-Server sind die wahre Wahl für Hadoop, weil sie schön in sich geschlossene sind. Ein Rack-Server, der ein Hadoop-Slave für sein Knoten nimmt normalerweise zwei RU entsprechend konfiguriert ist, so dass Sie 20 von ihnen in einem Standard-Rack passen.

Kosten für die Inhaberschaft

Bei der Auswahl und einen Slave-Knoten beliebig, Ihre wichtigsten Überlegungen sind in der Regel die ersten Beschaffungskosten und das Speichervolumen. Jedoch ist die Betriebskosten ebenfalls wichtig. Es ist ein Balanceakt, aber, weil Entscheidungen Beschaffungskosten, Energieverbrauch, Kühlung, Hardware-Leistung zu beeinträchtigen, und die Dichte oft in Opposition sind. In der Name, den Sie eine gute Wahl zu helfen, machen, hier einige (ganz spezifisch) Hinweise:

• Reservieren Sie redundante Stromversorgung für die Master-Knoten. redundante Stromversorgung für Slave-Knoten zu haben, ist viel des Guten - ein Ausfall der Stromversorgung in einem Slave-Knoten nicht stark den Cluster beeinflussen würde. Allerdings Knoten auf allen Slave-redundante Stromversorgungen würde den Stromverbrauch erhöht und mehr Wärme erzeugen.

• Wählen Sie middle-of-the-Road-Taktraten für Sklave Knoten CPUs. CPUs mit höheren Takt weit mehr Wärme verwenden mehr Energie und erzeugen mehr kosten, aber auch nicht nur Geschwindigkeiten.

• Wählen Sie Rack-Server, die für Hadoop ausgelegt sind. Mit der steigenden Popularität von Hadoop, alle wichtigen Hardware-Hersteller bieten jetzt Rack-Server, die ideal Slave-Knoten sind mit 12 bis 20 Laufwerksschächte für lokal angeschlossene Speicher.

  Rack-Server entwickelt als Hadoop Slave-Knoten zu arbeiten, sind in der Regel zu groß, um in einem Formfaktor eines EVU zu passen, aber zwei RUs Aufnahme kann in verschwendeten Speicherplatz zur Folge haben. Für die effizientere Nutzung von Raum, haben bestimmte Hardware-Hersteller Rack-Server veröffentlicht, die mehrere Slave-Knoten in einem einzigen Chassis stopfen.

  Als Beispiel kann in dieser komprimierten Form ein Standard-Rack so viele wie 27 Slave-Knoten haben (auch mit Netzwerk-Switches), wobei jeder Slave-Knoten Raum für 15 Plattenlaufwerke für HDFS hat. Das Ergebnis dieser Anordnung ist viel höhere Dichte und eine bessere Raumnutzung im Rechenzentrum.