Networking und Hadoop-Clustern

Wie bei jedem verteilten System, Vernetzung kann ein Hadoop-Cluster bilden oder brechen: Nicht # 147-go billig. # 148- Viel Geschwätz findet zwischen den Master-Knoten und Slave-Knoten in einem Hadoop-Cluster, der im Halten der Cluster-Betrieb erforderlich ist, so der Enterprise-Klasse-Schalter sind auf jeden Fall zu empfehlen.

Für jedes Rack in Ihrem Cluster, müssen Sie zwei Top-of-Rack (ToR) Schalter, sowohl für Redundanz und Leistung. Verwenden Sie 10GbE für ToR-Switches.

ToR-Switches sind Netzwerk-Switches, die zusammen alle Computer in einem Rack zu verbinden. Sie sehen, wie sie normalerweise an der Spitze eines Racks, weshalb die Leute sagen, # 147-Top-of-Rack. # 148- Eine alternative Vernetzungsansatz ist End-of-Reihe zu verwenden (EOR) Schalter, aber Sie tun dies nicht sehr oft sehen.

Die ToR Ansatz ist einfacher, von einem Netzwerk-Perspektive für den Anbau von Clustern. Zum Beispiel das Hinzufügen Slave-Knoten und zusätzliche Racks ist viel einfacher, mit ToR-Switches als EoR.

Wenn Sie mehr als drei Racks haben, müssen Sie mindestens zwei Core-Switches (wiederum in erster Linie für die Redundanz, sondern auch für die Leistung). Diese Core-Switches verarbeiten große Mengen an Datenverkehr, so 40GbE ist eine Notwendigkeit.

Wenn Sie bauen oder einen Cluster erweitert mehrere Racks zu überspannen, engagieren Experten die Vernetzung, die mit Hadoop vertraut sind, Ihre zukünftigen Wachstumspläne und Ihre Arbeit. Bad Vernetzung kann stark behindern Leistung, aber es kann auch das zukünftige Wachstum schmerzhaft und teuer machen.