Slave-Knoten und Laufwerksausfällen in HDFS

Wie der Tod und die Steuern, Festplattenfehler (und genügend Zeit, auch Knoten oder Rack-Ausfälle), sind unvermeidlich in Hadoop Distributed File System (HDFS). In dem gezeigten Beispiel, auch wenn ein Rack ausfallen, könnte der Cluster-Funktion fortsetzen. Leistung darunter leiden würde, weil Sie die Hälfte Ihrer Verarbeitungsressourcen verloren haben, aber das System ist immer noch online und alle Daten noch verfügbar ist.

In einem Szenario, in dem ein Plattenlaufwerk oder ein Slave-Knoten die zentrale Metadatenserver für HDFS ausfällt, findet schließlich heraus, dass die Dateiblöcke auf dem ausgefallenen Ressource nicht mehr verfügbar sind gespeichert (die NameNode genannt). es würde zum Beispiel bedeuten, wenn Slave-Knoten 3 ausfällt, dass die Blöcke A, C und D underreplicated.

Mit anderen Worten, zu wenige Kopien dieser Blöcke sind in HDFS erhältlich. Wenn HDFS spürt, dass ein Block underreplicated ist, befiehlt er eine neue Kopie.

Um das Beispiel fortzusetzen, sagen, dass Slave-Knoten 3 wieder online nach ein paar Stunden kommt. Inzwischen hat HDFS dafür gesorgt, dass es drei Kopien aller Dateiblöcke sind. So, jetzt, Blöcke A, C und D haben vier Kopien pro Stück und sind overreplicated. Wie bei underreplicated Blöcken wird die HDFS zentralen Metadaten-Server über diese auch erfahren, und wird eine Kopie jeder Datei bestellen gelöscht werden.

Ein schönes Ergebnis der Verfügbarkeit von Daten ist, dass bei Festplattenfehler auftreten, gibt es keine Notwendigkeit, sofort defekte Festplatten ersetzen. Dies kann effektiver in regelmäßigen Abständen durchgeführt werden.