Hadoop Verwaltungsbefehle

Jeder Hadoop Administrator wert sein Salz muss einen umfassenden Satz von Befehlen für die Clusterverwaltung zu meistern. Die folgende Liste fasst die wichtigsten Befehle, was darauf hinweist, was der Befehl sowie Syntax tut und Beispiele. Kennen Sie sie, und Sie werden einen langen Weg auf dem Weg zu Hadoop Weisheit vorantreiben.

• Balancer: Führt das Cluster-Balancing-Dienstprogramm. Der angegebene Grenzwert, der einen Prozentsatz der Plattenkapazität darstellt, verwendet wird, kann der voreingestellte Schwellenwert (10 Prozent) zu überschreiben. Um die Neuausgleichsprozess, drücken Sie Strg + C beenden.

  Syntax:hadoop Balancer [-Schwelle ]

  Beispiel: hadoop Balancer -Schwelle 20

• daemonlog: Ruft die Protokollebene für jeden Daemon (auch als Service bezeichnet). zum Anschluss http: // host: port / logLevel log = Name und druckt oder setzt die Protokollebene des Daemon, der läuft auf Host: Port. Hadoop Daemons generieren Protokolldateien, die Ihnen helfen, festzustellen, was auf dem System passiert, und Sie können die Verwendung daemonlog Befehl, um vorübergehend die Protokollebene eines Hadoop-Komponente ändern, wenn Sie das System debuggen. Die Änderung wird wirksam, wenn der Daemon neu gestartet.

  Syntax: hadoop daemonlog -getlevel - hadoop daemonlog -setlevel

  Beispiel: hadoop daemonlog -getlevel 10.250.1.15:50030 org.apache.hadoop.mapred.JobTracker- hadoop daemonlog -setlevel 10.250.1.15:50030 org.apache.hadoop.mapred.JobTracker DEBUG

• DataNode: Führt die HDFS DataNode-Service, der den Speicher auf jedem Slave-Knoten koordiniert. Wenn Sie angeben, -Rollback, die DataNode wird auf die vorherige Version zurückgerollt. Stoppen Sie den DataNode und verteilen Sie die vorherige Version von Hadoop, bevor Sie diese Option verwenden.

  Syntax: hadoop DataNode [-rollback]

  Beispiel: hadoop DataNode -rollback

• dfsadmin: Führt eine Reihe von Hadoop Distributed File System (HDFS) administrative Operationen. Verwenden Sie die -Hilfe Option, um eine Liste aller unterstützten Optionen zu sehen. Die allgemeinen Optionen sind eine gemeinsame Reihe von Optionen, die von mehreren Befehlen unterstützt.

  Syntax: Hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode eingeben | verlassen | erhalten | warten] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress Status | Details | force] [-metasave Dateiname] [-setQuota ...] [-clrQuota ...] [-restoreFailedStorage True | false | Test] [-help [cmd]]

• mradmin: Führt eine Reihe von MapReduce administrativen Vorgänge. Verwenden Sie die -Hilfe Option, um eine Liste aller unterstützten Optionen zu sehen. Auch hier sind die allgemeinen Optionen eine gemeinsame Reihe von Optionen, die von mehreren Befehlen unterstützt werden. Wenn Sie angeben, -refreshServiceAcl, lädt die Berechtigungsrichtliniendatei Service-Level (Jobtracker die Berechtigung Richtliniendatei neu geladen) - -refreshQueues Lädt die Warteschlange Zugriffskontrolllisten (ACLs) und Staat (Jobtracker lädt der mapred-queues.xml Datei)- -refreshNodes erfrischt die Gastgeber Informationen an der JobTracker- -refreshUserToGroupsMappings frischt Benutzer-zu-Gruppen mappings- -refreshSuperUserGroupsConfiguration refreshes Super-User-Proxy-Gruppen mappings- und -help [cmd] Hilfe für den gegebenen Befehl oder für alle Befehle, wenn keine angegeben ist.

  Syntax: hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]]

  Beispiel: hadoop mradmin -help -refreshNodes

• Jobtracker: Führt die MapReduce Jobtracker-Knoten, der das Datenverarbeitungssystem für Hadoop-Koordinaten. Wenn Sie angeben, -dumpConfiguration, die Konfiguration, die von der Jobtracker und der Warteschlange Konfiguration im JSON-Format geschrieben werden auf die Standardausgabe verwendet wird.

  Syntax: hadoop Jobtracker [-dumpConfiguration]

  Beispiel: hadoop Jobtracker -dumpConfiguration

• NameNode: Läuft die NameNode, die die Lagerung für den gesamten Hadoop-Cluster koordiniert. Wenn Sie angeben, -Format, die NameNode gestartet wird, formatiert und dann Stopped mit -Aktualisierung, die NameNode beginnt mit der Upgrade-Option nach einer neuen Hadoop-Version ist distributed- mit -Rollback, die NameNode wird auf die vorherige Version (nicht vergessen, den Cluster zu stoppen und die vorherige Hadoop-Version, bevor Sie diese Option verteilen) rückgängig gemacht - mit -zum Abschluss bringen, der vorherige Zustand des Dateisystems entfernt wird, die letzte Aktualisierung wird permanent, Rollback ist nicht mehr verfügbar, und die NameNode ist Stopped schließlich mit -importCheckpoint, ein Bild wird von dem Checkpoint-Verzeichnis geladen (wie durch die spezifizierte fs.checkpoint.dir Eigentum) und in das aktuelle Verzeichnis gespeichert.

  Syntax: hadoop NameNode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]

  Beispiel: hadoop NameNode -finalize

• Sekundäre NameNode: Führt den sekundären NameNode. Wenn Sie angeben, -Kontrollpunkt, ein Kontrollpunkt auf dem sekundären NameNode durchgeführt wird, wenn die Größe des EditLog (ein Transaktionsprotokoll, das jede Änderung aufzeichnet, die auf das Dateisystem-Metadaten auftritt) größer als oder gleich fs.checkpoint.size- angeben -Kraft und ein Checkpoint ausgeführt wird, unabhängig von der EditLog Size- angeben -geteditsize und die EditLog Größe gedruckt.

  Syntax: hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]

  Beispiel: hadoop secondarynamenode -geteditsize

• Tasktracker: Führt eine MapReduce Tasktracker Knoten.

  Syntax: hadoop Tasktracker

  Beispiel: hadoop Tasktracker