Die Entstehung und Gestaltung von Hadoop
Also, was genau ist dieses Ding mit dem lustigen Namen - Hadoop? Im Kern ist Hadoop ein Rahmen für die Speicherung von Daten auf große Cluster von Ware Hardware - täglichen Computer-Hardware, die erschwinglich und leicht verfügbar ist - und Ausführen von Anwendungen gegen diese Daten. EIN Gruppe eine Gruppe von miteinander verbundenen Computern (bekannt als Knoten), Die gemeinsam auf dem gleichen Problem kann.
Mit Netzwerken von erschwinglichen Rechenressourcen Business Insight zu erwerben, ist der Schlüssel Wertangebot von Hadoop.
Wie für diesen Namen, Hadoop, schauen Sie nicht für jede große Bedeutung Aus diesem es einfach ist der Name, der Doug Cutting Sohn zu seinem ausgestopften Elefanten gab. (. Doug Cutting ist, natürlich, der Co-Schöpfer von Hadoop) Der Name ist einzigartig und leicht zu merken - Eigenschaften, die es eine gute Wahl gemacht.
Hadoop besteht aus zwei Hauptkomponenten: eine verteilte Verarbeitung Framework namens MapReduce und einem verteilten Dateisystem bekannt als das Hadoop Distributed File System oder HDFS (die nun durch eine Komponente namens GARN unterstützt wird).
Eine Anwendung, die auf Hadoop läuft bekommt seine Arbeit unter den Knoten unterteilt (Maschinen) im Cluster und HDFS speichert die Daten, die verarbeitet werden. Ein Hadoop-Cluster kann Tausende von Maschinen erstrecken, wo HDFS speichert Daten und MapReduce Jobs in der Nähe der Daten, um ihre Verarbeitung zu tun, die I / O-Kosten niedrig hält. MapReduce ist äußerst flexibel und ermöglicht die Entwicklung einer breiten Vielfalt von Anwendungen.
Wie Sie haben vermutet, könnte, ist ein Hadoop-Cluster eine Form von Compute-Cluster, eine Art von Cluster, der vor allem für Berechnungszwecke verwendet wird. In einem Computer-Cluster, viele Computer (Rechenknoten) Können Rechen Workloads teilen und profitieren Sie von einer sehr großen aggregierte Bandbreite im gesamten Cluster nehmen.
Hadoop Clustern bestehen typischerweise aus einigen Master-Knoten, die Steuerung der Speicher- und Verarbeitungssysteme in Hadoop und viele Slave-Knoten, die Speicherung der alle Cluster Daten und ist auch, wo die Daten verarbeitet wird.