Ausführen von Anwendungen Bevor Hadoop 2

Da viele bestehende Hadoop-Implementierungen sind immer noch nicht mit Noch eine Ressource Negotiator (GARN), werfen Sie einen Blick auf, wie Hadoop seine Datenverarbeitung vor den Tagen von Hadoop 2. Konzentrieren Sie sich auf die Rolle verwaltet die Jobtracker Master-Daemons und Tasktracker Slave-Daemons gespielt in MapReduce Verarbeitung Handhabung.

Der ganze Sinn von verteilten Systemen, die in der Lage sein IT-Ressourcen in einem Netzwerk von in sich geschlossenen Computern in einer Art und Weise zu implementieren, die fehlertolerante, einfach ist und kostengünstig.

In einem verteilten System wie Hadoop, wo Sie einen Cluster von in sich geschlossenen haben alle Rechenknoten, die parallel arbeiten, ein hohes Maß an Komplexität geht zu gewährleisten, dass alle Stücke zusammenarbeiten. Als solche haben diese Systeme typischerweise unterschiedliche Schichten unterschiedliche Aufgaben zu handhaben parallele Datenverarbeitung zu unterstützen.

Dieses Konzept, bekannt als Trennung von Bedenken, sorgt dafür, dass beispielsweise nicht für die Anwendungsprogrammierer, Sie, wenn Sie sind, über die spezifischen Details kümmern müssen, sagen wir, die Failover-Karten Aufgaben. In Hadoop besteht das System dieser vier verschiedene Schichten, wie gezeigt:

• Verteilte Speicher: Das Hadoop Distributed File System (HDFS) ist die Speicherschicht, wo die Daten, Zwischenergebnisse und Endergebnis Sätzen gespeichert werden.

• Resourcenmanagement: Neben Speicherplatz haben alle Slave-Knoten in der Hadoop-Cluster CPU-Zyklen, RAM und Netzwerkbandbreite. Ein System wie Hadoop muss in der Lage sein, diese Ressourcen zu parzellieren, so dass mehrere Anwendungen und Benutzer können die Cluster in vorhersehbarer und abstimmbaren Wege teilen. Dieser Auftrag wird vom Jobtracker-Daemon.

• Die Verarbeitung Rahmen: Der MapReduce Prozessablauf definiert die Ausführung aller Anwendungen in Hadoop 1. Das mit der Karte phasen- beginnt mit Aggregation mit Shuffle weiter, sortieren oder merge- und endet mit der Phase zu reduzieren. In Hadoop 1 wird dies auch durch die Jobtracker-Daemon verwaltet, mit lokalen Ausführung von Tasktracker Daemons auf den Slave-Knoten ausgeführt wird verwaltet werden.

• Application Programming Interface (API): Anwendungen für Hadoop entwickelt 1 benötigt, um die MapReduce-API codiert werden. In Hadoop 1 stellen die Hive und Pig Projekte Programmierer mit einfacher Schnittstellen für das Schreiben von Hadoop-Anwendungen, und unter der Haube, kompiliert, ihren Code zu MapReduce nach unten.

  

In der Welt der Hadoop 1 (das ist die einzige Welt, war man bis vor kurzem hatte), die alle Datenverarbeitung um MapReduce drehte.