Real-Time und Streaming-Anwendungen in Hadoop

Der Prozessablauf von GARN sieht sehr viel wie ein Rahmen für die Batch-Ausführung. Sie fragen sich vielleicht, # 147-Was zu dieser Idee an Flexibilität geschehen für verschiedene Modi von Anwendungen? # 148- Nun, die einzige Anwendungsframework zur Zeit bereit für den produktiven Einsatz ist MapReduce. Bald wird die Apache Tez und Apache-Sturm für den produktiven Einsatz bereit sein, und Sie können nicht nur die Stapelverarbeitung für mehr Hadoop verwenden.

Tez zum Beispiel unterstützt Echtzeit Anwendungen - eine interaktive Art von Anwendung, bei der der Benutzer eine sofortige Antwort erwartet. Ein Design-Ziel von Tez ist eine interaktive Einrichtung für Benutzer zur Verfügung zu stellen Hive Abfragen zu erstellen und eine Ergebnismenge in nur wenigen Sekunden oder weniger erhalten.

Ein weiteres Beispiel eines nicht-batch Art von Anwendung ist Sturm, der Streaming-Daten zu analysieren. Dieses Konzept unterscheidet sich völlig von entweder MapReduce oder Tez, welche beide gegen Daten arbeiten, die bereits auf der Festplatte beibehalten - in anderen Worten, Daten in Ruhe. Sturm verarbeitet Daten, die noch nicht auf die Festplatte gespeichert hat - genauer gesagt, Daten, die in das Netzwerk eines Unternehmens ist das Streaming. Es ist Daten in Bewegung ist, mit anderen Worten.

In beiden Fällen würden die interaktive und Streaming-Datenverarbeitung Ziele nicht funktionieren, wenn Anwendung Masters instantiierenden, zusammen mit allen erforderlichen Behälter. Welche GARN erlaubt hier ist das Konzept eines laufenden Service (eine Sitzung), wo es eine spezielle Anwendung Master, die am Leben bleibt, wartet Anfragen zu koordinieren. Der Application-Master hat auch offene Mietverträge auf Mehrwegbehälter, alle Anfragen auszuführen, wie sie ankommen.