Die Evolution der Distributed Computing für Big Data

Hinter allen wichtigen Trends im Laufe der letzten zehn Jahre, einschließlich Serviceorientierung, Cloud Computing, Virtualisierung und Big Data ist eine grundlegende Technologie namens Distributed Computing.

Einfach ausgedrückt, ohne Rechen verteilen, keiner dieser Fortschritte möglich wäre.

Distributed Computing ist eine Technik, die einzelne Computer ermöglicht über geografische Bereiche miteinander vernetzt werden, als wären sie eine einzige Umgebung waren. Sie finden viele verschiedene Implementierungen des verteilten Rechnens. In einigen Topologien einfach einzelnen Recheneinheiten einander Nachrichten übergeben.

In anderen Situationen kann eine verteilte Rechenumgebung Ressourcen aus dem Speicher zu den Netzen und Lagerung bis hin zu teilen. Alle verteilten Computing-Modelle haben ein gemeinsames Merkmal: Sie sind eine Gruppe von vernetzten Computern, die zusammen eine Arbeitsbelastung oder Prozess auszuführen arbeiten.

DARPA und große Daten

Die bekanntesten verteilten Computing-Modell, das Internet, ist die Grundlage für alles, von E-Commerce-Cloud-Computing-Service-Management und Virtualisierung. Das Internet wurde als ein Forschungsprojekt, das von der US-DARPA finanziert konzipiert.

Es wurde entwickelt, ein verbindendes Netzwerk-System zu schaffen, die nicht kommerzielle unterstützen würde, Zusammenarbeit Forschung unter Wissenschaftlern. In den frühen Tagen des Internets, wurden diese Computer oft durch Telefonleitungen verbunden! Es sei denn, Sie, dass die Frustration erfahren, können Sie sich vorstellen, wie langsam und fragil diese Verbindungen waren.

Da die Technologie in den nächsten zehn Jahren gereift, half gängige Protokolle wie das Transmission Control Protocol (TCP), die Technologie und das Netzwerk zu vermehren. Wenn das Internet-Protokoll (IP) hinzugefügt wurde, zog das Projekt von einem geschlossenen Netzwerk für eine Sammlung von Wissenschaftlern zu einer potenziell kommerzielle Plattform E-Mail auf der ganzen Welt zu übertragen.

Im Laufe der 1980er Jahre neue Internet-basierte Dienste begann auf dem Markt als eine kommerzielle Alternative zu dem DARPA-Netzwerk bis zum Frühjahr. Im Jahr 1992 verabschiedete der US-Kongress den wissenschaftlichen und Advanced-Technology Act, dass zum ersten Mal, die kommerzielle Nutzung dieser leistungsfähigen Netzwerktechnologie erlaubt. Mit seiner fort ein explosives Wachstum, das Internet ist ein globales Netzwerk verteilt und bleibt das beste Beispiel für die Macht des verteilten Rechnens.

Der Wert eines konsistenten großen Datenmodell

Was machte diese DARPA-geführten Bemühungen, in der Bewegung zu Distributed Computing machen? Vor der Kommerzialisierung des Internets, gab es Hunderte von Unternehmen und Organisationen, eine Software-Infrastruktur schaffen soll eine gemeinsame Plattform, um eine hochgradig verteilte Computing-Umgebung zu unterstützen.

Allerdings kam jeder Hersteller oder Standards Organisation mit eigenen Fernverfahren Gespräche (RPCs), die alle Kunden, kommerzielle Software-Entwickler und Partner übernehmen und unterstützen müssten. RPC ist ein primitiver Mechanismus verwendet Arbeit zu einem entfernten Computer und erfordert für bevor andere Arbeit fortsetzen können zu vervollständigen die Remote-Arbeit wartet in der Regel zu senden.

Mit Anbietern Implementierung proprietärer RPCs, wurde es unpraktisch, sich vorzustellen, dass jeder ein Unternehmen in der Lage sein würde, für Distributed Computing einen universellen Standard zu schaffen. Bis Mitte der 1990er Jahre ersetzt die Internet-Protokolle, diese primitive Ansätze und wurde zur Grundlage für das, was Computing heute verteilt wird. Danach wurde abgewickelt, begann der Gebrauch dieses Ansatzes zu vernetzten Computer gedeihen.