Middleware-Dienste: Datenbewegung und Laden von Daten
In den meisten Fällen sind die beiden Middleware-Dienste - Auswahl und Extraktion und Qualitätssicherung - statt auf dem gleichen Plattform (System), auf dem die Datenquelle befindet. Wenn Ihr Data Warehouse wird auf einer anderen Plattform als der Datenquelle gehostet werden, obwohl, müssen Sie eine Datenverschiebungsdienst verwenden, um die System-zu-System zu bewirken Übertragung der Daten.
Sie können wahrscheinlich einen relativ einfachen Dienst (gehandhabt durch eine einfache Datei-Transfer-Programm, zum Beispiel) verwenden. Die Bewegung Dienst, wenn Sie es an dieser Stelle brauchen, bewegt sich einfach die QA'd Daten in die Umgebung, in der Sie zusätzliche Transformationen durchführen wollen.
Wenn Sie Ihre Transformation und QA-Verarbeitung auf einer Plattform tun, die von der Plattform anders ist, auf dem Sie Ihre Produktionsdaten Lager laufen (auf einem Entwicklungs-Server, zum Beispiel, und nicht auf dem operativen Server), müssen Sie eine weitere Daten- ausführen Bewegung Dienst die Daten an den Ort zu kommen, wo Sie es wollen schließlich zu wohnen. Dieser Prozess beinhaltet in der Regel nur eine relativ einfache Dateiübertragung.
Das Laden von Daten-Dienst lädt die extrahierte, QA'd, transformiert und Wieder QA'd Daten in Ihrem Lager. Sie könnten Daten über ein individuelles Programm zu laden, SQL (eine INSERT-Anweisung, zum Beispiel), oder ein Dienstprogramm.
Wenn Sie eine große Menge von Daten zu laden müssen, versuchen, eine schnell ladende Dienstprogramm zu verwenden, die in der Regel viel weniger Zeit als eine programmatische oder SQL-basierten Ansatz beinhaltet.
Wenn Sie SQL verwenden, um Ihre Daten in einer relationalen Datenbank zu laden, versuchen die Belastung so effizient wie möglich zu machen, indem Sie sich das Ausschalten (wenn Ihr DBMS Produkt es zulässt). Wenn der Lade Job abnormal beendet wird, müssen Sie nur noch die DROP verwenden oder TRUNCATE Ihrer teilweise geladene Tabelle, um loszuwerden, das Problem zu beheben, die die Beendigung verursacht, und den Job neu zu starten.
Dieser Prozess ist in der Regel viel schneller, als wenn Sie die Einrichtungen für OLTP-Style-Daten und die Integrität von Transaktionen (mit begleitenden Overhead) benötigt einzuschalten.