IBM Big SQL und Hadoop
IBM hat eine lange Geschichte der Zusammenarbeit mit SQL und Datenbanktechnologie arbeitet. Im Einklang mit dieser Geschichte, die IBM Lösung für SQL auf Hadoop nutzt Komponenten aus seiner relationalen Datenbank-Technologien, die portiert werden auf Hadoop auszuführen.
Wenn Sie überhaupt vertraut mit dem IBM-Produkt Namensgebung für seine Big Data Produkte und Funktionen sind, können Sie leicht erraten, was sie ihre SQL auf Hadoop-Lösung benannt haben: Big SQL. Das Ziel von Big SQL ist eine SQL-Schnittstelle auf Hadoop zur Verfügung zu stellen, die Benutzer so viel wie möglich gibt, was sie zu für relationale Datenbanken mit SQL-Schnittstellen gewohnt sind.
Dies bedeutet, umfangreiche Abfragesyntax Unterstützung, schnelle Leistung, die nicht Benutzer mit ihren Anfragen, die an Affen erfordert, und die Fähigkeit, die Datensicherheit zu kontrollieren.
Die Abbildung zeigt eine partielle Einsatz von BigInsights, IBM Hadoop Distribution laufen Big SQL.
Hier können Sie eine Teilmenge der Master-Knoten und Datenknoten hinter der BigInsights Firewall zu sehen. Einer der Master-Knoten ist der große SQL-Server ausgeführt wird, die von IBM SQL-Compiler und Optimierer enthält. Auch an diesem Master-Knoten enthalten ist ein Katalog, in dem Metadaten und Statistiken über alle katalogisierten Daten in HDFS ist für die Verwendung durch den Compiler / Optimierer gespeichert.
Unterabschnitte von Anfragen werden zu den geltenden Datenknoten gesendet, wo angeforderten Daten gespeichert sind, und gibt die Big SQL Runtime (die IBM SQL-Laufzeit) führt die Arbeitsbelastung. Anstatt laufen Mapper und Minderer Prozesse und bleiben Dateien mit Zwischenergebnismengen verwendet Big SQL kontinuierlich laufende Daemonen, die Nachrichten zwischen einander passieren.
Es ist wichtig zu beachten, dass die Daten von Hadoop wird abgefragt wird gespeichert und verwaltet werden. Big SQL unterstützt die Standard-Hadoop-Dateiformate - zum Beispiel rcfile und Parkett.
Big SQL bietet die gleiche umfangreiche SQL-Unterstützung, wie die IBM relationale Datenbankprodukte - zum Beispiel ANSI SQL-2011 und Kompatibilität für IBM SQL Procedural Language (SQL / PL). (Zum Zeitpunkt des Schreibens, arbeitete IBM Unterstützung für Oracle-SQL-Dialekt auf die Bereitstellung und deren PL / SQL prozedurale Sprache.)
Neben der Standard-IBM-SQL-Engine kommen eine Reihe weiterer Funktionen, vor allem IBMs zeilen- und spaltenbasierte Sicherheit (auch bekannt als abgestimmter Access Control, oder VDAC), wo nur bestimmte Benutzer zugelassen werden kann, bestimmte Gruppen von zu sehen Datenzeilen oder Spalten.
Big SQL wird mit der Standard IBM Data Server-Client, der ein Treiberpaket enthält. Traditionelle Datenbankanwendungen können zur BigInsights Hadoop-Cluster verbinden und sicher verschlüsselte Daten über SSL auszutauschen.