Syncsort und Vertica brechen Datenbank-ETL-Weltrekord Options

von tonja vom 03.12.2020 - 285 Hits -

Syncsort (http://www.syncsort.com/) hat in Zusammenarbeit mit HP beim Laden von Daten in eine relationale Datenbank für Business Intelligence-Anwendungen mit dem HP BladeSystem c-Class einen neuen Weltrekord aufgestellt. Dieser reflektiert den wachsenden Bedarf an grösserer Ladegeschwindigkeit und ermöglicht es Firmen gleichzeitig, Daten aus ganz verschiedenen Quellen schnell zu integrieren. Während die Grösse von Datenlagern dramatisch zunimmt, können die Unternehmen dank dieser Errungenschaft die Anlagenrendite beschleunigen und bessere und zeitnahe Unternehmensentscheidungen treffen.

Dieser neue Weltrekord überflügelt den vorherigen Extraktions-, Transformations-, und Lade-Leistungsstandard (ETL). Syncsorts Produkt zur Datenintegration, DMExpress v4.8 extrahierte, transformierte, bereinigte und lud 5,4 TB Rohdaten innerhalb von 57 Minuten und 21,51 Sekunden in die Vertica Analytic Datenbank. Ermöglicht hat dies das überaus kosteneffiziente BladeSystem c-Class von HP mit RedHat-Linux als Betriebssystem. Erzeugt wurden die Daten mit dem Datengenerier-Tool des Benchmarks für Industriestandards TPC-H.

Die Syncsort/Vertica-Lösung lief auf zwei HP-BladeSystem-c7000-Gehäusen mit einer Kombination aus Server-Blades und Speicher-Blades. Die Effizienz der Software in Verbindung mit der Modularität und Kontrollierbarkeit des HP-BladeSystem c-Class ermöglichte ein nie erreichtes Mass an Kontrolle, anpassungsfähiger Flexibilität und Leistung. Dank der Dichte und Flexibilität des HP BladeSystems konnte der gesamte 16-Knoten-Shared-Nothing Cluster, einschliesslich der gesamten Plattenspeicherung, in weniger als einem halben Rack (20U) bei hervorragender Energieeffizienz Platz finden.

Der neue ETL-Weltrekord von Syncsort und Vertica auf dem HP-BladeSystem c-Class ist ausserdem der erste Weltrekord mit einer spaltenorientierten Datenbank. "Bis heute galten spaltenorientierte Datenbanken in puncto Datenladegeschwindigkeiten gegenüber herkömmlichen, zeilenorientierten Datenbanken als benachteiligt", kommentierte David Menninger, Vice President für Marketing & Product Management bei Vertica. "Die Datenbanktechnologie der nächsten Generation brachte in dieses Paradigma frischen Wind: Sie beschleunigte die Abfrage-Leistung gegenüber Daten-Terrabyte deutlich, ohne die Datenladung zum schwachen Glied der Kette zu machen. Wir haben die Vertica-Analytic-Database entwickelt und uns mit Syncsort zusammengetan, um die schnellstmögliche Leistung im Installationszyklus zu realisieren."

Im Zusammenwirken mit der Vertica Analytic Database können die Firmen ihren Experten einen schnelleren Zugriff auf grössere Datenmengen gewähren, um so ihren Wettbewerbern in Entwicklung und Praxis voraus zu sein.

Die Vertica Analytic Database hat Anfragen gegen Daten-Terabytes 50 bis 200 Mal schneller beantwortet als mit ihr konkurrierende Datenlager-Technologien. Dabei hat sie weniger Hardware und Festplattenkapazität beansprucht - und das zu einem Bruchteil der Kosten anderer Produkte.

Für weitere Einzelheiten über die Syncsort-Vertica-Lösung oder für einen Download eines von DSS Labs verfassten Weissbuchs über die Rekordergebnisse besuchen Sie http://www.ETLWorldRecord.com.

[Kommentar schreiben]

Ich möchte eine Frage im Forum stellen