ETL

Extract – Transform – Load

ETL: Extrahieren, Transformieren und Laden für einen konsistenten Datenbestand

Im digitalen Zeitalter sind konsistente, aktuelle und qualitativ hochwertige Daten die Grundvoraussetzung für effiziente Geschäftsprozesse. Doch ein homogener Datenbestand ist angesichts der vielen Quellsysteme, aus denen sich moderne IT-Landschaften zusammensetzen, eher die Ausnahme als die Regel. Wir stellen mit intelligenten ETL-Services sicher, dass Daten trotzdem in der erforderlichen Qualität vorgehalten werden können. Dies ist eine wichtige Voraussetzung für ein erfolgreiches Data-Governance- und Master-Data-Management.

TRANSCONNECT®: Das Werkzeug für klassische ETL-Aufgaben

Die SQL Projekt AG verfügt über einen reichen Erfahrungsschatz im ETL-Bereich, speziell für Data-Warehouse- und Migrationsprojekte. Auch Big-Data-Pilotprojekte stehen auf unserer Referenzliste. Klassische ETL-Aufgaben bearbeiten wir mit unserer selbst entwickelten Lösung TRANSCONNECT®, die sich flexibel mit einer Vielzahl von Quell- und Zielsystemen verbinden lässt. Darüber hinaus setzen wir u. a. folgende Technologien ein:

  • SAP Data Services,
  • Microsoft Integration Services (SSIS) und
  • Pentaho.

Im Big-Data-Umfeld dienen diese Werkzeuge der Gestaltung von Data Lakes. Für die darauf aufbauende Transformation und Strukturerkennung setzen wir vorrangig auf Open Source Software (R, Python). Diese Werkzeuge beherrschen wir von den grundlegenden Funktionen des Datenimports und der Datenaufbereitung bis hin zu speziellen Auswertungsalgorithmen.

Big Data und die Folgen: Aus ETL wird ELT

ETL-Prozesse verändern sich im Zuge der Digitalisierung und der steigenden Bedeutung von Big Data. Während im klassischen Data Warehousing die Struktur der zu transformierenden Daten vorab bekannt sein musste, ist dies im Umfeld von Big Data nicht mehr der Fall. Demzufolge wandelt sich der ETL-Prozess in einen ELT-Prozess: Daten werden dabei aus den Quellsystemen extrahiert und ohne aufwendige Transformationen direkt in den Data Lake geladen. Erst danach erfolgt ein Abruf der Daten nach bestimmten Anforderungsbereichen. Damit ist aber auch eine Erweiterung der Toolkette im ETL-Bereich verbunden, da der Abruf unter Verwendung von analytischen Algorithmen erfolgt.

Schnell zum Ziel: Technisch optimale ETL-Prozesse für Migration und DataWarehousing

Der wichtigste Faktor im Rahmen von ETL ist die Zeit. Auf der einen Seite sind die minimalen Sperrzeiten auf den Quellsystemen einzuhalten, um deren Performance nicht zu beeinträchtigen. Auf der anderen Seite müssen die Daten schnell in das Zielsystem eingefügt werden. Das gelingt nur, wenn sich die Transformation und strukturelle Anpassung der Daten effizient gestaltet – und wenn die Qualität der Daten in den Quellsystemen vorab zuverlässig bestimmt werden kann. Diese Bestandsaufnahme erledigen wir im Rahmen des Data Profilings. Auch für „verwandte“ Dienstleistungen wie die fehlertolerante Suche und Verbesserung von Daten für bestimmte Anwendungsfälle (Data Cleansing) sind wir der richtige Ansprechpartner.
Besondere Herausforderungen im Big-Data-Umfeld stellen die Toolauswahl und die Implementierung der Transformationsprozesse dar – denn hier kommen neben ETL-Werkzeugen auch Tools und Algorithmen aus dem Bereich Analytics zum Einsatz. Wir beraten Sie gern bei der Kombination von Werkzeugen und Algorithmen, damit Sie die besten Ergebnisse erzielen können.

Ihre Vorteile im Überblick:

  • schneller Zugriff auf aktuelle und korrekte Daten
  • Daten können an der erzeugenden Stelle verbleiben – unabhängig davon, in welcher Form oder an welchem Ort im Unternehmen die Daten vorliegen.
  • Daten fließen on demand zur nächsten Auswertung
  • das Werkzeug versieht die Daten mit der passenden Meta-Beschreibung
  • Verständnisprobleme zwischen Quell- und Zielsystemen werden vermieden
  • Unternehmen sind in der Lage, eine ganzheitliche Datenmanagement-Plattform aufzubauen

Sprechen Sie uns an!

TECHNOLOGIE & BERATUNG

Dr. Tom Hänel

Dr. Tom Hänel

SQL Projekt AG

TERMINE & INFOMATERIAL

Karin Seidel

Karin Seidel

SQL Projekt AG