Über die Marini Integration Platform lassen sich beliebig komplexe ETL-Pipelines bauen.
Die DataEngine als Komponente der Marini Integration Platform verfügt über zahlreiche Transformationsfunktionen:
- Data Validation
- Data Segmentation
- Data Harmonization
- Data Consolidation
- Data Cleaning
- Data Enrichment
- Data Routing
Basic ETL Pipeline
Du kannst Prozesse steuern und alle relevanten Daten in deinen Systemen verfügbar machen, indem du alle relevanten Systeme miteinander synchronisierst. Du erhältst höhere Transparenz durch Informationen an der richtigen Stelle. Deine Daten werden in der ETL-Instanz transformiert und weitersynchronisiert. Somit verbesserst du deine Unternehmensabläufe.
Technische Umsetzung
Für die technische Umsetzung von ETL Pipelines wird neben der HubEngine auch die DataEngine benötigt. Diese erfüllt den Zweck eines ETL-Layers. In diesem Anwendungsfall werden Daten aus System über die HubEngine in die DataEngine synchronisiert. Dort werden sie transformiert und anschließend in das Zielsystem weitersynchronisiert. Die komplette Transformationslogik findet in der DataEngine statt. Das ist der einfachste Fall einer ETL-Pipeline. Die beiden Systeme werden über die HubEngine mit jeweils einem Plan an die DataEngine angebunden. Dort werden die Daten jeweils in Source Modulen gespeichert und transformiert.
Advanced ETL Pipeline
Über die dezentrale Plattform lassen sich deine Systeme lückenlos verknüpfen. Die Daten werden alle über die dezentrale Plattform geleitet und dort transformiert. Du kannst komplexe Transformation-Workflows wie z.B. Relationsauflösung, Datenharmonisierung, Datenstandardisierung oder Berechnungen hinterlegen. Dadurch bist du in der Lage, deine Systeme lückenlos zu verknüpfen und die richtigen Daten – im richtigen Format und der notwendigen Qualität – genau dort verfügbar zu machen, wo du sie brauchst. Deine Prozesse kannst du auch über die dezentrale Plattform steuern.
Technische Umsetzung
Die Marini Integration Platform mit ihren Komponenten, HubEngine und DataEngine, ermöglicht beliebig komplexe ETL Pipelines. Dabei kann die Pipeline beliebig viele Systeme und deren Module umfassen. Hier werden beispielsweise aus einem System vier Module in die Pipeline eingespeist und mit zwei Modulen verbunden. Dabei regeln die Transform Workflows in der DataEngine alle Transformationen wie auch Datenaggregationen und -disaggregationen. Die Anzahl der Systeme und Module, die in eine ETL Pipeline eingebunden werden, ist unlimitiert.
Zusammenfassung
Über die Marini Integration Platform lassen sich simple bis komplexe ETL Pipelines modellieren. Die DataEngine dient dabei als ETL-Layer. Die HubEngine sorgt für die Anbindung der Quell- und Zielsysteme zu und von der DataEngine. Die ETL Pipelines lassen sich auch nicht-linear gestalten, sodass zusätzlich noch Daten geroutet werden können. Das bedeutet, dass die ETL Pipeline sich auch aufteilen kann in zwei oder mehr unabhängige Verzweigungen.
Weitere Ressourcen zu ETL-Pipelines findest hier: