Was ich in einem Projekt mit Data Lakehouse für SAP gelernt habe

Die Ausgangssituation

In einem der jüngsten Projekte, das ich betreut habe, stand ein mittelständisches Fertigungsunternehmen vor der Herausforderung, seine Datenarchitektur grundlegend zu modernisieren. Die bestehende Infrastruktur stieß an ihre Grenzen: Unstrukturierte und strukturierte Daten wurden isoliert in verschiedenen Silos gehalten. Dies führte zu ineffizienten Datenprozessen und hinderte das Unternehmen daran, datengetriebene Entscheidungen in Echtzeit zu treffen. Das Ziel des Projekts war es, einen Weg zu finden, der sowohl die Flexibilität eines Data Lakes als auch die strukturierte Zugänglichkeit eines Data Warehouses vereint – ein sogenanntes Data Lakehouse für SAP.

Der Lösungsansatz

Der erste Schritt bestand darin, die Anforderungen der verschiedenen Abteilungen zu verstehen. Benötigt wurde eine Lösung, die sowohl schnelle Abfragen für Business Intelligence (BI) als auch die Kapazität für das Speichern großer Mengen unstrukturierter Daten bietet. Die Entscheidung fiel auf die Implementierung eines Data Lakehouse-Architekturmodells, das die besten Eigenschaften von Data Lakes und Data Warehouses kombiniert.

Meine Empfehlung war die Nutzung von SAP Data Intelligence in Verbindung mit einem Cloud-basierten Data Lake, der auf einer Plattform wie Amazon S3 oder Azure Data Lake Storage basiert. Diese Kombination ermöglicht es, Daten aus verschiedenen Quellen effizient zu integrieren und zu verarbeiten, während die analytischen Workloads durch SAP HANA verarbeitet werden.

Technische Umsetzung

Die technische Umsetzung begann mit der Integration von SAP Data Intelligence, die als zentraler Daten-Orchestrator fungiert. Hierbei wurden die folgenden Schritte ausgeführt:

• Datenintegration: Es wurden Konnektoren eingerichtet, um Daten aus SAP-Systemen, Drittanbieterdatenbanken und IoT-Geräten zu ziehen. SAP Data Intelligence ermöglichte dabei die nahtlose Integration von Echtzeit- und Batch-Daten.
• Datenverarbeitung: Durch die Nutzung von Data Pipelines in SAP Data Intelligence konnten wir sowohl strukturierte als auch unstrukturierte Daten verarbeiten und in das Data Lakehouse laden. Hierbei kamen Technologien wie Apache Spark zur Datentransformation zum Einsatz.
• Speicherung: Die Daten wurden in einem Cloud-basierten Data Lake gespeichert, der die Skalierbarkeit bietet, die das Unternehmen benötigte. Die wichtigen strukturieren Daten wurden parallel in ein SAP HANA-basiertes Data Warehouse geladen, um die BI-Fähigkeiten zu unterstützen.
• Datenanalyse: Die Analyse der Daten erfolgte durch SAP Analytics Cloud, das direkt auf das Data Lakehouse zugreift und den Geschäftsanwendern ermöglicht, interaktive Dashboards und Berichte in Echtzeit zu erstellen.

// Beispiel einer einfachen Data Pipeline in SAP Data Intelligence
{
  "pipeline": {
    "name": "SAP Data Lakehouse Pipeline",
    "steps": [
      { "type": "Data Source", "source": "SAP ERP" },
      { "type": "Transformation", "tool": "Apache Spark" },
      { "type": "Load", "target": "Amazon S3" }
    ]
  }
}

Das Ergebnis

Nach der Implementierung des Data Lakehouse konnte das Unternehmen signifikante Verbesserungen verzeichnen. Die Silos wurden aufgebrochen, und es entstand eine zentrale Plattform für alle Daten. Dies führte zu einer verbesserten Datenqualität und ermöglichte es dem Unternehmen, datengetriebene Entscheidungen in Echtzeit zu treffen. Die Verarbeitung von Berichten, die zuvor Stunden in Anspruch nahm, konnte nun in Minuten durchgeführt werden. Zudem ermöglichte die flexible Architektur eine schnelle Anpassung an sich ändernde Geschäftsanforderungen ohne großen Aufwand.

Die Verknüpfung von strukturierten Daten aus SAP-Systemen mit unstrukturierten Datenquellen eröffnete neue Erkenntnisse, die zuvor nicht möglich waren. So konnte das Unternehmen nicht nur seine operativen Prozesse optimieren, sondern auch neue Geschäftsmodelle entwickeln, die auf den gewonnenen Daten basieren.

Haben Sie ähnliche Herausforderungen? Kontaktieren Sie uns, um zu erfahren, wie ein Data Lakehouse auch Ihrem Unternehmen helfen kann.