Kapitel 1

Grundlagen

Als Einstieg werden in diesem Kapitel die Grundlagen und Funktionen von Microsoft Fabric erläutert. Zunächst werden traditionelle Dateninfrastrukturen vorgestellt und deren Herausforderungen beleuchtet, bevor der innovative Ansatz von Microsoft Fabric als All-in-One-Lösung aufgezeigt wird. Darüber hinaus erhalten Sie einen Überblick über die verschiedenen Komponenten von Microsoft Fabric und deren Anwendungsgebiete.

In diesem Kapitel:

 Ansatz traditioneller Dateninfrastrukturen

 Themengebiete im Datenumfeld

 Microsoft Fabric als All-in-One-Datenplattform

 Architektur und Komponenten von Microsoft Fabric

1.1    Traditionelle Dateninfrastruktur

Lassen Sie uns zunächst einen Blick auf traditionelle Dateninfrastrukturen werfen und wie diese in der Praxis bisher typischerweise eingesetzt werden. Dazu werden im Folgenden die wesentlichen Themengebiete im Datenumfeld erläutert: Data Engineering, Data Science und Data Analytics.

DATENFABRIK

In der symbolischen Geschichte, die Sie beim Lesen dieses Buchs begleitet, werden Datenprozesse in Fabriken durchgeführt. Dabei existieren unterschiedliche Fabriken, die sich in ihren Spezialisierungen unterscheiden, beispielsweise für die Themenbereiche Data Engineering, Data Science und Data Analytics. Diese spezialisierten Fabriken sind jeweils auf die spezifischen Anforderungen ihres Themengebiets ausgelegt und unterscheiden sich in ihrer Architektur und ihren Prozessen. Zur Erstellung von Datenprodukten ist eine enge Zusammenarbeit zwischen den Fabriken erforderlich, da Daten zwischen den einzelnen Fabriken transportiert und ausgetauscht werden.

1.1.1    Data Engineering

DATENFABRIK

Die »Data Engineering«-Fabrik besteht aus speziellen Bereichen, in denen Rohdaten gesammelt, bereinigt und transformiert werden. Die verschiedenen Gebäude der Fabrik werden zur Datenspeicherung und -verarbeitung genutzt und sind durch Pipelines miteinander verbunden. Zunächst werden Daten in ihrer Rohform von Kunden an die Fabrik geliefert. Anschließend werden diese Daten gesammelt, zusammengeführt und bereinigt. Am Ende der Prozesskette liegen die Daten in einem nutzbaren und bereinigten Zustand vor und werden an die »Data Science«-Fabrik und die »Data Analytics«-Fabrik geliefert.

Data Engineering ist ein Bereich, der sich mit der Sammlung, Speicherung und Verarbeitung von Daten beschäftigt. Dabei wird die Datenqualität mittels Datenintegrationen, -bereinigungen und -transformationen sichergestellt, sodass die Daten für nachgelagerte Prozesse nutzbar gemacht werden. Die Fachleute in diesem Bereich werden als Data Engineers bezeichnet.

1.1.2    Data Science

DATENFABRIK

Die »Data Science«-Fabrik umfasst spezielle Bereiche, in denen KI-Experimente mit Daten durchgeführt werden. Sie besteht aus mehreren leuchtenden und hochmodernen Türmen, in denen die KI-Experimente stattfinden. Die Fabrik kann nur Daten verarbeiten, die bereits in der notwendigen Datenqualität vorliegen. Die Daten werden daher in einem bereinigten Zustand von der »Data Engineering«-Fabrik geliefert. Anschließend werden für verschiedenste Anwendungsfälle Machine-Learning-Modelle entwickelt. Die entwickelten KI-Modelle werden je nach Anforderung entweder direkt an den Kunden übermittelt oder zur Weiterverarbeitung an die »Data Analytics«-Fabrik geliefert.

Data Science ist ein Bereich, der sich mit der Anwendung statistischer Methoden zur Erkennung von Mustern und Zusammenhängen in den Daten befasst. Dabei werden Machine-Learning-Modelle entwickelt und trainiert, um datenbasierte Prognosen für die Zukunft zu treffen. Die Fachleute in diesem Bereich werden als Data Scientists bezeichnet.

1.1.3    Data Analytics

DATENFABRIK

Die »Data Analytics«-Fabrik besteht aus speziellen Bereichen, in denen Daten modelliert und mit interaktiven Dashboards veranschaulicht werden. Sie besteht aus einem großen Würfel und mehreren Türmen. Die Datenmodellierung erfolgt in dem Würfel und die Datenvisualisierung in den Türmen. Die Fabrik kann dabei nur Daten verarbeiten, die bereits in der notwendigen Datenqualität vorliegen. Zunächst werden die Daten von der »Data Engineering«-Fabrik und der »Data Science«-Fabrik geliefert. Anschließend werden die Daten modelliert, analysiert und in interaktiven Dashboards visualisiert. Die entwickelten Dashboards werden schließlich an den Kunden übermittelt.

Data Analytics ist ein Bereich, der sich auf die Analyse und Visualisierung von Daten fokussiert. Dabei werden interaktive Visualisierungen, aussagekräftige Berichte und Dashboards erstellt, um wertvolle Erkenntnisse aus den Daten zu gewinnen und fundierte, datenbasierte Entscheidungen zu treffen. Die Fachleute in diesem Bereich werden als Data Analysts bezeichnet.

1.2    Fabric als All-in-One-Plattform

Nun haben Sie die zentralen Themenbereiche im Datenumfeld kennengelernt. Im Folgenden wird erläutert, wie Fabric als All-in-One-Datenplattform diese Bereiche kombiniert und dadurch eine umfassende Lösung bietet, die sich deutlich von traditionellen Dateninfrastrukturen abhebt.

DATENFABRIK

Es wurde eine neuartige Fabrik konstruiert, um die Prozesse der »Data Engineering«-Fabrik, der »Data Science«-Fabrik und der »Data Analytics«-Fabrik zu vereinen. Diese Datenfabrik ist ein großer und innovativer Komplex, in dem Datenprodukte vollumfänglich produziert werden und die komplette Wertschöpfungskette abgebildet wird. Dank der fortschrittlichen Architektur ist es daher nicht mehr erforderlich, mehrere separate Fabriken zu betreiben. Die verschiedenen Prozesse sind innerhalb der Fabrik auf unterschiedliche Gebäude verteilt. So gibt es für die Themenbereiche Data Engineering, Data Science und Data Analytics eigene Gebäude mit hochmodernen Maschinen. Zudem umfasst die Fabrik auch Gebäude, in denen Daten auf neue und innovative Weise gespeichert und verarbeitet werden. Die Rohdaten werden zunächst von den Kunden angeliefert und durchlaufen anschließend die erforderlichen Prozesse der Bereiche Data Engineering, Data Science und Data Analytics. Am Ende dieses ganzheitlichen Prozesses werden die fertigen Datenprodukte an den Kunden übermittelt.

In der Praxis tritt bei traditionellen Dateninfrastrukturen häufig das Problem auf, dass aufgrund der Vielzahl unterschiedlicher Technologien schnell eine hochgradig komplexe Tool-Landschaft entsteht. Dies führt dazu, dass viel Zeit und Ressourcen aufgebracht werden müssen, um die notwendige Infrastruktur aufzubauen, zu betreiben und zu warten. Zudem entstehen aufgrund unterschiedlicher Lizenzmodelle oft hohe Infrastrukturkosten. Die Zusammenarbeit zwischen den Datenexperten der unterschiedlichen Bereiche wird darüber hinaus deutlich erschwert, da die Integration und Verknüpfung der unterschiedlichen Technologien und Dienste oft mit erheblichen technischen Herausforderungen verbunden ist.

In Microsoft Fabric können Datenexperten - von Data Engineers über Data Analysts bis hin zu Data Scientists - auf einer gemeinsamen Plattform zusammenarbeiten. Dabei gibt es für jede Rolle einen speziellen Bereich, in dem die benötigten Dienste gebündelt zur Verfügung gestellt werden. Durch eine nahtlose Verknüpfung der Dienste sowie einen gemeinsamen Datenzugriff wird die Zusammenarbeit zwischen den verschiedenen Rollen beträchtlich vereinfacht und alle erforderlichen Aspekte eines Datenprojekts auf einer einzigen Plattform abgedeckt, was zu einer erheblichen Vereinfachung der Wertschöpfungskette führt.

1.3    Die Komponenten von Fabric

Im vorangegangenen Abschnitt haben Sie bereits die Vorteile von Fabric kennengelernt. Lassen Sie uns nun einen genaueren Blick auf die Architektur, den Aufbau sowie die verschiedenen Komponenten werfen.

DATENFABRIK

Die Datenfabrik haben Sie bereits von außen gesehen. Bevor Sie nun die Fabrik betreten, werfen Sie zunächst einen Blick auf den Übersichtsplan. Dieser veranschaulicht den Aufbau der Datenfabrik. Die Fabrik besteht aus mehreren Abteilungen, die auf unterschiedliche Gebäude verteilt sind. In jeder Abteilung wird ein bestimmter Prozessschritt durchgeführt. Sobald Sie die Fabrik betreten, erleben Sie hautnah, wie die einzelnen Abteilungen in der Praxis arbeiten.

Betrachten wir zunächst die Architektur und den Aufbau von Fabric. Zu den Fabric-Komponenten zählen sowohl bereits etablierte Microsoft-Dienste wie Power BI als auch neu entwickelte Dienste. All diese Dienste werden nun in einer einheitlichen Plattform zusammengeführt. Während einzelne Microsoft-Dienste bisher separat lizenziert werden mussten, können sie jetzt über eine gemeinsame Lizenz innerhalb der Plattform genutzt werden. Durch den Zusammenschluss dieser Dienste und ihrer nahtlosen Verknüpfung ermöglicht Fabric die Umsetzung von End-to-End-Datenprojekten auf einer einzigen Plattform. Jeder dieser Dienste deckt dabei einen spezifischen Prozessschritt innerhalb eines Datenprojekts ab.

Die nachfolgende Abbildung veranschaulicht alle Fabric-Komponenten.

Im...