Ein Data Engineer speichert ihre Daten in Warehouses, Lakehouses oder auch einfach in einer Datenbank. Man müsste es nicht erwähnt haben, so selbstverständlich ist das. Ein Data Engineer arbeitet aber mit anderen Sachen, die nicht in diese Art von Speicher gehören. Wohin tut man also die Notebooks, SQL Skripte oder das kleine Python Programm? 

Wider besseren wissens lässt man es einfach auf seiner lokalen Festplatte. Wagemutige laden es in Microsoft Sharepoint hoch. Oder was für die Daten gut genug ist, ist auch dafür gut genug dafür und ab gehts damit in die Datenbank, schließlich spart das Speicherkosten. Glücklicherweise gibt es eine bessere Möglichkeit: Git. 

Skripte und Notebooks werden in einem Git-Repository abgelegt. Git ist ein verteiltes Versionskontrollsystem, das ursprünglich für den Linux-Kernel entwickelt wurde. Es ermöglicht eine einfache Versionierung von Dateien und die Zusammenarbeit an derselben Notebooks. Git ist ein Werkzeug mit erstaunlich vielen Funktionen, aber erfordert auch Einarbeitung um damit umgehen zu können. Geh deine vielleicht ersten Schritte in Git als Data Engineer und erfahre, was Git für dich bei der Entwicklung deiner Lösung tun kann.

Jetzt, da deine SQL-Skripte und Notebooks vollständig mit Git versioniert sind, wie bekommt man diese aus dem Git-Repository in die SQL-Datenbank oder den Fabric-Arbeitsbereich? Man könnte sie natürlich manuell kopieren, aber wäre es nicht schöner, wenn die Änderung einfach automagisch im Arbeitsbereich auftaucht?

Die DevOps-Welt hat hier die Lösung: Pipelines. Erfahre, wie eine Pipeline ein Notebook in Entwicklungs-, Staging- und Prod-Umgebungen bereitstellen kann, wobei der Connection String und andere Parameter automatisch an die jeweilige Umgebung angepasst werden.

Pipelines sind auch ein vollständig integrierter Teil von Microsoft Fabric, welches wir für eine praktische Demonstration verwenden werden.

Marisol Steinau

Marisol hat ein Studium im Bereich der Wirtschaftswissenschaften und Informatik abgeschlossen. Sie hat mehr als 8 Jahre Erfahrung mit Microsoft-Technologien. Zunächst begann sie mit On-Premises-Technologien wie SSAS, SSIS und SSRS. Seit 5 Jahren arbeitet sie hauptsächlich mit der Azure Cloud. Sie ist Data Solution Architect, leidenschaftlich an Datenarchitekturen interessiert und getrieben, immer am Technology Edge zu arbeiten. Unter anderem beschäftigt sie sich auch mit  Azure Admin-Themen, DevOps und Infrastructure as Code. Seit einem Jahr beschäftigt sie sich intensiv mit Microsoft Fabric. 

Sebastian Steinau

Sebastian ist Cloud Solution Architect mit Fokus auf verteilter Software und APIs in der Azure Cloud. Er beschäftigt sich außerdem mit DevOps, Git, und Infrastructure as Code. In seiner vorherigen Karriere als Wissenschaftler entwickelte er ein hochskalierbares, datengetriebenes Prozessmanagementsystem. Offen für Neues zu sein und die Neugier haben ihn jetzt auch dazu getrieben, sich mehr mit der Welt von Data zu beschäftigen, insbesondere mit Microsoft Fabric.