Azure Data Factory (ADF) ist das zentrale Orchestrierungs- und Integrationswerkzeug in der Microsoft-Cloud für den zuverlässigen und skalierbaren Datentransport. In Kombination mit Azure Databricks als leistungsfähiger Plattform für Datenverarbeitung und -transformation entsteht eine flexible und zukunftssichere Data-Engineering-Architektur.

In dieser 90-minütigen Session erhalten Teilnehmende einen praxisorientierten Überblick darüber, wie sich mit ADF und Databricks komplexe Datenladeprozesse von der Quelle bis zum Ziel effizient umsetzen lassen – on-premises, in der Cloud oder in hybriden Szenarien.

Wir betrachten den gesamten Lebenszyklus einer Data Factory und ihrer Integration mit Databricks:

· Architektur & Best Practices für performante, skalierbare und wartbare Pipelines

· Quell- und Zielanbindungen (SQL Server, Azure Storage, APIs, Data Lake, u.a.)

· Integration von Databricks in ADF-Pipelines als zentrales Transformations-Tool

· Transformationen mit Databricks-Notebooks – von einfachen Bereinigungen bis zu komplexen Business-Logiken

· Parametrisierung & Wiederverwendbarkeit von Pipelines, Datasets und Notebook-Aufrufen

· DevOps-Integration: Aufbau einer vollständigen CI/CD-Pipeline in Azure DevOps oder GitHub Actions

· Infrastructure as Code mit Bicep und Terraform für wiederholbare, parametrische Deployments

· Monitoring & Fehlerbehandlung – vom Alerting bis zur automatisierten Korrektur

Die Session führt die Teilnehmenden anhand einer konkreten Lösung aus einem realen Kundenprojekt durch den vollständigen End-to-End-Prozess. Der Fokus liegt auf praxisnahen Architekturentscheidungen, erprobten Best Practices und dem Aufzeigen typischer Stolperfallen – nicht auf abstrakten Konzepten.

Die Teilnehmenden erhalten einen klar strukturierten, praxisorientierten Leitfaden, der sie in die Lage versetzt, vergleichbare Data-Integration-Szenarien mit Azure Data Factory, Azure Databricks und einer DevOps-gestützten Bereitstellung erfolgreich zu realisieren.

Torsten Strauß

Torsten Strauß (MVP, MCT, MCSE) is the CEO of inside-sqlserver and Principal Microsoft SQL Consultant at Sarpedon Quality Lab.
He specializes in Azure DevOps, as well as in the performance optimization and development of SQL environments.

Torsten has delivered more than 320 sessions at national and international conferences and user groups.
Since 2018, he has been recognized annually as a Microsoft Most Valuable Professional (MVP) in the Data Platform category — and since 2025, additionally in Developer Technologies.
For three consecutive years, he has also been ranked among the Top Speakers on Sessionize.