DP-750T00: Implement data engineering solutions using Azure Databricks

Bauen Sie produktionsreife Lakehouse‑Architekturen mit Azure Databricks und Unity Catalog. In diesem viertägigen Training lernen Sie, skalierbare Datenpipelines zu entwickeln, Governance und Sicherheit auf Enterprise‑Niveau umzusetzen und performante Workloads zuverlässig bereitzustellen – praxisnah, strukturiert und sofort anwendbar.
Jetzt beraten lassen

Physisch oder virtuell?

Nehmen Sie an einem unserer Standorte oder virtuell an unseren Klassenraumtrainings teil. Unter “Termin buchen” werden Ihnen alle Optionen angezeigt, zuerst sortiert nach Standort, dann nach Datum.

Dieses Training richtet sich an
  • Data Engineers, die moderne Datenplattformen in Azure entwerfen, implementieren und betreiben.
  • Fachkräfte, die mit Azure Databricks, SQL und Python arbeiten und ihre Kenntnisse in den Bereichen Governance, Sicherheit und produktionsreife Datenpipelines gezielt vertiefen möchten.
  • KandidatInnen für die Azure Databricks Data Engineer Associate Zertifizierung.
Teilnehmende sollten über folgende Kenntnisse verfügen:
  • Grundlegendes Verständnis von Data-Analytics- und Data-Engineering-Konzepten
  • Erfahrung mit SQL sowie Python (inkl. Notebooks)
  • Vertrautheit mit Azure Databricks Workspaces und grundlegenden Unity-Catalog-Konzepten
  • Basiswissen zu Cloud Storage und Datenorganisation
  • Grundkenntnisse in Azure Security, insbesondere Microsoft Entra ID
  • Vertrautheit mit Git und Versionskontrollkonzepten

    Wir empfehlen Kenntnisse auf dem Niveau von DP-900 (Grundlagen: Datenrollen, Azure-Datenservices), AZ-900 (Grundlagen: Cloud-Architektur) und SSQLAP (SQL – sicheres Arbeiten mit SELECT, JOIN, GROUP BY etc.).
    Ergänzend ist folgendes Training für den Umgang mit Databricks relevant: DP-3011 (Einstieg in Databricks).

    Zu Vertiefung des Profils Data Engineer eignet sich nach diesem Training der Kurs DP-700 (Fabric).

Wichtige Information

Dieses Training behandelt prüfungsrelevante Themen zum Examen: Microsoft Certified: Azure Databricks Data Engineer Associate (beta)

Was werden Sie in diesem Training erlernen?

In diesem praxisorientierten Training lernen Sie, wie Sie mit Azure Databricks und dem Unity Catalog skalierbare, sichere und produktionsreife Lakehouse‑Architekturen aufbauen. Sie entwickeln robuste Datenpipelines und setzen moderne Governance‑ und Sicherheitskonzepte nach Enterprise‑Standards um.
Der Kurs begleitet Sie von der initialen Einrichtung der Azure‑Databricks‑Umgebung bis zur produktiven Bereitstellung. Sie konfigurieren Workspaces, implementieren durchgängige Berechtigungs‑ und Sicherheitsmodelle mit Unity Catalog und entwickeln performante Ingestions‑ und Verarbeitungsprozesse. Dabei stehen Best Practices für Skalierbarkeit, Wartbarkeit und den stabilen Betrieb im Unternehmensumfeld im Fokus.

Nach diesem Training:
  • konfigurieren Sie Azure‑Databricks‑Umgebungen für produktive Enterprise‑Szenarien.
  • entwickeln Sie robuste und skalierbare Dateningestions‑ und Transformationspipelines.
  • implementieren Sie Governance‑, Sicherheits‑ und Zugriffskonzepte mit Unity Catalog.
  • optimieren Sie Datenverarbeitungs‑Workloads hinsichtlich Performance und Kosten.
  • setzen Sie Best Practices für Deployment, Monitoring und Betrieb von Lakehouse‑Architekturen um.
  • übertragen Sie Data‑Engineering‑Konzepte sicher in produktive Azure‑Umgebungen.
Nach Abschluss des Trainings sind Sie in der Lage, Lakehouse‑Lösungen eigenständig zu implementieren, sicher zu betreiben und für produktive Workloads zu optimieren – auch unter hohen Anforderungen an Governance, Compliance und Performance.

Agenda

Einrichten und Konfigurieren einer Azure‑Databricks‑Umgebung
Azure Databricks kennenlernen
Übung – Azure Databricks erkunden
Data Governance mit Unity Catalog und Microsoft Purview
Zentrale Konzepte verstehen
Azure‑Databricks‑Workloads identifizieren
Erste Schritte mit Azure Databricks
Überblick über Azure Databricks
Azure‑Databricks‑Architektur verstehen
Standard‑Speicher (Serverless Compute)
Externer Speicher
Durch Unity Catalog verwalteter Speicher
Einführung in die Azure‑Databricks‑Architektur
Integrationen von Azure Databricks verstehen
Integration mit Microsoft Foundry
Integration mit Microsoft Purview
Integration mit Copilot Studio
Integration mit Power Platform
Integration mit Visual Studio Code
Integration mit Power BI
Integration mit Microsoft Fabric
Compute in Azure Databricks auswählen und konfigurieren
Übung – Compute in Azure Databricks auswählen und konfigurieren
Zugriffsrechte für Compute konfigurieren
Bibliotheken für Compute installieren
Compute‑Funktionen konfigurieren
Compute‑Leistung konfigurieren
Geeigneten Compute‑Typ auswählen
Objekte im Unity Catalog erstellen und strukturieren
Übung – Objekte im Unity Catalog erstellen und strukturieren
Anweisungen für AI/BI Genie konfigurieren
Externe Kataloge (Foreign Catalogs) einbinden
DDL‑Operationen umsetzen
Volumes erstellen
Tabellen und Views erstellen
Schemata erstellen
Kataloge erstellen
Naming Conventions anwenden
Absicherung und Governance von Unity‑Catalog‑Objekten in Azure Databricks
Unity‑Catalog‑Objekte absichern
Übung – Unity‑Catalog‑Objekte absichern
Ressourcenzugriffe mit Managed Identities authentifizieren
Datenauthentifizierung mit Service Principals
Zugriff auf Secrets im Azure Key Vault
Zeilenfilter und Spaltenmaskierung implementieren
Konzepte der fein granularen Zugriffskontrolle verstehen
Strategien für Zugriffskontrolle umsetzen
Lebenszyklus von Abfragen (Query Lifecycle) verstehen
Unity‑Catalog‑Objekte verwalten und steuern
Übung – Unity‑Catalog‑Objekte verwalten
Sichere Delta‑Sharing‑Strategie entwerfen
Audit Logging konfigurieren
Data Lineage einrichten und verwalten
Richtlinien zur Datenaufbewahrung anwenden
Attributbasierte Zugriffskontrolle (ABAC) mit Tags und Richtlinien konfigurieren
Tabellendefinitionen erstellen und versionstreu erhalten
Daten mit Azure Databricks vorbereiten und verarbeiten
Datenmodellierung mit Azure Databricks entwerfen und umsetzen
Übung – Datenmodellierung mit Azure Databricks
Clustering‑Strategie entwerfen und implementieren
Entscheidung zwischen Managed und Unmanaged Tables treffen
Granularität auf Spalten‑ oder Tabellenebene festlegen
Temporale (Historien‑)Tabellen zur Nachverfolgung von Änderungen entwerfen und implementieren
Slowly Changing Dimension (SCD) Typ 2 implementieren
Typ für Slowly Changing Dimensions (SCD) auswählen
Partitionsschema entwerfen und implementieren
Tabellenformat für Daten auswählen
Werkzeug zur Datenaufnahme auswählen
Ingestion‑Logik und Konfiguration von Datenquellen entwerfen
Daten in den Unity Catalog laden
Übung – Daten in den Unity Catalog laden
Datenaufnahme mit Lakeflow Spark Declarative Pipelines
Datenaufnahme mit Auto Loader
Datenaufnahme mit Spark Structured Streaming
Datenaufnahme über CDC‑Feeds
Datenaufnahme mit SQL‑Methoden
Datenaufnahme über Notebooks
Datenaufnahme mit Lakeflow Connect
Daten bereinigen, transformieren und laden
Übung – Daten bereinigen, transformieren und laden
Daten mit Merge, Insert und Append laden
Transformationen durch Denormalisierung und Pivot‑Operationen
Transformationen mit Joins und Mengenoperatoren
Transformationen mit Filtern und Aggregationen
Duplikate und Nullwerte behandeln
Geeignete Spaltendatentypen festlegen
Datenprofiling durchführen
Datenqualitätsregeln mit Azure Databricks umsetzen und verwalten
Übung – Datenqualitätsregeln umsetzen und verwalten
Datenqualität mit Pipeline Expectations steuern
Schema Drift erkennen und behandeln
Prüfungen auf korrekte Datentypen implementieren
Validierungsprüfungen implementieren
Datenpipelines und Workloads mit Azure Databricks bereitstellen und betreiben
Datenpipelines mit Azure Databricks entwerfen und umsetzen
Übung – Datenpipelines entwerfen und umsetzen
Pipeline mit Lakeflow Spark Declarative Pipelines erstellen
Pipeline auf Basis von Notebooks erstellen
Fehlerbehandlung in Pipelines und Jobs konzipieren
Logik für Lakeflow‑Jobs entwerfen
Entscheidung zwischen Notebooks und Lakeflow Pipelines
Reihenfolge von Verarbeitungsschritten in einer Pipeline festlegen
Lakeflow Jobs mit Azure Databricks implementieren
Übung – Lakeflow Jobs implementieren
Automatische Neustarts konfigurieren
Benachrichtigungen für Jobs konfigurieren
Jobs zeitlich planen (Scheduling)
Job‑Trigger konfigurieren
Job‑Einrichtung und ‑Konfiguration erstellen
Entwicklungs‑ und Bereitstellungsprozesse in Azure Databricks umsetzen
Übung – Entwicklungs‑ und Bereitstellungsprozesse umsetzen
Bundles mit der Databricks CLI bereitstellen
Databricks Asset Bundles (DABs) konfigurieren und paketieren
Teststrategie implementieren
Branching‑Strategien und Pull Requests verwalten
Best Practices für Versionsverwaltung mit Git anwenden
Workloads in Azure Databricks überwachen, analysieren und optimieren
Übung – Workloads überwachen, analysieren und optimieren
Log‑Streaming mit Azure Log Analytics einrichten
Performance‑Aspekte wie Caching, Data Skew, Spilling und Shuffle untersuchen
Spark‑Jobs und Notebooks analysieren und beheben
Lakeflow Jobs analysieren und wiederherstellen
Cluster‑Auslastung überwachen und steuern
  • Group Exercise: Review Architecting on AWS core best practices
  • Lab 1: Securing Amazon S3 VPC Endpoint Communications
  • Group Exercise: Review Architecting on AWS core best practices
  • AWS Organizations for multi-account access and permissions
  • AWS SSO to simplify access and authentication across AWS accounts and third-party services
  • AWS Control Tower
  • Permissions, access, and authentication
  • Group Exercise: Review Architecting on AWS core best practices
  • Lab 1: Securing Amazon S3 VPC Endpoint Communications
  • Group Exercise: Review Architecting on AWS core best practices
  • Lab 1: Securing Amazon S3 VPC Endpoint Communications

Dein Training im Überblick

Dauer 4 Tage
Trainingssprache Deutsch
Nicht verfügbar

2.535,00 €

Startdatum und Ort wählen

Terminübersicht