Skip to content

DP-3027: Implement a data engineering solution with Azure Databricks

Erfahren Sie, wie Sie die Leistungsfähigkeit von Apache Spark und leistungsstarke Cluster auf Basis der Azure Databricks-Plattform nutzen können, um große Data-Engineering-Workloads in der Cloud zu bewältigen.
Jetzt beraten lassen

Physisch oder virtuell?

Nehmen Sie an einem unserer Standorte Frankfurt, München und Wien oder virtuell an unseren Klassenraumtrainings teil. Unter “Termin buchen” werden Ihnen alle Optionen angezeigt, zuerst sortiert nach Standort, dann nach Datum.

• Data Engineer
• Developer
• Data Scientist
• Data Analyst
Keine

Was werden Sie in diesem Training erlernen?

In diesem Training lernen Sie, wie Sie skalierbare Datenlösungen mit Azure Databricks implementieren. Sie nutzen die Leistungsfähigkeit von Apache Spark und der Cloud-Infrastruktur, um große Datenmengen effizient zu verarbeiten. Dabei entwickeln Sie Streaming-Architekturen, optimieren Delta Lake-Pipelines, setzen CI/CD-Workflows um, automatisieren Workloads und gewährleisten Datensicherheit und Governance mit Tools wie Unity Catalog. Zusätzlich lernen Sie, wie Sie SQL Warehouses verwenden und Databricks Notebooks mit Azure Data Factory orchestrieren.

Agenda

Perform incremental processing with spark structured streaming
Set up real-time data sources for incremental processing
Optimize Delta Lake for incremental processing in Azure Databricks
Handle late data and out-of-order events in incremental processing
Monitoring and performance tuning strategies for incremental processing in Azure Databricks
Real-time ingestion and processing with Delta Live Tables with Azure Databricks
Implement streaming architecture patterns with Delta Live Tables
Event driven architectures with Delta Live tables
Ingest data with structured streaming
Maintain data consistency and reliability with structured streaming
Scale streaming workloads with Delta Live tables
End-to-end streaming pipeline with Delta Live tables
Optimize performance with Spark and Delta Live Tables
Optimize performance with Spark and Delta Live Tables
Perform cost-based optimization and query tuning
Use change data capture (CDC)
Use enhanced autoscaling
Implement observability and data quality metrics
Optimize data pipelines for better performance in Azure Databricks
Implement CI/CD workflows in Azure Databricks
Implement version control and Git integration
Perform unit testing and integration testing
Manage and configure your environment
Implement rollback and roll-forward strategies
Implement CI/CD workflows
Automate workloads with Azure Databricks Jobs
Implement job scheduling and automation
Optimize workflows with parameters
Handle dependency management
Implement error handling and retry mechanisms
Explore best practices and guidelines
Automate data ingestion and processing
Manage data privacy and governance with Azure Databricks
Implement data encryption techniques in Azure Databricks
Manage access controls in Azure Databricks
Implement data masking and anonymization in Azure Databricks
Use compliance frameworks and secure data sharing in Azure Databricks
Use data lineage and metadata management
Implement governance automation in Azure Databricks
Practice the implementation of Unity Catalog
Use SQL Warehouses in Azure Databricks
Get started with SQL Warehouses
Create databases and tables
Create queries and dashboards
Use a SQL Warehouse in Azure Databricks
Run Azure Databricks Notebooks with Azure Data Factory
Understand Azure Databricks notebooks and pipelines
Create a linked service for Azure Databricks
Use a Notebook activity in a pipeline
Use parameters in a notebook
Run an Azure Databricks Notebook with Azure Data Factory
  • Group Exercise: Review Architecting on AWS core best practices
  • Lab 1: Securing Amazon S3 VPC Endpoint Communications
  • Group Exercise: Review Architecting on AWS core best practices
  • AWS Organizations for multi-account access and permissions
  • AWS SSO to simplify access and authentication across AWS accounts and third-party services
  • AWS Control Tower
  • Permissions, access, and authentication
  • Group Exercise: Review Architecting on AWS core best practices
  • Lab 1: Securing Amazon S3 VPC Endpoint Communications
  • Group Exercise: Review Architecting on AWS core best practices
  • Lab 1: Securing Amazon S3 VPC Endpoint Communications

Dein Training im Überblick

Dauer 1 Tag
Trainingssprache Deutsch
Trainingsart brainyCLASS (offen)

690,00 €

Startdatum und Ort wählen

Aktuell sind keine Termine vorhanden

Termin anfragen

FirmenSeminare

Maßgeschneiderte Trainings für Ihr Unternehmen

  • Von Ihnen bestimmte Inhalte
  • Zertifizierte Trainer
  • Ortsunabhängig

Wir bieten alle Trainings auch als Firmenseminare an. Dabei können Sie das Training auf den Bedarf und das Team Ihres Unternehmens abstimmen. Zusammen mit unseren Trainern planen Sie die Inhalte und bestimmen Ort sowie Zeit des Trainings. Wir beraten Sie gerne, um Ihre Teilnehmer optimal zu schulen.

Jetzt persönliche Beratung anfordern

Jetzt kontaktieren!

Kontakt

Sie haben eine individuelle Anforderung? Schreiben Sie uns!

Terminübersicht