TagsArticle Source
Lakehouse with Delta Lake Deep Dive Training
Abstract
In this course, we will provide a brief overview of data architecture concepts, an introduction to the Lakehouse paradigm, and an in-depth look at Delta Lake features and functionality. You will learn about applying software engineering principles with Databricks as we demonstrate how to build end-to-end OLAP data pipelines using Delta Lake for batch and streaming data. The course also discusses serving data to end users through aggregate tables and Databricks SQL Analytics. Throughout the course, emphasis will be placed on using data engineering best practices with Databricks.
이 강좌에서는 데이터 아키텍처 개념에 대한 간략한 개요, 레이크하우스 패러다임 소개, 그리고 델타 레이크(Delta Lake) 기능과 활용 방법에 대한 심층적인 내용을 다루게 됩니다. 데이터브릭스(Databricks)를 사용하여 소프트웨어 엔지니어링 원리를 적용하는 방법을 배우고, 델타 레이크를 활용하여 일괄 처리 및 스트리밍 데이터를 위한 엔드투엔드 OLAP 데이터 파이프라인을 구축하는 방법을 시범합니다. 또한 집계 테이블과 데이터브릭스 SQL 분석을 통해 최종 사용자에게 데이터를 제공하는 방법도 다루며, 강좌 전체적으로 데이터브릭스를 사용한 데이터 엔지니어링 모범 사례 활용에 중점을 둘 것입니다.
By the end of the course, students will understand how to apply data engineering best practices within Databricks.
Prerequisites:
Familiarity with data engineering concepts Basic knowledge of Delta Lake core features and use cases
Get better faster with Databricks Academy: https://academy.databricks.com/