Building Batch Data Pipelines on Google Cloud - 한국어

Data pipelines typically fall under one of the Extract and Load (EL), Extract, Load and Transform (ELT) or Extract, Transform and Load (ETL) paradigms. This course describes which paradigm should be used and when for batch data. Furthermore, this course covers several technologies on Google Cloud for data transformation including BigQuery, executing Spark on Dataproc, pipeline graphs in Cloud Data Fusion and serverless data processing with Dataflow. Learners get hands-on experience building data pipeline components on Google Cloud using Qwiklabs.

• 소개
• 이 모듈에서는 과정과 주제를 소개합니다.
• 일괄 데이터 파이프라인 빌드 소개
• 이 모듈에서는 데이터를 로드하는 다양한 방법인 EL, ELT, ETL을 살펴보고 언제 어떤 방식을 사용해야 하는지 알아봅니다.
• Dataproc에서 Spark 실행
• 이 모듈에서는 Dataproc에서 Hadoop을 실행하는 방법, Cloud Storage를 활용하는 방법, Dataproc 작업을 최적화하는 방법을 알아봅니다.
• Dataflow를 사용한 서버리스 데이터 처리
• 이 모듈에서는 Dataflow를 사용해 데이터 처리 파이프라인을 빌드하는 과정을 다룹니다.
• Cloud Data Fusion 및 Cloud Composer를 사용한 데이터 파이프라인 관리
• 이 모듈에서는 Cloud Data Fusion 및 Cloud Composer를 사용해 데이터 파이프라인을 관리하는 방법을 알아봅니다.
• 과정 요약
• 과정 요약
• 과정 리소스
• 모든 모듈의 PDF 링크