Serverless Data Processing with Dataflow: Operations - 日本語版

Dataflow シリーズの最後のコースでは、Dataflow 運用モデルのコンポーネントを紹介します。パイプラインのパフォーマンスのトラブルシューティングと最適化に役立つツールと手法を検証した後で、Dataflow パイプラインのテスト、デプロイ、信頼性に関するベスト プラクティスについて確認します。最後に、数百人のユーザーがいる組織に対して Dataflow パイプラインを簡単に拡張するためのテンプレートについても確認します。これらの内容を習得することで、データ プラットフォームの安定性を保ち、予期せぬ状況に対する回復力を確保できるようになります。

• はじめに
• このモジュールではコースの概要を説明します。
• モニタリング
• このモジュールでは、ジョブリストのページを使用して、モニタリングまたは調査を行うジョブをフィルタする方法を学習します。ジョブグラフ、ジョブ情報、ジョブの指標の各タブがどのように連携して Dataflow ジョブの包括的な概要を提供しているかを見ていきます。最後に、Dataflow と Metrics Explorer との統合を利用して、Dataflow 指標のアラート ポリシーを作成する方法を学びます。
• ロギングと Error Reporting
• このモジュールでは、ジョブグラフ ページとジョブの指標ページの両方の下部にあるログパネルの使用方法と、一元化されたエラーレポート ページについて学習します。
• トラブルシューティングとデバッグ
• このモジュールでは、Dataflow パイプラインのトラブルシューティングとデバッグの方法を学習します。また、Dataflow における 4 つの一般的な障害モード（パイプラインの構築に関する障害、Dataflow でのパイプラインの開始に関する障害、パイプライン実行中の障害、パフォーマンスの問題）についても確認します。
• パフォーマンス
• このモジュールでは、Dataflow でバッチ パイプラインとストリーミング パイプラインを開発する際に配慮すべきパフォーマンスの注意事項について説明します。
• テストと CI / CD
• このモジュールでは、Dataflow パイプラインの単体テストについて説明します。また、Dataflow パイプラインの CI / CD ワークフローを合理化するために利用できるフレームワークと機能も紹介します。
• 信頼性
• このモジュールでは、破損したデータやデータセンターの停止に対して復元性の高いシステムを構築する方法について説明します。
• Flex テンプレート
• このモジュールでは、Flex テンプレートについて説明します。Flex テンプレートは、データ エンジニアリング チームが Dataflow パイプライン コードを標準化して再利用するのに役立つ機能であり、このテンプレートを使用すると、運用上の多くの課題を解決できます。
• まとめ
• このモジュールでは、コースで扱ったトピックを再確認します。