Serverless Data Processing with Dataflow: Operations em Português Brasileiro

Na última parte da série de cursos do Dataflow, vamos abordar os componentes do modelo operacional do Dataflow. Veremos ferramentas e técnicas para solucionar problemas e otimizar o desempenho do pipeline. Depois analisaremos as práticas recomendadas de teste, implantação e confiabilidade para pipelines do Dataflow. Por fim, faremos uma revisão dos modelos, que facilitam o escalonamento dos pipelines do Dataflow para organizações com centenas de usuários. Essas lições garantem que a plataforma de dados seja estável e resiliente a circunstâncias imprevistas.

• Introduction
• Este módulo mostra o resumo do curso
• Monitoring
• Neste módulo, aprendemos a usar a página Lista de jobs para filtrar os jobs que queremos monitorar ou investigar. Vimos como as guias Gráfico de job, Informações do job e Métricas do job mostram um resumo abrangente do job do Dataflow. Por fim, aprendemos a usar a integração do Dataflow com o Metrics Explorer e criar políticas de alertas para as métricas do Dataflow.
• Logging e Error Reporting
• Neste módulo, aprendemos a usar o painel Registro na parte inferior das páginas Gráfico de job e Métricas do job e mostramos a página centralizada Error Reporting.
• Solução de problemas e depuração
• Neste módulo, vamos aprender a resolver problemas e depurar pipelines do Dataflow. Também vamos analisar os quatro modos comuns de falha do Dataflow: ao criar o pipeline, ao iniciar o pipeline no Dataflow, durante execução do pipeline e problemas de desempenho.
• Desempenho
• Neste módulo, veremos as considerações de desempenho que devemos saber ao desenvolver pipelines em lote e de streaming no Dataflow.
• Testes e CI/CD
• Este módulo vai mostrar o teste de unidade dos pipelines do Dataflow. Também vamos abordar os frameworks e os recursos disponíveis para otimizar o fluxo de trabalho de CI/CD dos pipelines do Dataflow.
• Confiabilidade
• Neste módulo, veremos os métodos para criar sistemas resilientes a dados corrompidos e falhas temporárias do data center.
• Modelos Flex
• Este módulo aborda os modelos Flex, um recurso que ajuda as equipes de engenharia de dados a padronizar e reutilizar o código de pipeline do Dataflow. Vários desafios operacionais podem ser resolvidos com esses modelos.
• Summary
• Este módulo faz uma revisão dos temas abordados no curso.