Мониторинг и логирование в Docker

Курс посвящен мониторингу и логированию. Это одни из самых популярных запросов, которые могут встретиться в работе. Когда вы обслуживаете инфраструктуру проекта, вам необходимо постоянно отслеживать ситуацию и быстро реагировать на возникающие проблемы.

В этом курсе мы научимся:
- работать с системой мониторинга Prometheus,
- подключать к ней экспортеры,
- настраивать алерты с помощью alertmanager.

Помимо этого мы обсудим варианты визуализации с помощью grafana и общедоступных dashboards.

Во второй части курса мы детально разберемся с популярной базой для хранения документов - opensearch, а так же научимся сохранять в ней логи с помощью fluentbit, который мы будем запускать в кластере swarm.

В заключение мы обсудим, как реализовать highload-решения для сбора логов с помощью kafka.

• Мониторинг Docker
• На первой неделе нас ждет тема мониторинга. Мы рассмотрим основные системы, которые позволяют вам собирать метрики с ИТ инфраструктуры. После этого изучим Prometheus - на данный момент это основной инструмент для мониторинга. Помимо этого, мы запустим экспортеры разного уровня - для мониторинга системы, сервисов и собственных приложений. Также мы разберемся с языком запросов PromQL: рассмотрим типы данных, операторы, встроенные функции и типы метрик. В заключение мы поговорим про правила оповещения и научимся настраивать Alertmanager.
• Визуализация метрик
• На второй неделе мы погрузимся в процесс визуализации данных. Изучим основные инструменты, которые позволят вам строить графики, а также подробно рассмотрим Grafana - как стандарт для визуализации в индустрии. После этого мы интегрируемся с Prometheus для забора данных, научимся создавать дашборды, строить графики и выполнять ad-hoc запросы. По итогу мы также поговорим о том, как создавать правила оповещений через веб-интерфейс.
• Логирование в docker
• Третья неделя посвящена логированию. Мы начнем обзор темы с архитектуры логирования и рассмотрим основные инструменты, которые вы сможете применять в своей работе. В середине недели мы начнем подробно изучать базу данных для хранения логов - OpenSearch. Мы научимся ее устанавливать, работать с API и даже создадим собственный кластер, состоящий из двух нод. В завершение мы интегрируем Grafana и OpenSearch Dashboards с OpenSearch для визуализации логов, поступающих с наших систем
• Отправка логов в elastic
• На четвертой, заключительной неделе, мы сосредоточим свое внимание на сборе логов с различных систем. Мы рассмотрим основные приложения, которые позволяют собирать логи, а также детально разберем утилиту fluent-bit. В середине недели мы интегрируем ее в кластер Swarm для сбора логов, настроим центральный лог сервер и научимся отправлять сообщения с помощью докера, используя log driver fluentd. В заключение мы обсудим варианты работы с highload проектами и решим вопрос большой нагрузки при приеме логов.
• Заключительный модуль