Управление вычислениями

Технические аспекты анализа данных зачастую влияют на качество получаемых результатов. В последние годы в центре внимания находятся вопросы обеспечения воспроизводимости и автоматизации анализа – попытки воспроизвести результаты, полученные той или иной группой, часто проваливаются, а анализ больших массивов данных нередко проводится с использованием подручных средств.

Курс состоит из трех модулей, в которых рассматриваются Linux контейнеры и Docker (первый модуль), а также различные подходы к автоматизации процесса вычислений и инструменты, реализующие эти подходы (второй и третий модули). Использование этих инструментов позволяет сделать процесс анализа более воспроизводимым и эффективным.

Введение


1.1 Введение

Контейнеризация и Docker


2.1 Знакомство с Docker


2.2 Работа с файлами в контейнерах Docker


2.3 Взаимодействие контейнеров Docker


2.4 Работа с образами Docker


2.5 Технологические основы и роль контейнеризации

Workflows и Pipelines


3.1 Работа с данными и пайплайны


3.2 Инструменты пайплайнинга и подходы к описанию пайплайнов


3.3 Snakemake: имплицитное описание графа анализа


3.4 Snakemake: создание пайплайнов

Common Workflow Language


4.1 Знакомство с CWL


4.2 Описание инструментов с использованием CWL


4.3 CWL: полезные компоненты


4.4 CWL: создание пайплайнов

Заключение


5.1 Заключение