Обработка больших данных
Offered By: Higher School of Economics via Coursera
Course Description
Overview
Ключ к успешному развитию любой компании в современном мире — это умение делать быстрые и правильные решения, основываясь на данных. С каждым годом этих данных становится всё больше, при этом старые методы анализа перестают адекватно работать на таких объемах.
На этом онлайн-курсе НИУ ВШЭ мы изучим основные технологии и приемы, позволяющие эффективно хранить и обрабатывать огромные массивы информации. Мы также обсудим, откуда данные вообще возникают, как их собирать и какая инженерная подготовка требуется для безболезненной работы с этими технологиями.
На этом онлайн-курсе НИУ ВШЭ мы изучим основные технологии и приемы, позволяющие эффективно хранить и обрабатывать огромные массивы информации. Мы также обсудим, откуда данные вообще возникают, как их собирать и какая инженерная подготовка требуется для безболезненной работы с этими технологиями.
Syllabus
- Базовые подходы к хранению и извлечению информации
- На этой неделе мы познакомимся с SQL и NoSQL базами данных и извлечением информации из Интернета. Ведь большие данные откуда-то нужно брать.
- Bash для инженера данных
- На этой неделе мы научимся работать с командной строкой в bash. Это очень полезное умение, которое пригодится на протяжении всего курса.
- Начало работы с большим объемом данных: Hadoop, MapReduce
- В этом модуле разберемся, как устроены два важных компонента экосистемы Hadoop: файловая система HDFS и API для вычислений MapReduce. Посмотрим, почему они устроены именно так и почему горизонтальная масштабируемость – это хорошо.
- Знакомство со Spark
- На этой неделе разберем фреймворк для распределенных вычислений Spark. С ним сильно проще работать из Python и он умеет много всего.
- Продвинутое использование Spark
- На этой неделе на примере задачи классификации текстов посмотрим, что еще умеет Spark и как это помогает решать задачи машинного обучения.
Taught by
Andrei Zimovnov
Tags
Related Courses
Hadoop Quick StartA Cloud Guru Aspectos básicos de AWS Hadoop (Español de España) | AWS Hadoop Fundamentals (Spanish from Spain)
Amazon Web Services via AWS Skill Builder Aspectos básicos de AWS Hadoop (Español LATAM) | AWS Hadoop Fundamentals (LATAM Spanish)
Amazon Web Services via AWS Skill Builder AWS Hadoop Fundamentals
Amazon Web Services via AWS Skill Builder AWS Hadoop Fundamentals (French)
Amazon Web Services via AWS Skill Builder