Создаем Web Crawler при помощи языка Python

В этом курсе вы изучите основные библиотеки для реализации краулера и узнаете, какие "подводные камни" есть у этого процесса и какие готовые инструменты можно использовать.

Вы будете работать с API, определять его адрес на сайте и использовать его. Узнаете о методах защиты API и о том, как их обходить.

Вы разберете большое количество примеров и способов обходить защиту в той или иной ситуации и будете уметь строить проект таким образом, чтобы его легко можно было масштабировать.

Курс рассчитан на IT-специалистов, в т.ч. веб-разработчиков, специалистов по безопасности и желающих ими стать.

• Основные инструменты и понятия для работы с Web Crawler
• На первой неделе вы разберете основные понятия и инструменты, необходимые для реализации краулера, будете работать с библиотеками Scapy и Selenium, а также научитесь реализовывать простой краулер, работающий с многостраничным сайтом
• Реализация Web Crawler для сбора всех ссылок на сайте
• Вторая неделя посвящена реализации и анализу краулеров для сбора ссылок на сайте. На этой неделе вы напишете краулер, который находит все ссылки и очищает их, реализуете краулер с использованием библиотеки Scrapy и реализуете брут-форс для поиска адресов сайта.
• Реализация Web Crawler для работы с уязвимостями в API
• Третью неделю вы будете изучать, как выявить на сайте API и реализовать краулер для взаимодействия с ним. По итогу вы научитесь анализировать API на предмет уязвимости, реализуете на python взаимодействие с уязвимыми API
  и примените уязвимости в API.
• Реализация сложных проектов. Обход защиты серверов
• Четветрая неделя позволит вам разобрать более сложные инструменты для реализации краулеров. Вы научитесь использовать дополнительные инструменты Scrapy для реализации более сложных проектов, научитесь находить и считать данные с API сервиса и реализовывать краулер с использованием Selenium для взаимодействием с js страницы