[Udemy] Web Scraping with Python: BeautifulSoup, Requests & Selenium (1/2018) [Повтор]

Складчина: [Udemy] Web Scraping with Python: BeautifulSoup, Requests & Selenium (1/2018) [Повтор]

Веб-скрапинг с Python: BeautifulSoup, Requests & Selenium (курс обновлен 1/2018)

В этом курсе вы узнаете, как выполнять веб-скрапинг с помощью Python 3 и Beautiful Soup, бесплатной библиотеки с открытым исходным кодом, написанной на Python для синтаксического разбора HTML.

Мы будем использовать lxml, который представляет собой обширную библиотеку для синтаксического разбора XML и HTML-документов очень быстро; он может даже обрабатывать испорченные теги. Мы также будем использовать модуль Requests вместо уже встроенного модуля urllib2 из-за улучшения скорости и удобочитаемости.

Наконец, мы будем использовать Selenium вместе с Beautiful Soup для сканирования страниц AJAX и JavaScript.

Курс охватывает следующие темы: программный доступ к веб-страницам; очистка веб-страниц для извлечения необходимых данных с помощью Beautiful Soup для анализа веб-страниц; взаимодействовать с веб-страницами, чтобы делать с ними разные вещи; и использование Selenium для веб-соскабливания и когда нам это нужно.

По окончании этого курса вы сможете понять, как функционируют веб-сайты и серверы, различные методы извлечения данных и методы обработки и организации данных.

Этот курс Web Scraping охватывает следующие темы:

• Обзор структур данных (списки, словари, кортежи, обработка файлов)
• Как веб-сайты размещаются на серверах
• Вызовы на сервер (методы GET, POST)
• Обзор HTML и CSS
• Обзор модулей модулей и BeautifulSoup
• Анализ HTML с помощью BeautifulSoup
• Фильтрация элементов с помощью BeautifulSoup и перемещение дерева анализа
• Обзор JavaScript и AJAX
• Selenium и необходимость в нем
• Выбор элементов с использованием селена
• Селекторы CSS
• Селекторы XPath
• Навигация по страницам с использованием Selenium
• Практические проекты