[Питер] Современный скрапинг веб-сайтов с помощью Python [Райан Митчелл]

Современный скрапинг веб-сайтов с помощью Python



Митчелл Р.
Тема: Бестселлеры O'Reilly
Год: 2021
Страниц: 336
Обложка: Мягкая обложка
Формат: 165х233 мм
ISBN: 978-5-4461-1693-5
Электронная книга (pdf+epub)

Если программирование напоминает волшебство, то веб-скрапинг — это очень сильное колдунство. Написав простую автоматизированную программу, можно отправлять запросы на веб-серверы, запрашивать с них данные, а затем анализировать их и извлекать необходимую информацию. Новое расширенное издание книги знакомит не только с веб-скрапингом, но и поможет собрать любого вида данные в современном Интернете. В части I основное внимание уделено механике веб-скрапинга: как с помощью Python запрашивать информацию с веб-сервера, производить базовую обработку серверного отклика и организовать автоматизированное взаимодействие с сайтами.

В части II исследованы более специфичные инструменты и приложения, которые пригодятся при любом сценарии веб-скрапинга.- Разбирайте сложные HTML-страницы.- Разрабатывайте поисковые роботы с помощью фреймворка Scrapy.- Изучайте методы хранения данных, полученных с помощью скрапинга.- Считывайте и извлекайте данные из документов.- Очищайте и нормализуйте плохо отформатированные данные.- Читайте и пишите информацию на естественных языках.- Освойте поиск по формам и логинам.- Изучите скрапинг JavaScript и работу с API.- Используйте и пишите программы для преобразования изображений в текст.- Учитесь обходить скрапинговые ловушки и блокаторы ботов.- Протестируйте собственный сайт с помощью скрапинга.

Скрытая ссылка