Веб-скрейпинг: как бесплатно спарсить и извлечь данные с сайта
Часто у вебмастера, маркетолога или SEO-специалиста возникает необходимость извлечь данные со страниц сайтов и отобразить их в удобном виде для дальнейшей обработки. Это может быть парсинг цен в интернет-магазине, получение числа лайков или извлечение содержимого отзывов с интересующих ресурсов.
Андрей, простите что не совсем по теме статьи, но вам что-то нужно делать со стабильностью(?) ваших продуктов. Что скрэйпер, что сайтаналайзер не справляется с сайтами больше 500К страниц (ИМ чуть больше среднего). Уже не первый раз оставляю работать на ночь, прихожу утром и вижу что приложение упало.
По функционалу и скорости работы ваши решения мне нравятся сильно больше, чем аналоги. Ровно то, что нужно и ничего лишнего. Но каждый раз после тестов приходится возвращаться к нетпикам/датаколам, обидно.
Благодарю за отзыв, над стабильностью работаем, это вопрос времени.
Как раз в скрейпере выложили обновление - устранили утечки памяти.