В этой статье я постараюсь наиболее просто рассказать о парсинге сайтов и его основных нюансах. Моя компания занимается парсингом сайтов уже более трёх лет и ежедневно мы парсим около 300 сайтов.
А если не тайна, что используете?) Scrapy?
нет, у нас свой движок на .net
Scrapy хорош. В умелых руках. И при правильной организации работы.