Парсили сайты, парсим и будем парсить. И не нужно этому мешать!
Здравствуйте, меня зовут Максим Кульгин. Моя компания xmldatafeed.com занимается парсингом много лет. На днях мы вернули 16 000 руб. клиенту, так как не смогли парсить весь iherb.com с нужной клиенту скоростью. Проверил и оказалось, что это единичный случай за весь год и родилась эта, чуть-чуть философская статья.
«Во-вторых, поскольку невозможно провести юридически ясную черту между хорошими и плохими роботами» - юридически, пока - да. Практически все роботы, кроме роботов поисковых систем должны и идут в жопу.
а как же рейтинги сайтов? similarweb например - тоже в ж***?
—-
opps! с водой ребенка выплеснули