Спам, звонки, мошенники — да когда уже запретят парсинг?
Меня зовут Максим Кульгин, моя компания xmldatafeed занимается парсингом сайтов в России много лет. Ежедневно мы парсим ассортимент с более 500 крупнейших интернет-магазинов и собираем открытые данные с 5.5 млн. сайтов в Рунете. Иногда мы получаем волну ненависти в комментариях. Нас необоснованно обвиняют и в том, что стало невозможно брать трубку,…
От парсинга нельзя защитится но можно его сильно замедлить:
1) ограничение количества запросов с одного айпи
2) медленная выдача инфы
3) выдача инфы через js скрипты и клики
4) выдача инфы в iframe
5) генерация со страницы медленных скрытых запросов на другие сайты
6) код в виде webassember
7) лоадер с видео/картинкой требующий клика и передающий дальше код
И тд