Как боты парсят ваши сайты и обходят защиту? Рассказываем в деталях

Меня зовут Максим Кульгин и моя компания xmldatafeed занимается парсингом сайтов в России порядка четырех лет. Ежедневно мы парсим более 500 крупнейших интернет-магазинов в России и на выходе мы отдаем данные в формате Excel/CSV и делаем готовую аналитику для маркетплейсов.

3939

"Вы даже можете прикидываться поисковым роботом Google — Googlebot/2.1, если хотите немного поразвлечься"  
Как?

1
Ответить

Установкой User-Agent

1
Ответить

да, ставьте user agent равным гугл-боту. хотя это в общем-то просто развлечение, но иногда поможет обойти защиту

1
Ответить