Конструкторы для парсинга цен и ассортимента конкурентов: что делать, если они не справляются?
Моя компания занимается парсингом сайтов в России уже более трёх лет, ежедневно мы парсим около 400 крупнейших сайтов в РФ. На выходе мы просто отдаем данные в формате Excel/CSV. Но существуют другие решения - визуальные конструкторы парсеров, правда есть и проблемы с ними...
Комментарий недоступен
Ну смотря какой парсер. Самые простые парсеры на проге можно написать за пол часа(10 типов данных без математики и с нормальным сайтом). На самый сложный у меня уходило 2 дня. А у вас сколько времени уходит на это?
И вот кстати парсинг через регулярки на самом деле не такой эффективный чем структурный через xpath или по post/get. Эти "детские" проги помогают простому человеку, не изучая Php или Phyton, потыкавшись пол часа написать простой парсер. А если человек потыкается часа 3-5, то напишет почти всё что угодно. А сколько время нужно на изучение php?
Парсинг не запрещен. Кроме того, недавно была статья, где ведущие ретейлеры признались что все используют парсинг для мониторинга цен. https://www.vedomosti.ru/business/articles/2017/09/07/732731-robotov-sgovore почитайте.
тогда надо и гугл и яндекс блокировать? Почему им можно интернет парсить?)