Новости парсинга

Любимые наши сайты объявлений продолжают активно изменять свое внутреннее сайтоустройство и Робастик оперативно подстраивается. Пользователи предпочитают сообщать о необходимости настройки парсинга в личной переписке, так что внешне не понятно → есть еще тут жизнь или все уже разошлись.

За последние дни в настройке парсинга можно отметить:

→ Восстановлена загрузка поля Назначение для земли.

→ Широта и долгота ошибочно загружались для выбранного региона, т.е. для всех объектов координаты были одни и те же. Теперь координаты соответствуют объекту.

Сообщили о проблеме в связи с функцией тепловой карты цен. После поста с инструкцией о том, как скачать объявления в Excel и построить из них карту цен без программирования макросов интерес к этой возможности оказался высоким.

→ В экспериментальной опции Полные данные для Авито сокращен объем заведомо ненужных колонок.

Смысл опции в том, что при загрузке всех доступных данных изменения в структуре сайта не приводят к потере данных. Например, в полном наборе данных было и потерянное назначение земли, и перепутанные координаты объектов.

→ Получилось вручную составить ссылку для загрузки одновременно продажи и аренды коммерческой недвижимости. Проблема была в том, что парсить одновременно аренду и продажу двумя ссылками для одного региона технически невозможно, а получить ссылку на объединенные данные на Авито тоже нельзя.

→ Добавлен региональный сайт недвижимости Ykt.ru.

Будем надеяться, что и для других региональных сайтов тоже найдутся спонсоры)

Не смотря на очевидную, вроде бы, пользу публикаций об очередной донастройке парсинга, они фактически утратили смысловую нагрузку, т.к. каждая подстройка предназначена для узкого сегмента пользователей. Заполнение каналов коммуникаций однотипными постами не нравится никому. Да и повторять их по всем каналам → та еще рутина.

В таких обстоятельствах стоит повторить пожелание пользователям → общаться по всем вопросам преимущественно публично. То есть лучше писать не на почту и в личку, а на страницах Робастика в ФБ, ТГ, ВК, Дзене и на Аппрайзере. Вопросы и пожелания можно оформить и как посты со скринами для объяснения ситуации, и как комменты к постам с уже раскрытыми темами. При такой публичности будет информировано большее количество коллег, которые сами постеснялись требовать внимания к своим вопросам и пожеланиям.

В поддержку ленивых и стеснительных коллег также предполагается ввести плату за использование Робастика → чтобы побудить их к проявлению своей внутренней сучности с вовлечением в активную коммуникацию по отстаиванию своих потребительских прав)

В заключение → традиционная памятка:

***

Для получения обновления в меню Робастика О Робастике кликнуть кнопку Обновить сейчас.

***

Изменения на сайтах происходят постоянно и это неизбежно сказывается на работе парсеров. Изменения структуры данных, настройка прав доступа, оптимизация нагрузки, защита от деструктивных действий и многие другие незаметные внешне изменения - это обычная каждодневная жизнь IT-сервисов.

Часто эти изменения приводят к отсутствию некоторых данных в скачиваемой информации, нарушают действия на странице (например, открытие номера телефона) или выводят мешающее на скриншоте всплывающее окно.

По этой причине к сбоям парсинга надо относиться как к нормальному явлению. При обнаружении сбоя надо сразу сообщать о нем с указанием:

Сообщить о сбое можно в любом удобном канале:

Сразу сообщайте обо всех неполадках в Робастике и это поможет его сделать лучше для вас!