Кейс: как мы удалили карту сайта и улучшили посещаемость поисковым роботом Googlebot в два раза
DOM.RIA.com — это маркетплейс недвижимости. Ежедневно на сайт добавляются тысячи объявлений о продаже и аренде недвижимости. Структура сайта очень большая и сложная. Потому чтобы обеспечить свежесть контента в поиске, нужно максимально улучшать сканирование сайта поисковыми роботами.
Под термином «поисковый робот» (иногда его также называют просто роботом или «пауком») понимается любая программа, которая автоматически обнаруживает и сканирует сайты, переходя по ссылкам от страницы к странице. Основной поисковый робот Google называется Googlebot.
В чем состоит задача?
Недвижимость зависит от географии расположения. Соответственно, все страницы имеют вертикаль (Например, город -> район -> микрорайон -> станция метро и так далее). Поэтому продвигаемые каталоги не всегда находятся за три клика от главной, что, в свою очередь, затрудняет поисковым роботам находить и сканировать такие каталоги.
Изучив семантику, решили расширить структуру такими каталогами:
● недвижимость по улицам городов;
● недвижимость по переулкам городов;
● недвижимость по номеру дома в городе.
Но без проблем не обошлось. Когда каталоги уже были созданы, страницы плохо индексировались, и бот очень редко посещал их.
Для облегчения доступа поисковым роботам к страницам сайта, когда-то была создана карта сайта с ссылкой в футере и выглядела как список линков.
Карта сайта Dom.ria
Вроде бы — проблема решена, все линки находятся за 2-3 клика от главной страницы, но нет. Так как DOM.RIA большой, соответственно и карта сайта немаленькая — вмещала в себе несколько десятков страниц пагинации. Но бот упорно не хотел ходить по страницам пагинации карты сайта.
Таким образом, за 15 дней бот посетил:
всего 525 000 страниц улиц;
всего 10 000 страниц метро;
- всего 196 000 страниц районов.
Логи посещения ботом каталогов улиц
И только 16 страниц из карты сайта бот посетил за 15 дней.
Логи посещения карты сайта ботом
Такой результат нас не устраивал — это очень мало, учитывая географию Украины.
Переосмысление внутренней перелинковки
При помощи анализа логов сервисом JetOctopus, мы знали, что чаще всего поисковый бот посещает страницы городов, областей и тому подобное. Например, за тот же период времени гуглбот посетил 1 048 000 каталогов по продаже недвижимости.
Логи посещения ботом каталогов по продаже недвижимости
Исходя из данной информации, мы решили создать мини карты сайтов на каждом каталоге по городу, включив туда урлы по улицам, районам, метро и т.д., которые плохо сканируются.
Прописали им метатеги, а также добавили ссылки на страницы, которые гугл часто посещает.
Пример того, как перелинковали страницы
При этом карту сайта удалили как бесполезную.
Как изменилось посещение ботом?
Через 15 дней после изменений, за аналогичный период (15 дней) увидели следующие результаты:
всего 1 398 000 страниц улиц (+266%);
всего 23 000 страниц метро (+230%);
- всего 450 000 страниц районов (+230%);
Логи посещения ботом страниц улиц после эксперимента
Дальнейшие планы
В качестве бонуса хабовые страницы начали ранжироваться по ряду ключевых слов и приносить клики.
Страница в выдаче google
Значит, пользователям такие страницы интересные. Поэтому в планах сделать не просто полотно ссылок, а полноценные лендинги, которые позволят удовлетворить запросы пользователей. Для этого в планах несколько задач:
собрать релевантную семантику, оптимизировать под нее метатеги-
- запилить дизайн, навигацию и так далее;
- дополнить страницы релевантным контентом;
- продолжить работы с внутренней перелинковкой.