Практическое руководство: настраиваем мгновенную индексацию сайта в Яндекс, Google, Bing

В этой статье я расскажу как автоматически передавать информацию о новом, изменившемся или удаленном контенте поисковым системам, и сделать индексацию сайта практически мгновенной.

Яндекс и Bing используют протокол с открытой лицензией для быстрого уведомления поисковых систем об изменениях на сайте. Перед отправкой запросов необходимо подтвердить права на сайт через специальный ключ. В дальнейшем обмен данными будет происходить через API.

Да, в Bing Webmaster Tools (BWT) желательно зарегистрировать свой сайт и пользоваться быстрой индексаций. В некоторых нишах в рунете из Bing есть трафик и конверсии.

Процесс настройки идентичен для обеих поисковых систем:

Сгенерировать ключ. Это случайный набор символов исключительно из диапазонов a-z, A-Z , 0-9. Длина ключа находится в диапазоне от 8 до 128 символов. Пример: 76934bb5f78b405dac82129a90a6ec51.
Создать файл с ключом и положить в корень сайта. Создаем txt файл в кодировке UTF-8. В качестве названия и содержимого используем ключ. Пример: 76934bb5f78b405dac82129a90a6ec51.txt. Заливаем файл в корневой каталог, где располагаются все файлы сайта. Файл должен быть доступен по адресу https://site.ru/76934bb5f78b405dac82129a90a6ec51.txt. Тем самым подтверждаются права на сайт. Можно разместить файл в конкретной категории сайта. Тогда отправка запросов на быструю индексацию будет осуществляются для URL только из этой категории.
Отправляем URL на индексацию в Яндекс. Пример запроса: https://yandex.com/indexnow?url=https://site.ru/new-page&key=76934bb5f78b405dac82129a90a6ec51.
Отправляем URL на индексацию в Bing. Пример запроса: https://www.bing.com/indexnow?url=https://site.ru/new-page&key=76934bb5f78b405dac82129a90a6ec51.

Настроить сканирование через IndexNow также можно через плагины для популярных CMS:

1С-Битрикс - Picom, Reindex;
WordPress - IndexNow;
UMI.CMS - IndexNow;
Moguta.CMS - IndexNow.

В одном запросе можно отдавать на приоритетную индексацию до 10 000 URL. Спамить не стоит, поисковые системы могут ограничить квоту.

Старые страницы также не рекомендуется отправлять, особенно если они уже есть в индексе. Это влечет нерациональное использование мощностей поисковых систем.

Стоит отметить, что использование протокола IndexNow не гарантирует 100% попадания в индекс той или иной страницы. Это всего лишь указывает поисковым роботам на приоритезацию индексирования URL, и не отменяет требований к качеству страницы и контента.

Несколько лет назад у Яндекса с этим были проблемы, он неохотно индексировал новые URL и обновлял старые через протокол IndexNow. Сейчас на практике качественные страницы довольно быстро попадают в индекс Яндекса и Bing и начинают ранжироваться в течении суток.

Indexing API позволяет отправлять новые, обновленные или удаленные URL на приоритетную индексацию в Google. Данный метод работает намного быстрее, чем автоматическое обновление через sitemap.xml.

Робот Google не часто сканирует sitemap.xml на наличие изменений, поэтому новые страницы могут не ранжироваться месяцами.

Процесс настройки состоит из следующих блоков: создание сервисного аккаунта, получение JSON-ключа, подключение Indexing API к GSC, установка node.js и отправка URL на индексацию.

Создаем сервисный аккаунт. Переходим на Google Cloud Platform и нажимаем Create Project. Вводим произвольное название проекта. Затем нажимаем Create Service Account с ролью Owner.
Получаем JSON-ключ. Нажимаем на три точки в столбце Actions и выбираем Manage keys, затем Add key -> Create new key. Скачиваем файл с JSON-ключом.
Связываем Indexig API и GSC. В GSC заходим в Настройки -> Пользователи и разрешения, жмем Добавить пользователя. Берем e-mail сервисного аккаунта и предоставляем полный доступ. Переходим обратно в GCP и включаем Indexing API через кнопку Enable.
Устанавливаем node.js. Качаем под свою OS тут и устанавливаем. Затем качаем скрипт массовой отправки URL через node.js с GitHub. Далее нужно открыть командную строку или терминал, перейти в папку с скриптом (команда cd *полный путь до папки*) и выполнить 3 команды: npm install requests, npm audit fix, npm audit fix --force. После успешного выполнения в папке с скриптом появится папка node_modules.
Отправляем URL через Google Indexing API. Заходим в папку с скриптом из пункта выше, Открываем файл service_account.json и копируем в него содержимое JSON-ключа из пункта выше. В файл urls.txt добавляем наши URL, которые хотим проиндексировать. Далее нужно открыть командную строку или терминал, перейти в папку с скриптом (команда cd *полный путь до папки*) и выполнить команду: node index.js.

Отправлять URL на индексацию также можно через плагины для CMS. Их существует довольно много. Для этого все равно придется создать сервисный аккаунт и получить JSON-ключ.

Квота в Google составляет 200 URL в сутки и 100 URL за одну выгрузку. Также, как и в IndexNow, данный метод не гарантирует 100% индексации в эту же секунду. Мы всего лишь ставим самый высокий приоритет индексации для Googlebot, а дальше он действует на свое усмотрение.

На скриншоте ниже показан пример использования Indexing API для небольшого сайта.

По мере добавления контента все новые URL сразу отправлялись на индексацию через Indexing API.

Яндекс.Вебvастер - перейти в Индексирование -> Переобход страниц.
GSC - в верхнюю строку проверки URL ввести адрес и нажать Запросить индексирование.
BWT - перейти в раздел Отправка URL-адреса, нажать Отправить URL-адреса.

Важные money-страницы быстрее попадают в индекс, быстрее обновляется контент, быстрее удаляются ненужные URL.
Минимизируются проблемы с определением сайта-первоисточника и воровством контента.
Массовое первичное добавление страниц в индекс позволяет быстро нарастить трафик из поисковых систем.

Другие статьи:

Практическое руководство: настраиваем мгновенную индексацию сайта в Яндекс, Google, Bing

Настройка IndexNow

Настройка Google Indexing API

Приоритетная индексация страниц вручную

Бонусы от быстрой индексации сайта