Как управлять индексацией страниц и файлов через HTTP-заголовки?

В данной статье мы рассмотрим что такое HTTP-заголовки, как с их помощью управлять индексацией страниц, указывать каноничные и альтернативные версии страниц на других языках, а также косвенно снижать нагрузку на серверы больших сайтов.

Спойлер: все это используется не часто и в основном в Google. Однако часть этих способов работают в Яндекс и Bing. Также важно знать об HTTP-заголовках при проведении SEO аудита.

HTTP-заголовки (HTTP Headers) - это информация, которой обмениваются сервер и клиент (ваш браузер, например). Обычно в ней содержатся сведения о запрошенной странице, сервере, браузере и многом другом.

Вы можете посмотреть HTTP-заголовки в сервисе bertal.ru, в Chrome по Ctrl+Shift+I и в других инструментах.

При помощи HTTP-заголовков ответа сервера можно передавать поисковым системам директивы, важные для индексации страниц сайта. Обычно эти сведения указываются в html коде страниц в разделе head при помощи тегов meta и link (meta robots, canonical, alternate hreflang).

Что можно сообщить поисковым системах с их помощью:

1. Сведения из HTTP-заголовков передаются ботам поисковых систем еще до загрузки кода страницы. Соответственно никак не зависят от рендеринга страницы.

2. HTTP-заголовки применяются для управления индексацией не html-файлов.

3. Обработка HTTP-заголовка If-Modified-Since в запросе к серверу оказывает влияние на крупные сайты с большой нагрузкой со стороны умных ботов (которые поддерживают отправку If-Modified-Since) и косвенно ускоряет индексацию новых и обновленных страниц.

Также следует помнить о HTTP-заголовках при проведении SEO аудита и обращать на них внимание при проблемах с индексацией страниц и каноничности. Ведь никогда не знаешь что использовал другой SEO-специалист до тебя.

X-Robots-Tag - это HTTP-заголовок ответа сервера, который применяется с целью управлением индексации страниц в поисковых системах. Поддерживается в Google, в Яндексе и в Bing.

X-Robots-Tag выглядит в ответе сервера следующим образом:

В данном заголовке указывается тоже самое, что и в теге meta robots. Полный перечень возможных директив см. в первоисточнике .

В ряде случаев X-Robots-Tag более полезен, чем meta robots, а иногда и вовсе не имеет альтернатив:

1. Удаление из индекса части разделов сайта и доменов целиком. Бывает, что быстрее на уровне сервера добавить строку в http-ответ, чем работать с бэкэндом.

2. Трудности с настройкой meta name="robots". Например, команда разработчиков занята, утеряны доступы к CMS и т.п.

3. Управление индексацией не html-файлов, например, pdf, xls и так далее. Здесь X-Robots-Tag не имеет альтернатив, ведь meta name="robots" можно использовать только для html страниц.

Это полный аналог тега link с атрибутом rel="canonical" в разделе head html кода страницы.

Выглядит в ответе сервера следующим образом:

Поддерживается в Google, в Яндекс и скорее всего не поддерживается в Bing.

1. Подклейка доменов, разделов или страниц, html код которых недоступен для Google.

Например, на поддомене у вас есть онлайн-приложение на страницы которого ссылается большое количество доменов. Но приложение сделано на скриптах и при запросе страницы Googlebot не получает нужный html код. Как передать ссылочный вес на основной домен в этом случае? Выход - использовать HTTP-заголовок для подклейки страницы туда, где ссылки будут вам более нужны. Однако вероятность подклейки все равно будет далеко не 100%.

2. Указание каноничной версии страницы в случае прочих сложностей настройки тега в head.

3. Указание каноничной версии не html-файлов, например, pdf, xls, png и так далее.

Эту возможность опять же можно использовать для перелива ссылочного веса, особенно если вы размещаете отраслевые отчеты, прогнозы или другую аналитику в pdf и получаете на них много качественных входящих ссылок.

Это опять же аналог, но уже мета-тега link с rel="alternate" и hreflang. Поддерживается в Google, в Яндекс и Bing скорее всего не поддерживаются. Используется для указания альтернативных страниц на других языках

Выглядит в ответе сервера как строка, в которой все варианты страницы на разных языках перечисляются через запятую, а их атрибуты - через точку с запятой.

Используется в случае сложностей указания языковых версий другими способами. На всякий случай добавлю, что другие способы - это теги в head html кода и теги xhtml:link в sitemap.xml.

В случае If-Modified-Since речь именно про обработку HTTP-заголовка в запросе к серверу, а не про ответ сервера, как в предыдущих 3 пунктах.

Бот или браузер отправляет серверу запрос, содержащий в заголовке If-Modified-Since дату и время последнего сканирования страницы. Если запрашиваемая страница не была обновлена за это время и на сервере настроена обработка If-Modified-Since, то по запросу отдается статус HTTP 304 (Not Modified) без html кода страницы.

Таким образом экономится ресурс сервера и эта экономия становится заметной если на сайте более 500К-1М страниц. Если же страницы была изменена (был обновлен контент), то отдается HTTP код 200 (OK) и код страницы для скачивания и последующей переиндексации.

Соответственно и в HTTP-заголовке ответа сервера Last-Modified должна передаваться корректная дата изменения страницы.

В ответе сервера Last-Modified выглядит следующим образом:

Пост Джона Мюллера о данных HTTP-заголовках:

Ссылка на сообщение, а также официальная информация от Google.

В хелпе Яндекса содержится аналогичная информация:

В большинстве случаев для SEO целей рекомендуется настраивать теги в разделе html кода страниц. Но если это сделать невозможно, а также в некоторых специфических случаях, настройка HTTP-заголовков ответа сервера будет хорошей помощью SEO специалисту.

Настройка отдачи Last-Modified и обработки If-Modified-Since может снизить нагрузку на ваш сервер и серверы поисковых ботов, что косвенно может положительно повлиять на ускорение индексации новых страниц и переиндексации имеющихся.

П.С. Заглядывайте на мой канал о зарубежном SEO https://t.me/goburzhseo, где я в более краткой форме делюсь информацией и практическими советами по продвижению в Google