Google обновляет правила Robots.txt: что изменилось и что делать?
Совсем недавно Google внёс важные изменения в свою документацию по файлам robots.txt. Это коснулось полей, которые не поддерживаются поисковыми ботами.
Основное обновление: игнорирование неподдерживаемых полей
Теперь всё ясно: любые поля, которые не указаны в официальной документации, Google попросту будет игнорировать. Для вебмастеров это важный сигнал — пора привести свои файлы robots.txt в порядок, если вы до сих пор полагались на какие-то нестандартные директивы. Google ясно дал понять, что:
"Поисковые роботы игнорируют поля, не указанные в официальной документации robots.txt."
Этот шаг — часть большой стратегии по упрощению и уточнению рекомендаций для вебмастеров. Меньше путаницы, больше ясности.
Как это влияет на сайты?
- Используйте только поддерживаемые поля: Это основное правило. Теперь ещё важнее работать с теми директивами, которые официально признаны и задокументированы Google.
- Проверьте свои файлы robots.txt: Проведите тщательный аудит, чтобы исключить неподдерживаемые поля. Не имеет смысла включать то, что не будет работать.
- Понимайте ограничения: Некоторые кастомные или сторонние директивы, которые могли бы помочь в настройке обхода вашего сайта, попросту игнорируются. Это может касаться как популярных директив типа crawl-delay, так и устаревших вроде noarchive.
Поддерживаемые директивы
На сегодняшний день Google официально поддерживает следующие поля в файлах robots.txt:
- user-agent
- allow
- disallow
- sitemap
И да, никаких сюрпризов тут нет — это давно знакомые и привычные директивы.
Популярные исключения
Хотя Google прямо не упомянул некоторые часто используемые директивы, теперь очевидно, что такие популярные настройки, как crawl-delay или host, не работают для его поисковых ботов. Впрочем, они могут быть полезны для других поисковых систем. Но если вы ориентируетесь только на Google — эти директивы можно смело убирать из вашего файла.
Что дальше?
Это обновление — отличное напоминание для всех SEO: всегда нужно следовать официальным рекомендациям, и работать только с теми функциями, которые поддерживаются. Не игнорируйте обновления Google, следите за документацией, проводите регулярные проверки файлов robots.txt.
Ведь как ни крути, корректно настроенный файл robots.txt — это один из важнейших инструментов для управления обходом вашего сайта поисковыми ботами.