Легко и быстро создаем правильный файл - ROBOTS.TXT

Файл robots.txt - это текстовый документ, разработанный для обмена информацией между веб-пауками (поисковыми системами, роботами и аналогичными сущностями) и вашим веб-сайтом. В этой текстовой конфигурации содержатся инструкции для веб-пауков, определяющие, какие страницы подлежат индексации, а какие должны быть исключены из процесса обхода.

Давайте рассмотрим пример простого файла robots.txt:

User-agent: * Disallow: /Здесь перечислено содержимое, которое не должно быть проиндексировано различными поисковыми системами.

User-agent: Yandex Disallow: /В этой части указывается информация, которую поисковый робот Yandex не должен видеть.

Host: вашсайт.ru / Укажите свой домен здесь.

Sitemap: https:// Вставьте ссылку на вашу карту сайта.

Как составить правильную карту сайта - читайте!

Инструкции по интеграции карты сайта в файл robots.txt следующие: Просто добавьте строку, указывающую на местоположение вашей карты сайта, в файл robots.txt.

Давайте разберем файл на части:

User-agent: * указывает на то, что последующие указания применяются ко всем веб-паукам.

Disallow: /личное/ означает, что содержимое папки /личное/ не должно попадать в поисковый индекс.

Disallow: /администратор/ запрещает индексацию содержимого папки /администратор/.

Disallow: /секретная-страница.html объявляет, что определенная страница секретная-страница.html не должна индексироваться.

При настройке файла robots.txt важно адаптировать его к особенностям вашего сайта. Запомните, что это лишь рекомендация, и некоторые веб-пауки могут игнорировать ее.

Не забудьте разместить файл robots.txt в корневой директории вашего сайта и обеспечить доступ по адресу http://www.example.com/robots.txt, где www.example.com - ваш домен.

Мой пример:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: */attachment/*
Disallow: /page
Disallow: */page/
Disallow: /poisk
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: */attachment/*
Disallow: /page
Disallow: */page/
Host: https://твой_сайт.ru
Sitemap: https://твой_сайт/карта_сайта.xml