Техническое SEO. Кейс (факап) про редизайн

Всем привет! Меня зовут Андрей Симагин, я автор программы для технического аудита сайтов SiteAnalyzer, и в сегодняшней статье мы рассмотрим практически детективный кейс о не совсем «гладком» редизайне сайта от популярного зарубежного блогера Марк Вильямс-Кук (Mark Williams-Cook).

Однажды...

Крупная компания с международной репутацией (Netflix, National Geographic, BBC, Discovery и т.д.) сделала редизайн сайта.

Команда разработчиков заархивировала исходный контент сайта на поддомене (archive[.]oldsite[.]com) для упрощения хранения и управления архивом, но не защитили поддомен паролем (htpasswd).

По идее, архивный контент не должен был индексироваться поисковыми системами, ведь ссылок на него нигде не стояло.

Однако, поисковые роботы по своей природе любопытны и иногда могут находить непредусмотренные к индексации страницы. А без надлежащих директив есть большой риск того, что заархивированные страницы могут быть не только просканированы, но и проиндексированы.

Угадайте, что же произошло?

После запуска нового сайта команда заметила странные паттерны трафика. Страницы с архивного поддомена стали высоко ранжироваться в поисковой выдаче. Одна из них стала 4-й по посещаемости страницей в Google Search Console!

Проведя исследование, было обнаружено, что весь заархивированный сайт был внезапно просканирован роботом Googlebot и проиндексирован.

Это вызывало проблемы с дублированием контента, так как идентичные страницы из архива теперь напрямую конкурировали с новым сайтом и поглощали трафик с нового сайта в поисковой выдаче.

Что еще хуже, после того, как был проведен разговор с командой разработчиков, они удалили поддомен архива, не посоветовавшись со специалистами!

Сотни важных страниц, «размещенных» на архивном поддомене все еще конкурировали с новым сайтом в поисковой выдаче (кэшированной), но трафик терялся, потому что поддомена больше не существовало!

Экстренное решение проблемы

Был воссоздан архивный поддомен, чтобы реализовать 301 редирект с поддомена на новый сайт, чтобы пройти ранжирование и указать пользователям правильное направление.

В целом, были проведены такие шаги:

1. Воссоздан удаленный архивный поддомен, потому что мы не можем позволить, чтобы он ранжировался в поисковой выдаче Google, но не работал, когда пользователи переходят по ссылкам.

2. Корневой каталог поддомена был пуст, потому что команда разработчиков удалила все! Поэтому была создана индексная страница, и, поскольку использовался веб-сервер Apache, был прописан постоянный 301-й редирект в файле .htaccess, чтобы направлять ботов и пользователей, переходящих на старый контент, и проиндексированный в поисковой выдаче, на новый сайт:

3. Был отредактирован index.html и добавлен мета-тег robots в блок HEAD:

4. Позже был добавлен текстовый файл Robots.txt в корневой каталог поддомена, чтобы запретить дальнейшее сканирование с помощью данных двух строк:

Резюме

Архивный контент может быть просканирован и может невзначай конкурировать с основным сайтом, негативно влияя на SEO, ранжирование и трафик. Будьте осторожны! 😅

В преддверии «Черной Пятницы», которая пройдет с 20 по 24 ноября 2024 года, мы запускаем акцию и раздаем скидочные промокоды на покупку программы для технического аудита SiteAnalyzer!

Подробности акции, как и сам промокод, доступны по данной ссылке.

Больше полезных кейсов, новостей и инструментов на нашем телеграм-канале https://t.me/siteanalyzer