SEO-факап: как нас выкинуло из поиска «Яндекса»

14 ноября «Яндекс» выкинул половину сайта из индекса без суда и следствия. В чем причина и удалось ли нам восстановить трафик, читайте ниже.

Как мы заметили? У нас на контроле был лонгрид, позиции, которого смотрели каждый день. При очередной проверке увидели, что позиции из блога улетели в никуда.

Что сделали дальше? Проверили Яндекс.Вебмастер на наличие предупреждений. Ничего не обнаружили. Нет ошибок. Просканировали сайт. Изучили Яндекс.Метрику. Проверили хостинг. Перебрали все варианты.

Как нашли проблему? Ввели цитатой часть текста из документа в Яндекс и обнаружили, что вместо нашего сайта выводится тестовый.

Для всех клиентов и своего сайта программисты уже давно обучены тому, что необходимо принимать специальные меры для тестовых сайтов. Как правило, мы сразу в корень закидываем robots.txt закрывающий доступ поисковых роботов.

Что произошло в этот раз? Оказалось, что основной тестовый сервер закрыт как надо, а это второй dev и даже физически не сайт, а просто зеркало. Это зеркало 100% копирует боевой сайт. В том числе открытый robots.txt. Canonical не спасли.

Яндекс проиндексировал зеркало забытого тестового сервера и 14 ноября решил показывать его, вместо основного домена.

В итоге в поиске основной домен улетел в никуда, а тестовое зеркало заняла его место. В сервисе по позициям поэтому мы увидели минуса.

Как Яндекс добрался до этого зеркала? А теперь мы добрались до самого вкусного.

13 декабря 2018 года Яндекс выкатил интеграцию Метрики и Вебмастера. Наверное это нужно нам, подумали мы и врубили. На всех тестовых у нас стоит контейнер GTM, куда складываются все счетчики аналитики. А внутри Яндекс.Метрики и Google Analytics в фильтрах настроены исключения подмены тестовых, чтобы не портить картину трафика.

Эта интеграция позволяет напрямую передавать данные из Метрики в Вебмастер. Эту информацию Вебмастер, видимо, использует для индексации. Ну и собственно это и есть причина, на мой взгляд, почему так произошло. Больше Яндексу было неоткуда было узнать об этом закрытом от всех зеркалом.

Как исправили ситуацию? Поставили 301-ые редиректы. При этом пришлось физически создать папку с этим доменом и туда закинуть .htaccess. Потому что забытый тестовый был просто зеркалом. Файл с редиректами были страница в страницу. Тестовый в вебмастер Яндекса также решили добавить, но переезд с одного домена на другой решили не делать т.к. не было информации по данным Яндекса о склейке и поэтому не было смысла что-то расклеивать или переезжать.

На следующий день 15 ноября позиции вернулись и ситуация нормализовалась.

Учитесь на чужих ошибках. Учитывайте новую функцию «Интеграция Метрики и Вебмастера». Это один из источников индексации для Яндекса. Контролируйте его.

Евгений Костров, руководитель агентства Зарядка.