Сервис защиты от вредоносного трафика повыкидывал мои страницы агрегатора из поиска Яндекса
😱Первый раз сталкиваюсь с таким SEO-кейсом. Сервис, который я использую для блокировки подозрительного трафика ( DDos-атаки, брутфорс, защита от вирусов) насоздавал промежуточных страниц (пример) с тегами noindex nofollow и отдавал их ботам Яндекса, который в свою очередь выкидывал эти страница из поиска. Саппорт сервиса описал ситуацию так, что они заблокировали ботов Яндекса, подозревая их во вредоносной активности. Во как бывает.
Я достаточно давно использую сервис cln.cloudlinux.com/ для своих агрегаторов (пример одного из агрегаторов). Этот сервис решает 2 задачи:
- Сканер вирусов
- Блокировка подозрительного трафика(ддос-атаки, брутфорс)
😱Какое-то время я стал замечать неладное в Яндекс Вебмастере, а именно неприятную фатальную ошибку о том, что главная страница закрыта тегами Noindex ( скрин ), так же я наблюдал, что и другие некоторые страницы вылетали из поиска, как закрытые от индексации на нашей стороне ( скрин )
🧑💻 У нас в движке есть много полезного функционала, который закрывает тегами noindex ненужные страницы автоматически, например страницы, на которых нет объектов (выбраны такие фильтры, где нет объектов), я думал может там ошибка, всё перерыли, но нет. С движком всё отлично.
😜 Проблема крылась как раз в сервисе cln.cloudlinux.com/ Вот их ответ, перевёл в яндекс переводчике
Далее из общения с саппортом сервиса
🙂 Мы добавили в вайт лист Яндекс (и другие поисковые системы), по идее проблема должна решится. Вот такие бывают интересные кейсы. Запишу по следам этого кейса видео урок к курсу, который идёт к движку - как быстро вылавливать такие системные проблемы и решать их.
В этом кейса интересно для меня 2 момента:
- Я лично не сталкивался с тем, что такие сервисы могут подставлять промежуточные страницы с тегами noindex nofollow . Вдруг кто-то также не сталкивался, и обнаружив у себя после переобхода поисковика группу таких страниц быстро сориентируется.
- Что там за такой вредоносный трафик от Яндекса. Я кстати Яндексу в Саппорт тоже пишу, посмотрим, что они ответят. Дополню в комментариях.
Если сталкивались с таким, пишите в комменты, обсудим.