Инструкция как убрать ботов с сайта — Настройка Cloudflare в 2024

В последнее время многие сайты всё чаще сталкиваются с проблемой некачественного трафика. В Яндекс.Метрике можно увидеть значительное количество "прямых заходов" с высоким уровнем отказов и низким временем пребывания на страницах. Со временем это начинает негативно сказываться на SEO-продвижении, снижая позиции сайта и его посещаемость из поисковых систем.

В современном интернете защита от ботов и нежелательного трафика становится всё более важной. Прямые переходы и автоматизированные боты могут негативно влиять на работу сайта, увеличивая нагрузку на сервер и снижая производительность. Одним из эффективных методов защиты является настройка капчи через Cloudflare. В этой статье я расскажу, как это сделать.

Боты — это программы, которые автоматически сканируют и взаимодействуют с вашим сайтом. Существуют полезные боты, такие как поисковые роботы Google и Яндекс, которые индексируют ваш сайт для поиска. Однако существует множество вредоносных ботов, которые могут:

· Увеличивать нагрузку на сервер, замедляя работу сайта;

· Красть контент для использования на других ресурсах;

· Совершать спам-атаки, оставляя ненужные комментарии или заполняя формы;

· Имитировать посещения сайта, что затрудняет анализ реальной активности пользователей.

Прежде чем перейти к настройкам следует передать NS записи в Cloudflare. Для этого нужно перейти в управление DNS-серверами домена и указать сервера, выданные Cloudflare, такие как:

eva.ns.cloudflare.com

everton.ns.cloudflare.com

С этого момента сайт становится недоступен, так как необходимо, чтобы NS записи разошлись по DNS серверам — это обычно занимает от 5 до 24 часов.

После репликации записей сайт или сразу заработает, или браузер выдаст ошибку Too many redirects:

В таком случае в настройках Cloudflare переходим в раздел SSL/TLS:

Заходим в Configure:

И выбираем Full:

Теперь сайт доступен и можно переходить к настройкам защиты от ботов.

Сначала настраиваем переадресацию на HTTPS:

1. В панели Cloudflare переходим в раздел SSL/TLS и выбираем Edge Certificates.

2. Включаем опцию Always Use HTTPS.

Для начала важно создать разрешающее правило для полезных ботов и сервисов, таких как Яндекс, Google и тд. Так как правила имеют приоритетность относительно друг друга, данное правило лучше создать первым.

Настраиваем доступ для полезных ботов:

1. В панели Cloudflare заходим в раздел Security => WAF и выбираем Custom Rules.

2. Создаем новое правило для полезных ботов.

3. Для быстрой настройки правила проще использовать код, который вводим в поле Edit expression:

4. В блоке Take action выбераем Skip.

Это правило будет исполняться первым из всех и позволит таким ботам, как Google, Яндекс, Telegram, WhatsApp и другим полезным сервисам, взаимодействовать с вашим сайтом без ограничений.

Многие вредоносные боты используют устаревшие версии HTTP-протокола (ниже версии 2, например: HTTP/1.1.)

1. Создаем новое правило в Custom Rules.

2. Для быстрой настройки правила используем следующий код:

3. В действиях выбираем: Interactive Challenge (капча, по которой надо кликать) и не забываем про приоритетность правил — это правило должно быть вторым по списку.

Правило отсечет многих ботов, а также покажет капчу всем пользователям, кто заходит на сайт по прямой ссылке.

Также боты могут использовать IPv6-адреса — это связано с их низкой стоимостью. Чтобы защититься от спамного трафика по IPv6, следует настроить правило, которое будет показывать капчу попроще (JS Challenge) для всех таких переходов.

1. Создаем новое правило в Custom Rules.

2. Вставляем код:

3. Выбираем действие JS Challenge (капча, которая секунду крутится и пускает на сайт) и сверяемся с приоритетом на скрине:

Это правило заставит всех пользователей с IPv6-адресами проходить минимальную проверку, что помогает остановить ботов.

Важно! После применения всех настроек сайт может быть неактивен в течении 24 часов — это нужно учитывать и выбирать подходящее время чтобы не терять заказы и заявки. Порядок правил должен быть как на скрине, так как в сервисе работает приоритетность правил.

Справа на скрине видим количество показанных капч, а в столбце CSR % решенных.

В итоге: Благодаря правильным настройкам нам удалось полностью избавиться от бесполезного спам-трафика.

Важно уточнить, что http запросы с User-agent’ами 1С, битрикс и планировщика cron добавлены в исключения, а значит сервисные задачи CMS/синхронизация с 1С пройдут без проблем.