Cloudflare добавила инструмент AI Labyrinth — он «обманывает» ботов, которые сканируют сайты для обучения ИИ без разрешения

Их перенаправляют на сгенерированные страницы с бесполезным контентом.

У компании уже есть бесплатный инструмент для блокировки ботов, которые собирают с сайтов данные для обучения ИИ. Его добавили летом 2024 года.
AI Labyrinth же позволяет не просто заблокировать бота, а замедлить его работу и потратить вычислительные ресурсы, на которые ИИ-компании тратят «значительные» деньги, заявляет Cloudflare.
Для этого тоже используется ИИ. Модель Workers AI с открытым исходным кодом создаёт «лабиринт» из HTML-страниц с бесполезным контентом. Реальные пользователи его не видят, зайти на страницы могут только боты — это также позволяет точнее идентифицировать их.
По данным Cloudflare, ИИ-боты ежедневно генерируют более 50 млрд запросов к их сети, что составляет около 1% всего трафика.
AI Labyrinth доступен всем пользователям Cloudflare, в том числе на бесплатном тарифе. Подключить его можно в личном кабинете.