Cloudflare выпустила инструмент против ботов, которые собирают с сайтов данные для обучения ИИ

Он доступен без платной подписки.

Найти его можно в настройках безопасности — в разделе «Боты» (Security и Bots), рассказала компания. По её словам, некоторые разработчики собирают данные без разрешения, обходя даже ограничения, и не платят за то, что используют их для тренировки своих моделей.
Алгоритмы Cloudflare должны отлавливать в том числе тех роботов, которые «маскируются» под пользователя, просто зашедшего на страницу.
Компания также создала форму, через которую владелец сайта может самостоятельно сообщить о нежелательных ботах для сбора данных, которых Cloudflare по какой-то причине не может остановить.

В июле 2023 году Google включила собственные модели в список сервисов, которые могут обучаться на общедоступных данных. В сентябре разрешила владельцам сайтов настраивать доступ к данным, которые можно и нельзя использовать для обучения. То же позже сделала и OpenAI.