Через файл Robots.txt.
Скорее всего OpenAI начнет сканить сайты с user agent как у googlebot. Так делают очень многие сервисы. К счастью, антибот.клауд всё это непотребство отлавливает и блочит.
у них еще bing есть
Скорее всего OpenAI начнет сканить сайты с user agent как у googlebot. Так делают очень многие сервисы. К счастью, антибот.клауд всё это непотребство отлавливает и блочит.
у них еще bing есть