Борьба со скликом и фродом, без использования платных сервисов, своими руками

Бонусом статьи, готовый фаил htacess, который закроет часть дыр в обороне, и ускорит ваш сайт на 10-15%

И так, если вы читаете эту статью, значит у вашей рекламы упала конверсия, дневной бюджет сливается за пару часов.

Подробный гайд, что делать, от маркетингового агентства, специализирующегося на SEO продвижении https://lidogenerator.top/

1) Закрываем ботам вход на сайт. В среднем 10-15% трафика

Находим на своем хостинге, в корневой папке домена, фаил «.htacess», он отвечает за настройки сервера вашего хоста, если такового не имеем, создаем в точном виде «.htacess.txt» открываем в блокноте либо на хосте.

Прописываем правила:

SetEnvIfNoCase User-Agent "^НАЗВАНИЕ БОТА" bot

SetEnvIfNoCase User-Agent "^ЕЩЕ БОТЫ" bot

Список самых частых ботов и краулеров есть в свободном доступе или в файле в конце.

Allow from all

Deny from env=bot

Эти правила запрещают ботам из списка, ходить на сайт.

2) Блокировка через Метрику

Создаем первый сегмент. В среднем 5% трафика

Метрика-отчеты-визиты в которых-роботность-только роботы

Нажимаем на «сегмент» выбираем «сохранить как» С одной стороны это очевидно, но задача директа по умолчанию, слить ваши деньги)

Создаем второй сегмент. В среднем 10-15% трафика.

Метрика-отчеты-в блоке «Визиты в которых» нажимаем «+» источники-последний переход из Директа-рекламная система ЯДирект или Директ неопределено.

Снова нажимаем «+» добавляем – поведение-время на сайте- менее 15 секунд.

Правее нажимаем «+» Метрики- количество визитов-более-2.

Нажимаем на Сегмент, сохраняем.

Итого у нас вышло 2 сегмента.

3)Блокировка через Директ

В общем кабинете где все компании, выбираем: Библиотека-Ретаргетинг и аудитории.

Создаем новое условие, даем ему любое имя.

Выбираем сегмент метрики, в окошке правее выбираем созданный выше сегмент, нажимаем «добавить правило», аналогично второй сегмент. В результате должно получиться что-то вроде

Сохраняем.

Теперь заходим во все компании директа, те которые в работе, нажимаем редактировать, пролистываем вниз, дополнительные настройки-корректировки-добавить-целевая аудитория, ставим цену клика -100%.

Фаил htacess.

Предупреждение, сайт может лечь из за несовместимости, но не страшно, если не применимо полностью, вы можете использовать частями код, либо модифицировать правила под вашу CMS

Options All -ExecCGI -Indexes -Includes +FollowSymLinks

RewriteEngine on

RewriteBase /

# перенаправление с http на https

RewriteCond %{HTTPS} off

RewriteRule (.*) https://ВАШ ДОМЕН/ $1 [R=301,L]

# удаление /index.php из URL

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/

RewriteRule ^index\.php$ https://ВАШ ДОМЕН.ru/ [R=301,L]

DirectoryIndex index.php

SetEnv TZ Europe/Moscow

ServerSignature Off

#AddDefaultCharset UTF-8

php_value upload_max_filesize 32M

php_value post_max_size 10M

php_value default_charset utf-8

php_value max_execution_time 200

AddHandler application/x-httpd-php .html

AddHandler cgi-script .pl .py .jsp .asp .htm .shtml .sh .cgi

AddType application/x-javascript .js

AddType text/css .css

AddType text/xml .xml

AddType application/octet-stream .doc .mov .avi .pdf .xls

AddOutputFilterByType DEFLATE text/html text/plain text/css text/javascript application/javascript application/x-javascript application/json

DeflateCompressionLevel 6

DeflateMemLevel 8

DeflateWindowSize 8

DeflateBufferSize 16

BrowserMatch ^Mozilla/4 gzip-only-text/html

BrowserMatch ^Mozilla/4\.0[678] no-gzip

BrowserMatch \bMSIE !no-gzip !gzip-only-text/html

#кэшировать html и htm файлы на один день

Header set Cache-Control "max-age=31536000"

#кэшировать css, javascript и текстовые файлы на одну неделю

Header set Cache-Control "max-age=31536000"

#кэшировать флэш и изображения на месяц

Header set Cache-Control "max-age=31536000"

#отключить кэширование

Header unset Cache-Control

ExpiresActive On

#по умолчанию кеш в 5 секунд

ExpiresDefault "access plus 5 seconds"

#кэшировать флэш и изображения на ГОД

ExpiresByType image/x-icon "access plus 31536000 seconds"

ExpiresByType image/jpeg "access plus 31536000 seconds"

ExpiresByType image/png "access plus 31536000 seconds"

ExpiresByType image/gif "access plus 31536000 seconds"

ExpiresByType application/x-shockwave-flash "access plus 31536000 seconds"

#кэшировать css, javascript и текстовые файлы на ГОД

ExpiresByType text/css "access plus 31536000 seconds"

ExpiresByType text/javascript "access plus 31536000 seconds"

ExpiresByType application/javascript "access plus 31536000 seconds"

ExpiresByType application/x-javascript "access plus 31536000 seconds"

#кэшировать html и htm файлы на ГОД

ExpiresByType text/html "access plus 31536000 seconds"

#кэшировать xml файлы на ГОД

ExpiresByType application/xhtml+xml "access plus 31536000 seconds"

SetEnvIfNoCase User-Agent "Sovetnik" bot

SetEnvIfNoCase User-Agent "sovetnik" bot

SetEnvIfNoCase User-Agent "80legs" bot

SetEnvIfNoCase User-Agent "360Spider" bot

SetEnvIfNoCase User-Agent "^8484 Boston Project" bot

SetEnvIfNoCase User-Agent "Aboundex" bot

SetEnvIfNoCase User-Agent "^Alexibot" bot

SetEnvIfNoCase User-Agent "^asterias" bot

SetEnvIfNoCase User-Agent "^attach" bot

SetEnvIfNoCase User-Agent "^AIBOT" bot

SetEnvIfNoCase User-Agent "AhrefsBot" bot

SetEnvIfNoCase User-Agent "^Accelerator" bot

SetEnvIfNoCase User-Agent "^Ants" bot

SetEnvIfNoCase User-Agent "^Ask Jeeves" bot

SetEnvIfNoCase User-Agent "^Atomic_Email_Hunter" bot

SetEnvIfNoCase User-Agent "^atSpider" bot

SetEnvIfNoCase User-Agent "^autoemailspider" bot

SetEnvIfNoCase User-Agent "archive.org_bot" bot

SetEnvIfNoCase User-Agent "^a.pr-cy.ru" bot

SetEnvIfNoCase User-Agent "^BackDoorBot" bot

SetEnvIfNoCase User-Agent "^BackWeb" bot

SetEnvIfNoCase User-Agent "Bandit" bot

SetEnvIfNoCase User-Agent "^BatchFTP" bot

SetEnvIfNoCase User-Agent "^Bigfoot" bot

SetEnvIfNoCase User-Agent "^Black.Hole" bot

SetEnvIfNoCase User-Agent "^BlackWidow" bot

SetEnvIfNoCase User-Agent "^BlowFish" bot

SetEnvIfNoCase User-Agent "^BotALot" bot

SetEnvIfNoCase User-Agent "Buddy" bot

SetEnvIfNoCase User-Agent "^BuiltBotTough" bot

SetEnvIfNoCase User-Agent "^Bullseye" bot

SetEnvIfNoCase User-Agent "^BunnySlippers" bot

SetEnvIfNoCase User-Agent "^Baiduspider" bot

SetEnvIfNoCase User-Agent "^Bot\ mailto:craftbot@yahoo.com" bot

SetEnvIfNoCase User-Agent "^Buddy" bot

SetEnvIfNoCase User-Agent "^bwh3_user_agent" bot

SetEnvIfNoCase User-Agent "BLEXBot" bot

SetEnvIfNoCase User-Agent "^Cegbfeieh" bot

SetEnvIfNoCase User-Agent "^CheeseBot" bot

SetEnvIfNoCase User-Agent "^CherryPicker" bot

SetEnvIfNoCase User-Agent "^ChinaClaw" bot

SetEnvIfNoCase User-Agent "Collector" bot

SetEnvIfNoCase User-Agent "Copier" bot

SetEnvIfNoCase User-Agent "^CopyRightCheck" bot

SetEnvIfNoCase User-Agent "^cosmos" bot

SetEnvIfNoCase User-Agent "^Crescent" bot

SetEnvIfNoCase User-Agent "^Custo" bot

SetEnvIfNoCase User-Agent "^Cogentbot" bot

SetEnvIfNoCase User-Agent "^China" bot

SetEnvIfNoCase User-Agent "^ContactBot" bot

SetEnvIfNoCase User-Agent "^ContentSmartz" bot

SetEnvIfNoCase User-Agent "^CCBot" bot

SetEnvIfNoCase User-Agent "^Cluuz" bot

SetEnvIfNoCase User-Agent "^DISCo" bot

SetEnvIfNoCase User-Agent "^DIIbot" bot

SetEnvIfNoCase User-Agent "^DittoSpyder" bot

SetEnvIfNoCase User-Agent "^Download\ Demon" bot

SetEnvIfNoCase User-Agent "^Download\ Devil" bot

SetEnvIfNoCase User-Agent "^Download\ Wonder" bot

SetEnvIfNoCase User-Agent "^dragonfly" bot

SetEnvIfNoCase User-Agent "^Drip" bot

SetEnvIfNoCase User-Agent "^DataCha0s" bot

SetEnvIfNoCase User-Agent "^DBrowse" bot

SetEnvIfNoCase User-Agent "^Demo Bot" bot

SetEnvIfNoCase User-Agent "^Dolphin" bot

SetEnvIfNoCase User-Agent "Download" bot

SetEnvIfNoCase User-Agent "^DSurf15" bot

SetEnvIfNoCase User-Agent "^eCatch" bot

SetEnvIfNoCase User-Agent "^EasyDL" bot

SetEnvIfNoCase User-Agent "^ebingbong" bot

SetEnvIfNoCase User-Agent "^EirGrabber" bot

SetEnvIfNoCase User-Agent "^EmailCollector" bot

SetEnvIfNoCase User-Agent "^EmailSiphon" bot

SetEnvIfNoCase User-Agent "^EmailWolf" bot

SetEnvIfNoCase User-Agent "^EroCrawler" bot

SetEnvIfNoCase User-Agent "^Exabot" bot

SetEnvIfNoCase User-Agent "^Express\ WebPictures" bot

SetEnvIfNoCase User-Agent "Extractor" bot

SetEnvIfNoCase User-Agent "^EyeNetIE" bot

SetEnvIfNoCase User-Agent "^EBrowse" bot

SetEnvIfNoCase User-Agent "^Educate Search VxB" bot

SetEnvIfNoCase User-Agent "EmailSpider" bot

SetEnvIfNoCase User-Agent "^ESurf15" bot

SetEnvIfNoCase User-Agent "ExtractorPro" bot

SetEnvIfNoCase User-Agent "^Foobot" bot

SetEnvIfNoCase User-Agent "^focusbot" bot

SetEnvIfNoCase User-Agent "^flunky" bot

SetEnvIfNoCase User-Agent "^FrontPage" bot

SetEnvIfNoCase User-Agent "^FileHound" bot

SetEnvIfNoCase User-Agent "^FlashGet" bot

SetEnvIfNoCase User-Agent "^Flexum" bot

SetEnvIfNoCase User-Agent "^Franklin Locator" bot

SetEnvIfNoCase User-Agent "^FSurf15" bot

SetEnvIfNoCase User-Agent "^Full Web Bot" bot

SetEnvIfNoCase User-Agent "^Go-Ahead-Got-It" bot

SetEnvIfNoCase User-Agent "^gotit" bot

SetEnvIfNoCase User-Agent "^GrabNet" bot

SetEnvIfNoCase User-Agent "^Grafula" bot

SetEnvIfNoCase User-Agent "^GetRight" bot

SetEnvIfNoCase User-Agent "^Gets" bot

SetEnvIfNoCase User-Agent "^GetWeb!" bot

SetEnvIfNoCase User-Agent "^Gigabot" bot

SetEnvIfNoCase User-Agent "^Go!Zilla" bot

SetEnvIfNoCase User-Agent "^GoZilla" bot

SetEnvIfNoCase User-Agent "^Grab.*Site" bot

SetEnvIfNoCase User-Agent "^Grabber" bot

SetEnvIfNoCase User-Agent "^grub-client" bot

SetEnvIfNoCase User-Agent "^gsa-crawler" bot

SetEnvIfNoCase User-Agent "^Guestbook Auto Submitter" bot

SetEnvIfNoCase User-Agent "^Gulliver" bot

SetEnvIfNoCase User-Agent "^Guzzle" bot

SetEnvIfNoCase User-Agent "^GuzzleHttp" bot

SetEnvIfNoCase User-Agent "^Harvest" bot

SetEnvIfNoCase User-Agent "^hloader" bot

SetEnvIfNoCase User-Agent "^HMView" bot

SetEnvIfNoCase User-Agent "^HTTrack" bot

SetEnvIfNoCase User-Agent "^humanlinks" bot

SetEnvIfNoCase User-Agent "HubSpot" bot

SetEnvIfNoCase User-Agent "^IlseBot" bot

SetEnvIfNoCase User-Agent "^Image\ Stripper" bot

SetEnvIfNoCase User-Agent "^Image\ Sucker" bot

SetEnvIfNoCase User-Agent "Indy\ Library" bot

SetEnvIfNoCase User-Agent "^InfoNavibot" bot

SetEnvIfNoCase User-Agent "^InfoTekies" bot

SetEnvIfNoCase User-Agent "^Intelliseek" bot

SetEnvIfNoCase User-Agent "^InterGET" bot

SetEnvIfNoCase User-Agent "^Internet\ Ninja" bot

SetEnvIfNoCase User-Agent "^Iria" bot

SetEnvIfNoCase User-Agent "^IBrowse" bot

SetEnvIfNoCase User-Agent "^Industry Program" bot

SetEnvIfNoCase User-Agent "^inktomi\.com" bot

SetEnvIfNoCase User-Agent "^Internet\ Ninja"" bot

SetEnvIfNoCase User-Agent "^ISC Systems iRc Search" bot

SetEnvIfNoCase User-Agent "^IUPUI Research" bot

SetEnvIfNoCase User-Agent "^ia_archiver" bot

SetEnvIfNoCase User-Agent "^Jakarta" bot

SetEnvIfNoCase User-Agent "^JennyBot" bot

SetEnvIfNoCase User-Agent "^JetCar" bot

SetEnvIfNoCase User-Agent "^JOC" bot

SetEnvIfNoCase User-Agent "^JustView" bot

SetEnvIfNoCase User-Agent "^Jyxobot" bot

SetEnvIfNoCase User-Agent "^Java" bot

SetEnvIfNoCase User-Agent "^jetcar" bot

SetEnvIfNoCase User-Agent "^Kenjin.Spider" bot

SetEnvIfNoCase User-Agent "^Keyword.Density" bot

SetEnvIfNoCase User-Agent "^larbin" bot

SetEnvIfNoCase User-Agent "^LexiBot" bot

SetEnvIfNoCase User-Agent "^lftp" bot

SetEnvIfNoCase User-Agent "^libWeb/clsHTTP" bot

SetEnvIfNoCase User-Agent "^likse" bot

SetEnvIfNoCase User-Agent "^LinkextractorPro" bot

SetEnvIfNoCase User-Agent "^LinkScan/8.1a.Unix" bot

SetEnvIfNoCase User-Agent "^LNSpiderguy" bot

SetEnvIfNoCase User-Agent "^LinkWalker" bot

SetEnvIfNoCase User-Agent "^lwp-trivial" bot

SetEnvIfNoCase User-Agent "^LWP::Simple" bot

SetEnvIfNoCase User-Agent "^LARBIN-EXPERIMENTAL" bot

SetEnvIfNoCase User-Agent "^leech" bot

SetEnvIfNoCase User-Agent "^LeechFTP" bot

SetEnvIfNoCase User-Agent "^LetsCrawl.com" bot

SetEnvIfNoCase User-Agent "^libwww-perl" bot

SetEnvIfNoCase User-Agent "^Lincoln State Web Browser" bot

SetEnvIfNoCase User-Agent "^LMQueueBot" bot

SetEnvIfNoCase User-Agent "^LinkpadBot" bot

SetEnvIfNoCase User-Agent "^Magnet" bot

SetEnvIfNoCase User-Agent "^MegaIndex.ru" bot

SetEnvIfNoCase User-Agent "^Mag-Net" bot

SetEnvIfNoCase User-Agent "^MarkWatch" bot

SetEnvIfNoCase User-Agent "^Mass\ Downloader" bot

SetEnvIfNoCase User-Agent "^Mata.Hari" bot

SetEnvIfNoCase User-Agent "^Memo" bot

SetEnvIfNoCase User-Agent "^Microsoft.URL" bot

SetEnvIfNoCase User-Agent "^Microsoft URL Control" bot

SetEnvIfNoCase User-Agent "^MIDown\ tool" bot

SetEnvIfNoCase User-Agent "^MIIxpc" bot

SetEnvIfNoCase User-Agent "^Mirror" bot

SetEnvIfNoCase User-Agent "^Missigua\ Locator" bot

SetEnvIfNoCase User-Agent "^Mister\ PiX" bot

SetEnvIfNoCase User-Agent "^moget" bot

SetEnvIfNoCase User-Agent "^Mozilla/3.Mozilla/2.01" bot

SetEnvIfNoCase User-Agent "^Mozilla.*NEWT" bot

SetEnvIfNoCase User-Agent "^Mac Finder" bot

SetEnvIfNoCase User-Agent "^MFC Foundation Class Library" bot

SetEnvIfNoCase User-Agent "^Missauga Loca" bot

SetEnvIfNoCase User-Agent "^Missouri College Browse" bot

SetEnvIfNoCase User-Agent "^Mizzu Labs" bot

SetEnvIfNoCase User-Agent "^Mo College" bot

SetEnvIfNoCase User-Agent "^MVAClient" bot

SetEnvIfNoCase User-Agent "^MJ12bot" bot

SetEnvIfNoCase User-Agent "^mfibot" bot

SetEnvIfNoCase User-Agent "^NAMEPROTECT" bot

SetEnvIfNoCase User-Agent "^Navroad" bot

SetEnvIfNoCase User-Agent "^NearSite" bot

SetEnvIfNoCase User-Agent "^NetAnts" bot

SetEnvIfNoCase User-Agent "^Netcraft" bot

SetEnvIfNoCase User-Agent "^NetMechanic" bot

SetEnvIfNoCase User-Agent "^NetSpider" bot

SetEnvIfNoCase User-Agent "^Net\ Vampire" bot

SetEnvIfNoCase User-Agent "^NetZIP" bot

SetEnvIfNoCase User-Agent "^NextGenSearchBot" bot

SetEnvIfNoCase User-Agent "^NG" bot

SetEnvIfNoCase User-Agent "^NICErsPRO" bot

SetEnvIfNoCase User-Agent "^niki-bot" bot

SetEnvIfNoCase User-Agent "^NimbleCrawler" bot

SetEnvIfNoCase User-Agent "^Ninja" bot

SetEnvIfNoCase User-Agent "^NPbot" bot

SetEnvIfNoCase User-Agent "^nutch-1.4" bot

SetEnvIfNoCase User-Agent "^NameOfAgent (CMS Spider)" bot

SetEnvIfNoCase User-Agent "^NASA Search" bot

SetEnvIfNoCase User-Agent "^Net\ Reaper" bot

SetEnvIfNoCase User-Agent "^Ninja" bot

SetEnvIfNoCase User-Agent "^Nsauditor" bot

SetEnvIfNoCase User-Agent "^NetLyzer" bot

SetEnvIfNoCase User-Agent "^Octopus" bot

SetEnvIfNoCase User-Agent "^Offline\ Explorer" bot

SetEnvIfNoCase User-Agent "^Offline\ Navigator" bot

SetEnvIfNoCase User-Agent "^Offline" bot

SetEnvIfNoCase User-Agent "^Openfind" bot

SetEnvIfNoCase User-Agent "^OutfoxBot" bot

SetEnvIfNoCase User-Agent "^PageGrabber" bot

SetEnvIfNoCase User-Agent "^Papa\ Foto" bot

SetEnvIfNoCase User-Agent "^pavuk" bot

SetEnvIfNoCase User-Agent "^pcBrowser" bot

SetEnvIfNoCase User-Agent "^PHP\ version\ tracker" bot

SetEnvIfNoCase User-Agent "^Pockey" bot

SetEnvIfNoCase User-Agent "^ProPowerBot/2.14" bot

SetEnvIfNoCase User-Agent "^ProWebWalker" bot

SetEnvIfNoCase User-Agent "^psbot" bot

SetEnvIfNoCase User-Agent "^Pump" bot

SetEnvIfNoCase User-Agent "^ParseMX" bot

SetEnvIfNoCase User-Agent "^Page.*Saver" bot

SetEnvIfNoCase User-Agent "^PBrowse" bot

SetEnvIfNoCase User-Agent "^PEval" bot

SetEnvIfNoCase User-Agent "^Pita" bot

SetEnvIfNoCase User-Agent "^Poirot" bot

SetEnvIfNoCase User-Agent "^Port Huron Labs" bot

SetEnvIfNoCase User-Agent "^Production Bot" bot

SetEnvIfNoCase User-Agent "^Program Shareware" bot

SetEnvIfNoCase User-Agent "^PSurf15" bot

SetEnvIfNoCase User-Agent "^psycheclone" bot

SetEnvIfNoCase User-Agent "^QueryN.Metasearch" bot

SetEnvIfNoCase User-Agent "^RealDownload" bot

SetEnvIfNoCase User-Agent "Reaper" bot

SetEnvIfNoCase User-Agent "Recorder" bot

SetEnvIfNoCase User-Agent "^ReGet" bot

SetEnvIfNoCase User-Agent "^RepoMonkey" bot

SetEnvIfNoCase User-Agent "^RMA" bot

SetEnvIfNoCase User-Agent "^RookeeBot" bot

SetEnvIfNoCase User-Agent "^Readability" bot

SetEnvIfNoCase User-Agent "^Reaper" bot

SetEnvIfNoCase User-Agent "^RSurf15" bot

SetEnvIfNoCase User-Agent "Siphon" bot

SetEnvIfNoCase User-Agent "^SiteSnagger" bot

SetEnvIfNoCase User-Agent "^SlySearch" bot

SetEnvIfNoCase User-Agent "^SmartDownload" bot

SetEnvIfNoCase User-Agent "^Snake" bot

SetEnvIfNoCase User-Agent "^Snapbot" bot

SetEnvIfNoCase User-Agent "^Snoopy" bot

SetEnvIfNoCase User-Agent "^sogou" bot

SetEnvIfNoCase User-Agent "^SpaceBison" bot

SetEnvIfNoCase User-Agent "^SpankBot" bot

SetEnvIfNoCase User-Agent "^spanner" bot

SetEnvIfNoCase User-Agent "^Sqworm" bot

SetEnvIfNoCase User-Agent "Stripper" bot

SetEnvIfNoCase User-Agent "Sucker" bot

SetEnvIfNoCase User-Agent "^SuperBot" bot

SetEnvIfNoCase User-Agent "^SuperHTTP" bot

SetEnvIfNoCase User-Agent "^Surfbot" bot

SetEnvIfNoCase User-Agent "^suzuran" bot

SetEnvIfNoCase User-Agent "^Szukacz/1.4" bot

SetEnvIfNoCase User-Agent "^SeznamBot" bot

SetEnvIfNoCase User-Agent "^Site-Shot" bot

SetEnvIfNoCase User-Agent "^Slackbot-LinkExpanding" bot

SetEnvIfNoCase User-Agent "^Scrapy" bot

SetEnvIfNoCase User-Agent "^Spider/Bot" bot

SetEnvIfNoCase User-Agent "^Scooter" bot

SetEnvIfNoCase User-Agent "^searchbot admin@google.com" bot

SetEnvIfNoCase User-Agent "^SEO search Crawler" bot

SetEnvIfNoCase User-Agent "^SEOsearch" bot

SetEnvIfNoCase User-Agent "^ShablastBot" bot

SetEnvIfNoCase User-Agent "^Snagger" bot

SetEnvIfNoCase User-Agent "^snap.com beta crawler" bot

SetEnvIfNoCase User-Agent "^sogou develop spider" bot

SetEnvIfNoCase User-Agent "^Sogou Orion spider" bot

SetEnvIfNoCase User-Agent "^sogou spider" bot

SetEnvIfNoCase User-Agent "^Sogou web spider" bot

SetEnvIfNoCase User-Agent "^sohu agent" bot

SetEnvIfNoCase User-Agent "^SSurf15" bot

SetEnvIfNoCase User-Agent "^SafeSearch_microdata_crawler_" bot

SetEnvIfNoCase User-Agent "^SafeDNSBot" bot

SetEnvIfNoCase User-Agent "^SafeDNSBot_" bot

SetEnvIfNoCase User-Agent "^tAkeOut" bot

SetEnvIfNoCase User-Agent "^Teleport" bot

SetEnvIfNoCase User-Agent "^Telesoft" bot

SetEnvIfNoCase User-Agent "^TurnitinBot/1.5" bot

SetEnvIfNoCase User-Agent "^The.Intraformant" bot

SetEnvIfNoCase User-Agent "^TheNomad" bot

SetEnvIfNoCase User-Agent "^TightTwatBot" bot

SetEnvIfNoCase User-Agent "^Titan" bot

SetEnvIfNoCase User-Agent "^True_bot" bot

SetEnvIfNoCase User-Agent "^turingos" bot

SetEnvIfNoCase User-Agent "^TurnitinBot" bot

SetEnvIfNoCase User-Agent "^Teleport\ Pro" bot

SetEnvIfNoCase User-Agent "^Triton" bot

SetEnvIfNoCase User-Agent "^TSurf15" bot

SetEnvIfNoCase User-Agent "^Twiceler" bot

SetEnvIfNoCase User-Agent "^URLy.Warning" bot

SetEnvIfNoCase User-Agent "^Under the Rainbow" bot

SetEnvIfNoCase User-Agent "^Yo-yo" bot

SetEnvIfNoCase User-Agent "^Yanga" bot

SetEnvIfNoCase User-Agent "^Vacuum" bot

SetEnvIfNoCase User-Agent "^VCI" bot

SetEnvIfNoCase User-Agent "^VoidEYE" bot

SetEnvIfNoCase User-Agent "^Virusdie_crawler" bot

SetEnvIfNoCase User-Agent "^VadixBot" bot

SetEnvIfNoCase User-Agent "^voyager" bot

SetEnvIfNoCase User-Agent "^Web\ Image\ Collector" bot

SetEnvIfNoCase User-Agent "^Web\ Sucker" bot

SetEnvIfNoCase User-Agent "^WebAuto" bot

SetEnvIfNoCase User-Agent "^WebBandit" bot

SetEnvIfNoCase User-Agent "^Webclipping.com" bot

SetEnvIfNoCase User-Agent "^WebCopier" bot

SetEnvIfNoCase User-Agent "^WebEMailExtrac.*" bot

SetEnvIfNoCase User-Agent "^WebEnhancer" bot

SetEnvIfNoCase User-Agent "^WebFetch" bot

SetEnvIfNoCase User-Agent "^WebGo\ IS" bot

SetEnvIfNoCase User-Agent "^Web.Image.Collector" bot

SetEnvIfNoCase User-Agent "^WebLeacher" bot

SetEnvIfNoCase User-Agent "^WebmasterWorldForumBot" bot

SetEnvIfNoCase User-Agent "^WebReaper" bot

SetEnvIfNoCase User-Agent "^WebSauger" bot

SetEnvIfNoCase User-Agent "^Website\ eXtractor" bot

SetEnvIfNoCase User-Agent "^Website\ Quester" bot

SetEnvIfNoCase User-Agent "^Webster" bot

SetEnvIfNoCase User-Agent "^WebStripper" bot

SetEnvIfNoCase User-Agent "^WebWhacker" bot

SetEnvIfNoCase User-Agent "^WebZIP" bot

SetEnvIfNoCase User-Agent "Whacker" bot

SetEnvIfNoCase User-Agent "^Widow" bot

SetEnvIfNoCase User-Agent "^WISENutbot" bot

SetEnvIfNoCase User-Agent "^WWWOFFLE" bot

SetEnvIfNoCase User-Agent "^WWW-Collector-E" bot

SetEnvIfNoCase User-Agent "^W3C-checklink" bot

SetEnvIfNoCase User-Agent "^Weazel" bot

SetEnvIfNoCase User-Agent "^Web.*Spy" bot

SetEnvIfNoCase User-Agent "^WebAlta" bot

SetEnvIfNoCase User-Agent "^WebCapture" bot

SetEnvIfNoCase User-Agent "^WebMirror" bot

SetEnvIfNoCase User-Agent "^WebRecorder" bot

SetEnvIfNoCase User-Agent "^WebSpy" bot

SetEnvIfNoCase User-Agent "^WebVulnCrawl.unknown" bot

SetEnvIfNoCase User-Agent "^Wells Search" bot

SetEnvIfNoCase User-Agent "^WEP Search" bot

SetEnvIfNoCase User-Agent "^www\.asona\.org" bot

SetEnvIfNoCase User-Agent "^Wget" bot

SetEnvIfNoCase User-Agent "^Xaldon" bot

SetEnvIfNoCase User-Agent "^Xenu" bot

SetEnvIfNoCase User-Agent "^Xaldon\ WebSpider" bot

SetEnvIfNoCase User-Agent "^Zeus" bot

SetEnvIfNoCase User-Agent "ZmEu" bot

SetEnvIfNoCase User-Agent "^Zyborg" bot

SetEnvIfNoCase User-Agent "^_CommonCrawler_Node_" bot

SetEnvIfNoCase User-Agent "^_Cliqzbot" bot

SetEnvIfNoCase User-Agent "^_Baiduspider" bot

SetEnvIfNoCase User-Agent "^_Exabot" bot

SetEnvIfNoCase User-Agent "^_GrapeshotCrawler" bot

SetEnvIfNoCase User-Agent "^_Gluten_Free_Crawler" bot

SetEnvIfNoCase User-Agent "^_DeuSu" bot

SetEnvIfNoCase User-Agent "^_Dataprovider" bot

SetEnvIfNoCase User-Agent "^_DuckDuckGo-Favicons-Bot" bot

SetEnvIfNoCase User-Agent "^_SeznamBot" bot

SetEnvIfNoCase User-Agent "^_007ac9_Crawler" bot

SetEnvIfNoCase User-Agent "^_wmtips" bot

SetEnvIfNoCase User-Agent "^rv" bot

SetEnvIfNoCase User-Agent "^DotBot" bot

Order Allow,Deny

Allow from all

Deny from env=bot

ErrorDocument 400 /400.html

ErrorDocument 401 /401.html

ErrorDocument 403 /403.html

ErrorDocument 404 /404.html

ErrorDocument 405 /405.html

ErrorDocument 408 /408.html

ErrorDocument 414 /414.html

ErrorDocument 500 /500.html

ErrorDocument 501 /501.html

ErrorDocument 502 /502.html

ErrorDocument 503 /503.html

ErrorDocument 504 /504.html