Nikk, попробуйте прописать в корневом каталоге, в файле .htaccess следующее:

CODE:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} "AhrefsBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "BLEXBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Slurp" [OR]
RewriteCond %{HTTP_USER_AGENT} "msnbot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Wotbox" [OR]
RewriteCond %{HTTP_USER_AGENT} "ZumBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "SputnikBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Ezooms" [OR]
RewriteCond %{HTTP_USER_AGENT} "ContextAd" [OR]
RewriteCond %{HTTP_USER_AGENT} "rogerbot" [OR]
RewriteCond %{HTTP_USER_AGENT} "PaperLiBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "MJ12bot" [OR]
RewriteCond %{HTTP_USER_AGENT} "openstat.ru/Bot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Baiduspider" [OR]
RewriteCond %{HTTP_USER_AGENT} "magpie-crawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "SISTRIX Crawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "Teleport" [OR]
RewriteCond %{HTTP_USER_AGENT} "PHP" [OR]
RewriteCond %{HTTP_USER_AGENT} "nikolaydovydov@km.ru" [OR]
RewriteCond %{HTTP_USER_AGENT} "GrapeshotCrawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "DigExt" [OR]
RewriteCond %{HTTP_USER_AGENT} "LinkpadBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "CRAZYWEBCRAWLER" [OR]
RewriteCond %{HTTP_USER_AGENT} "Spider Build/JLS36C" [OR]
RewriteCond %{HTTP_USER_AGENT} "fr-crawler" [OR]
RewriteRule .* - [F,L]


Это вот я дал список ботов, которые по моему наблюдению плевать хотели на robots.txt
Пришлось блокировать на уровне сервера.

Эти бесполезные боты существенно нагружали мой хостинг. После добавления их в .htaccess - нагрузка снизилась на 7-10 единиц.