ExBB Community :: Версия для печати :: Большая нагрузка на хостинг

1. nikk - 27 октября 2014 — 16:37 - перейти к сообщению

Надеюсь правильно написал..
Вообщем такая проблема, хостер прислал письмо:

CODE:

На Вашем тарифном плане "Great" разрешенная статическая нагрузка 65cp, однако
за последние 7 дней среднее значение нагрузки превышает 89cp.

Посмотрел и увидел что больше всего нагрузки дает мой любимый форум:

CODE:

Top 20 Requests:
---------------------------------------------
52019 istorya.pro/printfile.php
38274 istorya.pro/jsloader.php
4971 istorya.pro/
3519 istorya.pro/templates/PinkExBB/im/nav_m.gif

CODE:

Добрый день.
Статистики по нагрузке.
+------------+---------------+-------+
| Date | SiteName | CP |
+------------+---------------+-------+
| 2014-10-21 | istorya.pro | 59.68 |
| 2014-10-22 | istorya.pro | 51.3 |
| 2014-10-23 | istorya.pro | 56.4 |
| 2014-10-24 | istorya.pro | 92.36 |

CODE:

Можно заблокировать нежелательные с наибольшим количеством обращений IP.
Сделать это можно, добавив в файл .htaccess в корне сайта ( если его нет, надо создать ) следующий код:
Order Allow,Deny
Allow from all
Deny from xхx.xхx.xхx.xхx xхx.xхx.xхx.xхx xхx.xхx.xхx.xхx

Подскажите, что можно сделать? Какие IP заблокировать и пр?

2. - 27 октября 2014 — 19:19 - перейти к сообщению

У меня тоже так было. Просто смотрел в течение 2-3 дней в логах наиболее частые ip со странными запросами и составил список. Забанил - сразу стало полегче...

CODE:

<Limit GET>
Order Allow,Deny
Deny from 81.177.6.122, 46.38.23.224, 80.83.238.15, 212.14.208.122, 46.72.34.202, 93.92.82.96, 178.125.201.29, 188.73.143.237, 5.128.14.84, 193.106.136.33, 217.29.179.211, 213.182.79.90, 66.249.76.182, 91.204.176.*
Allow from All
</Limit>

3. nikk - 27 октября 2014 — 19:35 - перейти к сообщению

Посмотреть в логах ошибок? Взгляну обязательно! Спасибо тебе, дружище! А что это вообще за IP ?

4. Иван Петров - 27 октября 2014 — 21:45 - перейти к сообщению

nikk пишет:

Вообщем такая проблема, хостер прислал письмо:

nikk пишет:

CODE:Добрый день.
Статистики по нагрузке.
+------------+---------------+-------+
| Date | SiteName | CP |
+------------+---------------+-------+
| 2014-10-21 | istorya.pro | 59.68 |
| 2014-10-22 | istorya.pro | 51.3 |
| 2014-10-23 | istorya.pro | 56.4 |
| 2014-10-24 | istorya.pro | 92.36 |

Знакомая проблема. У меня в последнее время тоже повысилась нагрузка

И это при допустимой нагрузке 36cp. При превышении 72cp - хостер шлет грозные сообщения на почту Улыбка

Не могу пока понять в чем причина, в последнее время совсем не хватает свободного времени во всем разобраться.
Nikk, попробуйте прописать в корневом каталоге, в файле .htaccess следующее:

CODE:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} "AhrefsBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "BLEXBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Slurp" [OR]
RewriteCond %{HTTP_USER_AGENT} "msnbot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Wotbox" [OR]
RewriteCond %{HTTP_USER_AGENT} "ZumBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "SputnikBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Ezooms" [OR]
RewriteCond %{HTTP_USER_AGENT} "ContextAd" [OR]
RewriteCond %{HTTP_USER_AGENT} "rogerbot" [OR]
RewriteCond %{HTTP_USER_AGENT} "PaperLiBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "MJ12bot" [OR]
RewriteCond %{HTTP_USER_AGENT} "openstat.ru/Bot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Baiduspider" [OR]
RewriteCond %{HTTP_USER_AGENT} "magpie-crawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "SISTRIX Crawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "Teleport" [OR]
RewriteCond %{HTTP_USER_AGENT} "PHP" [OR]
RewriteCond %{HTTP_USER_AGENT} "nikolaydovydov@km.ru" [OR]
RewriteCond %{HTTP_USER_AGENT} "GrapeshotCrawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "DigExt" [OR]
RewriteCond %{HTTP_USER_AGENT} "LinkpadBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "CRAZYWEBCRAWLER" [OR]
RewriteCond %{HTTP_USER_AGENT} "Spider Build/JLS36C" [OR]
RewriteCond %{HTTP_USER_AGENT} "fr-crawler" [OR]
RewriteRule .* - [F,L]

Это вот я дал список ботов, которые по моему наблюдению плевать хотели на robots.txt
Пришлось блокировать на уровне сервера.

Эти бесполезные боты существенно нагружали мой хостинг. После добавления их в .htaccess - нагрузка снизилась на 7-10 единиц. Но дело в том, что появляются новые назойливые боты и по user agent их бывает и не отследишь

Вот кстати помню паук с user agent:

CODE:

"Mozilla/5.0 (compatible; openstat.ru/Bot)"

Создавал большую нагрузку, аж 12 cp только за один час. Считай за три часа набрал дневную допустимую нагрузку. Улыбка

5. 1Bot - 28 октября 2014 — 08:56 - перейти к сообщению

nikk пишет:

Top 20 Requests:
---------------------------------------------
52019 istorya.pro/printfile.php
38274 istorya.pro/jsloader.php
4971 istorya.pro/
3519 istorya.pro/templates/PinkExBB/im/nav_m.gif

Основная загрузка процессора получается при обработке изображений:
1 и 2 файл вызывается при обработке прикрепленных изображений (уменьшении/отображении полного)
3 - главная страница
4 - файл отсутствует как таковой

6. - 1 ноября 2014 — 16:43 - перейти к сообщению

CODE:

3519 istorya.pro/templates/PinkExBB/im/nav_m.gif

Данный косяк (ссылка на несуществующий файл) пофиксен.

Надо искать, что конкретно дает нагрузку. Или кто.

7. nikk - 2 июля 2015 — 20:39 - перейти к сообщению

Иван Петров пишет:

Nikk, попробуйте прописать в корневом каталоге, в файле .htaccess следующее:

CODE:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} "AhrefsBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "BLEXBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Slurp" [OR]
RewriteCond %{HTTP_USER_AGENT} "msnbot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Wotbox" [OR]
RewriteCond %{HTTP_USER_AGENT} "ZumBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "SputnikBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Ezooms" [OR]
RewriteCond %{HTTP_USER_AGENT} "ContextAd" [OR]
RewriteCond %{HTTP_USER_AGENT} "rogerbot" [OR]
RewriteCond %{HTTP_USER_AGENT} "PaperLiBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "MJ12bot" [OR]
RewriteCond %{HTTP_USER_AGENT} "openstat.ru/Bot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Baiduspider" [OR]
RewriteCond %{HTTP_USER_AGENT} "magpie-crawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "SISTRIX Crawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "Teleport" [OR]
RewriteCond %{HTTP_USER_AGENT} "PHP" [OR]
RewriteCond %{HTTP_USER_AGENT} "nikolaydovydov@km.ru" [OR]
RewriteCond %{HTTP_USER_AGENT} "GrapeshotCrawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "DigExt" [OR]
RewriteCond %{HTTP_USER_AGENT} "LinkpadBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "CRAZYWEBCRAWLER" [OR]
RewriteCond %{HTTP_USER_AGENT} "Spider Build/JLS36C" [OR]
RewriteCond %{HTTP_USER_AGENT} "fr-crawler" [OR]
RewriteRule .* - [F,L]

Это вот я дал список ботов, которые по моему наблюдению плевать хотели на robots.txt
Пришлось блокировать на уровне сервера.

Эти бесполезные боты существенно нагружали мой хостинг. После добавления их в .htaccess - нагрузка снизилась на 7-10 единиц.

Добавил в файл этих ботов, но форум тут же перестал отображаться, выдает ошибку 403 кажется

8. nikk - 3 июля 2015 — 06:43 - перейти к сообщению

nikk пишет:

Иван Петров пишет:

Nikk, попробуйте прописать в корневом каталоге, в файле .htaccess следующее:

CODE:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} "AhrefsBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "BLEXBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Slurp" [OR]
RewriteCond %{HTTP_USER_AGENT} "msnbot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Wotbox" [OR]
RewriteCond %{HTTP_USER_AGENT} "ZumBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "SputnikBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Ezooms" [OR]
RewriteCond %{HTTP_USER_AGENT} "ContextAd" [OR]
RewriteCond %{HTTP_USER_AGENT} "rogerbot" [OR]
RewriteCond %{HTTP_USER_AGENT} "PaperLiBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "MJ12bot" [OR]
RewriteCond %{HTTP_USER_AGENT} "openstat.ru/Bot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Baiduspider" [OR]
RewriteCond %{HTTP_USER_AGENT} "magpie-crawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "SISTRIX Crawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "Teleport" [OR]
RewriteCond %{HTTP_USER_AGENT} "PHP" [OR]
RewriteCond %{HTTP_USER_AGENT} "nikolaydovydov@km.ru" [OR]
RewriteCond %{HTTP_USER_AGENT} "GrapeshotCrawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "DigExt" [OR]
RewriteCond %{HTTP_USER_AGENT} "LinkpadBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "CRAZYWEBCRAWLER" [OR]
RewriteCond %{HTTP_USER_AGENT} "Spider Build/JLS36C" [OR]
RewriteCond %{HTTP_USER_AGENT} "fr-crawler" [OR]
RewriteRule .* - [F,L]

Это вот я дал список ботов, которые по моему наблюдению плевать хотели на robots.txt
Пришлось блокировать на уровне сервера.

Эти бесполезные боты существенно нагружали мой хостинг. После добавления их в .htaccess - нагрузка снизилась на 7-10 единиц.

Добавил в файл этих ботов, но форум тут же перестал отображаться, выдает ошибку 403 кажется

Все таки удалось прописать этих ботов в хатесесс, но судя по логу, то очень часто атакует compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm

Подскажите плиз, как правильно его заблокировать в хатецессе?

9. nikk - 3 июля 2015 — 12:48 - перейти к сообщению

Еще оказался вредный бот: ahrefs.com. Тоже дает огромную нагрузку на хостинг. Заблокировал его в хатесессе, посмотрим что будет дальше.
Статистика из лога форума за сутки:

Боты bingbot.htm- 3432

Боты ahrefs.com- 1998

10. Алексей - 3 июля 2015 — 13:47 - перейти к сообщению

nikk пишет:

Еще оказался вредный бот: ahrefs.com. Тоже дает огромную нагрузку на хостинг. Заблокировал его в хатесессе, посмотрим что будет дальше.
Статистика из лога форума за сутки:

Боты bingbot.htm- 3432

Боты ahrefs.com- 1998

Вы без бота от бинга-поисковика Майкрософта - официального- можете не искаться в Бинге !! Не думали??

11. nikk - 3 июля 2015 — 13:49 - перейти к сообщению

А насколько важен этот поисковик? К вам на форум много народу идет из Бинга? Три-четыре человека в месяц? А нагрузку этот поисковик дает неслабую!

12. Алексей - 3 июля 2015 — 14:22 - перейти к сообщению

nikk пишет:

А насколько важен этот поисковик? К вам на форум много народу идет из Бинга? Три-четыре человека в месяц? А нагрузку этот поисковик дает неслабую!

Вопрос не мне, а вам!! Я обратил Ваше мнение и все! Решать вам!!