ExBB Community ExBB Community
 Сайт проекта ExBB Общение объединяет!
Войдите на форум при помощиВойти через loginza
 		 Чат на форуме      Помощь      Поиск      Пользователи     BanList BanList


 Страниц (1): [1]   

> Без описания
Поиск в теме | Версия для печати
nikk
Отправлено: 27 октября 2014 — 16:37
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 1122
Дата рег-ции: Нояб. 2009  
Репутация: 25




 Надеюсь правильно написал..
Вообщем такая проблема, хостер прислал письмо:

CODE:
На Вашем тарифном плане "Great" разрешенная статическая нагрузка 65cp, однако
за последние 7 дней среднее значение нагрузки превышает 89cp.

Посмотрел и увидел что больше всего нагрузки дает мой любимый форум:

CODE:
Top 20 Requests:
---------------------------------------------
52019 istorya.pro/printfile.php
38274 istorya.pro/jsloader.php
4971 istorya.pro/
3519 istorya.pro/templates/PinkExBB/im/nav_m.gif


CODE:
Добрый день.
Статистики по нагрузке.
+------------+---------------+-------+
| Date | SiteName | CP |
+------------+---------------+-------+
| 2014-10-21 | istorya.pro | 59.68 |
| 2014-10-22 | istorya.pro | 51.3 |
| 2014-10-23 | istorya.pro | 56.4 |
| 2014-10-24 | istorya.pro | 92.36 |


CODE:
Можно заблокировать нежелательные с наибольшим количеством обращений IP.
Сделать это можно, добавив в файл .htaccess в корне сайта ( если его нет, надо создать ) следующий код:
Order Allow,Deny
Allow from all
Deny from xхx.xхx.xхx.xхx xхx.xхx.xхx.xхx xхx.xхx.xхx.xхx


Подскажите, что можно сделать? Какие IP заблокировать и пр?
 
 


Guyver
Отправлено: 27 октября 2014 — 19:19
Post Id



Пользователь
Advanced Member


Покинул форум
Сообщений всего: 289
Дата рег-ции: Окт. 2014  
Откуда: Магадан
Репутация: 8




 У меня тоже так было. Просто смотрел в течение 2-3 дней в логах наиболее частые ip со странными запросами и составил список. Забанил - сразу стало полегче...

CODE:
<Limit GET>
Order Allow,Deny
Deny from 81.177.6.122, 46.38.23.224, 80.83.238.15, 212.14.208.122, 46.72.34.202, 93.92.82.96, 178.125.201.29, 188.73.143.237, 5.128.14.84, 193.106.136.33, 217.29.179.211, 213.182.79.90, 66.249.76.182, 91.204.176.*
Allow from All
</Limit>

(Отредактировано автором: 27 октября 2014 — 19:21)
 
 
nikk
Отправлено: 27 октября 2014 — 19:35
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 1122
Дата рег-ции: Нояб. 2009  
Репутация: 25




 Посмотреть в логах ошибок? Взгляну обязательно! Спасибо тебе, дружище! А что это вообще за IP ?
 
 
Иван Петров
Отправлено: 27 октября 2014 — 21:45
Post Id


Пользователь
Full Member


Покинул форум
Сообщений всего: 171
Дата рег-ции: Авг. 2012  
Репутация: 3
nikk пишет:
Вообщем такая проблема, хостер прислал письмо:
nikk пишет:
CODE:Добрый день.
Статистики по нагрузке.
+------------+---------------+-------+
| Date | SiteName | CP |
+------------+---------------+-------+
| 2014-10-21 | istorya.pro | 59.68 |
| 2014-10-22 | istorya.pro | 51.3 |
| 2014-10-23 | istorya.pro | 56.4 |
| 2014-10-24 | istorya.pro | 92.36 |


Знакомая проблема. У меня в последнее время тоже повысилась нагрузка



И это при допустимой нагрузке 36cp. При превышении 72cp - хостер шлет грозные сообщения на почту Улыбка

Не могу пока понять в чем причина, в последнее время совсем не хватает свободного времени во всем разобраться.
Nikk, попробуйте прописать в корневом каталоге, в файле .htaccess следующее:

CODE:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} "AhrefsBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "BLEXBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Slurp" [OR]
RewriteCond %{HTTP_USER_AGENT} "msnbot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Wotbox" [OR]
RewriteCond %{HTTP_USER_AGENT} "ZumBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "SputnikBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Ezooms" [OR]
RewriteCond %{HTTP_USER_AGENT} "ContextAd" [OR]
RewriteCond %{HTTP_USER_AGENT} "rogerbot" [OR]
RewriteCond %{HTTP_USER_AGENT} "PaperLiBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "MJ12bot" [OR]
RewriteCond %{HTTP_USER_AGENT} "openstat.ru/Bot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Baiduspider" [OR]
RewriteCond %{HTTP_USER_AGENT} "magpie-crawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "SISTRIX Crawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "Teleport" [OR]
RewriteCond %{HTTP_USER_AGENT} "PHP" [OR]
RewriteCond %{HTTP_USER_AGENT} "nikolaydovydov@km.ru" [OR]
RewriteCond %{HTTP_USER_AGENT} "GrapeshotCrawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "DigExt" [OR]
RewriteCond %{HTTP_USER_AGENT} "LinkpadBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "CRAZYWEBCRAWLER" [OR]
RewriteCond %{HTTP_USER_AGENT} "Spider Build/JLS36C" [OR]
RewriteCond %{HTTP_USER_AGENT} "fr-crawler" [OR]
RewriteRule .* - [F,L]


Это вот я дал список ботов, которые по моему наблюдению плевать хотели на robots.txt
Пришлось блокировать на уровне сервера.

Эти бесполезные боты существенно нагружали мой хостинг. После добавления их в .htaccess - нагрузка снизилась на 7-10 единиц. Но дело в том, что появляются новые назойливые боты и по user agent их бывает и не отследишь

Вот кстати помню паук с user agent:
CODE:
"Mozilla/5.0 (compatible; openstat.ru/Bot)"

Создавал большую нагрузку, аж 12 cp только за один час. Считай за три часа набрал дневную допустимую нагрузку. Улыбка
 
 
1Bot
Отправлено: 28 октября 2014 — 08:56
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 773
Дата рег-ции: Апр. 2009  
Откуда: Днепропетровск
Репутация: 69
nikk пишет:
Top 20 Requests:
---------------------------------------------
52019 istorya.pro/printfile.php
38274 istorya.pro/jsloader.php
4971 istorya.pro/
3519 istorya.pro/templates/PinkExBB/im/nav_m.gif


Основная загрузка процессора получается при обработке изображений:
1 и 2 файл вызывается при обработке прикрепленных изображений (уменьшении/отображении полного)
3 - главная страница
4 - файл отсутствует как таковой
 
 
Zeg
Отправлено: 1 ноября 2014 — 16:43
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 891
Дата рег-ции: Март 2009  
Откуда: Беларусь
Репутация: 89
CODE:
3519 istorya.pro/templates/PinkExBB/im/nav_m.gif

Данный косяк (ссылка на несуществующий файл) пофиксен.

Надо искать, что конкретно дает нагрузку. Или кто.
 
 
nikk
Отправлено: 2 июля 2015 — 20:39
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 1122
Дата рег-ции: Нояб. 2009  
Репутация: 25
Иван Петров пишет:
Nikk, попробуйте прописать в корневом каталоге, в файле .htaccess следующее:

CODE:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} "AhrefsBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "BLEXBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Slurp" [OR]
RewriteCond %{HTTP_USER_AGENT} "msnbot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Wotbox" [OR]
RewriteCond %{HTTP_USER_AGENT} "ZumBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "SputnikBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Ezooms" [OR]
RewriteCond %{HTTP_USER_AGENT} "ContextAd" [OR]
RewriteCond %{HTTP_USER_AGENT} "rogerbot" [OR]
RewriteCond %{HTTP_USER_AGENT} "PaperLiBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "MJ12bot" [OR]
RewriteCond %{HTTP_USER_AGENT} "openstat.ru/Bot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Baiduspider" [OR]
RewriteCond %{HTTP_USER_AGENT} "magpie-crawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "SISTRIX Crawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "Teleport" [OR]
RewriteCond %{HTTP_USER_AGENT} "PHP" [OR]
RewriteCond %{HTTP_USER_AGENT} "nikolaydovydov@km.ru" [OR]
RewriteCond %{HTTP_USER_AGENT} "GrapeshotCrawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "DigExt" [OR]
RewriteCond %{HTTP_USER_AGENT} "LinkpadBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "CRAZYWEBCRAWLER" [OR]
RewriteCond %{HTTP_USER_AGENT} "Spider Build/JLS36C" [OR]
RewriteCond %{HTTP_USER_AGENT} "fr-crawler" [OR]
RewriteRule .* - [F,L]


Это вот я дал список ботов, которые по моему наблюдению плевать хотели на robots.txt
Пришлось блокировать на уровне сервера.

Эти бесполезные боты существенно нагружали мой хостинг. После добавления их в .htaccess - нагрузка снизилась на 7-10 единиц.



Добавил в файл этих ботов, но форум тут же перестал отображаться, выдает ошибку 403 кажется
 
 
nikk
Отправлено: 3 июля 2015 — 06:43
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 1122
Дата рег-ции: Нояб. 2009  
Репутация: 25
nikk пишет:
Иван Петров пишет:
Nikk, попробуйте прописать в корневом каталоге, в файле .htaccess следующее:

CODE:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} "AhrefsBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "BLEXBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Slurp" [OR]
RewriteCond %{HTTP_USER_AGENT} "msnbot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Wotbox" [OR]
RewriteCond %{HTTP_USER_AGENT} "ZumBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "SputnikBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Ezooms" [OR]
RewriteCond %{HTTP_USER_AGENT} "ContextAd" [OR]
RewriteCond %{HTTP_USER_AGENT} "rogerbot" [OR]
RewriteCond %{HTTP_USER_AGENT} "PaperLiBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "MJ12bot" [OR]
RewriteCond %{HTTP_USER_AGENT} "openstat.ru/Bot" [OR]
RewriteCond %{HTTP_USER_AGENT} "Baiduspider" [OR]
RewriteCond %{HTTP_USER_AGENT} "magpie-crawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "SISTRIX Crawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "Teleport" [OR]
RewriteCond %{HTTP_USER_AGENT} "PHP" [OR]
RewriteCond %{HTTP_USER_AGENT} "nikolaydovydov@km.ru" [OR]
RewriteCond %{HTTP_USER_AGENT} "GrapeshotCrawler" [OR]
RewriteCond %{HTTP_USER_AGENT} "DigExt" [OR]
RewriteCond %{HTTP_USER_AGENT} "LinkpadBot" [OR]
RewriteCond %{HTTP_USER_AGENT} "CRAZYWEBCRAWLER" [OR]
RewriteCond %{HTTP_USER_AGENT} "Spider Build/JLS36C" [OR]
RewriteCond %{HTTP_USER_AGENT} "fr-crawler" [OR]
RewriteRule .* - [F,L]


Это вот я дал список ботов, которые по моему наблюдению плевать хотели на robots.txt
Пришлось блокировать на уровне сервера.

Эти бесполезные боты существенно нагружали мой хостинг. После добавления их в .htaccess - нагрузка снизилась на 7-10 единиц.



Добавил в файл этих ботов, но форум тут же перестал отображаться, выдает ошибку 403 кажется



Все таки удалось прописать этих ботов в хатесесс, но судя по логу, то очень часто атакует compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm

Подскажите плиз, как правильно его заблокировать в хатецессе?
 
 
nikk
Отправлено: 3 июля 2015 — 12:48
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 1122
Дата рег-ции: Нояб. 2009  
Репутация: 25




 Еще оказался вредный бот: ahrefs.com. Тоже дает огромную нагрузку на хостинг. Заблокировал его в хатесессе, посмотрим что будет дальше.
Статистика из лога форума за сутки:

Боты bingbot.htm- 3432

Боты ahrefs.com- 1998
 
 
Алексей
Отправлено: 3 июля 2015 — 13:47
Post Id


Пользователь
Newbie


Покинул форум
Сообщений всего: 31
Дата рег-ции: Июнь 2015  
Репутация: 2
nikk пишет:
Еще оказался вредный бот: ahrefs.com. Тоже дает огромную нагрузку на хостинг. Заблокировал его в хатесессе, посмотрим что будет дальше.
Статистика из лога форума за сутки:

Боты bingbot.htm- 3432

Боты ahrefs.com- 1998

Вы без бота от бинга-поисковика Майкрософта - официального- можете не искаться в Бинге !! Не думали??
 
 
nikk
Отправлено: 3 июля 2015 — 13:49
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 1122
Дата рег-ции: Нояб. 2009  
Репутация: 25




 А насколько важен этот поисковик? К вам на форум много народу идет из Бинга? Три-четыре человека в месяц? А нагрузку этот поисковик дает неслабую!
 
 
Алексей
Отправлено: 3 июля 2015 — 14:22
Post Id


Пользователь
Newbie


Покинул форум
Сообщений всего: 31
Дата рег-ции: Июнь 2015  
Репутация: 2
nikk пишет:
А насколько важен этот поисковик? К вам на форум много народу идет из Бинга? Три-четыре человека в месяц? А нагрузку этот поисковик дает неслабую!


Вопрос не мне, а вам!! Я обратил Ваше мнение и все! Решать вам!!
 
 
Поиск в теме | Версия для печати
Страниц (1): [1]
Сейчас эту тему просматривают: 1 (гостей: 1, зарегистрированных: 0)
« Решение проблем »

> Похожие темы: Большая нагрузка на хостинг
Темы Форум Информация о теме Обновление
Как вставить картинку.
Как загрузить картинку (файл) на свой хостинг и вставить ее в сообщение?		Решение проблем Ответов: 31
Автор темы: Speaker		21 октября 2011 — 09:33
Автор: cooper
Замена у всех ссылок одного домена на другой во всех постах
изменение ссылок в ветках форума после переноса на другой хостинг		Утилиты и конвертеры Ответов: 27
Автор темы: 1Bot		29 марта 2018 — 15:57
Автор: Parapsixolog
где разместился ваш exbb
какой вы используете хостинг		Хостинг Ответов: 9
Автор темы: wersi		30 декабря 2013 — 02:21
Автор: Nikaru
Как "вручную" зарегистрировать пользователя?
не работает phpmail на бесплатном хостинге.		Общие вопросы Ответов: 2
Автор темы: elenix		13 ноября 2010 — 14:03
Автор: elenix
Нагрузки форума
Как справляется форум с нагрузками		Обсуждаем Ответов: 13
Автор темы: Taki		13 апреля 2017 — 20:10
Автор: Taki
 



Все гости форума могут просматривать этот раздел.
Только администраторы и модераторы могут создавать новые темы в этом разделе.
Только администраторы и модераторы могут отвечать на сообщения в этом разделе.
  




Яндекс.Метрика   

Powered by ExBB
ExBB FM 1.0 RC1 by TvoyWeb.ru
InvisionExBB Style converted by Markus®
[Script Execution time: 0.0724]     [ ]