ExBB Community ExBB Community
 Сайт проекта ExBB Общение объединяет!
Войдите на форум при помощиВойти через loginza
 		 Чат на форуме      Помощь      Поиск      Пользователи     BanList BanList


 Страниц (1): [1]   

> Описание: Как правильно отсканировать сайт?!
Поиск в теме | Версия для печати
gudman
Отправлено: 1 марта 2011 — 02:42
Post Id



Супермодератор
ExBB Team
Supermoderator


Покинул форум
Сообщений всего: 351
Дата рег-ции: Дек. 2009  
Репутация: 19




 Итак Друзья.
Для сканирования своего сайта и использую программу SiteMap Generator
Сканируя свой сайт этой программой я столкнулся со следующей проблемой:
Прграмма учитывает настройки файла robots.txt но как оказалось не все!
а именно, программа пропускает заданные правила:
CODE:
Disallow: /forum/tools.php?action=
Disallow: /forum/search.php?action=
Disallow: /forum/topic.php?forum=*&topic=*&v=l
Disallow: /forum/topic.php?forum=*&topic=*&p=1$

и еще несколько!
Для того чтобы отсканировать сайт без лишних страниц нужно добавить правила непосредственно для программы!
итак, в главном окне программы в окошке Exclude Patterns:


Добавляем следующие строки:
CODE:
*v=l*
*p=1*
*p=-1*
*postid=*
*member=*
*search.php?action=*
*tools.php?action=*
*index.php?action=resetall*


Вот собственно и все! Теперь программа будет учитывать эти правила!
Надеюсь будет полезным.... Подмигивание

(Отредактировано автором: 1 марта 2011 — 13:09)
 
 


gudman
Отправлено: 1 марта 2011 — 03:20
Post Id



Супермодератор
ExBB Team
Supermoderator


Покинул форум
Сообщений всего: 351
Дата рег-ции: Дек. 2009  
Репутация: 19




 я не встречал! Если подскажите где, буду благодарен!!! Подмигивание
 
 
gudman
Отправлено: 1 марта 2011 — 14:38
Post Id



Супермодератор
ExBB Team
Supermoderator


Покинул форум
Сообщений всего: 351
Дата рег-ции: Дек. 2009  
Репутация: 19




 vipraskrutka, было бы здорово! Улыбка
 
 
BON
Отправлено: 1 марта 2011 — 16:18
Post Id



Администратор
ExBB Team
Admin


Покинул форум
Сообщений всего: 2762
Дата рег-ции: Нояб. 2010  
Откуда: СССР/Белгород
Репутация: 72




 php скрипты генерации карты сайта есть в инете
 
 
Поиск в теме | Версия для печати
Страниц (1): [1]
Сейчас эту тему просматривают: 1 (гостей: 1, зарегистрированных: 0)
« Обсуждаем »

> Похожие темы: Работа с программой SiteMap Generator
Темы Форум Информация о теме Обновление
Создание картинок
Работа в графических редакторах		Графика Ответов: 2
Автор темы: YuraP0d		21 марта 2014 — 13:33
Автор: YuraP0d
Не вставляются пробелы в сообщения
Не правильно форматируется текст при вставке		Настройка форума Ответов: 43
Автор темы: Andrey_Ak		3 февраля 2016 — 08:29
Автор: Andrey_Ak
Мод: Регистрация и авторизация со сторонних ресурсов (Loginza)
Быстрая регистрация, вход на форум через социальные сети и другие популярные сайты		Модификации и дополнения Ответов: 300
Автор темы: Defenderyk		20 января 2015 — 10:31
Автор: variant0
Загрузка фото в текст сообщения
Не могу добиться или настроить форум для правильной загрузки фото		Общие вопросы Ответов: 9
Автор темы: aseevtm		24 января 2011 — 00:17
Автор: kitNest
Правила раздела
Как правильно задать вопрос. ОБЯЗАТЕЛЬНО ДЛЯ ПРОЧТЕНИЯ!		Решение проблем Ответов: 0
Автор темы: yura3d		25 ноября 2010 — 00:57
Автор: yura3d
 



Все гости форума могут просматривать этот раздел.
Только администраторы и модераторы могут создавать новые темы в этом разделе.
Только администраторы и модераторы могут отвечать на сообщения в этом разделе.
  




Яндекс.Метрика   

Powered by ExBB
ExBB FM 1.0 RC1 by TvoyWeb.ru
InvisionExBB Style converted by Markus®
[Script Execution time: 0.1113]     [ ]