Для сканирования своего сайта и использую программу SiteMap Generator
Сканируя свой сайт этой программой я столкнулся со следующей проблемой:
Прграмма учитывает настройки файла robots.txt но как оказалось не все!
а именно, программа пропускает заданные правила:
CODE:
Disallow: /forum/tools.php?action=
Disallow: /forum/search.php?action=
Disallow: /forum/topic.php?forum=*&topic=*&v=l
Disallow: /forum/topic.php?forum=*&topic=*&p=1$
Disallow: /forum/search.php?action=
Disallow: /forum/topic.php?forum=*&topic=*&v=l
Disallow: /forum/topic.php?forum=*&topic=*&p=1$
и еще несколько!
Для того чтобы отсканировать сайт без лишних страниц нужно добавить правила непосредственно для программы!
итак, в главном окне программы в окошке Exclude Patterns:
Добавляем следующие строки:
CODE:
*v=l*
*p=1*
*p=-1*
*postid=*
*member=*
*search.php?action=*
*tools.php?action=*
*index.php?action=resetall*
*p=1*
*p=-1*
*postid=*
*member=*
*search.php?action=*
*tools.php?action=*
*index.php?action=resetall*
Вот собственно и все! Теперь программа будет учитывать эти правила!
Надеюсь будет полезным....
