ExBB Community » » Установка и обновление » robots.txt

Страниц (6): « 1 2 [3] 4 5 6 »
 

31. M-A-X - 24 сентября 2010 — 08:46 - перейти к сообщению
nikk пишет:
у меня Яндекс по-прежнему находит две главные страницы, http://militaryforum.ru и http://militaryforum.ru/index.php...
как же правильно закрыть index.ph, подскажите плиз!


Нужно, чтобы на форуме не было ссылок на index.php.
Об этом уже вроде раз писал.


Редирект:
Проверяем в самом index.php, есть ли в строке запроса, например, "php" в конце.
Если есть, постоянным редиректом отправляем на "/"
32. Zeg - 24 сентября 2010 — 16:18 - перейти к сообщению
nikk пишет:
Zeg Вы можете это прописать? как будет выглядеть htaccess?

Как писали выше - все ссылки должны вести не на index.php, а корень сайта (/).

При добавлении в файл .htaccess строк:
CODE:
RewriteEngine On

RewriteRule ^index.php$ / [R=301,L]


при обращении к index.php будет выполнен редирект на /.
33. sania - 17 октября 2010 — 10:01 - перейти к сообщению
Zeg пишет:
nikk пишет:
Zeg Вы можете это прописать? как будет выглядеть htaccess?

Как писали выше - все ссылки должны вести не на index.php, а корень сайта (/).

При добавлении в файл .htaccess строк:
CODE:
RewriteEngine On

RewriteRule ^index.php$ / [R=301,L]


при обращении к index.php будет выполнен редирект на /.

Всё сделал как написано,но не робит ,пишет ошибку Moved Permanently
The document has moved here ,хостинг платный.
34. Zeg - 17 октября 2010 — 13:04 - перейти к сообщению
sania, адрес сайта (форума) дайте. Форум в корне или папке стоит? Больше информации надо.
35. kirillbe - 8 февраля 2011 — 11:49 - перейти к сообщению
Вот мой robots

Спойлер (Отобразить)


Посмотрите правильно ли я все сделал? Может надо чего небудь еще внести? Улыбка
36. BON - 8 февраля 2011 — 15:37 - перейти к сообщению
kirillbe,
CODE:
Disallow: /forum/admincenter.php
вот это можно было не делать, а просто запретить весь каталог

Вот что, тут тема нафоруме была, много людей выложил свои роботс'ы. Создавал никк, поищите, или напишите ему в личку и спросите. Там найдете всё что надо. Причем там правильные роботсы самих форумчан
37. kirillbe - 8 февраля 2011 — 17:26 - перейти к сообщению
BON
А как весь каталог запретить?
38. BON - 8 февраля 2011 — 18:36 - перейти к сообщению
CODE:
Disallow: /admin/

Вот так будет запрещено всё что находится в папке админ
(Добавление)
Вот мой роботс:
CODE:
User-agent: *
Disallow: /admin/
Disallow: /messages/
Disallow: /im/
Disallow: /data/
Disallow: /postings.php
Disallow: /messenger.php
Disallow: /loginout.php
Disallow: /post.php
Disallow: /rd.php
Disallow: /tools.php?action=members
Disallow: /tools.php?action=mail

Конкретно для каждого поисковика не писал.
39. kirillbe - 8 февраля 2011 — 23:01 - перейти к сообщению
BON
А если написать например так /forum/admin/ это будет отличаться от этого /admin/???
40. Zeg - 13 февраля 2011 — 19:07 - перейти к сообщению
kirillbe, смотря в каком случае. Если форум находится в папке, то нужно писать путь к папке форума "от корня" в виде "/forum/nnnn/". Если форум находится в корне домена или на отдельном под-домене, то писать надо так, как указал BON.
41. gudman - 14 февраля 2011 — 12:58 - перейти к сообщению
Есть еще вот такой параметр:
CODE:
/index.php?PHPSESSID=

появляется сразу после входа на форум!
Может его тоже закрыть?! Или если закрыто, дайте пример строки?!!
42. BON - 14 февраля 2011 — 14:53 - перейти к сообщению
gudman, чет я у себя такого не наблюдал никогда
43. gudman - 14 февраля 2011 — 20:49 - перейти к сообщению
BON, это когда заходим на страничку форума, вводим данные и нажимаем кнопку войти!
Сразу после этого форум переходит на главную страничку с этим параметром!
44. gudman - 15 февраля 2011 — 01:08 - перейти к сообщению
Возник еще один вопрос! Для создания Сайтмапы пользуюсь программой:
SiteMap Generator - http://wonderwebware.com/sitemap-generator/
Так вот, как я понял эта программа учитывает настройки robots.txt
Но почему то не все параметры учитывает!!!
В прикреплении файл Сайтмапы в текстовом формате сделаный мной сегодня.
а вот мой роботс.тхт:
robots.txt (Отобразить)


Как можно увидеть, такие параметры как:
CODE:
Disallow: /forum/*v=l*
Disallow: /forum/*&p=1$
Disallow: /forum/*postid=*
Disallow: /forum/printfile.php?action=attach*

И еще некоторые, программа почему то не учитывает!!!
Кто нибудь может пояснить почему это происходит?!!

Да, если удалить вообще файл роботс.тхт то программа сканирует все страницы, в общей сложности около 25 000 страниц!
Тоесть роботс что то отсекает, а что то нет!!!
45. Zeg - 15 февраля 2011 — 01:43 - перейти к сообщению
Попробуйте поэкспериментировать, скорее всего тупит генератор сайт-мапы. Может он (генератор) как спотыкается на "*"? Попробуйте подробнее и яснее написать маски, например:

CODE:
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Disallow: /forum/postings.php
Disallow: /forum/messenger.php
Disallow: /forum/loginout.php
Disallow: /forum/post.php
Disallow: /forum/search.php
Disallow: /forum/profile.php
Disallow: /forum/tools.php?action=
Disallow: /forum/search.php?action=
Disallow: /forum/index.php?c=f
Disallow: /forum/postings.php?action=addpoll
Disallow: /forum/topic.php?forum=*&topic=*&postid=
Disallow: /forum/topic.php?forum=*&topic=*&v=l
Disallow: /forum/topic.php?forum=*&topic=*&p=1$

Яндекс.Метрика   

Powered by ExBB
[Script Execution time: 0.0516]     [ ]