ExBB Community :: Версия для печати

61. wersi - 4 июня 2011 — 10:13 - перейти к сообщению

Для любого форума ExBB FM 1.0 RC1

CODE:

User-agent: *
Disallow: /admincenter.php
Disallow: /messenger.php
Disallow: /profile.php?action=lostpassword
Disallow: /search.php
Disallow: /tools.php?action=online
Disallow: /tools.php?action=smiles
Disallow: /tools.php?action=threadstop
Disallow: /tools.php?action=members&s=&order=ASC&p=1$

Все что не нужно, при добавлении модов вносить записи в txt

62. nikitos - 8 сентября 2011 — 10:04 - перейти к сообщению

здравтсвуйте!
посоветйте плиз, на моем форуме бот Гугль - Адсенса не видит много страниц.

вот что говорит сам Гугль:

справка-Адсенса (Отобразить)

а вот мой robots.txt

тыц (Отобразить)

хочу спросить, как правильно вставить этот код: User-agent: Mediapartners-Google*
Disallow:, а то боюсь напортачить.

63. Zeg - 8 сентября 2011 — 11:23 - перейти к сообщению

Первая секция уже его пропускает, пряча мусор. Ничего специально делать не нужно. Настоятельно рекомендую еще приделать вставку мета-тега с указанием канонических адресов. Яндекс у меня, к слову, уже во всю это исправление-дополнение использует и доволен судя по стабильному росту количества страниц в индексе. Улыбка

64. nikitos - 8 сентября 2011 — 11:27 - перейти к сообщению

Zeg пишет:

Первая секция уже его пропускает, пряча мусор. Ничего специально делать не нужно. Настоятельно рекомендую еще приделать вставку мета-тега с указанием канонических адресов. Яндекс у меня, к слову, уже во всю это исправление-дополнение использует и доволен судя по стабильному росту количества страниц в индексе

как сказал? Однако

65. Zeg - 8 сентября 2011 — 14:10 - перейти к сообщению

nikitos пишет:

как сказал?

Кто сказал?

66. nikitos - 8 сентября 2011 — 14:16 - перейти к сообщению

Zeg пишет:

Кто сказал?

я сказал.

67. YuraP0d - 16 июля 2013 — 17:32 - перейти к сообщению

Прочитал и много не понял, когда я пишу статичный сайт, я знаю какой файл как работает и потому понимаю, какие файлы и каталоги закрыть для поисковиков. А в форуме я не понимаю, потому обьсните мне почему закрывается это как мне кажется так это ссылки на форумы к темам, но поему они закрыты? И главня почему закрыта?

CODE:

Disallow: /forum/topic.php?forum=*&topic=*&postid=
Disallow: /forum/topic.php?forum=*&topic=*&v=l
Disallow: /forum/topic.php?forum=*&topic=*&p=1$
Disallow: /forum/index.php?c=f

И ещё может кто нить пояснит по каждой строке из этого robots? http://exbb.info/community/topic...51467#1298151467
(Добавление)
Или может кто нить посмотрит скриншот и напишет мне файл robors.txt

68. YuraP0d - 16 июля 2013 — 18:07 - перейти к сообщению

Скриншот

69. CAB - 16 июля 2013 — 18:52 - перейти к сообщению

YuraP0d, по моему в этой теме всё подробно разжёвано. По крайней мере я для себя роботс по этой теме делал.

70. Guyver - 16 октября 2014 — 01:36 - перейти к сообщению

Извините за тупой вопрос. У меня форум в поддомене:

http://мойсайт.ru/forum/

Как я понимаю, файл robots.txt надо положить в поддомен, в корень папки forum?

А в самом файле надо писать так:

CODE:

User-agent: *
Disallow: /forum/admincenter.php
Disallow: /forum/messenger.php
Disallow: /forum/profile.php?action=lostpassword
Disallow: /forum/search.php
Disallow: /forum/tools.php?action=online
Disallow: /forum/tools.php?action=smiles
Disallow: /forum/tools.php?action=threadstop
Disallow: /forum/tools.php?action=members&s=&order=ASC&p=1$

Или так:

CODE:

User-agent: *
Disallow: /admincenter.php
Disallow: /messenger.php
Disallow: /profile.php?action=lostpassword
Disallow: /search.php
Disallow: /tools.php?action=online
Disallow: /tools.php?action=smiles
Disallow: /tools.php?action=threadstop
Disallow: /tools.php?action=members&s=&order=ASC&p=1$

???

И сразу второй вопрос - надо ли сам этот файл прятать? Закрывать к нему доступ в .htaccess?

71. 1Bot - 16 октября 2014 — 07:05 - перейти к сообщению

Guyver пишет:

надо ли сам этот файл прятать? Закрывать к нему доступ в .htaccess?

Зачем его создавать, если потом прятать? Не понял

Доступ должен быть, иначе как поисковики будут структуру сайта считывать.

72. Guyver - 16 октября 2014 — 08:43 - перейти к сообщению

Хорошо. А с путём как?

73. electron - 16 октября 2014 — 14:17 - перейти к сообщению

роботс всегда заливается в корень форума, соответственно это ваш вариант

Guyver пишет:

CODE:

User-agent: *
Disallow: /admincenter.php
Disallow: /messenger.php
Disallow: /profile.php?action=lostpassword
Disallow: /search.php
Disallow: /tools.php?action=online
Disallow: /tools.php?action=smiles
Disallow: /tools.php?action=threadstop
Disallow: /tools.php?action=members&s=&order=ASC&p=1$

74. Guyver - 16 октября 2014 — 14:31 - перейти к сообщению

Спасибо!

75. 1Bot - 16 октября 2014 — 14:35 - перейти к сообщению

Робот ищет robots.txt только в корневом каталоге Вашего сервера. Под именем сервера здесь понимаются доменное имя и, если он есть, порт.

Размещать на сайте несколько файлов robots.txt, размещать robots.txt в подкаталогах бессмысленно: "лишние" файлы просто не будут учтены роботом. Таким образом, вся информация о запретах на индексирование подкаталогов сайта должна быть собрана в едином файле robots.txt в "корне" сайта.