ExBB Community » » Установка и обновление » robots.txt

Страниц (6): « 1 2 3 4 [5] 6 »
 

61. wersi - 4 июня 2011 — 10:13 - перейти к сообщению
Для любого форума ExBB FM 1.0 RC1
CODE:
User-agent: *
Disallow: /admincenter.php
Disallow: /messenger.php
Disallow: /profile.php?action=lostpassword
Disallow: /search.php
Disallow: /tools.php?action=online
Disallow: /tools.php?action=smiles
Disallow: /tools.php?action=threadstop
Disallow: /tools.php?action=members&s=&order=ASC&p=1$

Все что не нужно, при добавлении модов вносить записи в txt
62. nikitos - 8 сентября 2011 — 10:04 - перейти к сообщению
здравтсвуйте!
посоветйте плиз, на моем форуме бот Гугль - Адсенса не видит много страниц.

вот что говорит сам Гугль:
справка-Адсенса (Отобразить)



а вот мой robots.txt
тыц (Отобразить)

хочу спросить, как правильно вставить этот код: User-agent: Mediapartners-Google*
Disallow:
, а то боюсь напортачить.
63. Zeg - 8 сентября 2011 — 11:23 - перейти к сообщению
Первая секция уже его пропускает, пряча мусор. Ничего специально делать не нужно. Настоятельно рекомендую еще приделать вставку мета-тега с указанием канонических адресов. Яндекс у меня, к слову, уже во всю это исправление-дополнение использует и доволен судя по стабильному росту количества страниц в индексе. Улыбка
64. nikitos - 8 сентября 2011 — 11:27 - перейти к сообщению
Zeg пишет:
Первая секция уже его пропускает, пряча мусор. Ничего специально делать не нужно. Настоятельно рекомендую еще приделать вставку мета-тега с указанием канонических адресов. Яндекс у меня, к слову, уже во всю это исправление-дополнение использует и доволен судя по стабильному росту количества страниц в индексе

как сказал? Однако
65. Zeg - 8 сентября 2011 — 14:10 - перейти к сообщению
nikitos пишет:
как сказал?
Кто сказал?
66. nikitos - 8 сентября 2011 — 14:16 - перейти к сообщению
Zeg пишет:
Кто сказал?

я сказал. Улыбка
67. YuraP0d - 16 июля 2013 — 17:32 - перейти к сообщению
Прочитал и много не понял, когда я пишу статичный сайт, я знаю какой файл как работает и потому понимаю, какие файлы и каталоги закрыть для поисковиков. А в форуме я не понимаю, потому обьсните мне почему закрывается это как мне кажется так это ссылки на форумы к темам, но поему они закрыты? И главня почему закрыта?
CODE:
Disallow: /forum/topic.php?forum=*&topic=*&postid=
Disallow: /forum/topic.php?forum=*&topic=*&v=l
Disallow: /forum/topic.php?forum=*&topic=*&p=1$
Disallow: /forum/index.php?c=f

И ещё может кто нить пояснит по каждой строке из этого robots? http://exbb.info/community/topic...51467#1298151467
(Добавление)
Или может кто нить посмотрит скриншот и напишет мне файл robors.txt
68. YuraP0d - 16 июля 2013 — 18:07 - перейти к сообщению
Скриншот
69. CAB - 16 июля 2013 — 18:52 - перейти к сообщению
YuraP0d, по моему в этой теме всё подробно разжёвано. По крайней мере я для себя роботс по этой теме делал.
70. Guyver - 16 октября 2014 — 01:36 - перейти к сообщению
Извините за тупой вопрос. У меня форум в поддомене:

http://мойсайт.ru/forum/

Как я понимаю, файл robots.txt надо положить в поддомен, в корень папки forum?

А в самом файле надо писать так:

CODE:
User-agent: *
Disallow: /forum/admincenter.php
Disallow: /forum/messenger.php
Disallow: /forum/profile.php?action=lostpassword
Disallow: /forum/search.php
Disallow: /forum/tools.php?action=online
Disallow: /forum/tools.php?action=smiles
Disallow: /forum/tools.php?action=threadstop
Disallow: /forum/tools.php?action=members&s=&order=ASC&p=1$


Или так:

CODE:
User-agent: *
Disallow: /admincenter.php
Disallow: /messenger.php
Disallow: /profile.php?action=lostpassword
Disallow: /search.php
Disallow: /tools.php?action=online
Disallow: /tools.php?action=smiles
Disallow: /tools.php?action=threadstop
Disallow: /tools.php?action=members&s=&order=ASC&p=1$


???

И сразу второй вопрос - надо ли сам этот файл прятать? Закрывать к нему доступ в .htaccess?
71. 1Bot - 16 октября 2014 — 07:05 - перейти к сообщению
Guyver пишет:
надо ли сам этот файл прятать? Закрывать к нему доступ в .htaccess?

Зачем его создавать, если потом прятать? Не понял Доступ должен быть, иначе как поисковики будут структуру сайта считывать.
72. Guyver - 16 октября 2014 — 08:43 - перейти к сообщению
Хорошо. А с путём как?
73. electron - 16 октября 2014 — 14:17 - перейти к сообщению
роботс всегда заливается в корень форума, соответственно это ваш вариант

Guyver пишет:

CODE:
User-agent: *
Disallow: /admincenter.php
Disallow: /messenger.php
Disallow: /profile.php?action=lostpassword
Disallow: /search.php
Disallow: /tools.php?action=online
Disallow: /tools.php?action=smiles
Disallow: /tools.php?action=threadstop
Disallow: /tools.php?action=members&s=&order=ASC&p=1$

74. Guyver - 16 октября 2014 — 14:31 - перейти к сообщению
Спасибо!
75. 1Bot - 16 октября 2014 — 14:35 - перейти к сообщению
Робот ищет robots.txt только в корневом каталоге Вашего сервера. Под именем сервера здесь понимаются доменное имя и, если он есть, порт.

Размещать на сайте несколько файлов robots.txt, размещать robots.txt в подкаталогах бессмысленно: "лишние" файлы просто не будут учтены роботом. Таким образом, вся информация о запретах на индексирование подкаталогов сайта должна быть собрана в едином файле robots.txt в "корне" сайта.

Яндекс.Метрика   

Powered by ExBB
[Script Execution time: 0.024]     [ ]