ExBB Community :: Поиск в теме

16. gudman - 15 февраля 2011 — 01:08 - перейти к сообщению

Возник еще один вопрос! Для создания Сайтмапы пользуюсь программой:
SiteMap Generator - http://wonderwebware.com/sitemap-generator/
Так вот, как я понял эта программа учитывает настройки robots.txt
Но почему то не все параметры учитывает!!!
В прикреплении файл Сайтмапы в текстовом формате сделаный мной сегодня.
а вот мой роботс.тхт:

robots.txt (Отобразить)

Как можно увидеть, такие параметры как:

CODE:

Disallow: /forum/*v=l*
Disallow: /forum/*&p=1$
Disallow: /forum/*postid=*
Disallow: /forum/printfile.php?action=attach*

И еще некоторые, программа почему то не учитывает!!!
Кто нибудь может пояснить почему это происходит?!!

Да, если удалить вообще файл роботс.тхт то программа сканирует все страницы, в общей сложности около 25 000 страниц!
Тоесть роботс что то отсекает, а что то нет!!!

17. gudman - 19 февраля 2011 — 21:37 - перейти к сообщению

Nikela, да конечно!!! могли бы и не спрашивать!!! Подмигивание

Кстати, вот последняя редакция разработаная совместно с Zeg

robots.txt (Отобразить)

Кажется мне более правильной и законченой!!!
(Добавление)
Nikela, Кстати, насколько я знаю у Вас тоже используется Джумла?!!!
Так что и первая часть, та что до слеша /forum Вам тоже подойдет! Подмигивание

Вам только нужно вписать свой сайт там где увидите название моего сайта!!!

18. pornogluk - 1 апреля 2011 — 00:48 - перейти к сообщению

Прошу простить моё невежество, а что такое robots.txt?
Я понимаю что он помогает индексировать сайт в поисковых системах. Но как именно он работает?

19. yura3d - 1 апреля 2011 — 01:07 - перейти к сообщению

pornogluk пишет:

Прошу простить моё невежество, а что такое robots.txt?
Я понимаю что он помогает индексировать сайт в поисковых системах. Но как именно он работает?

http://ru.wikipedia.org/wiki/Robots.txt

20. Chiv_Chelios - 13 апреля 2011 — 20:31 - перейти к сообщению

Извините за мое...
robots.txt который представлен в сообщении: "...Кстати, вот последняя редакция разработаная совместно с Zeg", которое создано 19 февраля 2011 — 20:37 ?

21. nikitos - 8 сентября 2011 — 10:04 - перейти к сообщению

здравтсвуйте!
посоветйте плиз, на моем форуме бот Гугль - Адсенса не видит много страниц.

вот что говорит сам Гугль:

справка-Адсенса (Отобразить)

а вот мой robots.txt

тыц (Отобразить)

хочу спросить, как правильно вставить этот код: User-agent: Mediapartners-Google*
Disallow:, а то боюсь напортачить.

22. YuraP0d - 16 июля 2013 — 17:32 - перейти к сообщению

Прочитал и много не понял, когда я пишу статичный сайт, я знаю какой файл как работает и потому понимаю, какие файлы и каталоги закрыть для поисковиков. А в форуме я не понимаю, потому обьсните мне почему закрывается это как мне кажется так это ссылки на форумы к темам, но поему они закрыты? И главня почему закрыта?

CODE:

Disallow: /forum/topic.php?forum=*&topic=*&postid=
Disallow: /forum/topic.php?forum=*&topic=*&v=l
Disallow: /forum/topic.php?forum=*&topic=*&p=1$
Disallow: /forum/index.php?c=f

И ещё может кто нить пояснит по каждой строке из этого robots? http://exbb.info/community/topic...51467#1298151467
(Добавление)
Или может кто нить посмотрит скриншот и напишет мне файл robors.txt

23. Guyver - 16 октября 2014 — 01:36 - перейти к сообщению

Извините за тупой вопрос. У меня форум в поддомене:

http://мойсайт.ru/forum/

Как я понимаю, файл robots.txt надо положить в поддомен, в корень папки forum?

А в самом файле надо писать так:

CODE:

User-agent: *
Disallow: /forum/admincenter.php
Disallow: /forum/messenger.php
Disallow: /forum/profile.php?action=lostpassword
Disallow: /forum/search.php
Disallow: /forum/tools.php?action=online
Disallow: /forum/tools.php?action=smiles
Disallow: /forum/tools.php?action=threadstop
Disallow: /forum/tools.php?action=members&s=&order=ASC&p=1$

Или так:

CODE:

User-agent: *
Disallow: /admincenter.php
Disallow: /messenger.php
Disallow: /profile.php?action=lostpassword
Disallow: /search.php
Disallow: /tools.php?action=online
Disallow: /tools.php?action=smiles
Disallow: /tools.php?action=threadstop
Disallow: /tools.php?action=members&s=&order=ASC&p=1$

???

И сразу второй вопрос - надо ли сам этот файл прятать? Закрывать к нему доступ в .htaccess?

24. 1Bot - 16 октября 2014 — 14:35 - перейти к сообщению

Робот ищет robots.txt только в корневом каталоге Вашего сервера. Под именем сервера здесь понимаются доменное имя и, если он есть, порт.

Размещать на сайте несколько файлов robots.txt, размещать robots.txt в подкаталогах бессмысленно: "лишние" файлы просто не будут учтены роботом. Таким образом, вся информация о запретах на индексирование подкаталогов сайта должна быть собрана в едином файле robots.txt в "корне" сайта.