ExBB Community :: Версия для печати :: Запрет индексации форумов/подфорумов поисковиками

1. mastersound - 7 июня 2009 — 14:56 - перейти к сообщению

Вопрос в названии и описании этой темы. Просто, практически у всех на форумах есть т.н. "курилки" - для слива всякого спама и разговоров не по теме. Хотелось бы, чтобы эти темы были запрещены к индексации поисковыми системами, хотя бы Яшей. Есть ли возможность написания мода (нужен ли он большинству) в виде:
В админке - галочка "запретить индесацию ПС" при создании, редактировании форума/подфорума.
и
Работа самого мода:
При создании темы в отмеченных форумах, код страницы генерируется таким образом, чтобы внутри тэга <body></body> все было окружено тегом <noindex></noindex> типа:

Спойлер (Отобразить)

Тогда эти темы не будут попадать в индекс ПС и этот мусор не будет выдаваться в результатах. ИМХО, может и ошибаюсь и лишнюю волну гоню. Если так, то удалите эту тему. Спасибо

2. mastersound - 7 июня 2009 — 15:05 - перейти к сообщению

vipraskrutka а как закрыть именно эти разделы, подскажешь? "курилка", "офтоп" и т.д.

3. yura3d - 7 июня 2009 — 21:02 - перейти к сообщению

vipraskrutka пишет:

mastersound, на твоем форуме это закрывается так:
Disallow: /forum/forums.php?forum=18
Disallow: /forum/forums.php?forum=63

mastersound
Наверное в этот список также стоит отнести:

CODE:

/forum/topic.php?*forum=18*
/forum/topic.php?*forum=63*

Также, если Вы по аналогии с vipraskrutka не закрывали для индексации скрипт вывода версии для печати printpage.php, то стоит добавить:

CODE:

/forum/printpage.php?*forum=18*
/forum/printpage.php?*forum=63*

vipraskrutka пишет:

и кстати, Sitemap: http://barabass.net/sitemap.html - разве html карту можно писать в роботсе? мне кажется тут только xml карты указывают...

Буквально недавно где-то прочитал, что можно использовать как расширение xml, так и html. Хотя последнее расширение спорно, учитывая что формат карты всё-таки xml, и об этом расширении нет никакого упоминания в более-менее строгом описании формата

4. mastersound - 7 июня 2009 — 22:26 - перейти к сообщению

Спасибо. Все просто, действительно с запретом мусорных тем... printpage.php я закрыл наглухо, весь, наверно, как и vipraskrutka. А по поводу html- ной карты: видел такой роботс в правилах, правда сейчас не вспомню - где. Не пинайте сильно Улыбка

5. mashasd - 1 июля 2009 — 01:19 - перейти к сообщению

vipraskrutka, а немогли бы Вы написать как будет выглядеть robots.txt , если форум стоит не в папке forum, а на поддомене forum.domen.ru или просто на домене forum.ru

Заранее благодарна.

6. yura3d - 1 июля 2009 — 11:49 - перейти к сообщению

mashasd пишет:

vipraskrutka, а немогли бы Вы написать как будет выглядеть robots.txt , если форум стоит не в папке forum, а на поддомене forum.domen.ru или просто на домене forum.ru

Заранее благодарна.

Файл robots.txt в этом случае нужно распологать в той же папке, что и остальные скрипты форума (forums.php, topic.php и т д), т.е. файл должен быть доступен по адресу http://forum.domen.ru/robots.txt (если форум установлен на поддомене) или http://forum.ru/robots.txt (если форум установлен в корне домена). Содержимое файла практически не изменяется, за исключением того, что не нужно указывать папку, в которой расположен форум. Т.е. для запрета индексации какой-либо страницы вместо такой строки (пример):

CODE:

Disallow: /forum/printpage.php

нужно указать так:

CODE:

Disallow: /printpage.php

Остальное без изменений

7. mastersound - 1 сентября 2009 — 16:00 - перейти к сообщению

Еще момент. На форуме не закрыты от индексации адреса ICQ Можно ли как-то централизовано закрыть профили посетителей? А то ссылки на сайты идут через редирект, а аська определяется напрямую, как http://icq.com/....номер icq Зачем им ссылочный вес с форума?

8. yura3d - 1 сентября 2009 — 18:20 - перейти к сообщению

mastersound пишет:

Еще момент. На форуме не закрыты от индексации адреса ICQ Можно ли как-то централизовано закрыть профили посетителей? А то ссылки на сайты идут через редирект, а аська определяется напрямую, как http://icq.com/....номер icq Зачем им ссылочный вес с форума?

vipraskrutka пишет:

сделай ссылку через редирект, типа:

CODE:

/go.php?red=http://icq.com/499537924

Согласен с vipraskrutka, можно просто реализовать редирект при переходе на сервер ICQ для просмотра профилей ICQ подобно тому, как это сделано для внешних ссылок. Реализация этой возможности приведена здесь. Если индексация файла rd.php запрещена в файле robots.txt, то никаких проблем вообще не должно возникнуть

9. mastersound - 1 сентября 2009 — 18:25 - перейти к сообщению

Спасибо! Здесь решение

10. m0ntag - 18 декабря 2009 — 15:20 - перейти к сообщению

Цитата:

Файл robots.txt в этом случае нужно распологать в той же папке, что и остальные скрипты форума (forums.php, topic.php и т д), т.е. файл должен быть доступен по адресу http://forum.domen.ru/robots.txt (если форум установлен на поддомене) или http://forum.ru/robots.txt (если форум установлен в корне домена). Содержимое файла практически не изменяется, за исключением того, что не нужно указывать папку, в которой расположен форум. Т.е. для запрета индексации какой-либо страницы вместо такой строки (пример):

тоесть для каждой папки может быть свой роботс.тхт и сайтмап? подскажите если не трудно, так как у меня форум вида www.site.ru/forum/, а ЦМС динамически генерирует свою сайтмап. Тобишь робот зайдя в папку форума, корректно скушает втрой роботс.тхт и сайтмап из этой папки,так?

11. nikk - 28 апреля 2010 — 08:20 - перейти к сообщению

mastersound пишет:

огда эти темы не будут попадать в индекс ПС и этот мусор не будет выдаваться в результатах.

Это явно лишнее.. Поисковики любят уникальный контент, зачем же лишать их этого удовольствия? Пущай индекируют, соберете трафф НЧ из поисковок.
И какой же это мусор?