ExBB Community :: Версия для печати :: Предложение по файлу robots.txt

1. gudman - 1 февраля 2011 — 22:22 - перейти к сообщению

Здравствуйте Друзья!
мое предложение относится скорее к разработчикам форума и
носит исключительно рекомендательный характер!
Итак, есть предложение включить файл robots.txt в исходный
установочный дистрибутив движка форума. Так как это сделано на других форумах!
Больше года у меня работал форум и до сих пор был не верный файл robots.txt...
Пока сам не догодался и не исправил его с помощью vipraskrutka
Спасибо ему кстати за это!!! Это действие будет в двойне полезным, так как этот файл
изначально отредактирует разработчик форума, который знает все тонкости что нужно закрывать а чего нет!
Итак, я для начала выложу исходник который поставил себе на форум, ну и в процессе обсуждения
думаю, мы выведем общий файл, который и можно будет включить в исходник форума!

файл robots.txt (Отобразить)

Думаю, что для многих будет полезно! И соррии если я повторяюсь!

2. BON - 2 февраля 2011 — 00:55 - перейти к сообщению

Вот мой фаил роботс (Отобразить)

3. lisiycat - 2 февраля 2011 — 01:04 - перейти к сообщению

У меня такой роботс

Спойлер (Отобразить)

4. gudman - 2 февраля 2011 — 01:18 - перейти к сообщению

выдержка из руководства Яндекса по внутренней оптимизации:

Цитата:

–Адреса страниц. Каждая страница должна быть доступна по единственному и постоянному адресу. Желательно, чтобы адреса страниц сайта не содержали идентификаторы сессий, по возможности они также должны быть избавлены от списков cgi-параметров, заданных в явном виде.

я не вижу Друзья, где у вас закрыты страницы с идентификаторами сессий?!!

З.Ы. я сейчас внимательно изучаю вышеуказанный домумент. рекомендации касающиеся файла robots.txt буду озвучивать здесь!

5. nikk - 2 февраля 2011 — 02:02 - перейти к сообщению

мой:

роботс (Отобразить)

6. BON - 2 февраля 2011 — 12:48 - перейти к сообщению

nikk, а я у себя убрал в последствии строку Sitemap: http://militaryforum.ru/sitemap.xml она нафиг не нужна, и яндекс болт на неё забивает
(Добавление)

gudman пишет:

я не вижу Друзья, где у вас закрыты страницы с идентификаторами сессий?!!

как это строка вообще должна выглядеть?

7. gudman - 2 февраля 2011 — 13:12 - перейти к сообщению

BON пишет:

как это строка вообще должна выглядеть?

Строка выглядит следующим образом:
Disallow: /*postid=*
И закрывает все страницы с идентификаторами сессий.

BON пишет:

а я у себя убрал в последствии строку Sitemap

Зря убрал....в руководстве Яндекса рекомендуется включать эту строку! Она явно указывает путь к файлу Sitemap. В любом случае она ни чем не вредит!

8. BON - 2 февраля 2011 — 14:29 - перейти к сообщению

gudman, вредит если сайтмапа не обновляется

9. gudman - 5 февраля 2011 — 00:30 - перейти к сообщению

yura3d, мое предложение остается в силе! давайте доведем до ума роботс.тхт и включим его в установочный дистрибутив ЕхВВ?!! а то...кто на что горазд, а закрывать то у всех одно и тоже нужно!

10. nikk - 11 февраля 2011 — 13:34 - перейти к сообщению

gudman, после установки на моем форуме такого роботс.тхт и карты сайта, количество проиндекированных страниц резко возросло..
сейчас уже Яндекс видит 5000 страниц, Гугль примерно столько же.

11. Sasa1 - 12 февраля 2011 — 00:20 - перейти к сообщению

Мдя, как дети малые, причем тут файл robots.txt

nikk пишет:

gudman, после установки на моем форуме такого роботс.тхт и карты сайта, количество проиндекированных страниц резко возросло..
сейчас уже Яндекс видит 5000 страниц, Гугль примерно столько же.

Это ни как не может связано с файлом robots.txt, если там не стояло, что нельзя индексировать сайт и его модули. Радость

На нормальном хостинге, где разрешена индексация сайта, этот файл не нужен, если Вы не хотите запретить что то от индексирования, а что то разрешить.
Вы установили там дополнения карту для форума, вот это поисковики любят, но не как тут роботс.тхт ни причем.
Спасибо повеселили меня. Радость

12. gudman - 12 февраля 2011 — 02:24 - перейти к сообщению

Sasa1, почитайте инструкцию от яндекса и все что касается этого файла...

13. Sasa1 - 12 февраля 2011 — 21:53 - перейти к сообщению

gudman пишет:

Sasa1, почитайте инструкцию от яндекса и все что касается этого файла...

Ссылочку дайте, только не на описание что такое этот файл, а именно этот файл с содержанием который был тут выложен и что оно дает.
Очень интересно. Улыбка

(Добавление)
Да и скажу откровенно про поисковик "яшу", он выгоден тем кто работает с системами типа сапе, бегун и тд.
Остальным этот поисковик по барабану, ибо маразм его уже превышает все мыслимые пределы, что стоит то только, что он выкидывает сайты из индекса только в путь за типо не уникальный контент и типо сайты файлопомойки.
То есть, вот например я создаю сайт, где есть куча ссылок на другие сайты, приходит его бот и выкидывает из индекса Ничего себе!!!

Будто я должен делать сайт не для себя или пользователей, а для того что бы он понравился "яше"....
Поэтому все адекватные люди пользуются поисковиком гугл, а яндекс живет как поисковик пока есть системы, которые требуют индексации его, как такие системы перейдут на гугл, то он быстро загнется.

14. gudman - 12 февраля 2011 — 22:25 - перейти к сообщению

Рекомендации Яндекса по созданию сайта!
Если внимательно прочтете этот документ, то вам все станет понятно!

15. Sasa1 - 12 февраля 2011 — 22:48 - перейти к сообщению

gudman пишет:

Если внимательно прочтете этот документ, то вам все станет понятно!

Хорошо, я то прочту.
Но у меня вопрос, Вы создаете сайты для себя и посетителей, или для и по инструкциям яндекса?
Я думаю Вы прочитали выше сообщение полностью.

Да и у меня этот файл даже не открывает Подмигивание

Касперский блокирует. Огорчение

Вот так как скачивать файлы с этого яндекса.