ExBB Community » Файловый ExBB » Обсуждаем » Предложение по файлу robots.txt

Страниц (2): [1] 2 »
 

1. gudman - 1 февраля 2011 — 22:22 - перейти к сообщению
Здравствуйте Друзья!
мое предложение относится скорее к разработчикам форума и
носит исключительно рекомендательный характер!
Итак, есть предложение включить файл robots.txt в исходный
установочный дистрибутив движка форума. Так как это сделано на других форумах!
Больше года у меня работал форум и до сих пор был не верный файл robots.txt...
Пока сам не догодался и не исправил его с помощью vipraskrutka
Спасибо ему кстати за это!!! Это действие будет в двойне полезным, так как этот файл
изначально отредактирует разработчик форума, который знает все тонкости что нужно закрывать а чего нет!
Итак, я для начала выложу исходник который поставил себе на форум, ну и в процессе обсуждения
думаю, мы выведем общий файл, который и можно будет включить в исходник форума!

файл robots.txt (Отобразить)


Думаю, что для многих будет полезно! И соррии если я повторяюсь!
2. BON - 2 февраля 2011 — 00:55 - перейти к сообщению
Вот мой фаил роботс (Отобразить)
3. lisiycat - 2 февраля 2011 — 01:04 - перейти к сообщению
У меня такой роботс
Спойлер (Отобразить)
4. gudman - 2 февраля 2011 — 01:18 - перейти к сообщению
выдержка из руководства Яндекса по внутренней оптимизации:
Цитата:
–Адреса страниц. Каждая страница должна быть доступна по единственному и постоянному адресу. Желательно, чтобы адреса страниц сайта не содержали идентификаторы сессий, по возможности они также должны быть избавлены от списков cgi-параметров, заданных в явном виде.

я не вижу Друзья, где у вас закрыты страницы с идентификаторами сессий?!!

З.Ы. я сейчас внимательно изучаю вышеуказанный домумент. рекомендации касающиеся файла robots.txt буду озвучивать здесь!
5. nikk - 2 февраля 2011 — 02:02 - перейти к сообщению
мой:


роботс (Отобразить)
6. BON - 2 февраля 2011 — 12:48 - перейти к сообщению
nikk, а я у себя убрал в последствии строку Sitemap: http://militaryforum.ru/sitemap.xml она нафиг не нужна, и яндекс болт на неё забивает
(Добавление)
gudman пишет:
я не вижу Друзья, где у вас закрыты страницы с идентификаторами сессий?!!


как это строка вообще должна выглядеть?
7. gudman - 2 февраля 2011 — 13:12 - перейти к сообщению
BON пишет:
как это строка вообще должна выглядеть?


Строка выглядит следующим образом:
Disallow: /*postid=*
И закрывает все страницы с идентификаторами сессий.

BON пишет:
а я у себя убрал в последствии строку Sitemap

Зря убрал....в руководстве Яндекса рекомендуется включать эту строку! Она явно указывает путь к файлу Sitemap. В любом случае она ни чем не вредит!
8. BON - 2 февраля 2011 — 14:29 - перейти к сообщению
gudman, вредит если сайтмапа не обновляется
9. gudman - 5 февраля 2011 — 00:30 - перейти к сообщению
yura3d, мое предложение остается в силе! давайте доведем до ума роботс.тхт и включим его в установочный дистрибутив ЕхВВ?!! а то...кто на что горазд, а закрывать то у всех одно и тоже нужно!
10. nikk - 11 февраля 2011 — 13:34 - перейти к сообщению
gudman, после установки на моем форуме такого роботс.тхт и карты сайта, количество проиндекированных страниц резко возросло..
сейчас уже Яндекс видит 5000 страниц, Гугль примерно столько же.
11. Sasa1 - 12 февраля 2011 — 00:20 - перейти к сообщению
Мдя, как дети малые, причем тут файл robots.txt

nikk пишет:
gudman, после установки на моем форуме такого роботс.тхт и карты сайта, количество проиндекированных страниц резко возросло..
сейчас уже Яндекс видит 5000 страниц, Гугль примерно столько же.

Это ни как не может связано с файлом robots.txt, если там не стояло, что нельзя индексировать сайт и его модули. Радость
На нормальном хостинге, где разрешена индексация сайта, этот файл не нужен, если Вы не хотите запретить что то от индексирования, а что то разрешить.
Вы установили там дополнения карту для форума, вот это поисковики любят, но не как тут роботс.тхт ни причем.
Спасибо повеселили меня. Радость
12. gudman - 12 февраля 2011 — 02:24 - перейти к сообщению
Sasa1, почитайте инструкцию от яндекса и все что касается этого файла...
13. Sasa1 - 12 февраля 2011 — 21:53 - перейти к сообщению
gudman пишет:
Sasa1, почитайте инструкцию от яндекса и все что касается этого файла...

Ссылочку дайте, только не на описание что такое этот файл, а именно этот файл с содержанием который был тут выложен и что оно дает.
Очень интересно. Улыбка
(Добавление)
Да и скажу откровенно про поисковик "яшу", он выгоден тем кто работает с системами типа сапе, бегун и тд.
Остальным этот поисковик по барабану, ибо маразм его уже превышает все мыслимые пределы, что стоит то только, что он выкидывает сайты из индекса только в путь за типо не уникальный контент и типо сайты файлопомойки.
То есть, вот например я создаю сайт, где есть куча ссылок на другие сайты, приходит его бот и выкидывает из индекса Ничего себе!!!
Будто я должен делать сайт не для себя или пользователей, а для того что бы он понравился "яше"....
Поэтому все адекватные люди пользуются поисковиком гугл, а яндекс живет как поисковик пока есть системы, которые требуют индексации его, как такие системы перейдут на гугл, то он быстро загнется.
14. gudman - 12 февраля 2011 — 22:25 - перейти к сообщению
Рекомендации Яндекса по созданию сайта!
Если внимательно прочтете этот документ, то вам все станет понятно!
15. Sasa1 - 12 февраля 2011 — 22:48 - перейти к сообщению
gudman пишет:
Если внимательно прочтете этот документ, то вам все станет понятно!

Хорошо, я то прочту.
Но у меня вопрос, Вы создаете сайты для себя и посетителей, или для и по инструкциям яндекса?
Я думаю Вы прочитали выше сообщение полностью.

Да и у меня этот файл даже не открывает Подмигивание Касперский блокирует. Огорчение
Вот так как скачивать файлы с этого яндекса.

Яндекс.Метрика   

Powered by ExBB
[Script Execution time: 0.0244]     [ ]