| gudman |
Отправлено: 1 февраля 2011 — 22:22 
|
ExBB Team
Supermoderator
Покинул форум
Сообщений всего: 351
Дата рег-ции: Дек. 2009
Репутация: 19
|
Здравствуйте Друзья!
мое предложение относится скорее к разработчикам форума и
носит исключительно рекомендательный характер!
Итак, есть предложение включить файл robots.txt в исходный
установочный дистрибутив движка форума. Так как это сделано на других форумах!
Больше года у меня работал форум и до сих пор был не верный файл robots.txt...
Пока сам не догодался и не исправил его с помощью vipraskrutka
Спасибо ему кстати за это!!! Это действие будет в двойне полезным, так как этот файл
изначально отредактирует разработчик форума, который знает все тонкости что нужно закрывать а чего нет!
Итак, я для начала выложу исходник который поставил себе на форум, ну и в процессе обсуждения
думаю, мы выведем общий файл, который и можно будет включить в исходник форума!
файл robots.txt (Отобразить)User-agent: *
Disallow: /postings.php
Disallow: /messenger.php
Disallow: /loginout.php
Disallow: /post.php
Disallow: /search.php
Disallow: /profile.php
Disallow: /tools.php?action=members
Disallow: /tools.php?action=mail
Disallow: /*postid=*
Disallow: /index.php?c=f*
Disallow: /topic.php?action=track*
Disallow: /postings.php?action=addpoll*
Disallow: /*v=l*
Disallow: /printpage.php
User-agent: Yandex
Disallow: /postings.php
Disallow: /messenger.php
Disallow: /loginout.php
Disallow: /post.php
Disallow: /search.php
Disallow: /profile.php
Disallow: /tools.php?action=members
Disallow: /tools.php?action=mail
Disallow: /*postid=*
Disallow: /index.php?c=f*
Disallow: /topic.php?action=track*
Disallow: /postings.php?action=addpoll*
Disallow: /*v=l*
Disallow: /printpage.php
Host: вашсайт.ru
Sitemap: http://вашсайт.ru/sitemap.xml
Думаю, что для многих будет полезно! И соррии если я повторяюсь! |
| |
|
| nikk |
Отправлено: 2 февраля 2011 — 02:02
|
Super Member
Покинул форум
Сообщений всего: 1122
Дата рег-ции: Нояб. 2009
Репутация: 25
|
мой:
роботс (Отобразить)User-agent: *
Disallow: /rd.php
Disallow: /admincenter.php
Disallow: /postings.php
Disallow: /messenger.php
Disallow: /loginout.php
Disallow: /post.php
Disallow: /search.php
Disallow: /profile.php
Disallow: /tools.php?action=help
Disallow: /tools.php?action=rules
Disallow: /tools.php?action=reputation
Disallow: /tools.php?action=members
Disallow: /tools.php?action=mail
Disallow: /tools.php?action=chat
Disallow: /register.php
Disallow: /keys.txt
Disallow: /printfile.php?action=attach
Disallow: /topic.php$
Disallow: /post.php?action=new
Disallow: /topic.php?forum=*&topic=*&v=
User-agent: Yandex
Disallow: /register.php
Disallow: /admincenter.php
Disallow: /rd.php
Disallow: /postings.php
Disallow: /messenger.php
Disallow: /loginout.php
Disallow: /search.php
Disallow: /index.php?c=
Disallow: /forums.php?forum=*&show=
Disallow: /profile.php
Disallow: /tools.php?action=members
Disallow: /tools.php?action=help
Disallow: /tools.php?action=mail
Disallow: /tools.php?action=rules
Disallow: /tools.php?action=chat
Disallow: /tools.php?action=reputation
Disallow: /keys.txt
Disallow: /topic.php$
Disallow: /printfile.php?action=attach
Disallow: /post.php
Disallow: /topic.php?forum=*&topic=*&v=
Host: militaryforum.ru
Sitemap: http://militaryforum.ru/sitemap.xml (Отредактировано автором: 2 февраля 2011 — 02:03) |
| |
|
| gudman |
Отправлено: 2 февраля 2011 — 13:12
|
ExBB Team
Supermoderator
Покинул форум
Сообщений всего: 351
Дата рег-ции: Дек. 2009
Репутация: 19
|
BON пишет:как это строка вообще должна выглядеть?
Строка выглядит следующим образом:
Disallow: /*postid=*
И закрывает все страницы с идентификаторами сессий.
BON пишет:а я у себя убрал в последствии строку Sitemap
Зря убрал....в руководстве Яндекса рекомендуется включать эту строку! Она явно указывает путь к файлу Sitemap. В любом случае она ни чем не вредит!(Отредактировано автором: 2 февраля 2011 — 13:13) |
| |
|
| Sasa1 |
Отправлено: 12 февраля 2011 — 00:20
|
Забанен
Покинул форум
Сообщений всего: 55
Дата рег-ции: Дек. 2010
Репутация: -12
[+][+][+][+]
|
Мдя, как дети малые, причем тут файл robots.txt
nikk пишет:gudman, после установки на моем форуме такого роботс.тхт и карты сайта, количество проиндекированных страниц резко возросло..
сейчас уже Яндекс видит 5000 страниц, Гугль примерно столько же.
Это ни как не может связано с файлом robots.txt, если там не стояло, что нельзя индексировать сайт и его модули. 
На нормальном хостинге, где разрешена индексация сайта, этот файл не нужен, если Вы не хотите запретить что то от индексирования, а что то разрешить.
Вы установили там дополнения карту для форума, вот это поисковики любят, но не как тут роботс.тхт ни причем.
Спасибо повеселили меня. (Отредактировано автором: 12 февраля 2011 — 00:31) |
| |
|
| Sasa1 |
Отправлено: 12 февраля 2011 — 21:53
|
Забанен
Покинул форум
Сообщений всего: 55
Дата рег-ции: Дек. 2010
Репутация: -12
[+][+][+][+]
|
gudman пишет:Sasa1, почитайте инструкцию от яндекса и все что касается этого файла...
Ссылочку дайте, только не на описание что такое этот файл, а именно этот файл с содержанием который был тут выложен и что оно дает.
Очень интересно. 
(Добавление)
Да и скажу откровенно про поисковик "яшу", он выгоден тем кто работает с системами типа сапе, бегун и тд.
Остальным этот поисковик по барабану, ибо маразм его уже превышает все мыслимые пределы, что стоит то только, что он выкидывает сайты из индекса только в путь за типо не уникальный контент и типо сайты файлопомойки.
То есть, вот например я создаю сайт, где есть куча ссылок на другие сайты, приходит его бот и выкидывает из индекса 
Будто я должен делать сайт не для себя или пользователей, а для того что бы он понравился "яше"....
Поэтому все адекватные люди пользуются поисковиком гугл, а яндекс живет как поисковик пока есть системы, которые требуют индексации его, как такие системы перейдут на гугл, то он быстро загнется. |
| |
|
|
Сайт проекта ExBB
Чат на форуме
Помощь
Поиск
BanList
Без описания
Касперский блокирует. 
