Сайт проекта ExBB

Общение объединяет!

Войдите на форум при помощи

Войти через loginza

Чат на форуме

Помощь

Поиск

Пользователи

BanList

BanList

Здравствуйте Гость ( Вход · Регистрация · Правила форума )

Забыли пароль?

robots.txt

ExBB Community » Файловый ExBB » Общие вопросы » Установка и обновление

Страниц (6): « 1 [2] 3 4 5 6 »

Описание: как написать

Поиск в теме | Версия для печати

Zeg	Отправлено: 1 апреля 2010 — 23:05
Super Member Покинул форум Сообщений всего: 891 Дата рег-ции: Март 2009 Откуда: Беларусь Репутация: 89	Хочу немного добавить. В посте выше была строка: CODE: Disallow: /forum/printfile.php?action=attach* Если есть в robots.txt разделение по ботам (искалкам), то эту строку можно вписать только для Яндекса. Другие боты у меня ни разу туда не забредали и не пытались индексировать содержимое аттачей, ужатых архиватором (!!!).

ExBB FAQ ExBB 1.1 тестовая версия ExBB 2.0.*

Zeg	Отправлено: 13 апреля 2010 — 11:36
Super Member Покинул форум Сообщений всего: 891 Дата рег-ции: Март 2009 Откуда: Беларусь Репутация: 89	Продолжил эксперименты с robots.txt на "не популярных" у Яндекса форумах, описанные выше (разрешил Яндексу индексировать печатную версию форума, страницы с &p=1 и убрал все ссылки с &v=l. Итогом более чем доволен. Более 3-х месяцев Яндекс в упор не хотел индексировать форум (несколько десятков страниц, да и те, то попадут в индекс, то исчезнут) со старым, а тут при первом же апе индекса всего ночь в индексе оказалось около 4500 страниц! Вернее робот ходил нормально, но в индекс не попадали страницы (ниже об этом). Параллельно собирал статистику по роботам. Яндекс как и ранее, топтался по подопытнм форумам (и сайтам) весьма активно, но не более и не менее чем обычно. Остальные роботы вели все это время себя вполне адекватно и подобных Яндексу "коников" не отмачивали. Так же были изменены meta-теги и title страниц в хедере, дабы отображать реальные данные (это где-то тоже было описано на этом форуме). Для пытливых умов - никаких фильтров и санкций к подопытным форумам со стороны Яндекса применено не было (которые якобы могли сейчас снять). По крайней мере так отвечтил саппорт в лице Платона . Также в robots добавил строку: CODE: Disallow: /forum/tools.php?action=reputation Ибо роботам, ИМХО, там делать нечего. зы. Тесты продолжаются.

ildar	Отправлено: 13 апреля 2010 — 12:18
Junior Member Покинул форум Сообщений всего: 52 Дата рег-ции: Июль 2009 Репутация: 2	Zeg Так как должен выглядеть конечный robots.txt ? У себя я сделал так: Спойлер (Отобразить) CODE: User-agent: * Disallow: /admincenter.php Disallow: /forums.php?action=markall Disallow: /index.php$ Disallow: /index.php?action=resetall Disallow: /index.php?c= Disallow: /loginout.php Disallow: /messenger.php Disallow: /post.php Disallow: /postings.php Disallow: /printfile.php Disallow: /printpage.php Disallow: /profile.php Disallow: /register.php Disallow: /search.php Disallow: /set.php Disallow: /tools.php Disallow: /topic.php$ Disallow: /topic.php?forum=&topic=&postid= Disallow: /topic.php?forum=&topic=&p=1$ Disallow: /topic.php?forum=&topic=&v=l (Отредактировано автором: 13 апреля 2010 — 17:06)*

Zeg	Отправлено: 13 апреля 2010 — 14:04
Super Member Покинул форум Сообщений всего: 891 Дата рег-ции: Март 2009 Откуда: Беларусь Репутация: 89	ildar, мой вариант: robots.txt (Отобразить) CODE: User-agent: * Disallow: /forum/index.php?c=f Disallow: /forum/topic.php$ Disallow: /forum/rd.php Disallow: /forum/postings.php Disallow: /forum/messenger.php Disallow: /forum/loginout.php Disallow: /forum/post.php Disallow: /forum/profile.php Disallow: /forum/printfile.php?action=attach Disallow: /forum/search.php?action= Disallow: /forum/index.php?action=resetall Disallow: /forum/tools.php?action=members Disallow: /forum/tools.php?action=mail Disallow: /forum/tools.php?action=reputation Disallow: /forum/post.php?action=new Disallow: /forum/topic.php?forum=&topic=&v= User-agent: Yandex Disallow: /images/.swf.flv Disallow: /forum/index.php?c=f Disallow: /forum/topic.php$ Disallow: /forum/rd.php Disallow: /forum/postings.php Disallow: /forum/messenger.php Disallow: /forum/loginout.php Disallow: /forum/post.php Disallow: /forum/profile.php Disallow: /forum/printfile.php?action=attach Disallow: /forum/search.php?action= Disallow: /forum/index.php?action=resetall Disallow: /forum/forums.php?forum=&show= Disallow: /forum/forums.php?forum=&p=1$ Disallow: /forum/tools.php?action=members Disallow: /forum/tools.php?action=mail Disallow: /forum/tools.php?action=reputation Disallow: /forum/post.php?action=new Disallow: /forum/topic.php?forum=&topic=&v= Host: chausy.org.ru User-agent: Slurp Crawl-delay: 100 Sitemap: http://chausy.org.ru/sitemap.xml Это - если установлен мод проигрывания видео-файлов (Яндекс неадекватно такие вещи воспринимает): CODE: Disallow: /images/.swf.flv А это, если установлен мод "Редирект внешних ссылок": CODE: Disallow: /forum/rd.php

M-A-X	Отправлено: 13 апреля 2010 — 14:26
Advanced Member Покинул форум Сообщений всего: 278 Дата рег-ции: Июль 2009 Откуда: Киев Репутация: 10	А не проще tools.php просто запретить, без перечисления возможных екшинов? Типа CODE: Disallow: /forum/tools.php (Отредактировано автором: 13 апреля 2010 — 14:28)

Zeg	Отправлено: 13 апреля 2010 — 14:29
Super Member Покинул форум Сообщений всего: 891 Дата рег-ции: Март 2009 Откуда: Беларусь Репутация: 89	M-A-X, парой страниц выше был спор. В моем случае - проще. Причина, почему не делал - лень .

ildar	Отправлено: 13 апреля 2010 — 14:33
Junior Member Покинул форум Сообщений всего: 52 Дата рег-ции: Июль 2009 Репутация: 2	Zeg Спасибо P.S. Оставил пока свой robots.txt, так как в нем побольше исключений. (Отредактировано автором: 13 апреля 2010 — 14:38)

nikk	Отправлено: 11 сентября 2010 — 19:55
Super Member Покинул форум Сообщений всего: 1122 Дата рег-ции: Нояб. 2009 Репутация: 25	Zeg А почему на Вашем форуме сейчас нет robots.txt? Решили отказаться или что-то другое?

electron	Отправлено: 12 сентября 2010 — 06:25
ExBB Team Покинул форум Сообщений всего: 3917 Дата рег-ции: Февр. 2009 Репутация: 341	nikk, не вижу изменений в ваших копирайтах http://exbb.info/community/topic...48796#1283848796 повесить вам бан на этом форуме или как???

nikk	Отправлено: 12 сентября 2010 — 21:22
Super Member Покинул форум Сообщений всего: 1122 Дата рег-ции: Нояб. 2009 Репутация: 25	electron пишет: nikk, не вижу изменений в ваших копирайтах удалил.. уж и пошутить-то нельзя...

Zeg	Отправлено: 12 сентября 2010 — 23:37
Super Member Покинул форум Сообщений всего: 891 Дата рег-ции: Март 2009 Откуда: Беларусь Репутация: 89	nikk, файл в корне сайта лежит, т.е. общий и для сайта и для форума. Вот. (Отредактировано автором: 14 февраля 2011 — 00:15)

electron	Отправлено: 13 сентября 2010 — 05:39
ExBB Team Покинул форум Сообщений всего: 3917 Дата рег-ции: Февр. 2009 Репутация: 341	nikk пишет: electron пишет: nikk, не вижу изменений в ваших копирайтах удалил.. уж и пошутить-то нельзя... это у вас шуточки, а неуважение к разработчикам

nikk	Отправлено: 23 сентября 2010 — 17:44
Super Member Покинул форум Сообщений всего: 1122 Дата рег-ции: Нояб. 2009 Репутация: 25	у меня Яндекс по-прежнему находит две главные страницы, http://militaryforum.ru и http://militaryforum.ru/index.php... как же правильно закрыть index.ph, подскажите плиз! Вот мой роботс: robots (Отобразить) User-agent: * Disallow: /rd.php Disallow: /admincenter.php Disallow: /postings.php Disallow: /messenger.php Disallow: /loginout.php Disallow: /post.php Disallow: /search.php Disallow: /profile.php Disallow: /tools.php?action=help Disallow: /tools.php?action=rules Disallow: /forum/tools.php?action=reputation Disallow: /tools.php?action=members Disallow: /tools.php?action=mail Disallow: /tools.php?action=chat Disallow: /postings.php?action=addpoll* Disallow: /register.php Disallow: /keys.txt User-agent: Yandex Disallow: /register.php Disallow: /admincenter.php Disallow: /rd.php Disallow: /postings.php Disallow: /messenger.php Disallow: /loginout.php Disallow: /search.php Disallow: /index.php?c= Disallow: /profile.php Disallow: /tools.php?action=members Disallow: /tools.php?action=help Disallow: /tools.php?action=mail Disallow: /tools.php?action=rules Disallow: /tools.php?action=chat Disallow: /forum/tools.php?action=reputation Disallow: /postings.php?action=addpoll* Disallow: /keys.txt Host: militaryforum.ru (Отредактировано автором: 23 сентября 2010 — 17:47)

Zeg	Отправлено: 23 сентября 2010 — 19:27
Super Member Покинул форум Сообщений всего: 891 Дата рег-ции: Март 2009 Откуда: Беларусь Репутация: 89	Можно сделать через .htaccess так, чтобы при обращении к index.php попадали на /. По идее поможет.

nikk	Отправлено: 23 сентября 2010 — 19:36
Super Member Покинул форум Сообщений всего: 1122 Дата рег-ции: Нояб. 2009 Репутация: 25	Zeg пишет: Можно сделать через .htaccess так, чтобы при обращении к index.php попадали на /. По идее поможет. Zeg Вы можете это прописать? как будет выглядеть htaccess?

Поиск в теме | Версия для печати

Страниц (6): « 1 [2] 3 4 5 6 »

Сейчас эту тему просматривают: 1 (гостей: 1, зарегистрированных: 0)

« Установка и обновление »

	Темы	Форум	Информация о теме	Обновление
Похожие темы: robots.txt
	Clean-param и postid Нужно ли добавлять в robots.txt?	Обсуждение	Ответов: 1 Автор темы: alexvod	17 декабря 2010 — 22:43 Автор: nikk
	Личные сообщения PHP помогите написать скрипт ЛС	Обсуждение	Ответов: 0 Автор темы: alexssses	2 февраля 2013 — 13:49 Автор: alexssses
	Личные сообщения PHP помогите написать скрипт ЛС	MySQL	Ответов: 2 Автор темы: alexssses	3 февраля 2013 — 03:12 Автор: 1Bot
	Вопросы по robots.txt	Общие вопросы	Ответов: 3 Автор темы: Chiv_Chelios	13 апреля 2011 — 18:40 Автор: Zeg
	Предложение по файлу robots.txt	Обсуждаем	Ответов: 25 Автор темы: gudman	27 февраля 2011 — 21:33 Автор: lisiycat

Все гости форума могут просматривать этот раздел.
Только администраторы и модераторы могут создавать новые темы в этом разделе.
Только администраторы и модераторы могут отвечать на сообщения в этом разделе.

Powered by ExBB
ExBB FM 1.0 RC1 by TvoyWeb.ru
InvisionExBB Style converted by Markus®

[Script Execution time: 0.0679] [ ]