ExBB Community » » Установка и обновление » robots.txt

Страниц (6): « 1 [2] 3 4 5 6 »
 

16. Zeg - 1 апреля 2010 — 23:05 - перейти к сообщению
Хочу немного добавить. В посте выше была строка:

CODE:
Disallow: /forum/printfile.php?action=attach*


Если есть в robots.txt разделение по ботам (искалкам), то эту строку можно вписать только для Яндекса. Другие боты у меня ни разу туда не забредали и не пытались индексировать содержимое аттачей, ужатых архиватором (!!!). А?!
17. Zeg - 13 апреля 2010 — 11:36 - перейти к сообщению
Продолжил эксперименты с robots.txt на "не популярных" у Яндекса форумах, описанные выше (разрешил Яндексу индексировать печатную версию форума, страницы с &p=1 и убрал все ссылки с &v=l.

Итогом более чем доволен. Более 3-х месяцев Яндекс в упор не хотел индексировать форум (несколько десятков страниц, да и те, то попадут в индекс, то исчезнут) со старым, а тут при первом же апе индекса всего ночь в индексе оказалось около 4500 страниц! Вернее робот ходил нормально, но в индекс не попадали страницы (ниже об этом). Параллельно собирал статистику по роботам. Яндекс как и ранее, топтался по подопытнм форумам (и сайтам) весьма активно, но не более и не менее чем обычно.

Остальные роботы вели все это время себя вполне адекватно и подобных Яндексу "коников" не отмачивали.

Так же были изменены meta-теги и title страниц в хедере, дабы отображать реальные данные (это где-то тоже было описано на этом форуме).

Для пытливых умов - никаких фильтров и санкций к подопытным форумам со стороны Яндекса применено не было (которые якобы могли сейчас снять). По крайней мере так отвечтил саппорт в лице Платона Улыбка.

Также в robots добавил строку:

CODE:
Disallow: /forum/tools.php?action=reputation


Ибо роботам, ИМХО, там делать нечего.

зы. Тесты продолжаются. Улыбка
18. ildar - 13 апреля 2010 — 12:18 - перейти к сообщению
Zeg
Так как должен выглядеть конечный robots.txt ? Однако
У себя я сделал так:
Спойлер (Отобразить)
19. Zeg - 13 апреля 2010 — 14:04 - перейти к сообщению
ildar, мой вариант:

robots.txt (Отобразить)


Это - если установлен мод проигрывания видео-файлов (Яндекс неадекватно такие вещи воспринимает):
CODE:
Disallow: /images/*.swf*.flv


А это, если установлен мод "Редирект внешних ссылок":
CODE:
Disallow: /forum/rd.php
20. M-A-X - 13 апреля 2010 — 14:26 - перейти к сообщению
А не проще tools.php просто запретить, без перечисления возможных екшинов? Улыбка
Типа
CODE:
Disallow: /forum/tools.php
21. Zeg - 13 апреля 2010 — 14:29 - перейти к сообщению
M-A-X, парой страниц выше был спор. В моем случае - проще. Причина, почему не делал - лень Улыбка.
22. ildar - 13 апреля 2010 — 14:33 - перейти к сообщению
Zeg
Спасибо Улыбка

P.S. Оставил пока свой robots.txt, так как в нем побольше исключений.
23. nikk - 11 сентября 2010 — 19:55 - перейти к сообщению
Zeg
А почему на Вашем форуме сейчас нет robots.txt?
Решили отказаться или что-то другое?
24. electron - 12 сентября 2010 — 06:25 - перейти к сообщению

nikk, не вижу изменений в ваших копирайтах
http://exbb.info/community/topic...48796#1283848796
повесить вам бан на этом форуме или как???
25. nikk - 12 сентября 2010 — 21:22 - перейти к сообщению
electron пишет:
nikk, не вижу изменений в ваших копирайтах

удалил.. уж и пошутить-то нельзя... Улыбка
26. Zeg - 12 сентября 2010 — 23:37 - перейти к сообщению
nikk, файл в корне сайта лежит, т.е. общий и для сайта и для форума.
Вот.
27. electron - 13 сентября 2010 — 05:39 - перейти к сообщению

nikk пишет:
electron пишет:
nikk, не вижу изменений в ваших копирайтах

удалил.. уж и пошутить-то нельзя... Улыбка

это у вас шуточки, а неуважение к разработчикам
28. nikk - 23 сентября 2010 — 17:44 - перейти к сообщению
у меня Яндекс по-прежнему находит две главные страницы, http://militaryforum.ru и http://militaryforum.ru/index.php...
как же правильно закрыть index.ph, подскажите плиз!

Вот мой роботс:

robots (Отобразить)
29. Zeg - 23 сентября 2010 — 19:27 - перейти к сообщению
Можно сделать через .htaccess так, чтобы при обращении к index.php попадали на /. По идее поможет.
30. nikk - 23 сентября 2010 — 19:36 - перейти к сообщению
Zeg пишет:
Можно сделать через .htaccess так, чтобы при обращении к index.php попадали на /. По идее поможет.

Zeg Вы можете это прописать? как будет выглядеть htaccess?

Яндекс.Метрика   

Powered by ExBB
[Script Execution time: 0.0223]     [ ]