ExBB Community ExBB Community
 Сайт проекта ExBB Общение объединяет!
Войдите на форум при помощиВойти через loginza
 Чат на форуме      Помощь      Поиск      Пользователи     BanList BanList


 Страниц (6): « 1 [2] 3 4 5 6 »   

> Описание: как написать
Zeg
Отправлено: 1 апреля 2010 — 23:05
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 889
Дата рег-ции: Март 2009  
Откуда: Беларусь
Репутация: 89




Хочу немного добавить. В посте выше была строка:

CODE:
Disallow: /forum/printfile.php?action=attach*


Если есть в robots.txt разделение по ботам (искалкам), то эту строку можно вписать только для Яндекса. Другие боты у меня ни разу туда не забредали и не пытались индексировать содержимое аттачей, ужатых архиватором (!!!). А?!
 
 
Zeg
Отправлено: 13 апреля 2010 — 11:36
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 889
Дата рег-ции: Март 2009  
Откуда: Беларусь
Репутация: 89




Продолжил эксперименты с robots.txt на "не популярных" у Яндекса форумах, описанные выше (разрешил Яндексу индексировать печатную версию форума, страницы с &p=1 и убрал все ссылки с &v=l.

Итогом более чем доволен. Более 3-х месяцев Яндекс в упор не хотел индексировать форум (несколько десятков страниц, да и те, то попадут в индекс, то исчезнут) со старым, а тут при первом же апе индекса всего ночь в индексе оказалось около 4500 страниц! Вернее робот ходил нормально, но в индекс не попадали страницы (ниже об этом). Параллельно собирал статистику по роботам. Яндекс как и ранее, топтался по подопытнм форумам (и сайтам) весьма активно, но не более и не менее чем обычно.

Остальные роботы вели все это время себя вполне адекватно и подобных Яндексу "коников" не отмачивали.

Так же были изменены meta-теги и title страниц в хедере, дабы отображать реальные данные (это где-то тоже было описано на этом форуме).

Для пытливых умов - никаких фильтров и санкций к подопытным форумам со стороны Яндекса применено не было (которые якобы могли сейчас снять). По крайней мере так отвечтил саппорт в лице Платона Улыбка.

Также в robots добавил строку:

CODE:
Disallow: /forum/tools.php?action=reputation


Ибо роботам, ИМХО, там делать нечего.

зы. Тесты продолжаются. Улыбка
 
 
ildar
Отправлено: 13 апреля 2010 — 12:18
Post Id



Пользователь
Junior Member


Покинул форум
Сообщений всего: 52
Дата рег-ции: Июль 2009  
Репутация: 2




Zeg
Так как должен выглядеть конечный robots.txt ? Однако
У себя я сделал так:
Спойлер (Отобразить)

(Отредактировано автором: 13 апреля 2010 — 17:06)

 
 
Zeg
Отправлено: 13 апреля 2010 — 14:04
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 889
Дата рег-ции: Март 2009  
Откуда: Беларусь
Репутация: 89




ildar, мой вариант:

robots.txt (Отобразить)


Это - если установлен мод проигрывания видео-файлов (Яндекс неадекватно такие вещи воспринимает):
CODE:
Disallow: /images/*.swf*.flv


А это, если установлен мод "Редирект внешних ссылок":
CODE:
Disallow: /forum/rd.php
 
 
M-A-X
Отправлено: 13 апреля 2010 — 14:26
Post Id


Пользователь
Advanced Member


Покинул форум
Сообщений всего: 277
Дата рег-ции: Июль 2009  
Откуда: Киев
Репутация: 10




А не проще tools.php просто запретить, без перечисления возможных екшинов? Улыбка
Типа
CODE:
Disallow: /forum/tools.php

(Отредактировано автором: 13 апреля 2010 — 14:28)

 
 
Zeg
Отправлено: 13 апреля 2010 — 14:29
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 889
Дата рег-ции: Март 2009  
Откуда: Беларусь
Репутация: 89




M-A-X, парой страниц выше был спор. В моем случае - проще. Причина, почему не делал - лень Улыбка.
 
 
ildar
Отправлено: 13 апреля 2010 — 14:33
Post Id



Пользователь
Junior Member


Покинул форум
Сообщений всего: 52
Дата рег-ции: Июль 2009  
Репутация: 2




Zeg
Спасибо Улыбка

P.S. Оставил пока свой robots.txt, так как в нем побольше исключений.

(Отредактировано автором: 13 апреля 2010 — 14:38)

 
 
nikk
Отправлено: 11 сентября 2010 — 19:55
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 1122
Дата рег-ции: Нояб. 2009  
Репутация: 25




Zeg
А почему на Вашем форуме сейчас нет robots.txt?
Решили отказаться или что-то другое?
 
 
electron
Отправлено: 12 сентября 2010 — 06:25
Post Id



Администратор
ExBB Team


Покинул форум
Сообщений всего: 3913
Дата рег-ции: Февр. 2009  
Репутация: 341





nikk, не вижу изменений в ваших копирайтах
http://exbb.info/community/topic...48796#1283848796
повесить вам бан на этом форуме или как???
 
 
nikk
Отправлено: 12 сентября 2010 — 21:22
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 1122
Дата рег-ции: Нояб. 2009  
Репутация: 25




electron пишет:
nikk, не вижу изменений в ваших копирайтах

удалил.. уж и пошутить-то нельзя... Улыбка
 
 
Zeg
Отправлено: 12 сентября 2010 — 23:37
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 889
Дата рег-ции: Март 2009  
Откуда: Беларусь
Репутация: 89




nikk, файл в корне сайта лежит, т.е. общий и для сайта и для форума.
Вот.

(Отредактировано автором: 14 февраля 2011 — 00:15)

 
 
electron
Отправлено: 13 сентября 2010 — 05:39
Post Id



Администратор
ExBB Team


Покинул форум
Сообщений всего: 3913
Дата рег-ции: Февр. 2009  
Репутация: 341





nikk пишет:
electron пишет:
nikk, не вижу изменений в ваших копирайтах

удалил.. уж и пошутить-то нельзя... Улыбка

это у вас шуточки, а неуважение к разработчикам
 
 
nikk
Отправлено: 23 сентября 2010 — 17:44
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 1122
Дата рег-ции: Нояб. 2009  
Репутация: 25




у меня Яндекс по-прежнему находит две главные страницы, http://militaryforum.ru и http://militaryforum.ru/index.php...
как же правильно закрыть index.ph, подскажите плиз!

Вот мой роботс:

robots (Отобразить)

(Отредактировано автором: 23 сентября 2010 — 17:47)

 
 
Zeg
Отправлено: 23 сентября 2010 — 19:27
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 889
Дата рег-ции: Март 2009  
Откуда: Беларусь
Репутация: 89




Можно сделать через .htaccess так, чтобы при обращении к index.php попадали на /. По идее поможет.
 
 
nikk
Отправлено: 23 сентября 2010 — 19:36
Post Id



Пользователь
Super Member


Покинул форум
Сообщений всего: 1122
Дата рег-ции: Нояб. 2009  
Репутация: 25




Zeg пишет:
Можно сделать через .htaccess так, чтобы при обращении к index.php попадали на /. По идее поможет.

Zeg Вы можете это прописать? как будет выглядеть htaccess?
 
 
Страниц (6): « 1 [2] 3 4 5 6 »
Сейчас эту тему просматривают: 1 (гостей: 1, зарегистрированных: 0)
« Установка и обновление »

> Похожие темы: robots.txt
Темы Форум Информация о теме Обновление
Clean-param и postid
Нужно ли добавлять в robots.txt?
Обсуждение Ответов: 1
Автор темы: alexvod
17 декабря 2010 — 22:43
Автор: nikk
Личные сообщения PHP
помогите написать скрипт ЛС
Обсуждение Ответов: 0
Автор темы: alexssses
2 февраля 2013 — 13:49
Автор: alexssses
Личные сообщения PHP
помогите написать скрипт ЛС
MySQL Ответов: 2
Автор темы: alexssses
3 февраля 2013 — 03:12
Автор: 1Bot
Вопросы по robots.txt
Общие вопросы Ответов: 3
Автор темы: Chiv_Chelios
13 апреля 2011 — 18:40
Автор: Zeg
Предложение по файлу robots.txt
Обсуждаем Ответов: 25
Автор темы: gudman
27 февраля 2011 — 21:33
Автор: lisiycat
 



Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
 




Яндекс.Метрика   

Powered by ExBB
ExBB FM 1.0 RC1 by TvoyWeb.ru
InvisionExBB Style converted by Markus®

[Script Execution time: 0.1052]     [ ]