ExBB Community :: Версия для печати :: Индексация форума [4]

46. gudman - 30 января 2014 — 13:38 - перейти к сообщению

Zeg, а я чет не въехал от куда взялись дубли? посмотрел, действительно идентичные странички с разными адресами.

47. gudman - 30 января 2014 — 13:57 - перейти к сообщению

Zeg пишет:

Различные решения этой проблемы предлагались мной на этом форуме.

дай пожалуйста ссылку на решение, не могу найти поиском.
и вопрос, какие из этих ссылок первоисточник, а какие дубль?
чет совсем запутался.... Радость

48. Nikela - 30 января 2014 — 14:55 - перейти к сообщению

gudman пишет:

Zeg, а я чет не въехал от куда взялись дубли?

Так у вас же внизу постраничная навигация, в этом разделе 11 страниц с темами, вот и получается описание раздела на всех страницах.

Наверное, правильнее делать, чтобы описание раздела отображалось только на первой странице, но тут уже Женя пусть лучше скажет. Растерялся

49. gudman - 30 января 2014 — 15:05 - перейти к сообщению

Nikela, дело не в описании раздела, а о дубле странички полностью.
меня не беспокоит что описание на всех страницах раздела присутствует.

50. - 30 января 2014 — 15:54 - перейти к сообщению

gudman пишет:

и вопрос, какие из этих ссылок первоисточник, а какие дубль?

Первоисточником является http://jeepgarage.ru/forum/forum...forum=5&p=11
Остальные созданы искусственно путем изменения последней цифры в сторону увеличения. Другими словами все ссылки у которых цифра страницы (последняя цифра в ссылке) заведомо больше максимальной для данного форума, будут вести на последнюю страницу. Вроде действительно дубли, но откуда их возьмет поисковик? Или у поисковых ботов такой алгоритм поиска пытаться прощупывать все что только можно?

51. - 30 января 2014 — 18:06 - перейти к сообщению

NordWest пишет:

откуда их возьмет поисковик?

Я тоже так думал, что раз нету ссылок, то и дублей не может бытью. Как доказал Яндекс - могут. Х.з. откуда. С ходу пара примеров:

1. Например, было 3 страницы, почистили-перенесли темы. Страниц стало 2, а в индексе так и будет болтаться 3, если ничего не сделать. Иногда болтаются годами.

2. Кто-то тупо влепил кривую ссылку, тоже бывало.

3. Кто-то вбил руками, старница засветилась где-то в Я-метрике, еще где-то. Боты пришли, хотя о ее существовании и знать не должны (почитайте блог Ласто, там как раз подобные эксперименты проводились).

52. gudman - 30 января 2014 — 18:28 - перейти к сообщению

Для меня остается не понятным для чего создаются искуственно дубли страниц и как это исключить?!

53. - 30 января 2014 — 18:54 - перейти к сообщению

gudman пишет:

Для меня остается не понятным для чего создаются искуственно дубли страниц и как это исключить?!

Линк, например.

54. - 30 января 2014 — 19:07 - перейти к сообщению

А остальные дубли убрались установкой модаканонических адресов.

55. gudman - 31 января 2014 — 09:05 - перейти к сообщению

Zeg, Спасибо! ну по p=1 мы уже давно разобрались на сколько я помню!
а вот по дублям нужно подумать. Предложенная тобой правка .htaccess

CODE:

RewriteEngine on

RewriteCond %{QUERY_STRING} ^forum=(.*)&topic=(.*)&p=1$
RewriteRule ^(.*)$ $1?forum=%1&topic=%2 [R=301,L]

RewriteCond %{QUERY_STRING} ^forum=(.*)&topic=(.*)&p=1$
RewriteRule ^(.*)$ $1?forum=%1&topic=%2 [R=301,L]

у меня не работает. сервер выдает ошибку если эти строки прописываю в файл.
канонические адреса сам не возьмусь ставить, ибо настройки путей на сервере не стандартны.

56. - 31 января 2014 — 12:04 - перейти к сообщению

gudman пишет:

Спасибо! ну по p=1 мы уже давно разобрались на сколько я помню!

Не совсем, я выше приводил ссылку как раз с p=1 на вашем форуме. Как-то же я ее получил. Значит, не все исправлено. Тот пример с .htaccess, что выдал у вас ошибку, как раз эту проблему и решает.

А канонические адреса может кто-то вам поставит, кто уже копался в форуме и есть доступ? Там вроде ничего сложного нет.

57. nikk - 10 февраля 2014 — 16:35 - перейти к сообщению

Всем привет! Почему-то Яндекс оставил в индексе всего 16385 страниц, это после последнего апдейта... (( А ведь было почти 28 тыс страниц.... Огорчение

58. - 10 февраля 2014 — 17:08 - перейти к сообщению

Так по Сайтмапе посмотри, сколько реально у тебя страниц. Сравни с числом страниц в индексе Гугла. Разбежка будет, но не более, чем в 3-5 тысяч, думаю. Еще Яндекс мог убрать мог лишнее - страницы, не являющиеся каноническими, например.

59. nikk - 10 февраля 2014 — 18:00 - перейти к сообщению

Ну вот например он пишет в панели Яндекс-вебмастера:

Документ запрещен в файле robots.txt:

CODE:

/post.php?action=new&forum=1

5.02.2014 4.11.2013
/post.php?action=new&forum=10

5.02.2014 -
/post.php?action=new&forum=11

5.02.2014 -
/post.php?action=new&forum=12

5.02.2014 -
/post.php?action=new&forum=13

5.02.2014 -
/post.php?action=new&forum=14

5.02.2014 -
/post.php?action=new&forum=15

5.02.2014 -
/post.php?action=new&forum=16

5.02.2014 -
/post.php?action=new&forum=17

5.02.2014 -
/post.php?action=new&forum=18

5.02.2014 5.11.2013
/post.php?action=new&forum=19

5.02.2014 -
/post.php?action=new&forum=2

5.02.2014 2.11.2013
/post.php?action=new&forum=20

5.02.2014 -
/post.php?action=new&forum=21

5.02.2014 -
/post.php?action=new&forum=22

5.02.2014 -

и таких страниц: 54915

Или вот:

Документ является неканоническим 6782

60. - 10 февраля 2014 — 22:35 - перейти к сообщению

Все правильно в обоих случаях. Убрался мусор из индекса.