Подскажите, почему такое несответствие страниц:

Страниц в поиске 4381
Внешних ссылок на страницы сайта 296
Время последнего посещения сайта роботом 14.08.2010
Загружено роботом 15180
Исключено роботом 933
И как это можно исправить?

Какое именно несоответствие?
Что в поиске 4381, а не 15180-933=14247 страниц?
Видимо, те страницы, которые не в поиске, почему-то не интересны роботу:
а) они дублируют друг друга
б) к ним нужно далеко идти

Почитайте также в FAQ поисковой системы

vipraskrutka при всем уважении к Вам, у Вас на форуме проиндексировано всего 2709 страниц, хотя контента море!
Если не секрет, почему?

апну свою тему.. Яндекс и Гугль очень хреново индексируют форум, кажется настроил все что можно и все-равно, страниц в индексе очень мало.
Кстати, sitemap.xml играет свою роль в индексации?
У меня щас всего только 500 страниц, может здесь собака порылась?

nikk
Хм, в Гугле 2240 проиндексированных страниц этого сайта (разумеется, абсолютное большинство из них это страницы форума). Для раскрутки этого сайта уже полгода ничего особенного не делается (не проплачивается Яндекс.Директ, не используются разного рода пинговалки и т.п.) При этом показатели (в т.ч. и пузомерки) потихоньку растут

Касательно именно кол-ва проиндексированных страниц заметил интересную закономерность. Когда обновляли портал, случайно был удалён файл robots.txt и в результате в индекс попало много мусора (например, дублирование страниц просмотра тем - обычный вид темы и версия для печати, также сюда можно отнести всякие малополезные страницы-заглушки, дублирующиеся во многих местах). После этого Гугл большую половину страниц просто выкинул (осталось где-то 500 - 600 страниц от всего сайта, причём весьма интересно, для некоторых страниц просмотра тем в индексе остался обычный вид, для остальных - версия для печати). С восстановлением robots.txt вроде как проблема нормализовалась, вновь пошли в индекс страниц обычного просмотра тем (версию для печати решили закрыть от ботов в этом же файле)

И ещё небольшой комментарий касательно Яндекса и позиции выдачи. Очень сильно на эту самую позицию влияет наличие ключевиков в заголовке страницы, а также их наличие (2 - 3 раза) в тексте на странице. Стоило мне на одном из своих сайтов произвести подобную оптимизацию, так сразу буквально за несколько апов выдачи поднялись в топ 9 страниц, причём по весьма вкусным ключевикам, с которых идут пользователи. До этого же данные страницы максимум попадали на последние позиции 1-ой страницы, в худшем случае вообще были на 3-ей/4-ой странице

nikk, проанализируйте, с каких ключевиков к Вам идут пользователи, и займитесь соответствующей оптимизацией контента. Ведь, как я понимаю, конечная цель состоит в привлечении на сайт людей, а не в пузомерках и кол-ве проиндексированных страниц?

Именно так..
Но количество проиндекисрованных страниц непосредственно вляиет на на привлечение людей, ведь за счет новых тем по-НЧ, растет траффик на форум.
А пузомерки меня вообще не волнуют, сейчас к примеру ТИЦ-10 и с меня достаточно..

И много у Вас появляется новых тем именно с эффективными НЧ? Вам бы наверное лучше сначала определиться с текущим набором ключевиков, по которым к Вам стабильно идёт поисковый траф, и заняться их оптимизацией. Под оптимизацией я имею в виду создание специальных страниц или тем с SEO-оптимизированным текстом. Мне кажется для форума это наилучший вариант, поскольку многие пользователи вообще могут не понимать, что от того, какой они теме дадут заголовок (даже от порядка слов в нём) или сколько сделают грамматических ошибок в кейвордах, напрямую зависит поисковая выдача

Я занялся оптимизацией именно по тем ключевикам, с которых идёт больше трафа. Например, на этот сайт по запросу exbb вчера перешло 58 уников. А по запросу форум на файлах - в 10 раз меньше, примерно столько же по запросу скрипт форума (при этом выдача по первым 2-ум фразам у нас в топе). Хотя я изначально думал, что потенциальные кейворды для этого сайта будут именно 2 последние фразы. Но проблема в том, что я именно думал, вместо того, чтобы сразу посмотреть на http://wordstat.yandex.ru/ кол-во запросов по каждой из фраз. Оказывается, exbb ищут в 6 раз чаще, чем форум на файлах. Более того, даже по сравнению с запросом скрипт форума запрос exbb имеет большее кол-во показов (правда, разница тут уже не такая большая - 1,5 тыс показов). Вот и получается, что раскручивали не совсем по тем кейвордам

Ну а на втором этапе, после оптимизации по действующим эффективным ключевикам, я бы рекомендовал обратиться как раз на http://wordstat.yandex.ru/ чтобы уточнить, какими ключевиками стоит заниматься, а какие вообще стоит выкинуть. Например, у меня ушло около десятка фраз, которые я считал очень важными. Для попадания в топ по каждой из них ушло бы немало времени, но вряд ли бы дало что-нибудь серьёзное в плане поискового трафа, поскольку пользователи по таким фразам просто не ищут

Спасибо большое за консультацию по редактированию роботса!!!

НАрод такой вопрос: для гугл не могу сделать сайтмапу, но он уже без ней немного прошерстил по форуму и кричит что есть левые станицы и пишет вот такую лобуду:
ереход по URL не выполнен
При проверке нескольких URL из вашего файла Sitemap мы обнаружили, что некоторые URL перенаправляют на другие страницы. Мы советуем использовать в файле Sitemap URL-адреса, непосредственно указывающие на нужные страницы (цели перенаправления), а не перенаправляющие на другие URL.

Можно как то без сайтамы чтобы гугл индексировал? и что то гугл мой форум не любит очень так

vipraskrutka, у меня нет денег чтобы раскручивать. Я щас вообще думаю где бабки брать чтоб за след. месяц за инет отдать

бред!
ссылки помогут лучшей индекссации! Вот карта в формате xml действительно улучшает индексацию форума! Я в своем заказал на Серче карту у одного парнишки, щас Гугля видит 5 тыс страниц, Яндекс 4400 , этому немало способствовала карта форума..

nikk, я постоянно делал специально для гуглса саайтмапу в формате xml. Но щас то что трабла с www и сделать немогу гугл начинает ругаться что левые страницы появляются. Кстати так ни кто и не ответил на мой вопрос...........

мог бы с Вами поспорить, но лень..
Один мой сайт я запихал в Я.ru b через несколкьо дней он был в Индексе..

Народ скажите под спойлером текс хорошо индексируется и индексируетсял и вообще?

vipraskrutka, мерси. А будет ли индексироваться то что под тегами хайд? ну например у меня крыто от незареганных пользователей а в яндексе том же это не всплывет ни где на общую шару?