Такого плана запрет?
Цитата:User-agent: *
Disallow: /forum/rd.php
для тех, у кого форум находится в папке forum, которая лежит в корне сайта?
Вот такую инструкцию нашел:
Цитата:Запрет индексации отдельных файлов
Одним из способов является размещение всех необходимых для запрета файлов в отдельную дирректорию и установки на нее запрета индексации. Или же просто перечислить все запрещаемые файлы:
User-agent: *
Disallow: /~user/private.html
Disallow: /~user/emails.html
Disallow: /~user/contacts.html
Использование мета-инструкций для запрета индексации
Отметим, что вместо файла robots.txt можно использовать мета-инструкций (<META NAME="ROBOTS"> в заголовке HTML документа (<HEAD> . Например,
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
запрещает поисковому боту индексацию документа (NOINDEX) и анализ ссылок на странице (NOFOLLOW). Однако не все поисковые роботы анализируют эту мета-инструкцию. (Отредактировано автором: 2 апреля 2009 — 14:43) |