Яндекс и robots.txt

Обнаружил, что Яндекс проиндексировал директорию, которую не надо было бы, -- да она не была запрещена в robots.txt, но и прямых ссылок на сайте на неё нет. Ну не суть важно, меняю robots.txt, добавляю в него правило:

Disallow: /templates

Захожу на webmaster.yandex.ru, говорю: удали-ка мне все URL из директории sochi.org.ru/templates/, -- а он мне в ответ: не могу, это не запрещено в вашем robots.txt ! Ну ладно, мы не гордые, попросили удалить все URL из директории sochi.org.ru/templates -- согласился удалить !!!

Вот уж не ожидал такой детсадовской ошибки...

Процитирую www.robotstxt.org:

Disallow
The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved. For example, Disallow: /help disallows both /help.html and /help/index.html, whereas Disallow: /help/ would disallow /help/index.html but allow /help.html.Any empty value, indicates that all URLs can be retrieved. At least one Disallow field needs to be present in a record.

Яндекс и robots.txt: 7 комментариев

  1. Уведомление: У Mail.Ru/1.0 проблемы с robots.txt « СоНоты

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *