Обнаружил, что Яндекс проиндексировал директорию, которую не надо было бы, -- да она не была запрещена в robots.txt, но и прямых ссылок на сайте на неё нет. Ну не суть важно, меняю robots.txt, добавляю в него правило:
Disallow: /templates
Захожу на webmaster.yandex.ru, говорю: удали-ка мне все URL из директории sochi.org.ru/templates/, -- а он мне в ответ: не могу, это не запрещено в вашем robots.txt ! Ну ладно, мы не гордые, попросили удалить все URL из директории sochi.org.ru/templates -- согласился удалить !!!
Вот уж не ожидал такой детсадовской ошибки...
Процитирую www.robotstxt.org:
- Disallow
- The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved. For example,
Disallow: /help
disallows both/help.html
and/help/index.html
, whereasDisallow: /help/
would disallow/help/index.html
but allow/help.html
.Any empty value, indicates that all URLs can be retrieved. At least one Disallow field needs to be present in a record.
А что если написать не Disallow: /templates, а Disallow: /templates/
А что если Яндексу проверить свои алгоритмы обработки robots.txt ? 🙂
В развитие темы: http://forum.searchengines.ru/showthread.php?t=76624
Уведомление: У Mail.Ru/1.0 проблемы с robots.txt « СоНоты