Такой вот "философический" вопрос: один сайт отдаёт robots.txt всего из одной строки:
User-Agent: *
Как его трактовать ? По стандарту, должно быть одна или более команд Disallow, но их нет... Яндекс этот сайт проиндексировал (уж не знаю до того, как robots.txt стал в таком виде или после).
- Какое Ваше политическое кредо?
- Всегда!
Так и тут. В зависимости от установок по умолчанию (политического кредо). Возможны только 2 варианта:
"Все, что с ошибками - то запрещено"
или
"Все, что с ошибками - то разрешено (Всегда!)"
Вам выбирать =)
Ну раз Яндекс считает, что разрешено... 🙂
Просто хотел убедиться, что я не упустил какой-нибудь случай умолчания в спецификации, или, ещё хуже, негласного расширения стандарта.
Прошу прощения, что не по теме....
А что это у Вас за плагин такой "Tags: robots.txt, incorrect" 🙂
Это Banny's Technorati Tags: http://dev.wp-plugins.org/wiki/BunnysTechnoratiTags