Перейти к содержимому

Философский вопрос

Такой вот "философический" вопрос: один сайт отдаёт robots.txt всего из одной строки:

User-Agent: *

Как его трактовать ? По стандарту, должно быть одна или более команд Disallow, но их нет... Яндекс этот сайт проиндексировал (уж не знаю до того, как robots.txt стал в таком виде или после).

8 thoughts on “Философский вопрос

  1. Lermont

    - Какое Ваше политическое кредо?
    - Всегда!

    Так и тут. В зависимости от установок по умолчанию (политического кредо). Возможны только 2 варианта:
    "Все, что с ошибками - то запрещено"
    или
    "Все, что с ошибками - то разрешено (Всегда!)"

    Вам выбирать =)

  2. Maxime

    Ну раз Яндекс считает, что разрешено... 🙂
    Просто хотел убедиться, что я не упустил какой-нибудь случай умолчания в спецификации, или, ещё хуже, негласного расширения стандарта.

  3. Alexey

    Прошу прощения, что не по теме....
    А что это у Вас за плагин такой "Tags: robots.txt, incorrect" 🙂

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *