Такой вот "философический" вопрос: один сайт отдаёт robots.txt всего из одной строки:
User-Agent: *
Как его трактовать ? По стандарту, должно быть одна или более команд Disallow, но их нет... Яндекс этот сайт проиндексировал (уж не знаю до того, как robots.txt стал в таком виде или после).