СоНоты

Host: www.sochi2014.com

$ lynx -mime_header http://sochi2014.com/robots.txt
HTTP/1.1 200 OK
Date: Thu, 10 Sep 2009 17:15:09 GMT
Server: Apache/1.3.37 (Unix) mod_accel/1.0.34
Content-Length: 77
Content-Type: text/plain; charset=windows-1251
Connection: close

User-agent: *
Disallow: /pictures
Disallow: /scripts
Host: www.sochi2014.com

Однако:

$ lynx -mime_header http://www.sochi2014.com/
HTTP/1.1 302 Found
Date: Thu, 10 Sep 2009 17:16:24 GMT
Server: Apache/1.3.37 (Unix) mod_accel/1.0.34
Location: http://sochi2014.com/
Connection: close
Content-Type: text/html; charset=iso-8859-1

Сайт Олимпиады 2014. В прошлом году сайт висел на www.sochi2014.com, вернее отвечал и по www и без. Потом, возможно, пришел новый админ, или оптимизатор, и решил оставить только вариант без www. Только вот нестандартное расширение для robots.txt имени Яндекса забыл поправить.