$ lynx -mime_header http://sochi2014.com/robots.txt HTTP/1.1 200 OK Date: Thu, 10 Sep 2009 17:15:09 GMT Server: Apache/1.3.37 (Unix) mod_accel/1.0.34 Content-Length: 77 Content-Type: text/plain; charset=windows-1251 Connection: close User-agent: * Disallow: /pictures Disallow: /scripts Host: www.sochi2014.com
Однако:
$ lynx -mime_header http://www.sochi2014.com/ HTTP/1.1 302 Found Date: Thu, 10 Sep 2009 17:16:24 GMT Server: Apache/1.3.37 (Unix) mod_accel/1.0.34 Location: http://sochi2014.com/ Connection: close Content-Type: text/html; charset=iso-8859-1
Сайт Олимпиады 2014. В прошлом году сайт висел на www.sochi2014.com, вернее отвечал и по www и без. Потом, возможно, пришел новый админ, или оптимизатор, и решил оставить только вариант без www. Только вот нестандартное расширение для robots.txt имени Яндекса забыл поправить.