Яндекс заявляет о поддержке директивы Crawl-Delay своими роботами. Однако, хотя robots.txt сайта inet-sochi.ru явно указывает, что не желает видеть бота Яндекса чаще раза в секунду (указав Crawl-Delay: 1), бот же Яндекса совершенно этой просьбе не следует (вернее программеры не допрограммировали или менеджеры не донесли до программеров, что он них требуется - не суть важно).
93.158.147.12 - - [25/Aug/2011:17:58:58 +0400] "GET / HTTP/1.1" 200 15662 "-" "Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)" 93.158.147.12 - - [25/Aug/2011:17:58:58 +0400] "GET /favicon.ico HTTP/1.1" 200 630 "-" "Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)" 95.108.147.186 - - [25/Aug/2011:17:59:47 +0400] "GET /cgi-bin/search.cgi?q=%D0%90%D0%BD%D0%B0%D1%82%D0%BE%D0%BB%D0%B8%D0%B9+%D0%9F%D0%B0%D1%85%D0%BE%D0%BC%D0%BE%D0%B2&c=&site=&m=near&sp=1&sy=0&&s=DRP&label=sochi&tmplt=rss-ya.htm.ru HTTP/1.1" 200 11460 "http://inet-sochi.ru/cgi-bin/search.cgi?q=%D0%90%D0%BD%D0%B0%D1%82%D0%BE%D0%BB%D0%B8%D0%B9+%D0%9F%D0%B0%D1%85%D0%BE%D0%BC%D0%BE%D0%B2&c=&site=&m=near&sp=1&sy=0&&s=DRP&label=sochi&tmplt=rss-ya.htm.ru" "Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; B; +http://yandex.com/bots)0 readers"
Последняя запись в логе говорит, что, при некоторых обстоятельствах, боты Яндекса еще и на директивы Disallow внимания не обращают...