Добавили поддержку директивы Crawl-Delay в robots.txt и сжатия содержимого при передаче.
Надо же, и трех лет не прошло, и добавили такие полезные мелочи. Видать что-то внутрях Яндекса сдохло... 🙂
Только непонятно, опять немножко приврали в деталях: директивы Crawl-Delay нет в стандарте robots.txt, это расширение, предложеное компанией Yahoo! году эдак в 1999. И опять не понятно, а зачем было вводить вещественные значения для задержки, зачем усложнять сущности ?
Не могу рсс Ваше в гугл ридр добавить(
почему так?
у Вас какая то защита стоит?
Была ошибка в коде, сейчас она исправлена. Возможно поток на feedburner исправится с очередным постом в этот блог.