Перейти к содержимому

Новости бота Яндекса

Добавили поддержку директивы Crawl-Delay в robots.txt и сжатия содержимого при передаче.

Надо же, и трех лет не прошло, и добавили такие полезные мелочи. Видать что-то внутрях Яндекса сдохло... 🙂

Только непонятно, опять немножко приврали в деталях: директивы Crawl-Delay нет в стандарте robots.txt, это расширение, предложеное компанией Yahoo! году эдак в 1999. И опять не понятно, а зачем было вводить вещественные значения для задержки, зачем усложнять сущности ?

4 thoughts on “Новости бота Яндекса

  1. Maxime

    Была ошибка в коде, сейчас она исправлена. Возможно поток на feedburner исправится с очередным постом в этот блог.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *