Что с Яндексом ?

У меня начинает складываться впечатление, что бот Яндекса начисто перестал соблюдать robots.txt.

Что с Яндексом ?: 18 комментариев

  1. Maxime

    Выяснилось, что виновато кэширование документов в mod_proxу у Апача 1.3, - при определённых условиях закэшированый контент отдаётся без проверки совпадения Accept-Encoding у текущего запроса и закэшированого документа. Заодно это выявило некоторую отсталость в развитии бота Яндекса, - он не поддерживает сжатие контента при передаче. Боты, которые поддерживают эту фичу, проблем от этого бага не испытывают.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *