Перейти к содержимому

Что с Яндексом ?

У меня начинает складываться впечатление, что бот Яндекса начисто перестал соблюдать robots.txt.

18 thoughts on “Что с Яндексом ?

  1. Maxime

    Выяснилось, что виновато кэширование документов в mod_proxу у Апача 1.3, - при определённых условиях закэшированый контент отдаётся без проверки совпадения Accept-Encoding у текущего запроса и закэшированого документа. Заодно это выявило некоторую отсталость в развитии бота Яндекса, - он не поддерживает сжатие контента при передаче. Боты, которые поддерживают эту фичу, проблем от этого бага не испытывают.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *