Пришла ещё одна напасть, любящая RSS-фиды и ненавидящая robots.txt, звать Google Desktop (оно само так представляется в User-Agent: Mozilla/4.0 (compatible; Google Desktop) ). Также как и Яндекс, компания Google считает, что правила robots.txt не распространяются на фиды, поэтому берёт их где-только найдёт и когда захочет. А хочет оно местами часто (особой закономерности не уловил, то пусто, то густо), порой один и тот же фид запрашивается раз в пять минут....
А вот я считал, что Google Desktop, по идее, вообще дальше локальной машины ходить не должен... А ещё думал, что Google умеет делать SGML-unescape для урлов, прописаных в HTML-документах, -- Google Desktop не умеет, как нашёл, так вот прямо и запрашивает, без всякого unescape...
По поводу локальной машины похоже я попутал Google Desktop и Google Desktop Search...
Ко мне эта штука тоже заходит. Ну и что это за бот?
Судя по всему этим агентом предсталвяется Google Destop: http://desktop.google.com/