Прямо детский сад какой-то, за 9 месяцев так багу с обработкой robots.txt и не исправили у бота с кличкой "Mail.Ru/1.0", -- опять шалит и тянет запрещенные файлы, только боты теперь ломятся с другого диапазона IP...
К тому же у бота замечены проблемы с резолвингом относительных ссылок, начинающихся сразу с CGI-параметров, он лажается и запрашивает несуществующие URLы...
Ужос просто, сначала ВебАльта клала на robots.txt, теперь вот Mail.Ru/Gogo, куда мир катится... А у девелоперов пади зарплаты ядерные...