Ну вот и на нашего серого ослика www.43n39e.ru напали серые волки-позорные боты Mail.Ru/1.0, ломящиеся с адреса 194.67.45.201 (spider4.mail.ru) и не соблюдающие правила для ботов в robots.txt.
В robots.txt прописана секция
User-agent: *
Disallow: /cgi-bin/search
Disallow: /cgi-bin/storedoc
Disallow: /cgi-bin/newinsearch.ru
Disallow: /statistics
Disallow: /banner
Disallow: /js/
Однако бот без зазрения совести тянет урлы, начинающиеся с /cgi-bin/search.cgi
Интересно, что похожая ошибка была и у Яндекса: СоНот 940.
Ну если учитывать то что mail.ru перешол с googla на yandex, то вполне закономерно 🙂
Если учитывать и слухи о скором запуске своего поисковика на Mail.ru (косвенным подтверждением чего этот бот и является), то возниает вопрос, а не купили ли они поиск у Яндекса вместе с исходниками ? 🙂
Тоже чего-то рыскает по сайту. Хотя их поисковиком почти никто не пользуется. Ко мне приходят с Гугля и Яндекса. Реже - с Рамблера. Зачем вообще нужен такой поисковик?
У себя заметил тоже недавно, думал приглючило сначала...всмотрелся - да, mail, правда первый раз вижу слышу, что у мэйла есть свой бот....