Ну вот и на нашего серого ослика www.43n39e.ru напали серые волки-позорные боты Mail.Ru/1.0, ломящиеся с адреса 194.67.45.201 (spider4.mail.ru) и не соблюдающие правила для ботов в robots.txt.
В robots.txt прописана секция
User-agent: *
Disallow: /cgi-bin/search
Disallow: /cgi-bin/storedoc
Disallow: /cgi-bin/newinsearch.ru
Disallow: /statistics
Disallow: /banner
Disallow: /js/
Однако бот без зазрения совести тянет урлы, начинающиеся с /cgi-bin/search.cgi
Интересно, что похожая ошибка была и у Яндекса: СоНот 940.