Обнаружил в логе поисковика 42 запроса с разными ключевиками с одного IP в течении 5 минут, -- ну не может нормальный человек так с поисковиком работать, наверняка очередной бот шалит и не соблюдает robots.txt.
Запросы шли с адреса 38.100.41.101, whois на него выдавал только общую инфу про 38/ сетку. Ну ничего, Гугол есть, отыскалось про этот IP:
(Asked rwhois.cogentco.com:4321 about 38.100.41.101) 38.100.41.101 network: ID: NET-266429401A network: Network-Name: NET-266429401A network: IP-Network: 38.100.41.64/26 network: Org-Name: CYVEILLANCE network: Street-Address: 1555 WILSON BLVD Suite 404 network: City: ARLINGTON network: State: VA network: Postal-Code: 22209 network: Tech-Contact: ZC108-ARIN network: Updated: 2007-09-17 19: 11: 40 network: Updated-by: jknowles
Ну вот, имя компании есть, можно гуглить дальше: здесь мягко, здесь пожесче. Шпионят они за бабки по Инету, robots.txt видать не соблюдают принципиально (еще одно зеркало Инета). Кстати, в whois выше даден новый диапазон ip-адресов бота этой компании.
Граждане-сотрудники CIA и иже с ними, тупое несоблюдение robots.txt может служить причиной провала, а также приводить к покупке всё новых и новых ip-сеток для продолжения деятельности. 🙂