Шпиёны засыпались на боте

Обнаружил в логе поисковика 42 запроса с разными ключевиками с одного IP в течении 5 минут, -- ну не может нормальный человек так с поисковиком работать, наверняка очередной бот шалит и не соблюдает robots.txt.

Запросы шли с адреса 38.100.41.101, whois на него выдавал только общую инфу про 38/ сетку. Ну ничего, Гугол есть, отыскалось про этот IP:

(Asked rwhois.cogentco.com:4321 about 38.100.41.101)

 38.100.41.101
 network: ID: NET-266429401A
 network: Network-Name: NET-266429401A
 network: IP-Network: 38.100.41.64/26
 network: Org-Name: CYVEILLANCE
 network: Street-Address: 1555 WILSON BLVD Suite 404
 network: City: ARLINGTON
 network: State: VA
 network: Postal-Code: 22209
 network: Tech-Contact: ZC108-ARIN
 network: Updated: 2007-09-17 19: 11: 40
 network: Updated-by: jknowles

Ну вот, имя компании есть, можно гуглить дальше: здесь мягко, здесь пожесче. Шпионят они за бабки по Инету, robots.txt видать не соблюдают принципиально (еще одно зеркало Инета). Кстати, в whois выше даден новый диапазон ip-адресов бота этой компании.

Граждане-сотрудники CIA и иже с ними, тупое несоблюдение robots.txt может служить причиной провала, а также приводить к покупке всё новых и новых ip-сеток для продолжения деятельности. 🙂

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *