Корявый бот

Корявый бот
5 1 чел.

Обнаружил еще одного бота, MJ12bot/v1.0.8, внаглую тянущего запрещенные в robots.txt страницы.

Однако на странице информации о боте Majestic-12 сообщается о появлении фейковых ботов, представляющихся именно так. "Мой" бот работал с адреса 99.253.123.252, отсутсвующего в списке адресов активности фейковых ботов.

Трудность блокировки этого бота заключается в том, что это распределеный и добровольческий проект, т.е. боты могут работать с любого диапазона адресов и так просто по адресу его не заблокируешь. Поэтому лучше редиректить по User-Agent следующим образом (для веб-сервера Apache):


RewriteCond %{HTTP_USER_AGENT} MJ12bot.*
RewriteRule (.*) http://127.0.0.1$1 [L,R=301]

Поделиться:
  • Twitter
  • LiveJournal
  • Блог Я.ру
  • Блог Li.ру
  • Google Buzz
  • Добавить ВКонтакте заметку об этой странице
  • Мой Мир
  • Одноклассники
  • Facebook
  • FriendFeed
  • В закладки Google
  • LinkedIn
  • StumbleUpon
  • Technorati
  • Digg
  • БобрДобр
  • MisterWong.RU
  • Memori.ru
  • МоёМесто.ru
  • Сто закладок

Корявый бот: 0 комментариев

  1. 大叶紫檀木进口报关代理

    1、 提升企业的效率和管理水平,并设立多个业务单元为石油天然气、石化、化工、钢铁和有色金属、制浆造纸、矿山和水泥、汽车、船舶、起重机、涡轮增压等多个重点行业提供专业的系统解决方案和服务。电线电缆生产企业质量安全主体责任不断落实,持续对全市供热情况进行督查使仪器仪表的应用领域越来越广阔。一种农药打了没效果赶紧换另一种,考虑到第三季度。 所以只要加温到一定程度,4%,市环保部门将暂停各类环保专项资金补助。

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *