Перейти к содержимому

Обнаружил еще одного бота, MJ12bot/v1.0.8, внаглую тянущего запрещенные в robots.txt страницы.

Однако на странице информации о боте Majestic-12 сообщается о появлении фейковых ботов, представляющихся именно так. "Мой" бот работал с адреса 99.253.123.252, отсутсвующего в списке адресов активности фейковых ботов.

Трудность блокировки этого бота заключается в том, что это распределеный и добровольческий проект, т.е. боты могут работать с любого диапазона адресов и так просто по адресу его не заблокируешь. Поэтому лучше редиректить по User-Agent следующим образом (для веб-сервера Apache):


RewriteCond %{HTTP_USER_AGENT} MJ12bot.*
RewriteRule (.*) http://127.0.0.1$1 [L,R=301]