Перейти к содержимому

У Mail.Ru/1.0 проблемы с robots.txt

Ну вот и на нашего серого ослика www.43n39e.ru напали серые волки-позорные боты Mail.Ru/1.0, ломящиеся с адреса 194.67.45.201 (spider4.mail.ru) и не соблюдающие правила для ботов в robots.txt.

В robots.txt прописана секция

User-agent: *
Disallow: /cgi-bin/search
Disallow: /cgi-bin/storedoc
Disallow: /cgi-bin/newinsearch.ru
Disallow: /statistics
Disallow: /banner
Disallow: /js/

Однако бот без зазрения совести тянет урлы, начинающиеся с /cgi-bin/search.cgi

Интересно, что похожая ошибка была и у Яндекса: СоНот 940.

14 thoughts on “У Mail.Ru/1.0 проблемы с robots.txt

  1. Roman

    Ну если учитывать то что mail.ru перешол с googla на yandex, то вполне закономерно 🙂

  2. Maxime

    Если учитывать и слухи о скором запуске своего поисковика на Mail.ru (косвенным подтверждением чего этот бот и является), то возниает вопрос, а не купили ли они поиск у Яндекса вместе с исходниками ? 🙂

  3. Литератор

    Тоже чего-то рыскает по сайту. Хотя их поисковиком почти никто не пользуется. Ко мне приходят с Гугля и Яндекса. Реже - с Рамблера. Зачем вообще нужен такой поисковик?

  4. Alex

    У себя заметил тоже недавно, думал приглючило сначала...всмотрелся - да, mail, правда первый раз вижу слышу, что у мэйла есть свой бот....

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *