Если вы умеете генерить дорвеи, то для вас не секрет, что Яндекс повернулся задом к лесу и принялся мочить дорвеи (в сортире, очевидно).
Одновременно с теми же фанфарами разворачивается новый сервис поиска по блогам и прочим фидам. И у этого поиска есть одно родовое пятно, -- бот, выкачивающий фиды, не соблюдает robots.txt, -- нет это не ошибка, это позиция разработчика этого поиска, Романа Иванова, известного в блогосфере под ником kukutz. Ну ладо бы не соблюдал, ничем не отличаясь от обычного пользователя, но... Даже если на фид никто в Яндекс.Ленте не подписан, бот будет посещять этот фид по нескольку раз в сутки, примерно обращения идут дуплетом раз в три часа.
Т.е. существует вид файлов, которые Яндекс очень любит, и весьма часто, независимо от того, читает ли это хоть один человек. Т.е. о чём скоро будут "говорить" в блогосфере согласно Яндекс.Блогам ? Правильно, о ксанаксе и фентермине 🙂
Ну любителям рассказывать о ксанаксе и фентермине Яндекс по барабану, им Google интереснее. Кстати, они фишку с блогами давно просекли, на том же блогспоте доров немеряно 🙂
Ха-ха, это нехорошо с robots.txt просто-таки, хамство какое-то. Вполне в духе Яндекса.
Да, Google оже страдает непризнанием robots.txt для фидов. Но у него хоть расписание железное, - строго раз в три часа фид дёргается.
Кстати, со страниц выдачи Яндекса убраны ссылки на результаты поиска в формате RSS. Видать Google, также не признающий robots.txt для фидов, как слудует стал нагружать Яндекс, и/или кто-то подсказал Гуглю, где много RSS-фидов брать. 🙂
давно пора мочить, в последнее время поиск через Яндекс не выдерживает никакой критики - один мусор показывает :(..
Кстати, на страницах выдачи Яндекса никогда не было ссылок на результаты поиска в RSS.
Нельзя быть настолько невнимательными, господа.
Были, kukutz, были и сейчас есть на blogs.yandex.ru...
На blogs были и есть.
На www не было и нет.
Что откуда убрано?
Настаивать не буду -- ходов не записано, может и путаю поиск по блогам и основной поиск...
Но суть не в этом, вы так и продолжаете нарушать robots.txt ботом поиска по блогам или запись в вашем ЧаВО http://blogs.yandex.ru/faq.xml?id=542563 означает, что вы исправились ?