Этим летом Вебальта подожгла дискуссию, поддержанную совсем недавно Петерхостом, а не оборзели ли боты поисковиков, ну прямо сайты кладут. Да, в действительности вебальтовцы как-то уж поначалу самонадеянно "круто" индексировали сайты, да и весьма полезную и давно известную фичу-расширение Crawl-delay для robots.txt не стали поддерживать (я это как промахом в проектировании нового поисковика назвать не могу).
Ну да ладно, речь не про это. Была когда-то похожая история, когда выход на первое место в выдаче Google сайта, техничнески не подготовленного к большой посещаемости, приводил к скорой "кончине" этого сайта от перегрузки запросами. Собственно речь идёт об варьировании выдачи в связи с техническими возможностями сайтов, сколько запросов они смогут нормально обслужить. Ведь если сайт в robots.txt указывает crawl-delay: 10, то явно двух переходов в течении секунды с поисковика он может и не выдержать, -- так зачем его в выдачу ставить всегда, пусть он там будет раз в 10 секунд. Не думаю,что по запросу "Цветы в Москве" или "Пластиковые окна" так уж и важно для спрашивающего, какой именно сайт стоит всегда на первом месте.