Facebook и robots.txt

Оцените, пожалуйста

Если посмотреть на файл robots.txt от Facebook, то можно заметить, что он закрыл все свои страницы для ботов, кроме ботов Baidu, Google, Yahoo, Bing, Naver, Seznam, Teoma и Яндекса.

Вроде как нечестно по отношению к остальным, но видать не держит Фейсбук нагрузочку-то...

Но самое интересное, что для ботов перечисленных выше поисковиков не закрыты ссылки такого вида:

http://www.facebook.com/plugins/like.php?href=...

Т. е. ботам этих поисковиков может "нравится" очень большое число страниц. Ну и обратная связь хорошо работает: Фейсбук "продает" Бингу страницы, которые "очень нравятся" Гуглоботу 🙂

Поделиться:
  • Twitter
  • LiveJournal
  • Блог Я.ру
  • Блог Li.ру
  • Google Buzz
  • Добавить ВКонтакте заметку об этой странице
  • Мой Мир
  • Одноклассники
  • Facebook
  • FriendFeed
  • В закладки Google
  • LinkedIn
  • StumbleUpon
  • Technorati
  • Digg
  • БобрДобр
  • MisterWong.RU
  • Memori.ru
  • МоёМесто.ru
  • Сто закладок

Facebook и robots.txt: 1 комментарий

  1. Маска

    Где-то попадалась информация, что вконтакте использует порядка 10 тысяч серверов. Представляю какой тогда у фейсбука машинный парк. Неудивительно, что решили немного нагрузочку уменьшить, она там, надо полагать, сумасшедшая.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *