Если посмотреть на файл robots.txt от Facebook, то можно заметить, что он закрыл все свои страницы для ботов, кроме ботов Baidu, Google, Yahoo, Bing, Naver, Seznam, Teoma и Яндекса.
Вроде как нечестно по отношению к остальным, но видать не держит Фейсбук нагрузочку-то...
Но самое интересное, что для ботов перечисленных выше поисковиков не закрыты ссылки такого вида:
http://www.facebook.com/plugins/like.php?href=...
Т. е. ботам этих поисковиков может "нравится" очень большое число страниц. Ну и обратная связь хорошо работает: Фейсбук "продает" Бингу страницы, которые "очень нравятся" Гуглоботу 🙂
Где-то попадалась информация, что вконтакте использует порядка 10 тысяч серверов. Представляю какой тогда у фейсбука машинный парк. Неудивительно, что решили немного нагрузочку уменьшить, она там, надо полагать, сумасшедшая.