Перейти к содержимому

Facebook и robots.txt

Если посмотреть на файл robots.txt от Facebook, то можно заметить, что он закрыл все свои страницы для ботов, кроме ботов Baidu, Google, Yahoo, Bing, Naver, Seznam, Teoma и Яндекса.

Вроде как нечестно по отношению к остальным, но видать не держит Фейсбук нагрузочку-то...

Но самое интересное, что для ботов перечисленных выше поисковиков не закрыты ссылки такого вида:

http://www.facebook.com/plugins/like.php?href=...

Т. е. ботам этих поисковиков может "нравится" очень большое число страниц. Ну и обратная связь хорошо работает: Фейсбук "продает" Бингу страницы, которые "очень нравятся" Гуглоботу 🙂

1 thought on “Facebook и robots.txt

  1. Маска

    Где-то попадалась информация, что вконтакте использует порядка 10 тысяч серверов. Представляю какой тогда у фейсбука машинный парк. Неудивительно, что решили немного нагрузочку уменьшить, она там, надо полагать, сумасшедшая.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *