СоНоты

Facebook и robots.txt

Если посмотреть на файл robots.txt от Facebook, то можно заметить, что он закрыл все свои страницы для ботов, кроме ботов Baidu, Google, Yahoo, Bing, Naver, Seznam, Teoma и Яндекса.

Вроде как нечестно по отношению к остальным, но видать не держит Фейсбук нагрузочку-то...

Но самое интересное, что для ботов перечисленных выше поисковиков не закрыты ссылки такого вида:

http://www.facebook.com/plugins/like.php?href=...

Т. е. ботам этих поисковиков может "нравится" очень большое число страниц. Ну и обратная связь хорошо работает: Фейсбук "продает" Бингу страницы, которые "очень нравятся" Гуглоботу 🙂