Google расширяет Robots Exclusion Protocol

Оцените, пожалуйста

В официальном блоге компании Google появилась заметка, в которой сообщается о расширении протокола исключений для ротобов (Robots Exclusion Protocol). В доболнение к файлу robots.txt и мета тэгу gooblebot (аналогичному тэгу robots, но с небольшим расширением) добавлен HTTP заголовок X-Robots-Tag, который может передаваться для каждой страницы по отдельности.

Примеры использования этого заголовка:

  • Не показывать закэшированую копию и не показывать снипет на страницах результатов поиска:
    X-Robots-Tag: noarchive, nosnippet
    
  • Не включать документ в результаты выдачи:
    X-Robots-Tag: noindex
    
  • Сообщить, что документ не будет доступен после указаной даты (используется формат RFC 850):
    X-Robots-Tag: unavailable_after: 7 Jul 2007 16:30:00 GMT
    

Можно комбинировать несколько тэгов X-Robots-Tag для одного документа. Например, запретить показ кэшированой копии и удалить из индекса после 23rd July 2007, 3pm PST:

X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 23 Jul 2007 15:00:00 PST

//The Google official blog

Поделиться:
  • Twitter
  • LiveJournal
  • Блог Я.ру
  • Блог Li.ру
  • Google Buzz
  • Добавить ВКонтакте заметку об этой странице
  • Мой Мир
  • Одноклассники
  • Facebook
  • FriendFeed
  • В закладки Google
  • LinkedIn
  • StumbleUpon
  • Technorati
  • Digg
  • БобрДобр
  • MisterWong.RU
  • Memori.ru
  • МоёМесто.ru
  • Сто закладок

Google расширяет Robots Exclusion Protocol: 12 комментариев

  1. kobe 10 high

    Wow, incredible blog layout! How long have you been blogging for? you made blogging look easy. The overall look of your web site is fantastic, let alone the content!. Thanks For Your article about 莽碌露氓炉戮茫聛芦猫虏路茫聛鈥犆B伮CB伮C悸伱F捤溍F捖b€毬访b€毬b偓聬MONO-PORTAL盲陆鈥溍┞ㄢ€溍尖€犆︹€櫬ヂ铰泵F掆€灻b€毬⒚F捖济b偓鈧悸懊悸Cb€毬得b€毬b€毬幻b€毬姑b偓鈥?.
    kobe 10 high http://www.kobe10high.com/

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *