Перейти к содержимому

Google расширяет Robots Exclusion Protocol

В официальном блоге компании Google появилась заметка, в которой сообщается о расширении протокола исключений для ротобов (Robots Exclusion Protocol). В доболнение к файлу robots.txt и мета тэгу gooblebot (аналогичному тэгу robots, но с небольшим расширением) добавлен HTTP заголовок X-Robots-Tag, который может передаваться для каждой страницы по отдельности.

Примеры использования этого заголовка:

  • Не показывать закэшированую копию и не показывать снипет на страницах результатов поиска:
    X-Robots-Tag: noarchive, nosnippet
    
  • Не включать документ в результаты выдачи:
    X-Robots-Tag: noindex
    
  • Сообщить, что документ не будет доступен после указаной даты (используется формат RFC 850):
    X-Robots-Tag: unavailable_after: 7 Jul 2007 16:30:00 GMT
    

Можно комбинировать несколько тэгов X-Robots-Tag для одного документа. Например, запретить показ кэшированой копии и удалить из индекса после 23rd July 2007, 3pm PST:

X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 23 Jul 2007 15:00:00 PST

//The Google official blog

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *