В официальном блоге компании Google появилась заметка, в которой сообщается о расширении протокола исключений для ротобов (Robots Exclusion Protocol). В доболнение к файлу robots.txt и мета тэгу gooblebot (аналогичному тэгу robots, но с небольшим расширением) добавлен HTTP заголовок X-Robots-Tag, который может передаваться для каждой страницы по отдельности.
Примеры использования этого заголовка:
- Не показывать закэшированую копию и не показывать снипет на страницах результатов поиска:
X-Robots-Tag: noarchive, nosnippet
- Не включать документ в результаты выдачи:
X-Robots-Tag: noindex
- Сообщить, что документ не будет доступен после указаной даты (используется формат RFC 850):
X-Robots-Tag: unavailable_after: 7 Jul 2007 16:30:00 GMT
Можно комбинировать несколько тэгов X-Robots-Tag для одного документа. Например, запретить показ кэшированой копии и удалить из индекса после 23rd July 2007, 3pm PST:
X-Robots-Tag: noarchive X-Robots-Tag: unavailable_after: 23 Jul 2007 15:00:00 PST