Перейти к содержимому

Бот Yahoo теперь понимает wildcards в robots.txt

По собщению в блоге Yahoo!search blog, Slurp, бот этой поисковой машины, научился понимать wildcards * и $ в правилах robots.txt. * -- означает любую последовательность символов, а $ -- конец строки URL.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *