По собщению в блоге Yahoo!search blog, Slurp, бот этой поисковой машины, научился понимать wildcards * и $ в правилах robots.txt. * -- означает любую последовательность символов, а $ -- конец строки URL.
Поисковые машины, Сидней и обо всём по-немногу
По собщению в блоге Yahoo!search blog, Slurp, бот этой поисковой машины, научился понимать wildcards * и $ в правилах robots.txt. * -- означает любую последовательность символов, а $ -- конец строки URL.