СоНоты

Яндекс и robots.txt

Уведомление от сервиса Яндекса для вебмастеров сообщило об очередном обновлении поисковой базы. Лишний повод зайти в консоль и посмотреть. Посмотрел, Яндекс знает 19162 страницы с сайта, из них 12414 страниц с ошибками!

Ответ прост, хотя Яндекс и соблюдает robots.txt, как указано в их справочном ценре, в плане запрета индексирования по префиксу, удалить из базы такие url нельзя (и эти url помечаются ошибкой "документ запрещен в robots.txt"), -- сервис по удалению принимает либо отдельные страницы, либо целиком подкаталоги.