Уведомление от сервиса Яндекса для вебмастеров сообщило об очередном обновлении поисковой базы. Лишний повод зайти в консоль и посмотреть. Посмотрел, Яндекс знает 19162 страницы с сайта, из них 12414 страниц с ошибками!
Ответ прост, хотя Яндекс и соблюдает robots.txt, как указано в их справочном ценре, в плане запрета индексирования по префиксу, удалить из базы такие url нельзя (и эти url помечаются ошибкой "документ запрещен в robots.txt"), -- сервис по удалению принимает либо отдельные страницы, либо целиком подкаталоги.
Ну это нормально, у меня такое же тоже было.
Уведомление: “Поправили” « СоНоты
Уведомление: Яндекс и robots.txt | СоНоты