Яндекс и robots.txt

Уведомление от сервиса Яндекса для вебмастеров сообщило об очередном обновлении поисковой базы. Лишний повод зайти в консоль и посмотреть. Посмотрел, Яндекс знает 19162 страницы с сайта, из них 12414 страниц с ошибками!

Ответ прост, хотя Яндекс и соблюдает robots.txt, как указано в их справочном ценре, в плане запрета индексирования по префиксу, удалить из базы такие url нельзя (и эти url помечаются ошибкой "документ запрещен в robots.txt"), -- сервис по удалению принимает либо отдельные страницы, либо целиком подкаталоги.

Яндекс и robots.txt: 3 комментария

  1. Уведомление: “Поправили” « СоНоты

  2. Уведомление: Яндекс и robots.txt | СоНоты

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *