Яндекс и robots.txt
27 Ноябрь 2008 14:55 by MaximeУведомление от сервиса Яндекса для вебмастеров сообщило об очередном обновлении поисковой базы. Лишний повод зайти в консоль и посмотреть. Посмотрел, Яндекс знает 19162 страницы с сайта, из них 12414 страниц с ошибками!
Ответ прост, хотя Яндекс и соблюдает robots.txt, как указано в их справочном ценре, в плане запрета индексирования по префиксу, удалить из базы такие url нельзя (и эти url помечаются ошибкой “документ запрещен в robots.txt”), — сервис по удалению принимает либо отдельные страницы, либо целиком подкаталоги.
Popularity: 17%
Похожие записи
- Яндекс и robots.txt
- Яндекс и robots.txt
- Google расширяет Robots Exclusion Protocol
- “Поправили”
- Яндекс vs Yahoo! — 3:5
| В Мой Мир |
|
Декабрь 3rd, 2008 at 1:15
Ну это нормально, у меня такое же тоже было.
Декабрь 5th, 2008 at 21:15
[...] продолжение “эпопеи” Яндекс и robots.txt: с очередным обновлением поисковой базы в консоле [...]
Октябрь 31st, 2009 at 18:05
[...] Судя по консоле вебмастера, Яндекс перестал считать URL, закрытые в robots.txt, за ошибки сайта, – и года не прошло. [...]