Яндекс и robots.txt
31 Октябрь 2009 18:05 by MaximeСудя по консоли вебмастера, Яндекс перестал считать URL, закрытые в robots.txt, за ошибки сайта, – и года не прошло.
Теперь осталось убирать из ошибочных URL со статусом 404, на которые нет ссылок со страниц сайта (т.е. те, которые найдены не по внутренней ссылке в терминах той же консоли вебмастера).
Popularity: 12% [?]
Похожие записи
- Яндекс и robots.txt
- Яндекс и robots.txt
- Как разводят Яндекс на каталог
- Особенности индексирования: Яндекс vs Google
- Host: и Яндекс