Яндекс и robots.txt

Судя по консоли вебмастера, Яндекс перестал считать URL, закрытые в robots.txt, за ошибки сайта, - и года не прошло. 🙂

Теперь осталось убирать из ошибочных URL со статусом 404, на которые нет ссылок со страниц сайта (т.е. те, которые найдены не по внутренней ссылке в терминах той же консоли вебмастера).

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *