В дополнение к заметке "Российские нюансы поиска: Яндекс против Google", в которой упущено еще одно, значительное, различие между Яндексом и Google - они в разном порядке индексируют ссылки, найденные на страницах сайта.
В начале осени заметил рост числа переходов из поиска Яндекса напрямую на комментарии к записям двух блогов, СоНоты и Архитектура Сочи. Просмотр через консоль веб-мастера списка страниц, находящихся в индексе Яндекса, показал, что в этом индексе присутствуют ссылки на комментарии к записям, но отсутвуют сами записи.
При анализе страниц блогов выяснилось, что в шаблонах обоих ссылки на последние коментарии расположены в боковой панеле справа от оновной ленты с записями. В исходном тексте HTML-кода эти ссылки располагались в конце файла страницы.
Не секрет, что поисковики индексируют далеко не все страницы сайта, даже если отдавать их полный список через карту сайта (sitemap), специальный протокол, предложенный как раз для этого. Число страниц сайта, попадающих в индекс поисковика зависит от множества факторов, в том числе известности и популярности сайта. Какие именно страницы попадают в индекс зависит от алгоритмов работы самого поисковика (конечно же веса страниц, задаваемые в sitemap, призваны также влиять на этот выбор).
Для Яндекса получается, что если не создана карта сайта и явно не предложена Яндексу через консоль веб-мастера, то у ссылок, указанных в конце файла исходного кода страниц, больше шансов попасть в индекс. Возможно именно поэтому Яндекс более щепетилен к коммерческим ссылкам (называемым также продажными), располагаемым, как правило, именно в конце файла.
Просмотр страниц, находящихся в индексе Google, через его консоль веб-мастера, показал отсутствие ссылок на комментарии к записям. Возможно, Google предпочитает ссылки с начала файла, или же его алгоритм более утоненный и ему удается выбирать более весомые страницы сайта, даже если веса не указаны явно в sitemap.
Создание для обоих блогов карт sitemap с указанием весов страниц, позволило решить эту проблему очередности попадания страниц в индекс. Однако, если Google обнаружил sitemap по факту её указания в файле robots.txt, Яндексу необходимо указывать эту карту сайта явно через консоль веб-мастера.