Перейти к содержимому

Раздел: Search Engines

15

Опубликовано 15 комментариев к записи Мелкогадящие боты

Наблюдал по логам, почему эффективность HTTP кэша получается не очень. Оказалось весьма просто и неожиданно мелкогадко: кто у нас жрёт страницы немерянно, -- правильно, боты поисковиков. Получается такая фигня: боты Google, Yahoo, Ask, WebAlta поддерживают получение сжатого контента, боты Яндекса, Рамблера и MSN -- не поддерживают, и вот ночью набегает стая ботов первой группы, забивает кэш сжатыми копиями страниц, прибегает свора ботов второй группы, тянет тоже самое, кэш естественно не работает, бо не умеет расжимать на лету, перетягивает тот же контент, но уже в несжатом виде...

Почему это мелкогадко -- прикрутить к краулеру поддержку сжатия контента при передаче это задача для студиозусов (решается просто и быстро, благо библиотек навало, да и инфы много, ка кэто должно работать). Получается, что у Яндекса, Рамблера и MSN либо соответствующие менеджеры мышей не ловят, либо их инфраструктура уже почти на пределе и не позволяет тянуть небольной overhead разжатия вытянутого контента...

По любому выходит, что WebAlta уже уделала и Яндекс и Рамблер, по крайней мере в технической реализации поддержки протокола HTTP. 🙂

9

Опубликовано 9 комментариев к записи Freshway/rate

На searchengines.ru обнаружил приглашение на «Независимый рейтинг поисковых истем». Судя по всему независимость базируется на его открытости, каждый может предложить как свой поисковик, так и тестовый вопрос(ы). На данный момент рейтинг выглядит так: Google, Netscape Search, AOL Search, Яндекс, MSN, Апорт!, WiseNut, HotBot, AllTheWeb, Yahoo!, Lycos, Ask, Rambler, Punto, Russia on the Net, Поиск@Mail.ru. Если неважность позиций рунетовских поисковиков еще можно объяснить весьма куцыми возможностями поиска по англоязычному вебу, то низкие позиции Yahoo! и Ask непонятны, особенно Yahoo!, уже несколько лет имеющего русскоязычную версию.

Кроме рейтинга по тестовым запросам, также составляется рейтинг по индексу "вылизанности" заглавной страницы поисковика (так называемый freshINDEX), тут позиции занимаются немного в другом порядке. Но Google и здесь в лидерах.

Кстати, предложил поисковик «Вершки Рунета», пока не добавили...

3

Опубликовано 3 комментария к записи Байду собирается на япоский рынок

Байду (Baidu), ведущий китайский поисковик, собирается выйти на японский рынок в 2007 году. По словам господина Ли (Mr. Li), предстедателя Байду, в данный момент компания занимается изучением японского рынка. В основном на нём доминируют два игрока, которые хорошо знакомы Байду. Одним из возможных преимуществ Байду будет то, что японская письменность базируется на иероглифах китайского происхождения.

//Multilingual search

4

Опубликовано 4 комментария к записи Спонсорские ссылки: широко используют, но плохо владеют

Согласно исследованию The e-tailing, 44% американских коммерческих сайтов тратит около 20% своего маркетингового бюджета на спонсорские ссылки. В основном используются Google (100 %), Yahoo (90 %), MSN (76 %) и Ask.com (27 %).

40% опрошенных утверждают, что всреднем отслеживают 5000 ключевых слов. 59% опрошеных предприятий занимаются этой задачей самостоятельно, 18% нанимают стороннюю организацию и 23% используют смешанную стратегию.

Для 33% опрошеных время, уделяемое этой задаче, превышает 21 час в неделю, и для 33% -- не превышает 5 часов в неделю.

И хотя эффективность этого метода маркетинга оценивается получаемой прибылью на сделанные затраты, 27% предприятий заявляют, что не знают точного влияния их уровня конверсии спонсорских ссылок на величину продаж.

//JournalDuNet

11

Опубликовано 11 комментариев к записи SearchTools оживает

Похоже SearchTools, старый и весьма информативный и уважаемый ресурс о поисковых движках, постепенно оживает и выходит из анабиоза. Посты в ЖЖ searchtools участились, а список поисковых движков обновился, в результате чего появилсмя новый раздел «Заброшенные, неподдерживаемые и значительно измениевшиеся поиковые движки».

Если у вас есть информация об этих или других движках, вы можете поделиться ею через форму обратной связи.

Из недавних пополнений: обновлено «Сравнение свободно доступных поисковых движков», где сравниваются Alkaline, Fluid Dynamic, ht://Dig, Juggernautsearch, mnoGoSearch, Perlfect, SWISH-E, Webinator и Webglimpse.

1

Опубликовано 1 комментарий к записи Антиподная статистика

Обнаружил интересную демографическую статистику поисковика Ansearch, он австралийский, тем самым "объяснима" его "антиподность" --почти во всех возрастных категориях его пользователей доля женщин ненамного превышает долю мужчин. Насколько я помню, в глобальном масштабе всё с точностью до наоборот, мужиков больше...

3

Опубликовано 3 комментария к записи Ещё картишки

«Аухоль» и «Литоль» -- карты интернета Австралии и Литвы.

Интересно получается, чем глыбже в сайт, тем меньше ссылок наружу (на другой сайт). Ну кроме каталогов, линкаторов и прочих ссылочных ферм :).

5

Опубликовано 5 комментариев к записи Baidu оправдан

Ведущий китайский поисковик Baidu был опрадан пекинским судом от обвинений в нарушении авторских прав своим сервисом поиска MP3 файлов.

Обвинения производителями звукозаписей были выдвинуты после обнаружения в выдаче поисковика ссылок на сайты, предлагающих скачать котрафактные копии музыкальных произведений. В судебном решении отмечено, что сервис поиска MP3 не нарушал авторского права, т.к. файлы были загружены на серверы третьих лиц.

Тем самым новое постановление отменяет предыдущее, обязывавшее Baidu выплатить звукозаписывающей компании EMI 68000 юаней (8400 фунтов стерлингов).

Компания Baidu аргументировала тем, что их служба поиска MP3 файлов ничем не отличается от других поисковых машин, предоставляющих ссылки на другие веб-страницы, изображения или новостные сообщения. И победа музыкальных компаний давала бы повод к остановки абсолютно любого поискового сервиса.

// BBC News

3

Опубликовано 3 комментария к записи Сочинские топонимы в Интернете

Поисковой машиной 43°с.ш.39°в.д. проиндексировано 1,114 млн. документов c 433504 сайтов объёмом 28,52 гигабайта. Количество результатов по сочинским топонимам:

на 18.11 изм.за неделю
Сочи 6922 -81
Sochi 2586 +2
"Чёрное море" 2449 -76
Адлер 2279 -10
"Красная поляна" 1836 -17
Лазаревское 1623 -20
Кубань 1536 -10
Хоста 1317 -6
Дагомыс 1267 -6
Мацеста 915 -5
Лоо 832 -9
Ахун 751 -4
Кудепста 680 -4
Adler 579 -2
Мамайка 490 0
Аибга 405 -1
"Эсто-садок" 341 -1
Магри 266 -2
"Бочаров ручей" 252 -2
Dagomys 222 -1
Sotschi 198 -2
"Krasnaya polyana" 184 -1
"Роза Хутор" 82 -1
Sotji 21 0
ソチ 15 0
소치 12 0
索契 4 0

Данные предыдущей недели.

4

Опубликовано 4 комментария к записи Сравнение поисковых машин “по-сочински”

В этой таблице приведено сравнение поисковых машин на запросах "Сочи" и "Sochi" (как точных фраз).

"Сочи" "Sochi"
страниц сайтов страниц сайтов
Яндекс 6109642 3059 261848 1484
Рамблер 11200895 142194 711791 26979
Апорт 2076765 5210 122886 2591
43°с.ш.39°в.д. 156146 ~7096 49078 ~2591
Webalta ~8781000 ~384000
Лупа.ру 213967 16496 17984 2420
Черепаха 1603400 125209
Google ~22900000 ~2480000
Live.com 1155680 357860
Yahoo! ~7190000 ~1130000

Лидер рост: Webalta. Лидеры падения: Google, Yahoo!, Черепаха. Яндекс и Рамблер стагнируют. Результаты Лупа.ру опять не изменились с прошлого месяца. Замечательный факт: первые четыре позиции в Google для обоих запросов "Сочи" и "Sochi" совпадают.

См. данные предыдущего месяца.