Редкие поисковики. Краткое описание поисковых систем. Что такое поисковик

Что это

DuckDuckGo - это довольно известная поисковая система с открытым исходным кодом. Серверы находятся в США. Кроме собственного робота, поисковик использует результаты других источников: Yahoo, Bing, «Википедии».

Чем лучше

DuckDuckGo позиционирует себя как поиск, обеспечивающий максимальную приватность и конфиденциальность. Система не собирает никаких данных о пользователе, не хранит логи (нет истории поиска), использование файлов cookie максимально ограничено.

DuckDuckGo не собирает личную информацию пользователей и не делится ею. Это наша политика конфиденциальности.

Гэбриел Вайнберг (Gabriel Weinberg), основатель DuckDuckGo

Зачем это вам

Все крупные поисковые системы стараются персонализировать поисковую выдачу на основе данных о человеке перед монитором. Этот феномен получил название «пузырь фильтров»: пользователь видит только те результаты, которые согласуются с его предпочтениями или которые система сочтёт таковыми.

Формирует объективную картину, не зависящую от вашего прошлого поведения в Сети, и избавляет от тематической рекламы Google и «Яндекса», основанной на ваших запросах. При помощи DuckDuckGo легко искать информацию на иностранных языках, тогда как Google и «Яндекс» по умолчанию отдают предпочтение русскоязычным сайтам, даже если запрос введён на другом языке.

Что это

not Evil - система, осуществляющая поиск по анонимной сети Tor. Для использования нужно зайти в эту сеть, например запустив специализированный .

not Evil не единственный поисковик в своём роде. Есть LOOK (поиск по умолчанию в Tor-браузере, доступен из обычного интернета) или TORCH (один из самых старых поисковиков в Tor-сети) и другие. Мы остановились на not Evil из-за недвусмысленного намёка на Google (достаточно посмотреть на стартовую страницу).

Чем лучше

Ищет там, куда Google, «Яндексу» и другим поисковикам вход закрыт в принципе.

Зачем это вам

В сети Tor много ресурсов, которые невозможно встретить в законопослушном интернете. И их число будет расти по мере того, как ужесточается контроль властей над содержанием Сети. Tor - это своеобразная сеть внутри Сети со своими социалками, торрент-трекерами, СМИ, торговыми площадками, блогами, библиотеками и так далее.

3. YaCy

Что это

YaCy - децентрализованная поисковая система, работающая по принципу сетей P2P. Каждый компьютер, на котором установлен основной программный модуль, сканирует интернет самостоятельно, то есть является аналогом поискового робота. Полученные результаты собираются в общую базу, которую используют все участники YaCy.

Чем лучше

Здесь сложно говорить, лучше это или хуже, так как YaCy - это совершенно иной подход к организации поиска. Отсутствие единого сервера и компании-владельца делает результаты полностью независимыми от чьих-то предпочтений. Автономность каждого узла исключает цензуру. YaCy способен вести поиск в глубоком вебе и неиндексируемых сетях общего пользования.

Зачем это вам

Если вы сторонник открытого ПО и свободного интернета, не подверженного влиянию государственных органов и крупных корпораций, то YaCy - это ваш выбор. Также с его помощью можно организовать поиск внутри корпоративной или другой автономной сети. И пусть пока в быту YaCy не слишком полезен, он является достойной альтернативой Google с точки зрения процесса поиска.

4. Pipl

Что это

Pipl - система, предназначенная для поиска информации о конкретном человеке.

Чем лучше

Авторы Pipl утверждают, что их специализированные алгоритмы ищут эффективнее, чем «обычные» поисковики. В частности, приоритетными являются профили социальных сетей, комментарии, списки участников и различные базы данных, где публикуются сведения о людях, например базы судебных решений. Лидерство Pipl в этой области подтверждено оценками Lifehacker.com, TechCrunch и других изданий.

Зачем это вам

Если вам нужно найти информацию о человеке, проживающем в США, то Pipl будет намного эффективнее Google. Базы данных российских судов, видимо, недоступны для поисковика. Поэтому с гражданами России он справляется не так хорошо.

Что это

FindSounds - ещё один специализированный поисковик. Ищет в открытых источниках различные звуки: дом, природа, машины, люди и так далее. Сервис не поддерживает запросы на русском языке, но есть внушительный список русскоязычных тегов, по которым можно выполнять поиск.

Чем лучше

В выдаче только звуки и ничего лишнего. В настройках можно выставить желаемый формат и качество звучания. Все найденные звуки доступны для скачивания. Имеется поиск по образцу.

Зачем это вам

Если вам нужно быстро найти звук мушкетного выстрела, удары дятла-сосуна или крик Гомера Симпсона, то этот сервис для вас. И это мы выбрали только из доступных русскоязычных запросов. На английском языке спектр ещё шире.

Если серьёзно, специализированный сервис предполагает специализированную аудиторию. Но вдруг и вам пригодится?

Что это

Wolfram|Alpha - вычислительно-поисковая система. Вместо ссылок на статьи, содержащие ключевые слова, она выдаёт готовый ответ на запрос пользователя. Например, если ввести в форму поиска «сравнить население Нью-Йорка и Сан-Франциско» на английском, то Wolfram|Alpha сразу выведет на экран таблицы и графики со сравнением.

Чем лучше

Этот сервис лучше других подходит для поиска фактов и вычисления данных. Wolfram|Alpha накапливает и систематизирует доступные в Сети знания из различных областей, включая науку, культуру и развлечения. Если в этой базе находится готовый ответ на поисковый запрос, система показывает его, если нет - вычисляет и выводит результат. При этом пользователь видит только и ничего лишнего.

Зачем это вам

Если вы, например, студент, аналитик, журналист или научный сотрудник, то можете использовать Wolfram|Alpha для поиска и вычисления данных, связанных с вашей деятельностью. Сервис понимает не все запросы, но постоянно развивается и становится умнее.

Что это

Метапоисковик Dogpile выводит комбинированный список результатов из поисковых выдач Google, Yahoo и других популярных систем.

Чем лучше

Во-первых, Dogpile отображает меньше рекламы. Во-вторых, сервис использует особый алгоритм, чтобы находить и показывать лучшие результаты из разных поисковиков. Как утверждают разработчики Dogpile, их системы формирует самую полную выдачу во всём интернете.

Зачем это вам

Если вы не можете найти информацию в Google или другом стандартном поисковике, поищите её сразу в нескольких поисковиках с помощью Dogpile.

Что это

BoardReader - система для текстового поиска по форумам, сервисам вопросов и ответов и другим сообществам.

Чем лучше

Сервис позволяет сузить поле поиска до социальных площадок. Благодаря специальным фильтрам вы можете быстро находить посты и комментарии, которые соответствуют вашим критериям: языку, дате публикации и названию сайта.

Зачем это вам

BoardReader может пригодиться пиарщикам и другим специалистам в области медиа, которых интересует мнение массовой по тем или иным вопросам.

В заключение

Жизнь альтернативных поисковиков часто бывает скоротечной. О долгосрочных перспективах подобных проектов Лайфхакер спросил бывшего генерального директора украинского филиала компании «Яндекс» Сергея Петренко .

Сергей Петренко

Бывший генеральный директор «Яндекс.Украины».

Что касается судьбы альтернативных поисковиков, то она проста: быть очень нишевыми проектами с небольшой аудиторией, следовательно без ясных коммерческих перспектив или, наоборот, с полной ясностью их отсутствия.

Если посмотреть на примеры в статье, то видно, что такие поисковики либо специализируются в узкой, но востребованной нише, которая, возможно только пока, не выросла настолько, чтобы оказаться заметной на радарах Google или «Яндекса», либо тестируют оригинальную гипотезу в ранжировании, которая пока не применима в обычном поиске.

Например, если поиск по Tor вдруг окажется востребованным, то есть результаты оттуда понадобятся хотя бы проценту аудитории Google, то, конечно, обычные поисковики начнут решать проблему, как их найти и показать пользователю. Если поведение аудитории покажет, что заметной доле пользователей в заметном количестве запросов более релевантными кажутся результаты, данные без учёта факторов, зависящих от пользователя, то «Яндекс» или Google начнут давать такие результаты.

«Быть лучше» в контексте этой статьи не означает «быть лучше во всём». Да, во многих аспектах нашим героям далеко до и «Яндекса» (даже до Bing далековато). Но зато каждый из этих сервисов даёт пользователю нечто такое, чего не могут предложить гиганты поисковой индустрии. Наверняка вы тоже знаете подобные проекты. Поделитесь с нами - обсудим.

Поисковая система - это один из ключевых уровней интернета наравне с контентом и браузером. «Яндекс»-поисковик или аналогичные системы («Гугл», «Бинг», DuckDuckGo и другие) позволяют пользователю осуществлять поиск информации во Всемирной паутине, формулируя запрос.

Работа же поисковой системы заключается в том, чтобы найти по этому запросу (ключевому слову или фразе) все документы, страницы, видео, то есть весь контент.

Какой поисковик самый лучший? Есть ли альтернативные варианты, что-то кроме «Гугла» и «Яндекса»? Какой поисковик интернета больше подходит для сканирования англоязычных источников или, например, музыки? Именно об этом и пойдет речь в статье.

Рейтинг: лидеры рынка

Если говорить о мире в целом, то «Гугл»-поисковик является самой популярной поисковой системой. Корпорация занимает практически 70% рынка. Вторую позицию рейтинга занимает «Бинг» (доля - 12,26%). Борьбу за вторую строчку с ним ведет система Baidu (6,48% по состоянию на сентябрь 2015 года). Время от времени они меняются местами.

Так, например, в 2014 «силы» были распределены по-другому: первое место занимал «Гугл»-поисковик с 68,69%, второе - Baidu (17,7%), третье - «Бинг» с капитализацией рынка в 6,22%.

Но общемировые данные очень обобщенные. Какой поисковик самый лучший?

В Китае, к примеру, очень небольшой процент населения сканирует «Гуглом», большинство использует отечественную систему Soso. В Южной Корее большая часть жителей пользуется собственной разработкой - поисковиком интернета Naver. Правда, в последние несколько месяцев количество запросов в этой системе начало стремительно снижаться.

В Японии и Тайване пользователи чаще других используют Yahoo!

Рейтинг: русскоязычные системы

Какой поисковик самый лучший? В России рейтинг поисковых систем совсем не похож на общемировой. Лидер рынка в русскоязычном сегменте интернета - это «Яндекс», которым пользуются более 55% пользователей.

На втором месте «Гугл» с результатом 37,6%. Согласно данным сервиса LiveInternet, охват русскоязычных поисковых запросов во Всемирной паутине распределился следующим образом:

1. Универсальные поисковики: «Гугл» (37,6%), «Бинг» (0,3%), Yahoo! (0,1%).
2. Англоязычные и международные (AskJeeves, например).
3. Русскоязычные системы поиска: «Яндекс» (56,2%), Mail (5,3%), «Рамблер» (0,5%).

DuckDuckGo

Разговор об альтернативных поисковых системах стоит начать с поисковика DuckDuckGo. Это достаточно известная и распространенная система с открытым исходным кодом. Серверы DuckDuckGo находятся в Соединенных Штатах Америки. Результаты поиска довольно обширные, так как система использует не только собственные алгоритмы, но и результаты некоторых других источников, например, "Википедии", поисковика «Бинг» и Yahoo!

Поисковик DuckDuckGo обеспечивает максимальную безопасность личной информации пользователя, приватность и конфиденциальность. Система не собирает никаких данных о пользователях, не хранит историю и максимально ограничивает использование файлов cookie.

Отличие DuckDuckGo в том, что эта система не персонализирует поисковую выдачу, как это делают другие системы. В «Гугле» или «Яндексе», например, пользователь видит только ту информацию, которая согласуется с его предпочтениями. А вот DuckDuckGo формирует реальную картину и позволяет избавиться от навязчивой конкретной рекламы. Поисковый сервис легко ищет информацию на иностранных языках, тогда как «Яндекс» и «Гугл» по умолчанию отдают предпочтение русскоязычным источникам, даже если запрос введен на английском, немецком или другом языке.

В системе можно настроить интерфейс: изменять можно цветовое оформление, шрифты, ссылки и другие параметры всего в несколько кликов.

Пока еще этой поисковой системе далеко до гиганта «Гугла», но утёнок развивается, так что вполне возможно, что в будущем DuckDuckGo займет одну из лидирующих позиций. Команда создала отличный продукт, который обеспечивает анонимный, быстрый и функциональный поиск, заслуживающий внимания пользователя.

NotEvil

Это система, которая осуществляет поиск по анонимной сети Tor. Поисковая система предустановлена в одноименном браузере. Чем лучше notEvil? Он «проходит» туда, куда не могут добраться «Гугл» или «Яндекс»-поисковик. Вообще, в сети Tor очень много ресурсов которые нельзя посетить в «обычном» (законопослушном) интернете. Это такая себе площадка внутри сети со своими социальными платформами, торрент-трекерами, СМИ, блогами, торговыми центрами, форумами, библиотеками и так далее.

Кстати, notEvil - это не единственный в своем роде поисковик. Еще есть Look, который по умолчанию доступен в том же браузере «Тор», и TORCH - одна из самых старых систем поиска в анонимной сети.

YaCy

Бесплатный поисковик YaCy - это совершенно другой подход к организации поиска во Всемирной паутине. Система работает по принципу Р2Р. Это значит, что каждый компьютер, на котором установлен модуль, самостоятельно сканирует интернет, а потом все полученные результаты собираются в единую базу, которой могут пользоваться все пользователи YaCy.

Система полностью независима, автономна, обеспечивает анонимность каждого пользователя. YaCy подойдет сторонникам открытого интернета, который не подвержен влиянию крупных корпораций и государственных органов.

В быту поисковик пока что не очень полезен, зато в перспективе является достойной альтернативой «Гуглу» даже с точки зрения организации процесса поиска информации.

Pipl

Pipl - система, предназначенная для поиска информации о каком-то определенном человеке. Разработчики утверждают, что алгоритмы поисковика ищут людей эффективнее, чем распространенные во всем мире «Гугл» или «Яндекс».

Приоритетными источниками являются профили в социальных сетях комментарии, списки участников, базы данных, где публикуются разнообразные данные о людях, например, базы судебных решений. Но есть и недостаток. Для Pipl недоступны российские базы данных, так что он будет полезен только для поиска информации о гражданах США.

FindSounds

Какой поисковик самый лучший? Если нужно найти музыку или звуки, то, конечно, самым лучшим будет именно FindSounds. Это специализированный поисковик, где есть список тегов. Тут можно выбрать нужный формат аудиофайла или его качество. Все результаты поиска доступны для скачивания.

Wolfram|Alpha

Эта система выдает не страницы, на которых есть нужная пользователю информация, а готовый результат. Например, карты, графики, таблицы, короткие ответы. Сервис как нельзя лучше подходит для вычисления данных и поиска конкретных фактов. Поисковик пока понимает не все запросы, но постоянно развивается.

С помощью Wolfram|Alpha удобно, например, сравнивать параметры для настройки фотоаппарата, смартфона или ноутбука. Также вычислять уровень алкоголя в крови (система запрашивает у пользователя вес и рост, количество выпитого, время, а затем сообщает, через сколько алкоголь полностью выведется из организма).

Инструмент может конвертировать размеры обуви и одежды, считать калории, смотреть курсы валют или настраивать музыкальный инструмент.

Dogpile

Dogpile выводит результаты из выдач всех распространенных поисковых систем сразу. Сервис использует улучшенный алгоритм и, как уверяют разработчики, формирует самую лучшую выдачу в интернете. Кроме того, здесь мало рекламы. Можно попробовать воспользоваться Dogpile, если нужная информация никак не находится в стандартных «Гугле» или «Яндексе».

BoardReader

Эта система ищет информацию на форумах, опросах, сервисах вопросов и ответов, социальным сообществам, сужая поле поиска до социальных площадок. Можно выставить фильтры: язык и дату публикации, название сайта и тому подобное.

Поисковик может пригодиться специалистам по рекламе, которых интересует мнение аудитории.

В заключение

Часто альтернативные поисковые системы скоротечны. Они появляются также быстро, как и умирают. Большинство альтернативных систем на сегодняшний день специализируются на какой-либо узкой нише или тестируют оригинальный алгоритм в формировании результатов поиска.

В контексте описания альтернативных поисковых систем, критерий «лучше» совсем не означает «лучше во всем». Каждый из перечисленных выше сервисов дает конкретному пользователю что-то такое, чего нет в «Гугле» или «Яндексе». В любом случае, ознакомиться с альтернативными вариантами (на фоне того, что система кажется практически монополизированной поисковыми гигантами) интересно и полезно каждому пользователю.

всего

Вступление

Мало кто сейчас может представить Интернет без поиска, поисковой выдачи и организующих всё это информационных поисковых систем (ИПС). А ведь еще недавно, вся информация Интернет умещалась в несколько каталогов, название которые еще на слуху (DMOZ, Yahoo).

Сегодня, объем информации в сети Интернет настолько огромный, что уместить её ни в какие каталоги не возможно. Для обработки, хранения информации, организации поиска созданы и продолжают создаваться, мощные программные продукты которые мы называем поисковые системы (ПС). У каждой поисковой системы (поисковика) свои базы данных, свои алгоритмы обработки, поиска, ранжирования и выдачи информации.

Поисковые системы Интернет это

Можно дать следующее академическое определение поисковым системам. Поисковая система это набор программ и технических средств для организации в сети Интернет пользовательского поиска, при котором на текстовой запрос, пользователь получает список релевантных (соответствующих запросу) результатов.

Выдача производится в виде списка ссылок на источник информации с кратким описанием (превью) иногда с фото.

Для первого примера, вспомним мирового лидера поиска «Google» и лидера Рунета поисковик «Яндекс». Кроме этих поисковиков можно назвать еще десяток существующих поисковых систем, о коих поговорим чуть ниже.

Мнение: Поисковые системы Google, Яндекс и другие, не являются генераторами (производителями) контента, а являются агрегаторами (аккумуляторами) контента и в основной массе, чужого контента. Стоит вспомнить, что использование чужого контента для создания собственного трафика и его монетизации, можно характеризовать, как «пиратство», что на деле, конечно же, не происходит.

Рейтинг

• и Google делят первые два места лидеров: около 49% и 45%.
• Третье место: Поиск Mail.ru около 3%;
• Остальные поисковики плавают ниже 1%.

Смотрю статистику по Google Analytics:

• yandex / organic 40,26 %
• google / organic 38,93 %
• mail.ru / organic 0,60 %
• rambler / organic 0,52 %
• bing / organic 0,12 %

Статистика неумолима: к поискам Яндекс и обращаются больше всего, и если посчитать, что 3% это хороший результат по сравнению с 45%, то третьим по популярности можно назвать поиск Mail.ru.

В этой связи рассуждения о популярности поисковиков кроме Яндекс и Google, можно отнести к суемудрию, а специальное продвижение сайтов в других поисковиках (не Яндекс и Google), не заслуживающих внимание.

Как работают поисковики

Вопрос, как работают поисковики, такой же общий, как вопрос «какого цвета небо». Если небо синее, то поисковики собирают информацию в интернет, обрабатывают её, ранжируют и отдают по поисковому запросу пользователю.

Теория поиска Интернет гораздо объемнее и в статье её не изложить. Однако основные моменты нам пригодятся:

Поисковые системы Интернет не осуществляют хранение документов, то есть не производят скачивание и выгрузку документов полностью в свои хранилища;

ИПС используют Интернет в качестве децентрализованного хранилища документов. Поисковики периодически обходят Интернет, выбираю нужную, по их алгоритмам, информацию и частично помещая её (информацию) в свою базу данных (Database). Отсюда несколько проблем:

• ИПС используют для выдаче не всю информацию Интернет, а только часть;
• Информация интернет часто меняется. Добавляется около 1500 тыс. страниц в день, отсюда возможная «пустая выдача»;
• Имеется большое количество дублей (дубли контента). К сожалению, у меня нет точных данных по дублям, а встречающаяся цифра в 25% дублей, кажется завышенной;
• Много рекламы, которую тоже обходят поисковики;
• «Блуждание» поисковых роботов в сети многократно увеличивает нагрузку не ресурсы (не относится к поисковикам);
• Большинства сайтов коммерческие (порядка 83%), и имеют малое информативное значение.

По этим и некоторым другим причинам, подавляющее большинство ИПС Интернет используют схему поиска по ключевым словам (search engines), а не классическую схему поиска по классификации информации.

Особенности поиска по ключевым словам

Несмотря на меняющиеся алгоритмы поисковых систем, реклама которых пытается нас убедить, что машины становятся умнее и понятливее, в основу работы поисковых систем лежит поиск по ключевым словам.

Мне нравится такая схема поиска по ключевым словам.

Как видим, работа поисковые системы Интернет основана на поиске новых документов (поисковой робот Spider + Crawler), индексирование обнаруженных документов (Indexer) и выполнение пользовательского запроса (Search Engine Results Engine). В скобках перечислены названия используемых для этих целей поисковых роботов.

Как я сказал, большинство поисковых систем не копируют полные тексты документов в свою базу данных. Для поиска при индексировании документа создается его поисковый образ. Для организации поиска по , робот индексирования создает образ документа по, так называемому, выводящему методу (derived). То есть в образе документа указывается заголовок и набор ключевых слов.

Однако достаточно точно можно утверждать, что все ИПС обращают внимание на следующее:

• Присутствие ключевого слова в