Софт и сервисы для профессионального поиска. Профессиональный поиск информации в интернет Зачем это вам

Говорить о том, что в наше время информационных технологий и бесконечного роста объема данных, доступных как отдельно взятому человеку, так и обществу, существует много проблем с обработкой информации и ее поиском - это уже кощунство. Кто только эту тему не поднимает. И дабы не загружать вас субъективными и, частью, объективными суждениями, почерпнутыми из различных информационных источников касательно проблемы, я перейду непосредственно к ее решению. Сегодня поговорим о поиске. То есть о программах и серьезных информационных системах, осуществляющих поиск нужных нам документов и данных.

Апгрейд «прямого поиска»

Не так давно, когда деревья были большими, и информации даже в локальной сети предприятия было не так много, любой поиск осуществлялся банальным перебором горстки доступных файлов и последовательной проверкой их названий и содержимого. Такой поиск называется прямым, и программы (утилиты), использующие технологию прямого поиска, традиционно присутствуют во всех операционных системах и инструментальных пакетах. Но, даже мощности современных компьютеров не хватит для быстрого и адекватного поиска в гигантских объемах данных при прямом поиске. Перебор пары сотен документов на диске и поиск в громадной библиотеке и нескольких десятках почтовых ящиков - разные вещи. Поэтому, программы прямого поиска сегодня явно уходят на второй план - если речь идет об универсальных средствах.

Конечно, в корпоративном секторе такой вид поиска уже давно не востребован. Объемы не те. И, поэтому, уже который год, а в последнее время однозначно, технологии, способные осуществлять быстрый и точный поиск документов различных форматов и из различных источников, более чем актуальны. Не так давно "папа" Microsoft Билл Гейтс, позавидовав, судя по всему, феноменальному успеху Интернет-поисковика Google, на одной из пресс-конференций обнародовал желание софтверного (уже и не только) всячески способствовать, развивать и углублять создание поисковых систем и технологий. Но до создания какой-либо феноменально работающей программы от Microsoft или конкурентоспособного сервера в Интернет пока рано (MSN все равно до Google не дотягивает). Поэтому обратимся к уже существующим разработкам. Индекс, запрос, релевантность

В основе современных технологий лежат два основополагающих процесса. Во-первых, это индексация доступной информации и обработка запроса с последующим выводом результатов. Что касается первого, то любая программа (будь то настольный поисковик, корпоративная информационная система или Интернет поисковый движок) создает свою область поиска. То есть обрабатывает документы и формирует индекс этих документов (организованная структура, в которой содержится информация об обработанных данных). В дальнейшем именно созданный индекс используется для работы - быстрого получения списка нужных документов согласно запросу. Дальнейшее хоть и отнюдь не просто в плане технологии, но зато вполне понятно обычному пользователю. Программа обрабатывает запрос (по ключевому слову-фразе) и выводит список документов, в которых эта ключевая фраза содержится. Так как информация содержится в структурированном индексе, то обработка запроса проходит значительно (в десятки и сотни раз!) быстрее, чем в случае с прямым поиском (выборка документов осуществляется не перебором файлов, а анализом текстовой информации в индексе).

Найденные документы программа выводит в результирующем списке согласно релевантности - соответствия документа тексту запроса. В различных технологиях, конечно, присутствуют различные методы поиска и определения релевантности документа (количество "вхождений" слова и его частота упоминания в документе, соотношение этих параметров к общему количеству слов в документе, расстояние между словами фразы запроса в искомых файлах и так далее). На основе этих параметров определяется "вес" документа и, в зависимости от него тот или иной файл оказывается в списке результатов на определенной позиции. В случае с Интернет-поиском дело обстоит еще сложнее. Ведь в данном случае надо учитывать и множество иных факторов (Page Rank Google тому пример). Но это тема для отдельной статьи, поэтому Интернет трогать не будем.Обзор поисковиков

В данном материале рассмотрены возможности нескольких популярных программ поиска, которые могут похвастаться как приличными скоростями, так и неплохим функционалом. Но хвастаться в рекламных проспектах - это одно, а вот выдержать пристальный взгляд эксперта - совсем другое. А экспертов нашлось ни много, ни мало полный офис любителей поковырять софт на предмет его юзабилити. На подопытный компьютер (Athlon 2,2 MHz, с объемом оперативной памяти 1 Гб, 160 гигабайтным IDE жестким диском Seagate на 7200 оборотов в минуту и системой Windows XP) был установлен набор программ: dtSearch Desktop, Ищейка Проф Deluxe, Google Desktop Search, SearchInform, Copernic Desktop Search, ISYS Desktop. Для тестов была скомпонована текстовая база документов в форматах doc, txt и html общим размером ни много, ни мало, а 20 гигабайт. Группа товарищей под руководством вашего покорного слуги тестировала, сравнивала и делилась своими субъективными впечатлениями по каждой софтине. Сводное изложение полученных данных читайте ниже. dtSearch Desktop

Программа, претендующая, по заявлению разработчиков, на самую быструю, удобную и лучшую поисковую систему. Как, в общем, и все остальные из данного обзора. Интерфейс dtSearch довольно прост, но некоторые окна или вкладки несколько перегружены элементами, из-за чего создается впечатления сложности использования. Но на самом деле особых трудностей не возникает. Единственным действительно неприятным моментом является отсутствие поддержки софтиной русского языка (не смотря на то, что искать документы программа может на нескольких языках, интерфейс ее исключительно английский).

Зато dtSearch одна из немногих программ, которая может индексировать веб-страницы на заданную пользователем "глубину" (правда, с учетом "дозакупки" в комплект адд-она dtSearch Spider). Это кроме поддержки файлов на диске различных текстовых форматов и электронных писем из почтового ящика Outlook. В то же время, программа не умеет работать с базами данных, которые являются таким лакомым кусочком для поисковиков из-за больших объемов информации, находящихся в них, и широкого распространения в компаниях, а значит и в корпоративных сетях. Скорость индексирования документов dtSearch оказалась на должном уровне. Забегая вперед, скажу, что эта программа справилась с индексацией заданного объема информации на уровне с другим конкурсантом - iSYS - и поделила с ним второе место в списке самых быстрых систем. Тестовые 20 гигабайт информации dtSearch проиндексировала за 6 часов 13 минут, создав для нужд последующего поиска индекс размером 7.9 Гб.

Что касается возможностей поиска, то здесь они на должном уровне. Во-первых, в dtSearch присутствует морфологический поиск (поиск слова во всех его морфологических формах). Используя данную возможность, вы освобождаете себя от, скажем, таких раздумий, как "в каком же падеже было употреблено некоторое слово в необходимом мне документе?". Использование морфологического поиска почти всегда оправдано, поэтому должно присутствовать в любом профессиональном поисковике.

Поиск по звучанию является нестандартной возможностью даже для профессиональных поисковиков. Суть его заключается в том, что программа будет искать слова, которые звучат так же, как введенное вами слово. И что самое приятное, эта функция работает и для русского языка! Например, набирая слово "ухо" в поисковом запросе, вы увидите в результате не только слова "ухо", но и "уха".

Поиск с коррекцией ошибок - очень важная функция. Применяется для поиска слов, содержащих синтаксические ошибки - это могут быть как опечатки, так ошибки в документах, полученных при помощи систем распознавания символов, например. Простой пример - вы ищете слово клавиатура. В некотором документе содержится слово "клавиатупа", очевидно, что на самом деле это слово "клавиатура", просто человек при наборе текста опечатался. Так вот, поиск с коррекцией ошибок, это обнаружит и включит документ со словом "клавиатупа" в результат. Также в dtSearch есть настройка, позволяющая определять степень возможных ошибочных символов.

Поиск с использованием синонимов. Эта возможность использует список синонимов для различных слов. Так, например, введя слово "быстрый", программа также найдет слова "скоростной" и другие, являющиеся синонимами для слова "быстрый", если таковые, конечно, присутствуют в списке синонимов. Готового списка синонимов вместе с программой dtSearch не поставляется, однако есть возможность воспользоваться списками в Интернет (соответственно, требуется подключение, что не всегда удобно), либо можно составить свой список синонимов.

Кроме перечисленных возможностей, dtSearch может производить поиск с использованием фраз, состоящих из слов, соединенных логическими операциями. Каждому слову в запросе можно устанавливать свой "вес", то есть значимость. Полезная опция - использование словаря, состоящего из не значимых слов для того, чтобы не учитывать их при поиске, однако этот словарь также пуст и его придется заполнять самостоятельно.

Далее рассмотрим возможности программы при работе в сети. По сути, никаких специфических возможностей для работы с сетью dtSearch не предлагает. Тем не менее, использовать его в сети вполне возможно. Как вариант, можно создать некоторый индекс и положить его в общедоступную (расшаренную) папку. Саму же программу можно установить каждому пользователю на компьютер, либо выложить ее также на папку, открытую для общего доступа, и создать специальным образом ярлыки для каждого пользователя отдельно, используя параметры командной строки, предназначение которых описано в файле помощи, поставляемым с программой. Также, есть возможность автоматической установки программы в сеть при помощи MSI файла. При этом будут учтены настройки для каждого подключаемого пользователя.

В общем и целом - неплохая программа из разряда профессиональных поисковиков. Может претендовать на хорошую оценку, однако завоевание доверия и уважения со стороны пользователей может оказаться непростым для dtSearch в силу некоторых факторов (не все гладко с интерфейсом, русские пользователи обделены, нет ярких особенностей для работы с сетью). Что касается непосредственно поиска документов, то накладок с русским текстом у программы не было. Как не было их ни с заявленной морфологией, ни с нечетким поиском. Система вполне адекватно находила нужные документы и по простому запросу в одно слово и по использовании в качестве ключевой фразы пары абзацев, какого-либо документа.

Официальный сайт:
Размер дистрибутива: 23 MbИщейка Проф Deluxe

Исходя из названия, можно догадаться, что поддержка русского языка в этой программе есть. Это уже приятно. Что касается интерфейса, в общем-то, он несколько необычен, но с виду весьма привлекателен. Другое дело - удобство. Весьма спорный критерий, но все же, наверно, многооконное решение - не самый удачный вариант (запрос вводится в одном окне, результат отображается в другом и тому подобное).

Ищейка использует все те же индексы для осуществления быстрого поиска, однако индексирование проходит значительно медленнее, нежели у других программ. Это весьма странно, особенно учитывая то, что возможности по обработке поисковых запросов у нее весьма слабые, а значит и структура индекса не сложная. Скорее всего, дело тут в неоптимизированных алгоритмах. Эта программа оказалась явным аутсайдером скоростей индексации и поиска: время, затраченное на создание индекса, в шесть раз больше, чем у тех же dtSearch и iSYS. Индексация 20 гигабайт текстов для ищейки вылилась в 38 часов 46 минут работы. А созданная "область поиска" заняла на жестком диске тот же размер, что и исходные данные за небольшим минусом - 19 гигабайт.

Ищейка может быть представлена как альтернатива стандартному поиску в Windows, на большее она вряд ли способна. О том, что первоочередная задача Ищейки - простейший поиск файлов указывает не только малое количество функций для анализа текста поисковых запросов и расширенный поиск по атрибутам файлов, но даже окно результатов, выдающее прямые ссылки на найденные файлы, а также на папки, содержащие эти файлы. Окно результатов не слишком информативно в том плане, что прочитать весь найденный файл можно, только запустив его, то есть, встроенного просмотрщика файлов у него нет. Зато выдается выдержка из файла, где встретилось искомое слово, в общем, такая схема отображения очень напоминает Интернет поисковики.

Говоря о конкретных возможностях по обработке поисковых запросов, стоит отметить, что здесь нет такого понятия как "искать текст", максимум, что можно искать - это фраза, хотя бы потому, что здесь нет многострочного поля ввода текста. Тем не менее, анализировать можно и введенную фразу и Ищейка предлагает нам здесь стандартный поисковый набор: логические операции, поиск по маске и цитатный поиск... не густо. В программе присутствуют некоторые зачатки морфологического поиска, но, наверно, настолько сырого, что он, скорее, мешает корректной работе (во время тестов было замечено множество накладок с неправильным использованием морфологии).

Зато программа позволяет указывать при поиске атрибуты файлов (дата документа, имя файла, имя папки), причем в этих запросах также можно использовать тот же поисковый набор. Также, можно осуществлять поиск писем, указывая параметры (От, Тема.... и т.п.).

Итак, с самим поиском разобрались, чем же еще интересным обладает программа, за что она получила столь многочисленные награды, по информации с официального сайта? Трудно сказать, что в ней такого особенного, скорее всего, интерфейс Ищейки располагает к себе (именно внешне, не говоря о юзабилити).

Операции с индексами весьма стандартны, приятным моментом является возможность обновления индексов по расписанию. Кроме того, индексы также могут использоваться в сети. С этого момента надо поподробнее.

Несмотря на примитивность поисковых запросов, программу можно использовать для поиска файлов, поэтому ее применение может быть оправдано в сетях. Хоть и с большой натяжкой, так как в большой сети приоритетной задачей является быстрый поиск данных с использованием сложных поисковых запросов из-за огромного количества информации - а со скоростью поиска и программы явно проблемы. Надо сказать, что работа с сетью у Ищейки продумана, как следует. Специально для этого предназначено отдельное приложение - Ищейка Сервер. Оно работает так же, как и просто Ищейка (поисковой движок у них один), только для документов, размещенных на центральном сервере или на общих ресурсах в корпоративной сети. Ищейка Сервер создает новые индексы на общих ресурсах, либо использует ранее созданные. Любой пользователь корпоративной сети может подключиться к Ищейке Сервер и использовать ее для доступа к любому документу (находящемуся в текущем индексе) используя Интернет браузер. Согласитесь, такая схема является крайне удобной: получается, что файлы в собственной сети можно искать таким же образом, как информацию в Интернете через, например, Google.

Оценивая все преимущества и недостатки этой программы, сам собой напрашивается вывод, что для корпоративных сетей ее возможностей, скорее всего, не хватит (несмотря доже на неплохую организацию работы с сетью), а вот для домашнего компьютера или даже для домашней сети она, в принципе, может и подойти. Хотя ни скорость работы, ни возможности по поиску не внушают оптимизма...

Официальный сайт на русском языке:
Размер дистрибутива: 6 MbGoogle Desktop Search + GDS Enterprise

Конечно, мы не могли обойти стороной такого именитого разработчика. Имя Google уже говорит о многом. Народ, годами пользовавшийся мощнейшим Интернет поисковиком, наверняка без единого сомнения решит установить на компьютере именно этот поисковик. Это же подумать: Google на домашнем компьютере! Однако, не поддаваясь на провокации с широко раскрученным брэндом, попробуем трезво, а главное объективно, рассмотреть возможности "настольного" поисковика от Google.

Первое, что бросается в глаза - отсутствие собственной оболочки для программы. Google Desktop Search по-прежнему находится в окне браузера, соответственно, весь интерфейс настольной версии достался софтине от старшего Интернет-брата. Хорошо это или плохо - спорный вопрос: кому-то по душе минимализм в дизайне этого поисковика, а кому-то хочется видеть полноценное приложение, наполненное всякого рода кнопочками и так далее.

Что бросается в глаза сразу после дизайна? А то, что этот самый Google Desktop Search начинает индексировать на компьютере все подряд, без всякого на то спроса! И что самое интересное, выбрать пути индексации при помощи Google Desktop Search невозможно. Придется скачать отдельную программку (TweakGDS), которая позволит несколько расширить настройки Google Desktop, в том числе и указать необходимые для индексации места. Хотя, пока со всем этим разберешься, стандартный винчестер он уже проиндексирует, так что такая настройка нужна скорее при работе с большими массивами данных, что очень актуально при использовании в корпоративных сетях (версии Enterprise). Однако не факт, что после скачивания TweakGDS, ваши проблемы решатся. Ведь для работы ей необходимы Microsoft .NET Framework и Microsoft Scripting Runtime. Да уж... установку, как и доступ к настройкам, можно было сделать и проще, хотя, наверно разработчиков можно понять: зачем писать что-то новое, когда есть уже готовый поисковик, портировал его на локальный компьютер и пускай пользователь "наслаждается", а известное имя сделает из "этого" очередной шедевр. Да ладно, закончим на этом лирическое отступление и перейдем к поиску.

Что касается анализа поисковых запросов и выдачи результатов, то здесь все абсолютно идентично Google в Интернет: такая же система отображения результатов, тот же стандартный набор логических операций для поисковых запросов. В общем Google Desktop Search, как и предыдущая программа, предназначен исключительно для поиска файлов - внутреннего просмотрщика этих файлов в нем, разумеется, нет. Количества форматов файлов, поддерживаемых Google Desktop Search, вполне достаточно, а также приятно, что он осуществляет поиск по посещенным Интернет страницам, беря данные из кэша. Скорости поиска и индексирования вполне приемлемые. Правда, для домашнего использования. С внушительными 20 гигабайтами текстов Google Desktop Search справилась за 8 часов 17 минут. Потратить несколько дней на обработку информации из корпоративной сети крупного предприятия не улыбается ни одному сисадмину. Из плюсов: размер создаваемого индекса оказался на уровне (4,5 Гб) с другим поисковиком, протестированном в этом обзоре - SearchInform.

Большое преимущество (или упущение - решать вам) Google Desktop Search заключается в том, что он поддерживает плагины, которые способны многое переменить к лучшему. Другое дело, что подключение плагинов и их настройка настолько усложняет задачу установки поисковика, что начинаешь задумываться - а надо ли все это, когда можно установить нормальную, полноценную программу, в которой уже будет все присутствовать. Ведь для задействования каждой возможности придется устанавливать новый плагин. Даже для того, чтобы программа могла полноценно работать с архивами, нужна отдельная примочка. Завораживает и прельщает бесплатность всех этих дополнительных модулей. Однако если не брать в расчет десктоповую версию поисковика, то грамотная настройка GDS Enterprise может оказаться вам не под силу - ведь не зря специалисты из Google предлагают свои услуги по настройке их же программного обеспечения для вашей сети всего лишь за 10000$.

Если же вы все-таки осилите процедуру настройки и установки (или заплатите 10000$ бригаде быстрого реагирования из конторы Google), то поймете, что сложность установки с лихвой компенсируется очень гибкими настройками при использовании в корпоративных сетях. Немаловажным моментом работы Google Desktop в корпоративной сети является использование групповых политик, что дает возможность установить настройки для каждого пользователя.

Подводя итог, следует сказать, что самое разумное применение для этой программы - домашний или рабочий компьютер. Ведь для обычного компьютера достаточно просто установить программу - остальное она сделает сама (вас даже ни о чем не спросит).

Тем не менее, Google Desktop Search Enterprise будет приемлема в случаях острой необходимости гибкой настройки сетевой политики для использования поисковика, при этом возможности обработки поисковых запросов будут на втором месте по значимости, а время (или деньги), затраченное на настройку программы, - на первом месте.

Официальный сайт:
Размер дистрибутива вместе с TweakGDS: 1,2 MbCopernic Desktop Search

Щелкните по картинке, чтобы увеличить

Интерфейс программы вызывает исключительно положительные эмоции - все сделано в соответствии с общепринятыми стандартами, ничего лишнего, одним словом приятный дизайн. Новичку разобраться в интерфейсе Copernic Desktop Search будет очень просто. Хотя, несколько смущает то, что дизайнеры явно создавали интерфейс программы с учетом того, что программа будет работать в стандартной теме оформления Windows XP. При использовании же классической темы, программа смотрится уже не настолько симпатичной. Но это уже скорее дело вкуса.

При первом же запуске, программа предлагает создать индексы для поиска. Несколько необычным показалось то, что после выбора папок для индексирования, программа не предлагает нажать какую-нибудь кнопку, вроде "Начать индексацию", при этом индексация не начинается автоматически, только потом было замечено, что Copernic пытается начать индексацию во время простоя компьютера. Придется несколько покопаться в опциях программы, чтобы настроить все должным образом. Следует отметить, что здесь представлены довольно широкие возможности по настройке автоматического создания индекса: встроенный планировщик, возможность индексации во время простоя компьютера, в фоновом режиме, с низким приоритетом. Индексация проходила не слишком быстро - 10 часов 51 минута - это медленнее, чем в других поисковиках (кроме Ищейки, все же Copernic быстрее разработки iSleuthHound Technologies на порядок.

Теперь о структуре индекса. В общем, ничего особенного в ней нет. Есть возможность выбора типов файлов, причем, как в обобщенном виде, так и в подробном. То есть изначально вы можете выбрать, что требуется индексировать - Документы, Изображения, Видео, Музыку. На другой же вкладке окна опций будет возможность выбрать конкретно типы файлов по расширению. Дополнительно можно настроить индекс таким образом, чтобы, например, не индексировались картинки, размером менее 16х16 или не индексировались звуковые файлы длиной менее 10 секунд. Помимо индексации файлов из папок, Copernic умеет работать с электронными письмами и контактами из адресной книги Microsoft Outlook и Microsoft Outlook Express, возможна индексация Избранного и Истории из Internet Explorer.

Что касается возможностей поиска, то здесь они весьма слабы. Во время тестов даже было выявлено, что программа не ищет документы форматов txt и html на русском языке, позволяя найти их только по заголовкам, а отнюдь не по содержанию. Единственное, что программа предоставляет для повышения эффективности поиска - это использование стандартного набора логических операций, да и то, эта возможность была обнаружена экспериментальным путем, так как документирована она не была. Кстати, со справкой у программы также не все в порядке - она доступна только через Интернет, что, согласитесь, весьма неудобно, да и в сети справочной информации не слишком много. Видимо, разработчики решили, что простой интерфейс программы не предполагает наличия нормальной справки. Продолжая разговор о возможностях поиска, следует отметить, что, несмотря на слабый анализ запросов, программа предоставляет интересную систему поиска - пользователь может выбрать тип файлов (изображения, видео, музыка и т.п.), ввести поисковый запрос и выбрать атрибуты, присущие именно выбранному типу файлов. Например, для звуковых файлов, это могут быть значения из mp3 тегов (артист, альбом, дата и т.п.), для изображений, например, можно выбирать их размер (по разрешению), в общем, каждому типу - свои настройки. После осуществления поиска по определенному типу файлов, программа выдаст весьма информативный список в окне результатов, причем, если под ваш запрос попали файлы других типов, то вы сможете открыть и их, нажав на определенную ссылку.

Отдельно стоит упомянуть про окно отображения результатов. Под списком найденных файлов отображается содержимое этих файлов (аналогичная схема часто используется в почтовых клиентах). Правда, просмотр текста можно осуществлять лишь в родном формате, а режима отображения plain текста нет, что не всегда удобно, так как открытие документа в этом случае занимает больше времени. Зато, учитывая, что Copernic умеет искать изображения и музыку, здесь есть возможность просмотра и этих мультимедийных файлов.

Основные принципы работы этой программы описаны, теперь посмотрим, что Copernic Desktop Search может нам предложить для работы с сетью... В принципе смотреть можно очень долго, но увидеть что-либо вряд ли удастся. Другими словами, эта программа и не задумывалась как сетевая. Copernic Desktop Search - исключительно домашний поисковик.

Очевидно, что единственное (самое логичное) применение этой программы - домашний компьютер. Здесь она вполне справится со всеми незамысловатыми поисковыми запросами пользователей, состоящими из одного двух слов, найдет нужную информацию, а разделение поиска по типам файлов и поддержка мультимедийных файлов вместе с фоновой индексацией в режиме низкого приоритета вкупе с приятным интерфейсом только придают программе сил для завоевания доверия среди неискушенных пользователей.

Официальный сайт
Размер дистрибутива: 2,6 MbISYS Desktop

Щелкните по картинке, чтобы увеличить

Очень мощная программа. По уровню оснащенности всевозможными функциями она находится где-то рядом со следующей в списке системой поиска SearchInform. При этом размер установочного файла более 40Mb! Сложно сказать, что можно было засунуть в такие размеры, ведь тот же SearchInform, с похожей функциональностью занимает 15Mb.

Процесс установки здесь также не слишком приятен, точнее даже не процесс установки. Еще до скачивания программы вас попросят зарегистрироваться, а иначе - никак. Далее, интерфейс. Сделан он весьма симпатично, ничего лишнего в глаза не бросается, однако - это впечатления человека, уже несколько привыкшего к нему. Разобраться, где и что находится, куда нажимать и где осуществить наконец-то поиск новичку будет непросто. Очень рекомендуется прочитать справку перед началом работы - сэкономите много нервов и времени. Ко всему прочему добавляется также полное отсутствие поддержки русского языка в программе. Нехорошо. Вдобавок, окна здесь не перегружены элементами управления, однако расплатиться за это пришлось многомодульностью и использованием дополнительных окон. Например, запросы для поиска вводятся при помощи запуска одной программы, а управление индексами производится при помощи уже другой программки. Поисковые запросы вводятся здесь также в отдельных, появляющихся окошках. Что лучше - перегруженность интерфейса или повсеместная многооконность - сказать трудно, скорее, это дело вкуса.

Что касается создания индексов, то программа предоставляет возможности по упрощению процесса установки опций для нового индекса. Эти возможности включают в себя несколько готовых шаблонов для создания индексов по папке "Мои документы", "Почта", "Почта и документы", "Определенная папка", "Папка с выбором типов файлов" и др. Такие шаблоны упрощают создание индексов на первом этапе. Утилита для работы с индексами обладает не слишком удачным интерфейсом, отпугивающим некоторой сложностью (это весьма субъективная оценка, по правде говоря), однако, если разобраться, он предоставляет множество полезных опций и в целом его использование особого труда не вызывает. ISYS Desktop умеет индексировать данные из различных источников данных, а также предоставляет множество гибких настроек для такой индексации. Среди дополнительных возможностей по индексированию: поддержка SQL, FTP, TRIM Context, WORLDOX 2002, скрипты. При создании индекса, если вы выбирали пункт "Папка с выбором типов файлов", у вас есть возможность выбрать типы файлов для индексации вручную (по расширению). Надо сказать, что поддерживаемых типов файлов просто огромное количество, однако свой тип (расширение) добавить в существующий список не удастся. Можно также отметить наличие планировщика индексации. Созданием индекса и обработкой 20 гигабайт информации ISYS Desktop занималась 6 часов 13 минут, в конечном итоге показав неплохое время и размер созданного файла - 7.9 Гб.

Возможности поиска у этой программы неплохи. То, что используется в ISYS, значительно мощнее обычной поддержки логических операций. Из продвинутых возможностей по поиску программа предлагает использование синонимов, фильтра сортировки (по пути, имени и дате создания файла). Набор логических операторов несколько шире стандартного набора. Помимо логических операций, программа позволяет работать со многими другими операторами, которые в принципе способны заменить некоторые виды поиска, например, поиск с синтаксическим разбором вполне можно заменить использованием специальных операторов. Очень удивило то, что в программе отсутствует поиск с использованием морфологии. Это серьезное упущение, так как эффективность поиска сильно повышается при использовании морфологического анализа. Кроме того, нет списка значимых слов, зато присутствует обширный список незначимых слов. Также заявлены такие функции при поиске как "приблизительный поиск" и "эвристический анализ".

ISYS предоставляет на выбор несколько видов поисковых запросов, именно, видов - визуальных. Это осуществлено при помощи разных видов окон для ввода поисковых запросов, однако, фактически, ни одно окно не позволяет использовать технологии, отличные от перечисленных выше.

Результаты поиска весьма информативны, отображаются в виде списка документов, отсортированных по релевантности. Ниже отображается предпросмотр выбранного документа. В отличие от Copernic Desktop Search, предпросмотр здесь доступен лишь в виде plain текста, добиться отображения документов в родном формате, будь то Word, Html или PDF так и не удалось, хотя это в принципе и не слишком критично. Программа позволяет разбивать найденные документы на группы по определенным признакам (по умолчанию они разделены по релевантности). Можно также просматривать уже найденные документы, выбирая отдельные папки (это удобно, когда результат выдает очень большое количество документов).

Использование программы в корпоративной сети также весьма оправдано, так как она предоставляет неплохие возможности по организации сетевого поиска. Система поиска основана на создании общедоступного индекса, который содержит проиндексированные данные с общедоступных сетевых ресурсов.

По сути, программа от ISYS достойна внимания, хотя бы ознакомления с ней. Эта программа - зрелый проект, обладающий огромным количеством функций (не всегда и не всем, конечно, они бывают нужны, но все же). Шансы на то, что в программе появятся некоторые улучшения со стороны обработки поисковых запросов, не известны, но и на данный момент ее можно рекомендовать практически для повсеместного использования. А учитывая, что для домашних систем она все же слишком грузная, то основные места ее инсталляции - корпоративные сети.

Официальный сайт:
Размер дистрибутива: 40 MbSearchInform

Щелкните по картинке, чтобы увеличить

Сразу начинать с описания интерфейса SearchInform, наверно, не стоит. Следует для начала описать процесс установки, а точнее одну его деталь: вы не сможете установить программу без подключения к Интернет. Дело в том, что перед первым запуском программа требует регистрации пользователя (бесплатной) и отправляет все введенные данные на сервер. Видимо, разработчикам пришлось принять такие меры в борьбе с пиратством, однако на удобстве установки это положительным образом не отразилось.

Интерфейс программы выполнен с соблюдением всех общепринятых правил, однако, на первый взгляд, несколько громоздок. Используя программу в первый раз, кажется, что он чересчур сложный, иногда бывает не просто вспомнить в каком меню или на какой вкладке находится нужная опция, однако, при более длительном использовании, интерфейс уже не кажется таким ужасающе сложным. Главное, предварительно почитать справку.

Немного разобравшись с интерфейсом, можно приступить к созданию индекса. Сам процесс весьма прост и скорость индексации даже на глаз значительно выше всех других поисковиков из обзора. Четкие цифры тестов показывают, SearchInform в два раза обогнала dtSearch и iSYS по скорости индексации! Программа проиндексировала предоставленные данные в размере 20 гигабайт за рекордное время - 3 часа 17 минут. Да и размер созданного индекса оказался самым небольшим 4.4 Гб - на 100 мегабайт меньше, чем у Google Desktop Search.

Программа поддерживает, помимо обычных файлов и папок, также индексацию электронных писем, подключение и индексацию баз данных (!) и других внешних источников (DMS, CRM), сразу же при индексации можно указать словарь для проведения морфологического поиска, а также индексироваться могут все атрибуты файлов. После создания индекса, при попытке провести первый пробный поиск документов, можно прийти в некоторое замешательство: "здесь присутствует два вида поиска, а какой же из них нужен мне?". Как уже говорилось ранее - главное прочитать справку, тогда все станет понятно. Программа действительно умеет осуществлять два вида поиска - это фразовый поиск и поиск документов, похожих по содержанию на текст запроса.

Описание всех основных функций для анализа поискового запроса было приведено выше, поэтому сейчас лишь перечислим возможности поиска, предоставляемые этой программой. Начнем с фразового поиска: конечно, морфологический поиск, цитатный поиск, логические операции, поиск с синтаксическим разбором слова (поиск по началу слова, по окончанию, по средней части, либо полное совпадение), смешанный цитатный поиск (когда все слова из запроса должны присутствовать в документе, но необязательно во введенном порядке), поиск с коррекцией ошибок, использование синонимов, "почти цитатный поиск" (поиск введенной фразы как цитаты, но между введенными словами могут присутствовать другие слова) и т.п. Некоторые из перечисленных опций имеют свои специфические настройки. Кроме того, есть возможность использования словаря незначимых слов, причем в программе уже есть готовый список этих слов, также для поиска можно использовать словарь приоритетных слов (его, разумеется, придется заполнять самостоятельно).

Вот, в принципе, вкратце пробежали все основные возможности фразового поиска.

Перейдем к рассмотрению особенности данной программы - поиска похожих документов. Разработчики утверждают, что это отнюдь не простой поиск текста, это именно "поиск похожих" - именно так он описан у них везде, да ладно, называть это можно как угодно - главное суть. Недолгие поиски в Интернете могут быстро дать информацию о том, что так называемый "поиск похожих" - новая разработка в области анализа текста. Эта система позволяет находить тексты, похожие именно по смысловому содержанию. Самым приятным оказалось то, что после проведения тестовых поисковых запросов, оказалось, что теория вполне совпадает с практикой! Программа действительно ищет похожие по содержанию документы и отображает их в списке, упорядочивая по проценту похожести.

Далее рассмотрим, что предлагает SearchInform (в частности, ее корпоративная версия SearchInform Corporate) для работы в корпоративной сети. Существуют два вида приложений: серверная часть и пользовательская. Серверная часть самостоятельно обрабатывает указанные индексы, а пользователи могут использовать их для поиска, в зависимости от назначенных им прав доступа. Пользователи могут быть настроены автоматически, используя учетные записи Windows (говоря профессиональным языком, SearchInform использует NTFS аутентификацию Windows), так и вручную (пользователей придется добавлять по отдельности). Каждому пользователю можно разрешить или запретить доступ к определенным индексам, можно также объединять пользователей в группы. В общем, настройки для работы в сети у SearchInform опережают по гибкости Google, а по удобству и простоте Ищейку Сервер.

Официальный сайт:
Размер дистрибутива: 14,7 MbСравнение скоростей индексирования

* Большинство документов.html и.txt, содержащих русский текст, хоть и были проиндексированы, но кроме как по названиям, найти их было невозможно.Резюме

Все программы достойны внимания.

На основе тестов и внимательного осмотра каждой программы, представленной в обзоре, можно сделать определенные выводы. Итак, Google Desktop Search Copernic Desktop Search вполне подойдут неискушенному пользователю как домашние системы поиска информации. Они неплохо справляются с простыми запросами, не сильно загрузят пользователя настройками и, притом, совершенно бесплатны. Попытка Google выйти на рынок корпоративных поисковиков, пока не сильно оправдана: для полноценной работы программу нужно обвешивать дополнительными модулями, да и в настройке она далеко не проста. Поэтому, говорящие названия Desktop Search, что Copernic, что Google отставляю за ними нишу "настольных" поисковиков.

Правда, более мощные решения - dtSearch, iSYS и SearchInform тоже не лыком шиты и предлагают пользователям свои "настольные" версии. Но по сходной цене, в отличие от бесплатных софтин от Google и Copernic. Конечно, за мощность, скорость и функционал приходится платить. Но главный прицел разработчики dtSearch, iSYS и SearchInform делают, конечно, на корпоративный сектор. Работа с сетью, функциональность, скорость индексации и поиска – вот, что отличает эти продукты от своих "конкурентов". По результатам теста был определён фаворит - SearchInform. Программа предоставляет возможность искать похожие документы, обладает наибольшей скоростью индексирования и поиска, имеет хороший набор функций.

Проверка никнейма по десяткам сервисов за раз, подсчет репостов в Facebook и визуализация связей Twitter-аккаунта.

Анализ контента в соцсетей - горячая тема среди стартаперов. Сервисов для поиска постов и людей с каждым годом появляется все больше. Но многие из них либо быстро исчезают, либо доступны в недоделанном состоянии, либо их использование дорого стоит.

В этом материале собраны те немногие их них, которые позволяют быстро и бесплатно получить реально полезную или просто интересную информацию.

1. Поиск профилей

Поисковая система Snitch позволяет искать профили человека в четырех десятках сервисов, включая сайты ведущих мировых университетов и базу преступников США:

К сожалению, некоторые из сайтов для которых можно выставить галочки уже не работают. К примеру, Google Uncle Sam, закрытый еще 5 лет назад. Но несмотря на этот и другие косяки Snitch - полезный сервис, позволяющий значительно сэкономить время при поиске информации о человеке.

Если для какого-то сервиса вместо блоков с результатами поиска отображается пустой экран, то для их просмотра надо перейти по ссылке Open a new window :

2. Поиск хештегов

Пользоваться очень просто. Надо вбить в форму поиска искомый хештег и через секунду появится список недавних записей отмеченных им в шести соцсетях:

3. Анализ последних твитов

Сервис позволяет получить список ста последних твитов содержащих искомое слово, хештег или имя аккаунта. А также узнать некоторую аналитическую информация о людях, сделавших эти твиты и времени их создания:

Предположим, вам нужно выявить, какой пользователь спровоцировал необычно высокое количество переходов на статью из Twitter. Мы смотрим 100 последних твитов и видим, кто из людей, упомянувших исходное понятие, имеет больше всего фолловеров:

Владельцам платной подписки доступно большое число твитов для анализа:

4. Анализ Twitter-аккаунта

На Mentionapp можно ввести имя аккаунта и получить информацию о нем (кого чаще всего ретвитит, какие хештеги использует и т.д.) в виде схемы связей:

5. Поиск твитов на карте

Если кликнуть на любое место карты на , то можно прочитать последние твиты, сделанные рядом:

6. Число упоминаний в соцсетях

Sharedcount помогает оценить популярность статьи/сайта в соцсетях. Вбиваешь URL и через пару секунд есть статистика упоминаний в Facebook, Google+, Pinterest, Linkedln и Stumble Upon:

7. Поиск по форумам

Boardreader - это поисковик по форум и доскам объявлений:

Оценка масштабов бедствия показала, что на одного жителя России приходится почти 4 ответа на этом портале.

8. Пробиваем логин по соцсетям

Идем на knowem.com и забиваем никнейм человека. В ответ получаем информацию о том, на каких сервисах он зарегистрирован:

9. Определяем имя человека по email

Если вы до сих пор ищете людей, забивая их почтовые адреса в Google, то вам следует отказаться от этого способа. Ведь есть pipl.com . Вбиваешь email (никнейм) и получаем список профилей в соцсетях:

Информация не всегда точна и полна, но сервис исключительно полезный.

Вот и все. Стоило было рассказать еще о Socialmention (недопиленный анализ отзывов), Yomapic (поиск фотографий из VK и Instagram на карте) и yandex.

Глобальная сеть Интернет к середине 2015 года соединила уже 3,2 млрд пользователей, то есть практически 43,8% населения планеты. Для сравнения: 15 лет назад пользователями Сети было всего 6,5% населения, то есть количество пользователей увеличилось более чем в 6 раз! Но более впечатляют не количественные, а качественные показатели расширения внедрения интернет-технологий в различных областях человеческой деятельности: от глобальных коммуникаций социальных сетей до бытовых интернет-вещей. Мобильный интернет предоставил возможность пользователям находиться он-лайн вне офиса и дома: в дороге, за городом на природе.
В настоящее время существуют сотни систем для поиска информации в Интернет. Наиболее популярные из них доступны для подавляющего большинства пользователей поскольку они бесплатны и просты в эксплуатации: Google, Yandex,Nigma, Yahoo!,Bing..... К услугам более опытных пользователей интерфейсы "расширенного поиска", специализированные поиски "по социальным сетям",по новостным потокам и объявлениям купли-продажи... Но у всех этих замечательных поисковиков есть существенный недостаток, который выше я уже отмечал как достоинство: они бесплатны.
Если инвесторы вкладывают в развитие поисковиков миллиарды долларов, то возникает вполне уместный вопрос: а где же они зарабатывают?
А зарабатывают они в частности на том, что предоставляют на запросы пользователей не столько ту информацию, которая была бы полезна с точки зрения пользователя, а ту которую считают полезной для пользователя владельцы поисковых систем. Осуществляется это путем манипулирования порядком выдачи списков ответов на поисковые запросы пользователей. Здесь и открытая реклама определенных интернет- ресурсов, и скрытая подтасовка релевантности ответов исходя из коммерческих, политических и идеологических интересов владельцев поисковых систем.
Поэтому среди профессиональных специалистов поиска информации в Интернете весьма актуальна проблема пертинентности результатов работы поисковых систем.
Пертине́нтность — это соответствие найденных информационно-поисковой системой документов информационным потребностям пользователя, независимо от того, как полно и как точно эта информационная потребность выражена в самом тексте информационного запроса. Это соотношение объёма полезной информации к общему объёму полученной информации. Грубо говоря, это эффективность поиска.
Специалистам, осуществующим квалифицированный поиск информации в Интернете, требуется прилагать определенные усилия по фильтрации поисковых результатов,отсеивая ненужный информационный "шум". А для этого используются поисковые средства профессионального уровня.
Одна из таких профессиональных систем - российская программа FileForFiles & SiteSputnik (СайтСпутник) .
Разработчик Алексей Мыльников из Волгограда.

"Программа FileForFiles & SiteSputnik (СайтСпутник) предназначена для организации и автоматизации профессионального поиска, сбора и мониторинга информации, размещенной в интернете. Особое внимание уделяется получению поступающей новой информации на интересующие темы. Реализовано несколько функций анализа информации. "

Mониторинг и рубрикация потоков информации

Сначала несколько слов о мониторинге потоков информации , частным случаем которого является мониторинг СМИ и социальных сетей:

• пользователь указывает Источники, которые могут содержать нужную информацию, и Правила выбора этой информации;


• программа скачивает свежие ссылки из Источников, освобождает их контент от мусора и повторов и раскладывает по Рубрикам согласно Правилам.

Чтобы живьём увидеть простой, но реальный процесс мониторинга, в котором задействованы 6 источников и 4 рубрики:

• откройте Демоверсию программы ;

• далее, в появившемся окне, - на кнопку Совместно ;


• и когда СайтСпутник в реальном масштабе времени выполнит этот Проект, Вы:
  — в списке "Чистый поток" увидите всю новую информацию из Источников,
  — в Рубрике "Пост-запрос" - только удовлетворяющие правилу экономические и финансовые новости,
  — в Рубриках "О президенте", "О премьере" и "Центробанк", - информацию относящуюся к соотвествующим объектам.

В реальных Проектах можно задействовать практически любое количество Источников и Рубрик.
Свои первые рабочие Проекты можно создать за несколько часов, их совершенствование - в процессе эксплуатации.
Описанная обработка информации доступна в комплектации SiteSputnik Pro+News и выше.

Для ознакомления с возможностями SiteSputnik Pro (базового варианта комплектации программы):

• откройте Демоверсию программы ;


• введите свой первый запрос, например, своё ФИО, как это сделал я:

  и нажмите на кнопку Поиск .



• Программа (смотрите табличку, которую построил СайтСпутник) за несколько секунд опросит 7 источников, откроет в них 24 поисковые страницы, найдет 227 релевантные ссылки, уберет повторно встретившиеся ссылки и из оставшихся 156 уникальных ссылок составит список "Объединение" .

  Наименование Источника	Заказано страниц	Скачано страниц	Найдено ссылок	Время поиска	КПД поиска	Ссылки Новые	КПД Новые
  Yandex	5	5	50	0:00:05	32%	0	0
  Google	5	5	44	0:00:03	28%	0	0
  Yahoo	5	5	50	0:00:05	32%	0	0
  Rambler	5	4	56	0:00:07	36%	0	0
  MSN (Bing)	5	3	23	0:00:04	15%	0	0
  Yandex.Блоги	5	1	1	0:00:01	1%	0	0
  Google.Блоги	5	1	3	0:00:01	2%	0	0
  Итого:	35	24	227	0:00:26	—	0	0

  Итого: количество уникальных ссылок - 156 , повторяющихся ссылок - 46 %.


• (! ) Повторите Ваш запрос через несколько часов или суток, и Вы увидите в отдельном списке только новые ссылки , появившиеся в выдаче Источников за этот промежуток времени. В двух последних столбцах таблички можно будет увидеть сколько новых ссылок принес каждый Источник и его КПД по "новизне". При многократном выполнении запроса список, содержащий только новые ссылки , создается относительно всех предыдущих выполнений этого запроса. Казалось бы, элементарная и нужная функция, но автору не известна ни одна программа, в которой она реализована.


• (!! ) Описанные возможности поддерживаются не только для отдельных запросов, но и для целых пакетов запросов :

  Пакет, который Вы видите, состоит из семи разных запросов, собирающих информацию о Василие Шукшине из нескольких Источников, среди которых есть поисковики, Википедия, точный поиск в новостях Яндекса, метапоиск и поиск упоминаний на ТВ и радиостанциях. В сценарий ТВ и Радио входят: "Первый канал", "ТВ Россия", НТВ, РБК ТВ, "Эхо Москвы", радиокомпания "Маяк", ... и другие Источники информации. Для каждого Источника прописана своя глубина поиска или просмотра в страницах. Она указана в третьем столбце.

  Пакетный поиск позволяет по одному щелчку мышки осуществлять всесторонний сбор информации на заданную тему.
  Отдельный список новые ссылки , при повторных выполнениях пакета, будет содержать только не найденные ранее ссылки.
  Запоминать что и когда Вы спросили у Интернета и что он Вам ответил не надо - всё автоматически сохраняется в библиотеках и в базах данных программы.
  Повторюсь, что описанные в данном пункте возможности целиком и полностью входят в комплектацию SiteSpunik Pro .


Подробнее в инструкции: SiteSputnik Pro для начинающих.

Довольно часто перед Пользователем возникает следующая задача. Нужно узнать, что есть в интернете о конкретном объекте: человеке или фирме. Например, при приеме на работу нового сотрудника или при появлении нового контрагента Вы всегда знаете ФИО, название фирмы, телефоны, ИНН, ОГРН или ОГРНИП, также можете взять ICQ, Скайп и некоторые другие данные. Далее, используя обращение к специальной функции программы СайтСпутник "Сбор информации об объекте " (комплектация SiteSputnik Pro+Objects ):

Вы вносите те данные, которые Вам известны, и по одному щелчку мышки осуществляете точный и полный поиск ссылок, содержащих заданную информацию. Поиск выполняется сразу на нескольких поисковиках, сразу по всем реквизитам, сразу по нескольким возможным комбинациям записи реквизитов: вспомните как по-разному можно записать номер телефона. Через определенный промежуток времени Вы, не выполняя скучной рутинной работы, получите список ссылок, очищенный от повторов и, главное, упорядоченный по релевантности для искомого объекта. Релевантность (значимость) достигается за счет того, что первыми в выдаче СайтСпутника будут идти те ссылки, на которых находится большее количество заданных Вами реквизитов, а не те, которые продвинули вверх выдачи поисковиков Веб-мастера.

Важно .
Программа СайтСпутник умеет лучше других программ добывать реальную , а не официальную информацию об Объекте. Например, в официальной базе данных сотового оператора может быть записано, что телефон принадлежит Василию Терехину, а реально на этом телефоне "висит" информация о том, что Александр продавал автомобиль Форд Фокус в 2013 году, что является дополнительной информацией к размышлению.

Мониторинг поиска .
Под мониторингом поиска понимается следующее. Если требуется отслеживать появление новых ссылок , по заданному объекту или произвольному пакету запросов, то Вам достаточно периодически повторять соответствующий ему поиск. Также как и для простого запроса, программа СайтСпутник создаст список "Новые", в который поместит только те ссылки, которые не были найдены ни в одном из предыдущих поисков.

Мониторинг поиска интересен не только сам по себе. Он может быть задействован в мониторинге СМИ, соцсетей и других новостных источников, который упоминался выше в пункте 1. В отличие от других программ, в которых возможно снятие новой информации только из RSS-потоков, в программе СайтСпутник можно использовать для этого встроенные в сайты поиски и поисковики . Также возможна эмуляция (самостоятельное создание) нескольких RSS-потоков с произвольных страниц, более того, эмуляция RSS-потока по запросу и даже пакету запросов.

• Чтобы получить максимум пользы от программы, задействуйте её основные функции, а именно:
  
  
  • пакеты запросов, пакеты с параметрами, используйте Ассемблер (сборщик), операцию "Аналитическое объединение" результатов работы нескольких заданий, при необходимости, примените базовые функции поиска в невидимом интернете;
  
  
  • подключите к встроенным в программу источникам информации свои источники: другие поисковики и встроенные в сайты поиски, существующие RSS-потоки, созданные Вами собственные RSS-потоки с произвольных страниц, примените функцию поиска новых источников;
  
  
  • используйте возможности следующих видов мониторинга : СМИ, соцсетей и других источников, мониторинга комментариев к новостям и сообщениям, отслеживайте появление новой информации на уже существующих страницах;
  
  
  • задействуйте Рубрики , Внешние функции, Планировщик задач, рассылку, несколько компьютеров, Инструктор Проектов, установите сигнализацию для оповещения о наступлении значимых событий, примените другие перечисленные ниже функции.
  
  

- Программа SiteSputnik постоянно совершенствуется в направлении: "Мне нужно найти всё и с гарантией" .
"Программа для допроса интернета" , - ещё одно определение Пользователя для назначения программы.

А. Функции поиска и сбора информации.

. Пакет запросов - выполнение сразу нескольких запросов с объединением результатов поиска или раздельно. При формировании объединенного результата повторно найденные ссылки удаляются. Подробнее о пакетах - во введении в SiteSputnik , наглядно - на видео: совместное и раздельное выполнение запросов. Нет аналогов в отечественных и зарубежных разработках.

. Пакеты с параметрами . Любые запросы и пакеты запросов, предназначенные для решения стандартных поисковых задач, например, поиск по телефону, ФИО или e-mail, - могут быть параметризованы, сохранены и выполнены из библиотеки готовых запросов с подстановкой фактических (нужных) значений параметров. Каждый пакет с параметрами - это собственная специальная расширенная форма поиска . В ней можно задействовать не один, а несколько поисковиков. Можно создать очень сложные по своему функциональному назначению формы. Чрезвычайно важно, что формы могут быть созданы самими пользователями, без участия автора программы или программиста. Предельно просто об этом написано в инструкции , подробнее в отдельной публикации о параметризации поиска и на форуме , наглядно на видео: поиск сразу по всем вариантам записи номера мобильного телефона и по нескольким вариантам записи адреса электронной почты . Нет аналогов.

. Ассемблер NEW - сборка поискового задания из нескольких готовых: запросов, пакетов запросов и пакетов с параметрами. Пакеты могут в своем тексте содержать другие пакеты. Глубина вложенности пакетов неограничена. Можно составить несколько поисковых заданий, например, о нескольких юридических и физических лицах, и выполнить эти задания одновременно. Подробнее на форуме и в отдельной публикации об Ассемблере , наглядно на видео . Нет аналогов.

. Метапоиск - выполнение конкретного запроса одновременно на на заданную "глубину" поиска для каждого из них. Возможен метапоиск по встроенным поисковикам, к которым относятся Яндекс, Рамблер, Google, Yahoo, MSN (Bing), Mail, блоги Яндекса и Google, и по подключенным средствам поиска. Работа с несколькими поисковиками выглядит так, как будто Вы работаете с одним поисковиком . Повторно найденные ссылки удаляются. Наглядно метапоиск по трем подключенным социальным сетям: VKontakte, Twitter и Youtube, - показан на видео .

. Метапоиск по сайту - объединение поиска по сайту в Google, Yahoo, Яндексе, MSN (Bing). Наглядно на видео .

. Метапоиск в офисных документах - объединение поиска в файлах формата PDF, XLS, DOC, RTF, PPT, FLASH в Google, Yahoo, Яндексе, MSN (Bing). Можно выбрать любую комбинацию форматов файлов .

. Метапоиск кэш-копий ссылок в Яндексе, Google, Yahoo, MSN (Bing). Составляется список, в каждом пункте которого собраны все сниппеты , найденные для каждой ссылки каждым поисковиком. Нет аналогов.

. Глубокий поиск для Яндекса, Google и Рамблера позволяет объединить в один список все ссылки из обычного поиска и все ссылки, соответственно, из списков "Еще с сайта", "Дополнительные результаты с сайта" и "Искать на сайте (Всего...)". Подробнее о глубоком поиске на форуме . Нет аналогов.

. Точный и полный поиск . Под этим понимается следующее. С одной стороны, каждый запрос может быть выполнен на том и только на том источнике, на языке запросов которого он написан. Это точный поиск . C другой стороны, таких запросов и источников может быть произвольное количество. Это обеспечивает полный поиск . Подробнее в отдельной публикации о процедурном поиске . Нет аналогов.

. Поиск в невидимом интернете .

Он включает в себя следующие базовые функции:

Специальный пакет запросов, который может быть усовершенствован Пользователем,
- поиск невидимых ссылок при помощи спайдера (паука),
- поиск невидимых ссылок в окрестности видимой ссылки или папки по "образу и подобию",
- специальные поиски папок открытых,
- поиск невидимых ссылок и папок со стандартными именами с использованием специальных словарей,
- применение собственных встроенных в сайты поисков.

Подробнее в отдельной публикации по SiteSputnik Invisible. Базовые функции "хорошо известны в узких кругах", но способ их применения аналогов не имеет. Суть этого способа заключается в построении видимой из интернета карты сайта (другими словами, материализации видимого интернета), и уже только на базе видимых ссылок и относительно них поиск невидимых ссылок. Поиска и без того видимых ссылок "невидимыми" методами не осуществляется.

Б. Функции мониторинга информации.

. Мониторинг на предмет появления в интернете новых ссылок по заданной теме. Мониторить появление новых ссылок можно при помощи целых пакетов запросов , в которых задействованы любые упомянутые выше методы поиска, а не отдельные первые страницы поисковиков. Реализовано объединение и пересечение новых ссылок из нескольких отдельных поисков. Подробнее в публикации о мониторинге (см. § 1) и на фо руме . Нет аналогов.

. Коллективная обработка информации . Создание корпоративной или профессиональной сети для коллективного сбора, мониторинга и анализа информации. Участниками и создателями такой сети являются сотрудники корпорации, члены профессионального сообщества или группы по интересам. Географическое расположение участников не имеет значение. Подробнее в отдельной публикации об организации сети коллективного сбора, мониторинга и анализа информации .

. Мониторинг ссылок (веб-страниц) на предмет обнаружения изменений в их содержании (контенте). Бета версия. Найденные изменения выделяются цветом и специальными знаками. Подробнее в отдельной публикации о мониторинге (см. § 2 и 3).

В. Функции анализа информации.

. Рубрикация материалов уже описывалась выше. Подробнее - в отдельной публикации о Рубриках . Правила попадания в Рубрики позволяют указывать ключевые слова и расстояние между ними, задавать логические "И", "ИЛИ" и "НЕ", применять многоуровневую скобочную структуру и словари (файлы-вставки), к которым можно применять логические операции.

. ВФ-технология - практически произвольное расширение возможности рубрикации материалов посредством реализации внешних функций , которые органически встраиваются в Правила попадания в Рубрики и могут быть реализованы программистом самостоятельно без участия автора программы.

. Численный анализ заполняемости Рубрик, установка сигнализации и оповещение о наступлении значимых событий посредством выделения цветом Рубрик и/или отправки по e-mail отчета о срабатывании сигнализации.

. Фактическая релевантность. Существует возможность упорядочить ссылки в порядке близком со значимостью этих ссылок по отношению к решаемой задаче, обойдя уловки веб-мастеров, применяющих различные способы повышения рейтинга сайтов в поисковиках. Это достигается на основе анализа результатов выполнения нескольких "разноплановых" запросов на заданную тему. Вычисляются, в прямом смысле этого слова, ссылки, содержащие максимум искомой информации . Подробнее в описании способа поиска оптимального поставщика и на форуме . Нет аналогов.

. Вычисление связей объектов - поиск ссылок, ресурсов (площадок), папок и доменов, на которых одновременно упоминаются объекты. Наиболее распространенные объекты - это люди и фирмы. Для поиска связей могут быть задействованы все упомянутые на этой странице средства программы SiteSputnik , что значительно повышает эффективность проделанной Вами работы. Операция выполняется над любым количеством объектов. Подробнее во введении в программу , а также в описании новой функции "объекты и их связи ". Нет аналогов.

. Формирование, объединение и пересечение потоков информации на самые различные темы, сопоставление потоков. Подробнее в отдельной публикации о потоках .

. Построение веб-карт сайтов, ресурсов, папок и искомых объектов на основе найденных в интернете при помощи Google, Yahoo, Яндекса, MSN (Bing) и Altavista ссылок, принадлежащих сайту. Специалисты могут узнать: не видно ли "лишней" информации из интернета на их сайтах, а также исследовать на этот предмет сайты конкурентов. Веб-карта сайта - это материализация видимого интернета . Подробнее в отдельной публикации о построении веб-карт , наглядно на видео . Нет аналогов.

. Поиск новых источников информации на заданную тему, которые затем можно применить для отслеживания появления новой нужной информации. Подробнее на .

Г. Сервисные функции.

. Планировщик задач (Scheduler) обеспечивает работу по расписанию: выполняет в заданное время заданные функции программы. Подробнее в отдельной публикации о Планировщике .

. Инструктор Проектов NEW - это помощник при создании и сопровождении Проектов по поиску, сбору, мониторингу и анализу информации (рубрикации и сигнализации). Подробнее на форуме .

. Автоматическая архивация. В базах данных автоматически запоминаются все результаты Вашей работы, а именно: запросы, пакеты запросов, протоколы поиска и мониторинга, любые другие вышеперечисленные функции и результаты их выполнения. Можно структурировать работу по темам и подтемам.

. База данных включает сортировки, простой поиск и произвольный поиск по SQL-запросу. Для последнего имеется мастер составления SQL-запросов. Используя эти средства, можно найти и ознакомиться с той работой, которую Вы делали вчера, в прошлом месяце, год назад, определить в качестве критерия поиска тему или задать другой критерий поиска по содержанию базы данных.

. Технические ограничения поисковиков. Некоторые ограничения, связанные, например, с длиной строки запроса, могут быть преодолены. Обеспечивается выполнение не одного, а нескольких запросов с объединением результатов поиска или раздельно. О способе преодоления нарушения закона аддитивности для основных поисковиков можно прочитать . Для одного слова или одной фразы, взятой в кавычки, реализован поиск в поисковиках с учетом регистра, в частности, поиск по аббревиатуре .

Встроенный браузер . Навигатор по страницам. Многоцветный маркер для выделения ключевых и произвольных слов. Билистинг и N-листинг из сформированных документов.

. Выгрузка новостных лент в табличное представление , ориентированное на импорт в Excel, MySQL, Access, Кронос и другие Приложения.

Для установки и запуска программы:

• Скачайте файл , скопируйте из него папку FileForFiles на свой жесткий диск, например, на D:\ ;


• Демонстрационный вариант программы проинсталлируется и откроется.

Программа будет работать на любом компьютере, на котором установлен Windows любой версии.

Алексей Кутовенко

Профессиональный поиск в Интернете

Введение

Интернет-поиск – важный элемент работы в Сети. Точное количество веб-ресурсов современного интернета вряд ли кому-либо точно известно. В любом случае, счет идет на миллиарды. Для того чтобы можно было использовать информацию, необходимую в данный конкретный момент, не важно, в рабочих или развлекательных целях, сначала нужно ее найти в этом постоянно пополняемом океане ресурсов. Это совсем не простая задача, поскольку информация в современной Сети не структурирована, что создает проблемы ее нахождения. Не случайно своеобразными «окнами» в это информационное пространство стали именно интернет-поисковики.

Вряд ли среди интернет-пользователей найдутся люди, никогда не использовавшие крупные универсальные поисковые машины. Названия Google, Яндекс и пары-тройки других больших машин на слуху у всех. Они замечательно справляются с повседневными задачами интернет-поиска, и зачастую пользователи даже не пытаются искать им замену. В то же время количество поисковых интернет-машин в наше время исчисляется тысячами. Причины такого разнообразия альтернативных машин имеют различные корни. Одни проекты пытаются напрямую конкурировать с лидерами глобального рынка за счет тщательной работы с национальными интернет-ресурсами. Другие предлагают возможности составления запроса, отсутствующие у известных поисковиков. Значительное количество альтернативных машин специализируются на поиске по определенной тематической области или определенному типу контента, достигая в решении этих задач впечатляющих результатов. Как бы то ни было, включение таких поисковиков в собственный пользовательский арсенал средств интернет-поиска может заметно повысить его качество. Здесь, правда, существует один нюанс: надо знать о таких машинах и уметь пользоваться их возможностями.

Предполагаем, что читатели данной книги уже достаточно хорошо знакомы с техникой поиска с помощью универсальных поисковиков. Хорошо настолько, что почувствовали ограничения, связанные с их применением. Скорее всего, такие люди уже пробовали искать и применять те или иные дополнительные инструменты. Печатное слово не обходит стороной тему интернет-поиска: и статьи периодически появляются, и книги выходят. Вот только герои у них, как правило, одни и те же – несколько ведущих универсальных поисковиков. Наша книга отличается тем, что в ней делается попытка охватить весь спектр современных поисковых решений. Здесь вы найдете описания и рекомендации по использованию лучших современных сервисов, ориентированных на решение наиболее распространенных поисковых задач. Эта книга для людей, много работающих в интернете и использующих Сеть для поиска нужной информации – будь то бизнес, учеба или хобби.

Для того чтобы интернет-поиск был успешным, должны быть выполнены два условия: запросы должны быть хорошо сформулированы и задавать их нужно в подходящих местах. Другими словами, от пользователя требуется, с одной стороны, умение переводить свои поисковые интересы на язык поискового запроса, а с другой – хорошее знание поисковых систем, доступных инструментов поиска, их достоинств и недостатков, что позволит выбирать в каждом конкретном случае наиболее подходящие средства поиска.

В настоящее время не существует какого-либо одного ресурса, удовлетворяющего всем требованиям к интернет-поиску. Поэтому при серьезном подходе к поиску неизбежно приходится задействовать разные инструменты, используя каждый в наиболее подходящем случае.

Доступных средств поиска немало. Их можно объединить в несколько групп, каждая из которых обладает определенными достоинствами и недостатками. Главы нашей книги посвящены основным группам современных поисковых интернет-систем.

Глава 1, «Универсальные интернет-поисковики», посвящена крупным универсальным системам поиска информации в Сети. Основной акцент делается на их наиболее современных инструментах, которые обычно выпадают из поля зрения широкой публики. Обзор возможностей известных машин дает нам своеобразную точку отсчета и позволяет четко представить сферу применения альтернативных поисковых решений.

Глава 2, «Вертикальный поиск», рассказывает о системах, специализирующихся на определенных тематических областях или же определенных видах контента.

В главе 3, «Метапоиск», рассмотрены метапоисковые системы, способные отправить запрос одновременно на несколько интернет-поисковиков, а затем собрать и обработать полученные результаты в едином интерфейсе.

Глава 4, «Семантические и визуальные интернет-поисковики», представляет собой обзор экспериментальных систем, предлагающих оригинальные пользовательские интерфейсы, а также интересные подходы к обработке запросов.

В главе 5, «Рекомендательные машины», рассказывается о недавно появившихся поисковых сервисах, по-английски метко названных «Discovery Engines», то есть «машины открытий». С их помощью можно обрабатывать ряд запросов, которые «не по зубам» другим видам интернет-поисковиков.

Если вам не подходит ни один готовый продукт, вы можете создать собственный интернет-поисковик. Созданию таких персональных машин посвящена глава 6, «Персональные поисковики».

Несколько глав нашей книги посвящены поиску различных видов сетевого контента. В главе 7, «Поиск изображений», рассказывается о современных тенденциях интернет-поиска изображений, а также о возможностях соответствующих экспериментальных систем. Глава 8, «Поиск видео», предлагает обзор средств видеопоиска ведущих универсальных интернет-поисковиков, а также лучших специализированных систем этого направления.

Глава 9, «Поиск «скрытого» контента», является обзором систем, позволяющих вести поиск контента, который «не видят» универсальные поисковики. К такому «скрытому» контенту относятся, например, торренты или файлы, размещенные на FTP-серверах и файловых хостингах.

Глава 10, «Поиск для Web 3.0», рассказывает о средствах интернет-поиска данных в форматах «семантического веба».

Поиск не заканчивается простым получением результатов с того или иного поисковика. Инструментам обработки и сохранения результатов посвящена последняя глава нашей книги – глава 11, «Программы-помощники».

Прежде чем начинать рассказ о конкретных продуктах, имеет смысл разобраться с классификацией современных средств интернет-поиска, а также определиться с терминами, которые постоянно встречаются на страницах нашей книги.

Основные средства интернет-поиска можно разделить на следующие основные группы:

Поисковые машины;

Веб-каталоги;

Справочные ресурсы;

Локальные программы для поиска в интернете.

Наиболее популярным средством поиска являются поисковые машины – так называемые интернет-поисковики (Search Engines). Тройка лидеров в общемировом масштабе достаточно стабильна – это Google, Yahoo! и Bing. Во многих странах к этому перечню добавляются собственные локальные поисковики, оптимизированные для работы с местным контентом. С их помощью теоретически можно найти любое конкретное слово на страницах многих миллионов сайтов.

Несмотря на многие различия, все интернет-поисковики работают по схожим принципам и с технической точки зрения состоят из похожих подсистем.

Первая структурная часть поисковика – специальные программы, применяемые для автоматического поиска и последующего индексирования веб-страниц. Такие программы обычно называют пауками, или ботами. Они просматривают код веб-страниц, находят расположенные на них ссылки и тем самым обнаруживают новые веб-страницы. Есть и альтернативный способ включения сайта в индекс. Многие поисковики предлагают владельцам ресурсов возможность самостоятельно добавить сайт в свою базу. Как бы то ни было, затем веб-страницы скачиваются, анализируются и индексируются. В них выделяются структурные элементы, находятся ключевые слова, определяются их связи с остальными сайтами и веб-страницами. Производятся и другие операции, результатом выполнения которых становится формирование индексной базы поисковика. Эта база – второй главный элемент любого поисковика. Сейчас не существует какой-либо одной абсолютно полной индексной базы, которая содержала бы сведения обо всем контенте интернета. Поскольку разные поисковики используют разные программы поиска веб-страниц и строят свой индекс с помощью разных алгоритмов, индексные базы поисковиков могут существенно различаться. Некоторые сайты оказываются проиндексированными несколькими поисковиками, однако всегда остается определенный процент ресурсов, включенных в базу только какого-либо одного поисковика. Наличие у каждого поисковика такой оригинальной и непересекающейся части индекса позволяет сделать важное практическое заключение: если вы пользуетесь только одним поисковиком, пусть даже самым крупным, вы обязательно потеряете некоторый процент полезных ссылок.

Н айти нужную и актуальную информацию в Интернете порой очень непросто. Количество информационного мусора в Сети растет как снежный ком, и добраться до данных, которые вам действительно необходимы, используя традиционные Яндекс и Google, иногда просто невозможно. Книга, которую вы держите в руках, позволит увеличить эффективность вашего поиска информации в Интернете во много раз. Здесь описаны приемы, поисковые сайты и программы для специализированного поиска информации. Рассмотрены современные разновидности интернет-поиска: универсальный поиск, вертикальный поиск, метапоисковые системы, построение персональных поисковиков, поиск аудиовизуального контента, поиск по скрытому Интернету. Для всех рассмотренных систем приведены их характеристика и советы по максимально эффективному использованию.

Введение

Интернет-поиск – важный элемент работы в Сети. Точное количество веб-ресурсов современного интернета вряд ли кому-либо точно известно. В любом случае, счет идет на миллиарды. Для того чтобы можно было использовать информацию, необходимую в данный конкретный момент, не важно, в рабочих или развлекательных целях, сначала нужно ее найти в этом постоянно пополняемом океане ресурсов. Это совсем не простая задача, поскольку информация в современной Сети не структурирована, что создает проблемы ее нахождения. Не случайно своеобразными «окнами» в это информационное пространство стали именно интернет-поисковики.

Вряд ли среди интернет-пользователей найдутся люди, никогда не использовавшие крупные универсальные поисковые машины. Названия Google, Яндекс и пары-тройки других больших машин на слуху у всех. Они замечательно справляются с повседневными задачами интернет-поиска, и зачастую пользователи даже не пытаются искать им замену. В то же время количество поисковых интернет-машин в наше время исчисляется тысячами. Причины такого разнообразия альтернативных машин имеют различные корни. Одни проекты пытаются напрямую конкурировать с лидерами глобального рынка за счет тщательной работы с национальными интернет-ресурсами. Другие предлагают возможности составления запроса, отсутствующие у известных поисковиков. Значительное количество альтернативных машин специализируются на поиске по определенной тематической области или определенному типу контента, достигая в решении этих задач впечатляющих результатов. Как бы то ни было, включение таких поисковиков в собственный пользовательский арсенал средств интернет-поиска может заметно повысить его качество. Здесь, правда, существует один нюанс: надо знать о таких машинах и уметь пользоваться их возможностями.

Предполагаем, что читатели данной книги уже достаточно хорошо знакомы с техникой поиска с помощью универсальных поисковиков. Хорошо настолько, что почувствовали ограничения, связанные с их применением. Скорее всего, такие люди уже пробовали искать и применять те или иные дополнительные инструменты. Печатное слово не обходит стороной тему интернет-поиска: и статьи периодически появляются, и книги выходят. Вот только герои у них, как правило, одни и те же – несколько ведущих универсальных поисковиков. Наша книга отличается тем, что в ней делается попытка охватить весь спектр современных поисковых решений. Здесь вы найдете описания и рекомендации по использованию лучших современных сервисов, ориентированных на решение наиболее распространенных поисковых задач. Эта книга для людей, много работающих в интернете и использующих Сеть для поиска нужной информации – будь то бизнес, учеба или хобби.

Для того чтобы интернет-поиск был успешным, должны быть выполнены два условия: запросы должны быть хорошо сформулированы и задавать их нужно в подходящих местах. Другими словами, от пользователя требуется, с одной стороны, умение переводить свои поисковые интересы на язык поискового запроса, а с другой – хорошее знание поисковых систем, доступных инструментов поиска, их достоинств и недостатков, что позволит выбирать в каждом конкретном случае наиболее подходящие средства поиска.

В настоящее время не существует какого-либо одного ресурса, удовлетворяющего всем требованиям к интернет-поиску. Поэтому при серьезном подходе к поиску неизбежно приходится задействовать разные инструменты, используя каждый в наиболее подходящем случае.

Глава 1

Универсальные интернет-поисковики

Универсальные интернет-поисковики – это основное и наиболее известное средство интернет-поиска. Такие поисковики обеспечивают максимальный охват различных ресурсов. Именно к универсальному типу относятся крупнейшие и наиболее популярные поисковые машины. Это действительно мощные решения с большим количеством возможностей и инструментов, о которых зачастую не знают многие пользователи. Понимание особенностей и возможностей универсального поиска позволяет узнать сильные и слабые стороны таких систем и осознанно выбирать максимально эффективные инструменты поиска.

Рынок универсальных поисковиков достаточно велик. В этой главе мы рассмотрим только наиболее мощные машины, способные достойно работать с запросами на русском языке. Открывают главу рассказы о лидерах русского поиска – системах Google.ru и Яндекс. О каждом из этих поисковиков написаны книги и масса статей. Мы сосредоточимся на основных характеристиках, имеющих значение для конечного пользователя, а также попытаемся определить их сильные стороны.

Компанию им составляет новая поисковая разработка корпорации Microsoft – система Bing, которая пока заметно обделена вниманием, а также полезный и достаточно мощный поисковик Exalead, преимуществом которого является хорошая поддержка поиска в европейских интернет-ресурсах. Данная система – пока редкий гость в поисковом арсенале наших пользователей, поэтому она рассматривается подробнее остальных.

В этой главе при обзоре систем Google и Яндекс мы сосредоточимся только на возможностях веб-поиска, а поиск в специализированных базах этих проектов рассматривается в следующих главах, посвященных поиску изображений и видео. Для других универсальных поисковиков сведения о мультимедиа-поиске приводятся сразу же при знакомстве с ними.

Поскольку три из четырех героев этой главы имеют зарубежное происхождение, сразу отметим, что мы анализируем возможности только их русских версий. Дело в том, что некоторые функции зарубежных систем, особенно экспериментальные, зачастую доступны только в оригинальных, как правило, англоязычных версиях сервисов.

Google

Поисковик Google заслуженно считается мировым лидером современного интернет-поиска. Основанная в 1998 году компания Google по сей день остается среди ведущих законодателей мод в сфере интернет-поиска и веб-сервисов.

Разработчики Google всегда отличались повышенным вниманием к совершенствованию алгоритмов своего поисковика, а также разумным консерватизмом в области пользовательского интерфейса. Возможности составления запроса на Google можно назвать классическими, да и способы отображения результатов поиска также стали своеобразным стандартом. В последнее время разработчики Google предприняли серьезные изменения в этих областях – слишком уж старомодно стал смотреться крупнейший поисковик на фоне молодых конкурентов.

Google обладает одной из крупнейших в мире индексных баз, что обеспечивает широкий охват источников информации. Индексная информация Google сведена в несколько вертикальных баз. Кроме наиболее известной базы «Веб», это несколько мультимедиа-баз («Картинки», «Видео»), работающих с источниками актуальной информации и сообщениями на RSS-лентах база «Новости», а также индексирующая сетевые дневники база «Блоги». Кроме того, Google предлагает широкий выбор дополнительных ресурсов, среди которых стоит отметить картографический сервис, каталог сайтов, службу вопросов и ответов. Эти ресурсы также можно рассматривать как инструменты поиска.

В базе «Веб» для составления запроса Google предлагает режимы простого и расширенного поиска. В режиме простого поиска из дополнительных инструментов доступна только виртуальная клавиатура. Расширенный поиск предлагает больше возможностей. Поскольку форма расширенного поиска доступна практически во всех поисковых продуктах Google, остановимся на ней подробнее (рис. 1.1).

Яндекс

Официально представленный широкой публике в 1997 году поисковик Яндекс успешно развивался и через десять лет впервые попал в число десяти крупнейших поисковых машин мира. В русском сегменте интернета он добился лидирующих позиций, которые пока не собирается уступать, несмотря на возрастающую конкуренцию. Отличительными чертами Яндекса с начала его существования стали собственные оригинальные алгоритмы определения релевантности результатов поиска, гибкие инструменты работы с текстом запросов и учет особенностей морфологии русского языка при их обработке.

Яндекс опирается на собственные индексные базы. Кроме поиска по веб-документам система предлагает неплохой выбор специализированных ресурсов и дополнительных сервисов. Яндекс в настоящее время работает с изображениями, видео, новостями, блогами и словарями. Мощные поисковые возможности заложены также в собственном картографическом сервисе и в системе поиска товаров. Кроме того, Яндекс ведет собственный каталог веб-сайтов. Сильной стороной Яндекса является развитая программа локального поиска, что особенно актуально для наших пользователей. Яндекс предоставляет возможность доступа к своим базам сторонним разработчикам. Как следствие, немало русских проектов альтернативного интернет-поиска так или иначе используют ресурсы Яндекса. Кроме обычной системы поиска предлагается и сокращенный вариант Яндекса, доступный по адресу ya.ru. Интерфейс этой версии состоит только из поля ввода запроса и кнопки начала поиска.

Поиск в веб-документах предлагает режимы простого и расширенного поиска. Простой поиск не предоставляет каких-либо фильтров, что компенсируется возможностью автоматического разбора запросов на естественном языке, уверенной обработкой относительно длинных запросов, а также системой автоматического дополнения запроса. Максимальная длина запроса – сорок слов.

Форма расширенного поиска для составления запроса предлагает только одно поле. Логические операторы, связывающие слова запроса, предлагается вводить вручную, благо. Яндекс располагает достаточно подробным языком запросов. Остальные инструменты формы расширенного поиска – это различные фильтры (1.4).

Bing

Историю интернет-поиска от Microsoft простой не назовешь. На последовательно предлагаемых публике сервисах неоднократно менялись алгоритмы, используемые базы данных и, конечно же, названия. До начала 2000-х поисковик не располагал собственными базами и работал с внешними индексами от AltaVista, Inktomi и Looksmart. Первоначальное имя MSN Search использовалось до 2006 года, а затем на несколько лет изменение названий поисковика стало для Microsoft традицией.

Вместе с окончательным переходом на поиск в собственных индексныхMSN Search была переименована сначала в Windows LiveLive Search. Наконец, в начале лета 2009 на смену Live Search пришел новый поисковый проект Bing.

«Bing позволит иначе взглянуть на поиск информации в интернете и поможет пользователям в принятии важных решений», – именно таким заявлением начинался пресс-релиз Microsoft, посвященный запуску Bing. Стремления разработчиков были понятны: поисковики от Microsoft, несмотря на все старания, на Западе стабильно уступали по популярности лидерам – Google и Yahoo!. Если же говорить о русскоязычных версиях предыдущих поисковых проектов Microsoft, то по количеству и качеству находимых ссылок они намного уступали крупным российским поисковикам. В попытке догнать конкурентов разработчики Bing сделали ставку на улучшение качества поиска и внедрение новых технологий, многие из которых были приобретены вместе с создавшими их фирмами.

Необходимо заметить, что русскоязычная версия Bing, как и большинство других локализованных версий, лишена ряда дополнительных функций, например поиска по магазинам. Поскольку они, по сути, работают только в Северной. Америке, подробно останавливаться на них смысла нет.

Exalead

Одной из особенностей Европы, в том числе и в сфере интернет-поиска, является большое количество национальных языков. Поисковик, претендующий на место ведущего в Европе, просто обязан хорошо индексировать национальные сегменты интернета и качественно обрабатывать запросы на многочисленных европейских языках – как крупнейших, так и менее распространенных. Именно в данной области европейская разработка может получить серьезное конкурентное преимущество по сравнению с мощными заокеанскими конкурентами. На роль такого европейского поисковика в настоящее время всерьез претендует система Exalead. Данный проект был разработан в рамках исследовательской программы Quaere, финансируемой Евросоюзом.

Exalead располагает собственными индексными базами. Основные поисковые ресурсы системы – это базы веб-документов, изображений, видео и новостей. Стартовая страница Exalead предлагает возможность персональной настройки. На этой странице можно разместить ссылки на свои любимые сайты – они будут отображаться в виде графических миниатюр-скриншотов. Правда, для этого придется бесплатно зарегистрировать аккаунт, а также разрешить браузеру хранить куки-файлы Exalead.

Веб-поиск Exalead предлагает режимы простого и расширенного поиска. Форма расширенного поиска, как и в Bing, открывается прямо на странице выдачи Отметим, что Exalead предлагает не просто привычную форму с набором дополнительных полей, а сложное выпадающее меню, которое играет роль мастера по уточнению запроса (рис. 1.7). При выборе того или иного пункта в меню мастера в строку запроса добавляются новые элементы, а при необходимости операторы и спецсимволы.