Интернет как глобальное средство обмена информацией нередко используется для поиска необходимых данных. Способов поиска информации множество (в скобках указаны случаи, когда такой способ поиска наиболее применим): Поиск с помощью поисковых машин

(конкретные вещи) Каталоги и коллекции ссылок (более общие понятия) Рейтинги (самые популярные ресурсы) Конференции, чаты и страницы ссылок на тематических сайтах (редкие, специализированные вещи). Ограниченные временные, физические и финансовые возможности людей вынуждают чаще всего применять для этого специальные каталоги и поисковые машины (поисковики) - своего рода библиотекари, индексирующие доступный им массив информации в Интернет. В данном разделе выделены особенности и рассмотрены общие правила работы наиболее известных каталогов и поисковых систем.

Каталоги представляют собой систематизированные группы адресов, объединенные, как правило, по тематике. К удобству их применения можно отнести то, что, если пользователю известна тема искомого документа, он будет исследовать соответствующую ветвь каталога, не отвлекаясь на посторонние, не относящиеся к делу документы. Однако, объем каталога ограничен физическими возможностями редакторской группы и ее субъективностью в выборе материала. В них отсутствует информация на узкие, специальные темы, да и саму тематику искомого документа не всегда можно сформулировать в пределах классификации каталога. Ниже приведены возможности зарубежных и российских каталогов.

Yahoo! - Самый популярный каталог, содержащий обширную информацию о десятках тысяч Web-узлов. Первый уровень иерархии содержит 14 тематических категорий, которые разветвляются еще на 4 -5 подуровней. Имеет собственную машину поиска, позволяющую: 1) искать по базе Yahoo!, по Usenet или по адресам электронной почты; 2) ограничить поиск материалами, размещенными за последний день, неделю, месяц, год или 3 года; 3) выдать статьи, содержащие хотя бы одно ключевое слово или все ключевые слова; 4) искать по однокоренным словам или только по указанным ключевым; 5) выдать результаты по 10, 25, 50 или 100 на одной странице (подробнее ниже).

Excite Reviews - Содержит обзоры 60 тыс. узлов Интернет (иерархический каталог)

City.Net - сведения о странах и городах.

Galaxy - Иерархический каталог с подробным описанием тематических категорий на первой странице. Осуществляет поиск по категории поиска, по одному или нескольким ключевым словам, краткий и подробный вывод результатов поиска, переход на страницы Gopher и Telnet.

Yellow Pages - Поиск информации о 16 млн. американских компаниях в различных областях деятельности, а также персональные данные и электронные адреса частных лиц.

Russia on the Net - Первый каталог русских ресурсов.

Созвездие Интернет - Охватывает около 400 серверов. Возможность усечения терминов. Содержит названия и краткие характеристики серверов. Привлекательная графика. Небольшая зона поиска, слабая иерархия.

Желтые страницы Интернет - Около 1200 Web-серверов. Большой объем информации, хорошо продуманная структура.

Сокровища Интернет - Каталог Web-ресурсов на сервере Relcom. АУ! - Молодой, быстроразвивающийся каталог.

Поисковых серверов всего известно более 150, различающихся по регионам охвата, принципам проведения поиска (а следовательно, по входному языку и характеру воспринимаемых запросов), объему индексной базы, скорости обновления информации, способности искать "нестандартную" информацию и тому подобное. Основными критериями выбора поисковых серверов являются объем индексной базы сервера и степень развитости самой поисковой машины, то есть уровень сложности воспринимаемых ею запросов. Традиционно поисковые системы имеют три элемента:

1. Робот (кроулер, паук, агент), который перемещается по Сети и собирает информацию; Кроулеры просматривают заголовки и возвращают только первую ссылку.

Пауки - программы, осуществляющие общий поиск информации в Сети и сообщающие о содержании найденного документа, индексируя его и извлекая итоговую информацию.

Агенты - самые "интеллектуальные" из поисковых средств. Они могут делать больше, чем просто искать: они могут выполнять даже транзакции от Вашего имени. Уже сейчас они могут искать сайты специфической тематики и возвращать списки сайтов, отсортированных по их посещаемости. Администраторы поисковых систем могут определить, какие сайты или типы сайтов агенты должны посетить и проиндексировать. Агенты могут обрабатывать содержание документов, находить и индексировать другие виды ресурсов, не только страницы. Некоторые, например, индексируют каждое отдельное слово во встречающемся документе, в то время как другие индексируют только наиболее важных 100 слов в каждом, индексируют размер документа и число слов в нем, название, заголовки и подзаголовки и так далее. Они могут также быть запрограммированы для извлечения информации из уже существующих баз данных.

Роботы реализованы как программная система, которая запрашивает информацию из удаленных участков Интернет, используя стандартные сетевые протоколы. Первый робот был создан для того, чтобы обнаружить и посчитать количество веб-серверов в Сети. Все роботы могут быть запрограммированы так, чтобы переходить по различным ссылкам различной глубины вложенности, выполнять индексацию и даже проверять ссылки в документе. Из-за их природы они могут застревать в циклах (черных дырах). На практике роботы сохраняют почти всю информацию о том, где они побывали. Даже если робот смог определить, должна ли указанная страница быть исключена из его базы данных, он уже понес накладные расходы на запрос самого файла, а робот, который решает игнорировать большой процент документов, очень расточителен. Пытаясь исправить эту ситуацию, Интернет-сообщество приняло "Стандарт исключений для роботов". Этот стандарт описывает использование простого структурированного текстового файла, доступного в известном месте на сервере ("/robots.txt") и используемого для того, чтобы определить, какая из частей ссылок сервера должна игнорироваться роботами. Все "умные" поисковые машины сначала обращаются к этому файлу, который должен присутствовать на каждом сервере. На сегодняшний день этот файл обязательно запрашивается поисковыми роботами только таких систем как Altavista, Excite, Infoseek, Lycos, OpenText и WebCrawler. Это средство может быть также использовано для того, чтобы предупредить роботов о черных дырах. Каждому типу роботов можно передавать определенные команды, если известно, что данный робот специализируется в конкретной области. Этот стандарт является свободным, но его очень просто осуществить и в нем имеется значительное давление на роботов с попыткой их подчинения.

1. База данных, которая содержит всю информацию, собираемую роботами.

Проиндексировать произвольный документ, находящийся в Сети, очень сложно. Первые роботы просто сохраняли название документа и якори (anchor) в самом тексте, но новейшие роботы уже используют более продвинутые механизмы и вообще рассматривают полное содержание документа. Проиндексированная информация отсылается базе данных (БД) поискового механизма. Вид построенного индекса определяет, какой поиск может быть сделан пользователем поискового механизма и как полученная информация будет интерпретирована. Люди могут помещать информацию прямо в индекс, заполняя особую форму для того раздела, в который они хотели бы поместить свою информацию. БД автоматически обновляются за определенный период времени с тем, чтобы мертвые ссылки были обнаружены и удалены.

2. Пользовательский интерфейс для взаимодействия с БД поисковика. Когда пользователь ищет информацию в Интернет, он заполняет поисковую форму на странице поисковика. Здесь могут использоваться ключевые слова, даты и другие критерии. Критерии в поисковой форме должны соответствовать критериям, используемым агентами при индексации ресурсов Сети. Как формат, так и семантика запросов варьируются в зависимости от применяемой поисковой машины и конкретной предметной области. Запросы составляются так, чтобы область поиска была максимально конкретизирована и сужена. Предпочтение отдается использованию нескольких узких запросов по сравнению с одним расширенным. Языки запроса различных машин поиска в основном являются сочетанием следующих функций (Таблица 3)._

Таблица. 3. Языки запроса различных машин поиска На основе введенной пользователем поисковой строки в БД отыскивается предмет запроса и выводится список соответствующих ссылок. Число документов, полученных в результате поиска по запросу, может быть огромно. Однако, благодаря ранжированию документов, применяемому в большинстве поисковых машин, на первых страницах списка практически все документы окажутся релевантными (в идеале). Основные принципы определения релевантности следующие:

1. Количество слов запроса в текстовом содержимом документа (в И1ш1коде).

2. Тэги, в которых эти слова располагаются.

3. Местоположение искомых слов в документе.

4. Удельный вес слов (густота), относительно которых определяется релевантность, в общем количестве слов документа.

Эти принципы применяются всеми поисковыми системами. А представленные ниже используются некоторыми, но достаточно известными (вроде AltaVista, HotBot).

5. Время - как долго страница находится в базе поискового сервера. Множество сайтов живут максимум месяц. Если же сайт существует довольно долго, это означает, что владелец весьма опытен в данной теме.

6. Индекс цитируемости - число ссылок на данную страницу с других страниц, зарегистрированных в БД.

Существуют особенности показа полученного списка - некоторые поисковики показывают только ссылки; другие выводят ссылки с первыми несколькими предложениями, содержащимися в документе или заголовок документа вместе с ссылкой.

Результат запроса (список ссылок) обрабатывается в два этапа. На первом этапе (автоматическая обработка) производится отсечение очевидно нерелевантных источников, попавших в выборку в силу несовершенства поисковой машины или недостаточной "интеллектуальности" запроса. Дальнейшая (ручная) обработка производится пользователем путем последовательного обращения на каждый из найденных ресурсов и анализа находящейся там информации. Когда пользователь щелкает на ссылку из списка, то перед запросом соответствующего документа у того сервера, на котором он находится, поисковики заносят в свою БД отметку о пользовательском предпочтении. Собранная информация о поведении пользователей (формулировки запросов и выбранные из списка ресурсы) успешно используется в рекламных компаниях в Сети.

Ниже сравниваются наиболее известные не-россиские поисковики.

AltaVista. Охватывает более 30 млн. страниц на 225000 серверах, обеспечивает доступ к 3 млн. статей в 14000 телеконференциях Usenet. Имеет два режима: Simple query и Advanced query. В режиме Simple можно вводить шаблоны для поиска не менее чем с тремя указанными символами в начале слова. Если слово содержит хотя бы одну заглавную букву, ведется поиск с учетом регистра. Ниже строки ввода выдаются советы по поиску. В режиме Advanced можно создавать сложные запросы, основанные на логических операторах AND, OR, NOT, NEAR и указывать критерии сортировки полученных результатов. Можно указывать диапазон дат опубликования. Предоставляет возможность поиска изображений. Удобный интерфейс. Высокое быстродействие, многовариантное поисковое предписание, возможность поиска на русском языке с учетом морфологии. Система не упорядочивает результаты поиска, поэтому ее целесообразно применять для специфического или исчерпывающего поиска. Индексирование в этой системе осуществляется при помощи робота. При этом робот имеет следующие приоритеты:

• слова, содержащиеся в теге <title> имеют высший приоритет;

• ключевые фразы в <Meta> тэгах;

• ключевые фразы, находящиеся в начале странички;

• ключевые фразы в ALT - ссылках

• ключевые фразы по количеству вхождений\присутствия слов\фраз; Если тэгов на странице нет, использует первые 30 слов, которые индексирует и показывает вместо описания (tag description)

Наиболее интересная возможность AltaVista - это расширенный поиск. Здесь стоит сразу оговориться, что, в отличие от многих других систем AltaVista поддерживает одноместный оператор NOT. Кроме этого, имеется еще и оператор NEAR, который реализует возможность контекстного поиска, когда термины должны располагаться рядом в тексте документа. AltaVista разрешает поиск по ключевым фразам, при этом она имеет довольно большой фразеологический словарь. Кроме всего прочего, при поиске в AltaVista можно задать имя поля, где должно встретиться слово: гипертекстовая ссылка, applet, название образа, заголовок и ряд других полей. К сожалению, подробно процедура ранжирования в документации по системе не описана, но видно, что ранжирование применяется как при простом поиске, так и при расширенном запросе. Реально эту систему можно отнести к системе с расширенным булевым поиском.

HotBot - Охватывает 54 млн. страниц. Возможен поиск на русском языке. Является популярным поисковым средством благодаря наличию механизмов построения сложных поисковых запросов. В основном, 1-я страница результатов, полученных в ответ на поисковый запрос, приходит из Direct Hit, затем берутся результаты из Inktomi. Список каталогов предоставляется Open Directory. HotBot начал предоставлять свои услуги в мае 1996 года, а в октябре 1998 года он был куплен Lycos.

Infoseek. Охватывает 1,5 млн. страниц. Язык запросов позволяет использовать все возможные варианты логических выражений. Менее полные, чем на других серверах, результаты поиска, неудобный интерфейс. В этой системе индекс создает робот, но он индексирует не весь сайт, а только указанную страницу. При этом робот имеет такие приоритеты:

• слова в заголовке <title> имеют наивысший приоритет;

• слова в теге keywords, description и частота вхождений\повторений в самом тексте;

• при повторении одинаковых слов рядом выбрасывает из индекса

• Допускает до 1024 символов для тега keywords, 200 символов для тэга description;

• Если тэги не использовались, индексирует первые 200 слов на странице и использует как описание; Система Infoseek обладает довольно развитым информационнопоисковым языком, позволяющим не просто указывать, какие термины должны встречаться в документах, но и своеобразно взвешивать их. Достигается это при помощи специальных знаков "+" - термин обязан быть в документе, и "-" - термин должен отсутствовать в документе. Кроме этого, Infoseek позволяет проводить то, что называется контекстным поиском. Это значит, что, используя специальную форму запроса, можно потребовать последовательной совместной встречаемости слов. Также можно указать, что некоторые слова должны совместно встречаться не только в одном документе, а даже в отдельном параграфе или заголовке. Имеется возможность указания ключевых фраз, представляющих собой единое целое, вплоть до порядка слов. Ранжирование при выдаче осуществляется по числу терминов запроса в документе, по числу фраз запроса за вычетом общих слов. Все эти факторы используются как вложенные процедуры. Подводя итоги, можно сказать, что Infoseek относится к традиционным системам с элементом взвешивания терминов при поиске.

Infoseek Ultra - 50 млн. страниц WWW, возможен поиск на русском языке, поиск изображений.

Lycos. Охватывает 68 млн. страниц. Можно выбрать параметры поиска: одно, несколько ключевых слов или фраза; усечение терминов; ограничения на число совпадений; степень соответствия результатов поиска ключевым словам; форму вывода результатов (краткую или подробную); количество найденных терминов на каждой странице. Невысокие быстродействие и оперативность обновления информации. В Lycos используется следующий механизм индексации:

• слова в <title> заголовке имеют высший приоритет;

• слова в начале страницы;

• слова в ссылках;

• если в его базе индекса есть сайты, ссылка с которых указывает на индексируемый документ - релевантность этого документа возрастает.

Как и большинство систем, Lycos дает возможность применять простой запрос и более изощренный метод поиска. В простом запросе в качестве поискового критерия вводится предложение на естественном языке, после чего Lycos производит нормализацию запроса, удаляя из него так называемые stop-слова, и только после этого приступает к его выполнению. Почти сразу выдается информация о количестве документов на каждое слово, а позже и список ссылок на формально релевантные документы. В списке против каждого документа указывается его мера близости запросу, количество слов из запроса, попавших в документ, и оценочная мера близости, которая может быть больше или меньше формально вычисленной. Пока нельзя вводить логические операторы в строке вместе с терминами, но использовать логику через систему меню Lycos позволяет. Такая возможность применяется для построения расширенной формы запроса, предназначенной для искушенных пользователей, уже научившихся работать с этим механизмом. Таким образом, видно, что Lycos относится к системе с языком запросов типа "Like this", но намечается его расширение и на другие способы организации поисковых предписаний. В октябре 1998 Lycos приобрел HotBot, который, в настоящее время, используется как отдельная служба.

WAIS является одной из наиболее изощренных поисковых систем Internet. В ней не реализованы лишь поиск по нечетким множествам и вероятностный поиск. В отличие от многих поисковых машин, система позволяет строить не только вложенные булевые запросы, считать формальную релевантность по различным мерам близости, взвешивать термины запроса и документа, но и осуществлять коррекцию запроса по релевантности. Система также позволяет использовать усечения терминов, разбиение документов на поля и ведение распределенных индексов. Не случайно именно эта система была выбрана в качестве основной поисковой машины для реализации энциклопедии "Британика" на Internet.

Yahoo. Секрет успеха Yahoo заключается в людях. Yahoo имеет около 150 редакторов, для того, чтобы составлять и редактировать содержимое своих каталогов. Yahoo имеет базу данных в более чем 1 млн. проиндексированных сайтов. Также, в случае нехватки своей собственной базы данных, Yahoo использует базу данных Google (до июля 2000 года Yahoo пользовался базой данных Inktomi). Yahoo является старейшей поисковой системой, которая начала предоставлять свои услуги в 1994 году. Язык Yahoo достаточно прост: все слова следует вводить через пробел, они соединяются связкой AND либо OR. При выдаче не указывается степень соответствия документа запросу, а только подчеркиваются слова из запроса, которые встретились в документе. При этом не производится нормализация лексики и не проводится анализ на "общие" слова. Хорошие результаты поиска получаются только тогда, когда пользователь знает, что в базе данных Yahoo информация есть наверняка. Ранжирование производится по числу терминов запроса в документе. Yahoo относится к классу простых традиционных систем с ограниченными возможностями поиска.

Перспективы развития средств поиска в Интернет

Несомненными являются следующие тенденции Интернет:

• рост объема доступной информации и информационных потребностей пользователей

• расширение границ Интернет за счет присоединения новых стран

• усиление коммерциализации сервисов

• увеличение скорости, пропускной способности и числа способов доступа в Сеть

• углубление дифференциации сервисов по целевым аудиториям (кружки по интересам)

• объединение однородных сервисов в единые порталы (места массового обслуживания)

• влияния “дай”-протокола отразиться на развитии средств сбора информации о поведении пользователей в Сети Все это подтолкнет автоматизацию средств поиска и семантической обработки информации таких, как:

• персональные автономные интеллектуальные агенты (типа “Search+”)

• персонализация и интеллектуализация поисковых механизмов на поисковых порталах (настройка способа вывода списка ссылок, использование механизма Cookies, заполнение специальных анкет и “подписка на запрос”, семантическое ранжирование результатов запроса)

⇐Поисковая система yandex. | Интернет-технологий для бизнеса | Средства архивации и восстановления информации.⇒