Поисковые системы в общем

Краткая история поисковиков

В далекий период развития всемирной сети Интернет, число пользователей было не велико и доступной информации не много. Основными пользователями информационной паутины были военные и ученные. Такое использование интернета напоминало скорее сеть между научными и военными учреждениями, чем хранилище разнообразной информации. Такое развитие событий не требовало создания сложных поисковых машин, которые упростили бы поиск информации.

 

Со временем интернет ставал доступным все более широкому кругу людей и информация в сети пополнялась, что в свою очередь затрудняло ее систематизацию и поиск. Первой попыткой решить данную проблему стало создание каталога сайтов, в котором все ресурсы были размещены по тематике в соответствующих рубриках. Таким сайтом в 1994 году стал Yahoo, который со временем пошел дальше и ввел поиск в свой каталог. Конечно это далеко не поисковая машина в нашем понимании, но на то время данное решение частично решило проблему поиска информации.

По сравнению с теми временами, в настоящем времени каталоги ссылок утратили свою актуальность и используются скорее как один из приёмов продвижения, являясь непригодными для поиска нужной информации. Главная причина этому – малый объём хранящейся информации, а также низкая степень актуальности информации. Данные каталоги не дают возможности проверять указанной в каталоге информации о сайте в ручную, а автоматическая проверка в них не реализована. Также недостатком стало то, что добавление новых сайтов в каталог не осуществляется автоматически.

 

Параллельно с каталогами в 1994 году была разработана полноценная поисковая система WebCrawler.

Используя опыт разработки поисковых машин, в 1995 году была разработана поисковая машина AltaVista, которая долгое время была лидирующей на рынке поиска информации.

Со временем в Стэнфорде в рамках исследовательского проекта разрабатывалась более совершенная поисковая система, работоспособная версия которой увидела свет в 1997 году. На сегодняшний день это самая популярная поисковая система в мире, которая способна удовлетворить современные потребности пользователей интернета.

В том же году на рынок вышла поисковая система Яндекс, которая твердо заняла лидирующее место в русскоязычной части интернета.

В настоящее время в международном интернете можно выделить три основные поисковые базы, это: Google, Yahoo и MSN Search. Остальное множество поисковых систем в той или иной степени используют эти базы для поиска.

 

Как работает поисковая система

И так, рассмотрим анатомию поисковой машины:

 

    Spider (паук) – программный код, который подобно браузеру получает код страниц сайта с сервера и сохраняет в базу данных.

 

    Crawler (краулер, «путешествующий» паук) – программный код, который автоматически находит ссылке на веб-странице и следуя им, находит новые веб-ресурсы.

 

    Indexer (индексатор) – сложный алгоритм, который анализирует информацию на страницах, собранных ранее пауками.

 

    Database (база данных) – место, где хранятся скачанные пауками страницы и уже обработанная и упорядоченная информация.

 

    Search engine results engine (система выдачи результатов) – при необходимости обращается к базе данных и изымает запрашиваемую информацию для выдачи.

 

    Web server (веб-сервер) – собственно и есть сервер, который объединяет . все компоненты поисковой системы и дает возможность осуществлять взаимодействие с сетью и пользователями.

Также возможны тандемы из некоторых выше описанных компонентов, то есть несколько компонентов могут быть объединены в одну программу, которой присущи функции обоих.

Дальше: Текстовая информация