Pull to refresh

Алгоритм поисковой системы SVLAB Search

Reading time2 min
Views1.8K
Поисковая система SVLAB Search.

image

Новая поисковая система позволяет с помощью плагина для Google Chrome добавить ваши страницы в индексы поисковой системы.

После установки плагина вам будет доступна кнопка «Сохранить страницу». Каждое добавление страницы в поисковую систему ассоциируется с вашим IP. Таким образом осуществлять поиск по вашим страница можно только с вашего IP. Поисковая система доступна по адресам
svlaboratory.org/application/search и svlaboratory.com

Алгоритм, реализация, стек технологий.

Индексы поисковой системы хранятся в базе данных MySQL. В качестве индексов используются текст внутри тегов html страниц полученных после их загрузки и динамического отображения в браузере пользователя. Также используется текст полученный после преобразования слов в базовую форму библиотекой морфологического анализатора Az.js.

По такому же принципу сохраняются индексы ссылок на медиа ресурсы HTML страницы: гиперссылки, изображения, видео.

Все индексы соответствуют отдельным таблицам базы данных MySQL, отдельные строки которых соответствуют описанию индексируемых страниц.

Динамическая загрузка и парсинг страниц осуществляется Google Chrome плагином с помощью библиотеки JQuery.

После того как плагин подключен к браузеру и пользователь на нужной странице нажал кнопку «Сохранить страницу» осуществляется отправка данных парсинга на веб сервер поисковой системы написанной на PHP с использованием каркаса приложения запросов Zend Framework.

Для поиска по вашим страницам ваши данные ассоциируются с вашим IP адресом и поисковый запрос отправляется со страницы web приложения svlaboratory.org/application/search и svlaboratory.com на экшен web сервера Apache с помощью технологии Ajax.

В качестве алгоритма поиска страниц используется поисковые запросы к базе данных MySQL.
Для поиска предложений — предложения разбиваются на слова, слова приводятся в базовую форму морфологическим анализатором. Осуществляются поиски отдельных слов.

На первом месте в результатах поиска выводится та страница, в которой найдено больше всего слов, пар слов, и исходных предложений.

Конкретная реализация поисковой системы в вашем случае будет зависеть только от вашего умения программировать.

Всех приглашаю пользоваться моей поисковой системой.

С наилучшими пожеланиями,
SVLAB
Tags:
Hubs:
Total votes 28: ↑4 and ↓24-20
Comments82

Articles