Определение релевантности и популярности

Современные коммерческие поисковые механизмы основываются на науке об информационном поиске. Эта наука существует с середины 20 века, когда поисковые системы функционировали в библиотеках, исследовательских учреждениях, правительственных лабораториях. На заре развития поисковых систем ученые осознали важность двух компонентов, которые составляют основу поисковой функциональности:

Релевантность – степень соответствия контента документа в выдаче запросу пользователя. Релевантность документа увеличивается, если соответствующие слова или фраза в запросе несколько раз встречаются в контенте, в названии странички, в важных заголовках и подзаголовках.

Популярность – относительная важность, определяемая цитируемостью (одна работа ссылается на другой источник, что часто имеет место в научных и деловых документах) данного документа, который соответствует запросу пользователя. Популярность данного документа возрастает по мере того, как на него ссылаются другие документы.

Эти два критерия через 40 лет были использованы для вэб-поиска. Они называются формой анализа документа или анализа гиперссылки.

При анализе документа поисковые системы проверяют, не найдены ли слова или фраза запроса в важных областях документа – названии, тэге META, тэгах заголовков и body. Они также пытаются автоматически определить качество документа (посредством сложных систем, которые не являются предметом рассмотрения в данном руководстве).

Для анализассылок поисковики определяют не только то, кто ссылается на сайт или страничку, но и что они говорят о страничке/сайте. Они также имеют информацию о том, кто с кем сотрудничает (из данных об историях гиперссылок, записей о регистрации сайта и других источников, которым можно доверять. Для этой цели больше подходят гиперссылки с доменов .edu. и gov). Поисковики используют контекстуальные данные о сайте, к которому относится та или иная страничка (кто ссылается на страничку, что они говорят о сайте и пр.).

При анализе гиперссылок и документов комбинируются и налагаются друг на друга сотни факторов, которые могут быть определены индивидуально и отфильтрованы с помощью алгоритмов поисковых механизмов (набор инструкций для поискового механизма для определения степени важности каждого фактора). Затем алгоритм определяет рейтинг для документов и в идеальном случае выдает результаты в порядке убывания важности (ранжирование).