В настоящее время в поисковых системах используется релевантная модель оценки соответствия исследуемого документа поисковому запросу. Данная модель практически не справляется с решением задач распознавания и поиска омонимов (грамматических, и особенно- лексических), синонимов и многозначных слов. Это обусловлено тем, что в основу релевантной модели поиска положен лингвистический подход и ряд оценочных синтетических критериев (таких как положение слов на странице), а перечисленные выше языковые артефакты не могут быть распознаны без понимания смысла поискового запроса.
Данное ограничение релевантной модели уже сейчас существенно снижает эффективность поискового механизма и закрывает возможности для дальнейшего повышения качества поиска. Соответственно, для преодоления этого нужно переходить к прямой оценке смыслового соответствия (пертинентности) поискового запроса и исследуемого документа.
С точки зрения теории семантического пространства (пространства понятий), оценка информационного соответствия между одним документом (поисковым запросом) и другим (исследуемым документом) есть проекция пространства первого на пространство второго. И чем больше эта проекция, тем больше смысл исследуемого документа соответствует смыслу поискового запроса.
Затрагиваемые области: лингвистика, управление знаниями, извлечение знаний
Примем что в данном контексте термин «дескриптор» соответствует термину «понятие». Данное переименование принято из целей соответствия принятой лингвистической терминологии.
В терминологии классификаторов дескриптор – одно или несколько слов данного языка (синонимов), характеризующих данное понятие. Дескрипторный язык предназначен для координатного индексирования документов и информационных запросов посредством дескрипторов и/или ключевых слов.
С точки зрения теории понятий дескриптор (понятие) это область в семантическом пространстве,
d{x1,x2,xi,...xn}, где x1,x2,xi, - средние расстояния (x1=(xmax1+Xmin1)/2)
до соответствующих осей координат пространства понятий, или, другими словами, это веса, притягивающие данный дескриптор к тому или иному разделу каталога тематических областей поиска.
|