Метод вероятностного морфологического анализа для задач полнотекстового индексированного поиска
Электронный научный архив УРФУ
Информация об архиве | Просмотр оригинала| Поле | Значение | |
| Заглавие |
Метод вероятностного морфологического анализа для задач полнотекстового индексированного поиска
Method of propabilistic morphologic analysis for the purpose of full-text index-supported search |
|
| Автор |
Артемьев, К.
|
|
| Описание |
Рассматривается традиционный подход к задаче морфологического анализа слова, указываются его недостатки при применении в системах полнотекстового поиска. Предлагается алгоритм морфологического анализа слов для целей построения обратного индекса в задаче полнотекстового поиска, основанный на вероятностном подходе. Вводится понятие морфологической эквивалентности, рассматривается способ и формула для вычисления морфологической эквивалентности пары слов. Описывается эксперимент, доказывающий работоспособность алгоритма. Особенностями предложенного автором алгоритма являются его высокая скорость и нечувствительность к языковым и тематическим неоднородностям текстов в корпусе. Traditional approach to the task of morphologic analysis is reviewed, its disadvantages in conjunction with full-text search systems are outlined. Algorithm of morphologic analysis for the purpose of building reverse index in the task of the full text search based on probabilistic model is proposed. Concept of morphologic equivalency is introduced, the method and formula for its calculation for the pair of words is considered. Experiment proving workability of the algorithm is described, the method of finding the boundary value of K is outlined. The advantages of proposed algorithm are its speed, reliability and insensibility for language and thematic heterogeneity of the text corpus. |
|
| Дата |
2009-10-08T09:13:14Z
2009-10-08T06:35:53Z 2008 |
|
| Тип |
Conference Paper
Conference object (info:eu-repo/semantics/conferenceObject) Published version (info:eu-repo/semantics/publishedVersion) |
|
| Идентификатор |
Артемьев К. Метод вероятностного морфологического анализа для задач полнотекстового индексированного поиска / К. Артемьев // II Российская летняя школа по информационному поиску RuSSIR’2008, 1 – 5 сентября 2008 г., Труды Второй Российской конференции молодых ученых по информационному поиску / [отв. за вып. А. Н. Каркищенко]. – Таганрог: Изд-во ТТИ ЮФУ, 2008. – C. 6-12.
978-5-8327-0295-7 http://elar.urfu.ru/handle/10995/2059 |
|
| Язык |
ru
|
|
| Связанные ресурсы |
RuSSIR 2008
|
|
| Формат |
137390 bytes
application/pdf |
|
| Издатель |
Изд-во ТТИ ЮФУ
|
|