Сравнение эффективности двух методик снятия лексической и морфологической неоднозначности для русского языка (скрытая модель Маркова и синтаксический анализатор именных групп)
Электронный научный архив УРФУ
Информация об архиве | Просмотр оригинала| Поле | Значение | |
| Заглавие |
Сравнение эффективности двух методик снятия лексической и морфологической неоднозначности для русского языка (скрытая модель Маркова и синтаксический анализатор именных групп)
Comparing a stochastic tagger based on Hidden Markov Model with a rule-based tagger for Russian |
|
| Автор |
Сокирко, А. В.
Толдова, С. Ю. |
|
| Описание |
В работе описывается серия экспериментов по снятию морфологической и лексической (лемматической) неоднозначности с использованием скрытых моделей Маркова. Для обучения модели используется Национальный корпус русского языка. Проводятся сравнения модели Маркова с программой, построенной на правилах, составленных вручную и с моделями, построенными на других формализмах (вероятностных или гибридных). Авторы приходят к выводу о перспективности использования скрытых моделей Маркова для разрешения морфологической неоднозначности. Вместе с тем точность снятия лексической неоднозначности, с которой работает модель Маркова, ниже, чем у других вероятностных моделей.
A set of experiments to resolve lexical and morphological ambiguity in Russian using Hidden Markov Model(HMM) is described. The HMM-tagger is trained by Russian National Corpus. Three different tag sets are used. The authors compare the HMMtagger with a rule-based shallow syntax program (Synan) and also with some other taggers (stochastic or hybrid). The experiments show that that for the same amount of remaining morphological ambiguity, the error rate of the HMM-tagger is almost the same as of Synan program, but if the output morphological interpretation should be unambiguous, then the HMM-tagger is considerably better. Nevertheless while resolving lexical ambiguity the proposed HMMtagger yields less accurate results, than the programs which are on other stochastic models. |
|
| Дата |
2008-11-20T11:08:02Z
2008-11-20T11:08:02Z 2005 |
|
| Тип |
Article
Journal article (info:eu-repo/semantics/article) Published version (info:eu-repo/semantics/publishedVersion) |
|
| Идентификатор |
Сокирко А. В. Сравнение эффективности двух методик снятия лексической и морфологической неоднозначности для русского языка (скрытая модель Маркова и синтаксический анализатор именных групп) / А. В. Сокирко, С. Ю. Толдова // Интернет-математика 2005. Автоматическая обработка веб-данных. - М., 2005. - С. 80-94.
http://elar.urfu.ru/handle/10995/1391 |
|
| Язык |
ru
|
|
| Связанные ресурсы |
Интернет-математика 2005: автоматическая обработка веб-данных. — М., 2005
|
|
| Формат |
293182 bytes
application/pdf |
|
| Издатель |
б. и.
|
|