Машинная морфология. Автоматический морфологический анализ. Виды автоматического морфологического анализа презентация
Содержание
- 2. Машинная морфология
- 3. Область применения Машинная морфология необходима в прикладных системах, ведущих поиск и анализ информации на естественном языке.
- 4. У каждого слова очень много различных форм, которые называются словоформами. Словоформы по смыслу являются одним и
- 5. Стемминг Естественным решением этой проблемы изменчивости слов является решение хранить только основы слов. Для этого в
- 6. Функции машинной морфологии Нормализация: получение по любой форме слова морфологического индекса, одинакового для всех словоформ слова,
- 7. Анализ: получение по словоформе всех её характеристик (род, число, падеж, время, лицо и пр.) и всех
- 9. Синтез новых слов: определение всех морфологических характеристик для незнакомых слов.
- 10. Автоматический морфологический анализ
- 11. Автоматический морфологический анализ АМА – анализ отдельно взятой словоформы и всех тех сведений, которые из нее
- 12. Общая схема обработки текста
- 13. Анализ отдельных слов Морфологический и морфемный анализы слов Входной параметр: текстовое представление исходного слова Цель и
- 14. Существует три основных подхода к проведению морфологического анализа: 1. «четкая» морфология – для русского языка он
- 15. «четкая» морфология Словарь Зализняка содержит основные словоформы слов русского языка, для каждой из которых указан определенный
- 16. При таком подходе для проведения морфологического анализа заданного слова необходимо просто найти его в словаре, где
- 17. Морфологический анализ на основе словаря Зализняка http://www.aot.ru/docs/rusmorph.html
- 18. К сожалению, этот способ применим не всегда: слова, поступающие на вход, могут не входить в словарь
- 19. Морфемный анализ Цель – разделение слова на приставки, корни, суффиксы и окончания. В словаре морфем русского
- 20. Поэтому на основе словаря морфем русского языка можно построить другой словарь, который будет содержать не только
- 21. Морфемный анализ
- 22. «нечеткая» морфология Наличие тех или иных лексем может определять морфологические характеристики слова: можно построить систему правил,
- 23. Рассмотрим эту задачу формальнее: Известны пары значений, состоящие из морфемного строения слова и его морфологических характеристик.
- 24. Нечеткий морфологический анализ
- 25. Данный подход состоит в: формировании набора правил вручную. Его реализация : написание экспертной системы диагностирующего типа.
- 26. вероятностный подход Одна и та же словоформа может принадлежать сразу к нескольким грамматическим классам. Для каждой
- 27. Замечания: Вероятностный метод применим только для тех языков, у которых четко фиксирован порядок слов в предложении.
- 28. Виды автоматического морфологического анализа
- 29. Важен тип входного словаря Учитывая связь морфологического анализа со словарём можно выделить следующие виды морфологического анализа:
- 30. МА со словарём словоформ: Каждой словоформе приписывается определённая информация. Отыскивается нужное слово, извлекается информация о нем.
- 31. + простота и высокая скорость анализа; универсальность по отношению по 2. отношению ко множеству всех возможным
- 32. - Большие затраты труда на создание и поддержание словаря; Невозможность полного размещения словаря в оперативной памяти
- 33. МА со словарём основ: каждое слово разделяется на основу и аффикс (окончание, суффикс); словарь содержит только
- 34. МА со словарём основ: При разбиении слова на основу и аффикс – основа должна оставаться неизменной
- 35. Иногда используется комбинированный вариант морфологического анализа (используется как словарь словоформ, так и словарь основ): Использование словаря
- 36. + время анализа одного слова может быть выше, но объем словарей позволяет загружать словари целиком; словари
- 37. - отсутствие универсальности, существует большое количество слов, которые нельзя представить в виде суммы неизменной основы и
- 38. МА методом логического умножения (Варга) Каждой морфеме сопоставляется информация, полученная в результате объединения информации о словоформах,
- 39. МА методом логического умножения (Варга) Тем самым функция, определенная на множестве словоформ, заменяется на функцию, определенную
- 40. Независимый МА без словаря словоформ Максимальное использование информации о флексиях во флективных языках. Выделяются грамматические морфемы:
- 41. Независимый МА без словаря словоформ Флексии, входящие в одну морфему, называются алломорфами, т.е. морфемными синонимами. Задача
- 43. Скачать презентацию