Введение в корпусную лингвистику презентация

Лекция 1
Корпусная лингвистика
Понятие корпуса
? Лингвистический, или языковой, корпус текстов – большой, представленный в электронном виде, унифицированный, структурированный, размеченный, филологически компетентный массив языковых данных, предназначенный для решения конкретных лингвистических задач.

Лекция 1
Корпусная лингвистика
Проанализируем
Большой
Электронный
Унифицированный
Структурированный
Размеченный
Филологически компетентный
Массив языковых данных
Предназначенный для …

Лекция 1
Корпусная лингвистика
Словарные картотеки

Лекция 1
Корпусная лингвистика
Электронные библиотеки
и их разнообразие
Корпус латинских текстов “Персей”.
Корпус текстов Ф. М. Достоевского.
Электронная энциклопедия "Брокгауз и Ефрон".
Фундаментальная электронная библиотека.
Российская виртуальная библиотека.
Библиотека М. Мошкова.
Электронная библиотека Химического фак-та МГУ.
……………………………………………………….
и т.д.

Лекция 1
Корпусная лингвистика
Корпус vs. электронная библиотека
Тексты в корпусах рассматриваются прежде всего как образцы текстов.
Тексты в электронных библиотеках, исходя из их назначения, правильнее всего называть произведениями со всеми характерными для них атрибутами.

Лекция 1
Корпусная лингвистика
Лингвистические корпусы
Brown Corpus.
Ланкастерский корпус английского языка (Lancaster-Oslo-Bergen Corpus, LOB).
British National Corpus.
International Corpus of English.
Bank of English.
Cobuild Corpus.
Мангеймский корпус немецкого языка.
Чешский национальный корпус.
Уппсальский корпус русского языка.
Национальный корпус русского языка.
Корпусы китайского, турецкого, эстонского, албанского и многих других языков

Лекция 1
Корпусная лингвистика
Корпусная лингвистика
? Корпусная лингвистика – раздел компьютерной лингвистики, занимающийся разработкой общих принципов построения и использования лингвистических корпусов (корпусов текстов) с использованием компьютерных технологий.

Лекция 1
Корпусная лингвистика
Корпус
Собственно корпус
(массив данных)
+
корпусный менеджер
(специализированная поисковая система)

Лекция 1
Корпусная лингвистика
Конкорданс
? Конкорданс – список всех употреблений данного слова в контексте (возможно, со ссылками на источник).
Чешский национальный корпус: Поиск словоупотреблений слова holubí (голубиный).

Лекция 1
Корпусная лингвистика
Предпосылки создания и использования корпусов
Назначение языкового корпуса – показать функционирование лингвистических единиц в их естественной контекстной среде.
На основе корпуса можно получить данные:
о частоте словоформ, лексем, грамматических категорий,
об изменениях частот
об изменениях контекстов в различные периоды времени
о поведении языковых единиц разных авторов
о совместной встречаемости лексических единиц
об особенностях их сочетаемости, управления
и т.д.

Лекция 1
Корпусная лингвистика
Репрезентативность
? Размеры и процентные соотношения:
Жанры
Стили
Периоды
Авторы
Хронологические границы
……………………….

Лекция 1
Корпусная лингвистика
Разметка
Англ.: tagging, annotation.
? Разметка – приписывание текстам и их компонентам специальных меток.
Виды разметки:
экстралингвистическая (метаразметка)
сведения об авторе и сведения о тексте: автор, название, год и место издания, жанр, тематика;
структурная
(глава, абзац, предложение, словоформа)
собственно лингвистическая

Лекция 1
Корпусная лингвистика
Лингвистическая разметка
морфологическая разметка
part-of-speech tagging (POS-tagging)
синтаксическая разметка
семантическая разметка
анафорическая разметка
просодическая разметка
и т.д.

Лекция 1
Корпусная лингвистика
Типы корпусов
Корпусы, относящиеся ко всему языку;
корпусы, относящиеся к какому-либо подъязыку (жанр, стиль, язык определенной возрастной или социальной группы, язык писателя или ученого и т.п.).
Существует большое число разных других типов корпусов.
Можно выделить различные основания для классификации корпусов.

Лекция 1
Корпусная лингвистика
Классификация корпусов

Лекция 1
Корпусная лингвистика
Классификация корпусов (прод.)

Лекция 1
Корпусная лингвистика
Классификация корпусов (прод.)