Системы анализа тональности презентация

Открытое тестирование систем анализа тональности

РОМИП-2011, 2012
Анализ тональности
Отзывы о фильмах,
книгах,
цифровых камерах
Участие
2011: 12 участников, более 200 прогонов
2012: 17 участников, более 150 прогонов

Задачи
Классификация отзывов на 2 класса
хорошо/плохо
Классификация отзывов на три класса
хорошо/нормально/плохо
Классификация отзывов на 5 классов

Обучающие коллекции
Для каждой области была сформирована обучающая коллекция
15,718 отзывов о фильмах с портала Имхонет
24,159 отзывов о книгах с портала Имхонет
10,370 отзывов о камерах с Яндекс.Маркета (есть мета информация о достоинствах, недостатках и полезности отзыва)
Каждый отзыв с Имхонета имел оценку по 10 балльной шкале, с Яндекс.Маркета по 5 балльной шкале
CMC MSU, Chetviorkin Ilia

Распределение отзывов о фильмах

Коллекция для тестирования
Коллекция сформирована из блогов Livejournal.ru
16,821 текст входит в коллекцию
Для выгрузки использовался Поиск по Блогам Яндекса
61 запрос о книгах
112 запросов о фильмах
922 запроса о цифровых камерах
Впечатления от книга «Виктор Пелевин» -список

Оценка экспертами
Тестовая коллекция содержит много «мусора» для нашей задачи
Как релевантные так и нерелевантные
Может идти описание нескольких сущностей
Может не быть никакой оценки
Необходимо отобрать только
Субъективные тексты
Об одной сущности из выбранных трех областей

Оценка экспертами
Таким образом было отобрано
275 отзывов о книгах
329 отзывов о фильмах
270 отзывов о цифровых камерах
Каждый отзыв был размечен двумя экспертами по трем шкалам:
2 класса, положительный или отрицательный
3 класса, добавили «средне», смесь + и –
5 классов, по аналогии с пятью звездами

Статистика по разметке
Для двух классовой задачи
84% положительных отзывов для камер, 92% для книг и 85% для фильмов
Аналогичная ситуация для 3 и 5 классов
Оценка согласованности экспертов:

Согласованность экспертов

Доля отзывов в схеме AND

Основные метрики
Precision, recall, F1-measure, accuracy and average Euclidian distance
Традиционный вариант по классам и макро усреднение
CMC MSU, Chetviorkin Ilia

Основные метрики

CMC MSU, Chetviorkin Ilia
Классификация на 2 класса OR

Выводы по проведенному тестированию
9 дорожек
Во всех лучшим методом был метод SVM
Многие участники экспериментировали со списками оценочных слова, правилами, другими методами обучения, но…
Анализ выдачи SVM:
Хорошая (отличная) идея (замысел, сценарий) - в плохих отзывах
Имена известных актеров обычно вносят положительный вклад

Классификация новостных цитат: прямой или косвенной речи
Секретарь президиума генсовета «Единой России», зампредседателя Госдумы Сергей Неверов в субботу заявил, что партия не боится раскола в связи с появлением в ней разных идеологических платформ .”
Нужно классифицировать цитаты на 3 класса: позитивный, негативный или нейтральный (нет мнения)
Задание похоже
NTCIR-6 (2007) – извлечение оценочный предложений из новостных статей
Анализ тональности политических цитат (Awadallah et al., 2012)
РОМИП 2012. Задание 2.
Классификация цитат из новостей

Коллекции для классификации цитат
Коллекция для обучения
4260 цитат, размеченных по классам экспертами
Сбалансированная коллекция: 41% of негативные, 32% позитивные, 27% нейтральные
Тестовая коллекция содержит 124, 647 цитат
Случайные доля 5500 цитат для оценки систем

Результаты
Лидеры в этой задаче инженерно-лингвистические подходы (словарь+правила)
Широкая тематика цитат
Отсутствие большой обучающей коллекции

Оценочная лексика vs. Машинное обучение
Машинное обучение требует больших размеченных коллекций, и дает относительно высокие результаты, если такие коллекции имеются
Машинное обучение неустойчиво к переносу на другие предметные области, во времени
Результаты машинного обучения плохо объяснимы

SentiRuEval 2014-2015:
Анализ репутации по твитам
«Репутационный» твит может выражать
положительное или отрицательное отношение к компании
сообщать положительный или отрицательный факт
Обучающая выборка
5000 твитов про банки и 5000 твитов про ТКК
Участники
10 участников
19 прогонов

Пример твита и формат разметки
71
492547326574360000
Сбербанк
России не будет работать в Крыму и Севастополе
0
NULL
NULL
NULL
NULL
NULL
NULL
NULL
Слайд 23
Проблема разметки
Несовпадение в проставленных оценках
я сегодня ходил в сбербанк за картой, там оч
милая девушка работала
Тестовая выборка размечалась голосованием трех разметчиков
Были включены только те твиты, в которых более двух из трех участников разметили твит одинаково
Размеры тестовых выборок
Банки – 4549 твитов
ТКК – 3845 твитов
Слайд 24
Разметка тональности твитов
Слайд 25
Результаты
Ручная разметка участника для ТКК
Macro-F – 0.703
Абсолютный возможный максимум качества для систем
Лучшие
результаты участников далеки от экспертных
Банки – 0.36
ТКК – 0.488
Слайд 26
Наиболее трудные твиты: ошиблись все участники
Проблемы из-за небольшой обучающей выборки
Самый безалаберный банк по
отношению к клиентам - Сбербанк
В столице произошло дерзкое ограбление Сбербанка
Гребаный сбербанк
Действительно сложные твиты: ирония
Сбербанк России – лучший в мире производитель пластиковых карточек для отскабливания льда от автомобиля
Нормально @sberbank зарабатывает - размен 5% от суммы
Твитов первой группы значительно больше
Слайд 27
Новые подходы:
комбинирование методов
Предварительное создание оценочных словарей
Вручную
Автоматически по большим текстовым коллекциям
Признаки для машинного
обучения
Позитивное слово из словаря
Негативное слово из словаря
Общая количество оценок в твите и др.
Максимальный позитивный и негативный вес слова в твите
Средняя сумма весов слов в твите
=> Снижение зависимости от обучающей выборки
Слайд 28
Анализ тональности твитов (SemEval 2013)
Слайд 29
Другой подход к преодолению ограниченности обучающей выборки
Обучение без учителя (unsupervised learning): представление слов
как точек в вещественном пространстве низкой размерности на основе сходства контекстов слов (word embedding)
Используется большой корпус текстов
Слайд 30
Результаты SemEval-2016
New Approaches as winners
SemEval Twitter polarity classification results (Nakov et al., 2016)
– 34 teams
Out of 10 top-ranked systems,
7 teams used word embeddings
5 teams used deep neural networks
Слайд 31
Winning Neural Networks:
very different architectures
Swiss Cheese – the first place – convolutional
NN
SENSEI-LIF – the second place – another convolutional NN
Слайд 32
SentiRuEval: Лучший подход по классификации твитов в 2016 году
Первый подход
Кластеризация слов: нейронные сети
и word2vec по большой текстовой коллекции постов и комментариев в социальной сети
Второй-четвертый подходы
-использование словарей для порождения признаков
Слайд 33
Заключение
Автоматический анализ тональности текстов – активно развивающееся направление
Различные типы задач
Методы для
решения многих задач
Машинное обучение
Работает лучше, когда есть большая обучающая выборка
Проблемы с переносимостью на другую область, ухудшение качества со временем
Лингвистико-инженерный метод
Словари и правила
Комбинированный подход
Машинное обучение, использующее словари
Общей оценочной лексики
Разговорной лексики, извлеченной из социальных сетей
Использование словарей позволяет снизить зависимость от недостаточной обучающей выборки
Слайд 34
Словарь РуСентиЛекс
Слайд 35
РуСентиЛекс: источники-1
Списки оценочных слов из нескольких проектов по анализу тональности в конкретных предметных
областях (инженерный подход)
Автоматическое сопоставление с тезаурусом русского языка РуТез, нахождение соответствующих понятий
Возможность просмотра синонимов,
родовых и видовых понятий
Далее просмотр и внесение в словарь экспертом
Слайд 36
Оценочные выражения в тезаурусе РуТез
Слайд 37
РуСентиЛекс: источники-2
Извлечение слов с негативными и позитивными ассоциациями (из новостей):
безработица, инфляция, и
др.
Применение шаблонов (2 млн. документов)
Позитивные (18 шаблонов)
Защищать вин.
Бороться за вин.
Охранять вин.
Ценить вин.
Негативные (36 шаблонов)
Противостоять вин.
Бороться с творит.
Обвинить в творит.
Не допустить вин.
Слайд 38
Извлеченные слова с коннотациями
Список слов с негативными коннотациями
коррупция 14869
терроризм 6876
преступность 2631
преступление 2618
экстремизм 2483
оборот
2166
распространение 1939
последствие 1930
экономический преступление 1791
…
Добавлены экспертом в словарь
Слайд 39
РуСентиЛекс: источники-3
Извлечение оценочных слов из Твиттера
Модель извлечения оценочных слов,
основана на машинном обучении
несколько
текстовых коллекций
Слова с высоким содержанием оценочной лексики
Низким содержанием оценочной лексики
Новости
Просмотр и добавления в словарь экспертом
Слайд 40
Новые слова с высоким весом, извлеченные из Твиттера (без мата)
Офигенный
Упоротый
Афигенный
Дибильный
Дерьмовый
Стремный
Класный
Халявный
Симпотичный
Бесбашенный
Безбашенный
Дебильный…
Слайд 41
РуСентиЛекс: структура
Текстовый файл
слово или фраза,
часть речи,
слово или фраза, в которой каждое слово стоит
в лемматизированной форме (бросаться деньги)
тональность: позитивная (positive), негативная (negative), нейтральная (neutral) или двойная, positive/negative (верноподанный).
источник тональности (явно выраженная оценка, эмоция, или факт);
Для многозначных слов указание на понятия тезауруса РуТез, если слово в разных значениях имеет разные оценочные характеристике
Слайд 42
Примеры описания в РуСентиЛекс
Пресный
пресный, Adj, пресный, negative, feeling, "НЕВКУСНЫЙ"
пресный, Adj, пресный, negative, opinion,
"НЕИНТЕРЕСНЫЙ"
пресный, Adj, пресный, positive, fact, "ПРЕСНАЯ ВОДА"
Грязный, грязь
грязный, Adj, грязный, negative, opinion
грязь, Noun, грязь, negative, opinion
Слайд 43
Словарь RuSentiFrames
Слайд 44
Оценочные фреймы
Описывают позитивные и негативные отношения между участниками
Позитивные и негативные эффекты на участников
Позитивное/негативное
настроение
Отношение автора к участникам
Слайд 45
Примеры фреймов
Хотеть (want) (X, Y)
Polarity (X, Y,pos, 1)
Добиться (Achieve) (X,Y)
Polarity (A1, A2, pos,
1)
Effect (A2, +, 0.7)
State (A1, pos, 1)
Effect (A1, +, 1)
Polarity (author, A1, pos, 0.7)
Polarity (author, A2, pos, 0.7)
Изоляция (Isolation) (A1, from A2)
Polarity (A1, A2, pos, 0.7)
Effect (A1, -, 1)
State (A1, neg, 1)
Слайд 46
Правила вывода
polarity (X, Y, pos) & effect (Y, Z, +) => polarity (X,
Z, pos)
polarity (X, Y, neg) & effect (Y, Z, +) => polarity (X, Z, neg)
polarity (X, Z, neg) & effect (Y, Z, +) => polarity (X, Y, neg)
polarity (X, Z, neg) &effect (Y, Z, -) => polarity (X, Y, pos)
Слайд 47
Извлечение отношений
Янукович призвал инициировать создание специальной комиссии
Yanukovych called to initiate the creation of
a special commission
Евросоюз хотел добиться изоляции Ирана
The European Union wanted to isolate Iran
Имя файла: Системы-анализа-тональности.pptx
Количество просмотров: 192
Количество скачиваний: 1
Скачать
- Предыдущая
Схемы света для студийной фотосъёмки
Следующая -
Физкультурная минутка
Похожие презентации
Духовно-нравственный аспект звучащей речи
ПРЕЗЕНТАЦИЯ ПО ТЕМЕ: СПИРТЫ ДЛЯ ИСПОЛЬЗОВАНИЯ НА УРОКАХ ОРГАНИЧЕСКОЙ ХИМИИ
Интерактивный кроссворд Вершины мира
Заправочные супы
Культура России первой половины XIX века
Устройство управления вычислительной машины
Углерод
Игра - викторина Вопрос на засыпку
Лепбук Этот загадочный космос
Защита прав потребителя
Понятие телемедицины
Создание радиоуправляемой учебно-тренировочной модели самолета-штурмовика ИЛ-10М
Христианство. Возникновение христианства
И в шутку и в серьёз
Формирование и коррекция мыслительной деятельности на уроках географии
Гипертоническая болезнь. Симптоматические артериальные гипертензии
Сектор организации туризма. Туроператорская и турагентская деятельность
Философия в понимании различных филосоов
Киберспорт в жизни человека. 9 класс
Порядок отражения с 01.01.2021 реквизитов в распоряжениях о переводе денежных средств (лицевые счета с кодом 03, 14, 08)
ГЕОбитва поколений родительское собрание
Сельскохозяйственные машины для прикатывания почвы
Мастер класс Лабораторный практикум по теме: Организация деятельностного подхода в обучении 4 часть
Утопление. Виды утопления
Проблемное обучение на уроках химии
Проект внедрения 1С:Документооборот 8
КТ грудного сегмента. Показания и противопоказания
Строительство нового здания школы № 4 в г. Арамиль
Обратная связь
Email:
Нажмите что бы посмотреть
window.__NUXT__=(function(a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p,q,r,s,t,u,v,w,x,y,z,A,B,C,D,E,F,G,H,I,J,K,L,M,N,O,P,Q){return {data:{meta:{result:{meta:{h1:m,main_text:a,main_title:n,main_description:o,main_keywords:p,main_image:a},app:{logo_image:q,logo_image_width:r,logo_image_height:s,logo_text:a,image_width_full:t,image_width_min:u,recaptcha_key:v,yandex_search:w,ya_context:c,banner_1:a,banner_2:a,banner_3:a,banner_4:a,banner_5:a,banner_6:a,banner_7:a,banner_8:a,banner_9:a,banner_10:a,email:x,footer_before:a,footer:a,dark_theme:c,strategy:{image_alt_words:h,item_slide_header:y,item_images:z,item_images_tag:A,item_words_h3:c,item_words_tag:B,item_words_1:h,routing:C,item_slide_skipping:D,item_download_timeout:E,item_slider_width:F,item_show_pdf:e,item_show_contents:e,item_show_filename:e},colors:{header_text:j,header_bg:i,accent:i}},social:G}},item:{result:{id:67568,name:k,category:H,count:48,jpg:"jpg\u002F67568",hits:192,download:l,h1:"Системы анализа тональности презентация",meta:{h1:k,title:k,description:"Системы анализа тональности презентация на тему, доклад, Без категории",keywords:"Системы анализа тональности, презентация, доклад, проект, скачать, на тему, PowerPoint, урок, класс, школа, Без категории",download_link:a},text:"Вы можете изучить и скачать доклад-презентацию на тему Презентация на тему Системы анализа тональности из раздела Без категории. Презентация на заданную тему содержит 48 слайдов. Для просмотра воспользуйтесь проигрывателем, если материал оказался полезным для Вас - поделитесь им с друзьями с помощью социальных кнопок и добавьте наш сайт презентаций в закладки!",seo_text:"\u003Cp\u003EОткрытое тестирование систем анализа тональности\u003Cbr\u003E\u003Cp\u003E\u003Cbr\u003E \u003Cp\u003EРОМИП-2011, 2012\u003Cbr\u003E\u003Cp\u003EАнализ тональности\u003Cbr\u003EОтзывы о фильмах,\u003Cbr\u003E\u003Cbr\u003E книгах,\u003Cbr\u003E \u003Cbr\u003Eцифровых камерах\u003Cbr\u003E\u003Cbr\u003EУчастие\u003Cbr\u003E2011: 12 участников, более 200 прогонов\u003Cbr\u003E2012: 17 участников, бол",file:"Системы-анализа-тональности.pptx",texts:["\u003Cp\u003EАнализ тональности-2\u003Cbr\u003E","\u003Cp\u003EОткрытое тестирование систем анализа тональности\u003Cbr\u003E","\u003Cp\u003EРОМИП-2011, 2012\u003Cbr\u003E\u003Cp\u003EАнализ тональности\u003Cbr\u003EОтзывы о фильмах,\u003Cbr\u003E книгах,\u003Cbr\u003E \u003Cbr\u003Eцифровых камерах\u003Cbr\u003EУчастие\u003Cbr\u003E2011: 12 участников, более 200 прогонов\u003Cbr\u003E2012: 17 участников, более 150 прогонов\u003Cbr\u003E","\u003Cp\u003EЗадачи\u003Cbr\u003E\u003Cp\u003EКлассификация отзывов на 2 класса\u003Cbr\u003Eхорошо\u002Fплохо\u003Cbr\u003EКлассификация отзывов на три класса\u003Cbr\u003Eхорошо\u002Fнормально\u002Fплохо\u003Cbr\u003EКлассификация отзывов на 5 классов\u003Cbr\u003E","\u003Cp\u003EОбучающие коллекции\u003Cbr\u003E\u003Cp\u003EДля каждой области была сформирована обучающая коллекция\u003Cbr\u003E15,718 отзывов о фильмах с портала Имхонет\u003Cbr\u003E24,159 отзывов о книгах с портала Имхонет\u003Cbr\u003E10,370 отзывов о камерах с Яндекс.Маркета (есть мета информация о достоинствах, недостатках и полезности отзыва)\u003Cbr\u003EКаждый отзыв с Имхонета имел оценку по 10 балльной шкале, с Яндекс.Маркета по 5 балльной шкале\u003Cbr\u003E\u003Cp\u003ECMC MSU, Chetviorkin Ilia\u003Cbr\u003E","\u003Cp\u003EРаспределение отзывов о фильмах\u003Cbr\u003E","\u003Cp\u003EКоллекция для тестирования\u003Cbr\u003E\u003Cp\u003EКоллекция сформирована из блогов Livejournal.ru\u003Cbr\u003E16,821 текст входит в коллекцию\u003Cbr\u003EДля выгрузки использовался Поиск по Блогам Яндекса\u003Cbr\u003E61 запрос о книгах\u003Cbr\u003E112 запросов о фильмах\u003Cbr\u003E922 запроса о цифровых камерах\u003Cbr\u003EВпечатления от книга «Виктор Пелевин» -список\u003Cbr\u003E","\u003Cp\u003EОценка экспертами\u003Cbr\u003E\u003Cp\u003EТестовая коллекция содержит много «мусора» для нашей задачи\u003Cbr\u003EКак релевантные так и нерелевантные\u003Cbr\u003EМожет идти описание нескольких сущностей\u003Cbr\u003EМожет не быть никакой оценки\u003Cbr\u003EНеобходимо отобрать только\u003Cbr\u003EСубъективные тексты\u003Cbr\u003EОб одной сущности из выбранных трех областей\u003Cbr\u003E","\u003Cp\u003EОценка экспертами\u003Cbr\u003E\u003Cp\u003EТаким образом было отобрано\u003Cbr\u003E275 отзывов о книгах\u003Cbr\u003E329 отзывов о фильмах\u003Cbr\u003E270 отзывов о цифровых камерах\u003Cbr\u003EКаждый отзыв был размечен двумя экспертами по трем шкалам:\u003Cbr\u003E2 класса, положительный или отрицательный\u003Cbr\u003E3 класса, добавили «средне», смесь + и –\u003Cbr\u003E5 классов, по аналогии с пятью звездами\u003Cbr\u003E","\u003Cp\u003EСтатистика по разметке\u003Cbr\u003E\u003Cp\u003EДля двух классовой задачи\u003Cbr\u003E84% положительных отзывов для камер, 92% для книг и 85% для фильмов\u003Cbr\u003EАналогичная ситуация для 3 и 5 классов\u003Cbr\u003EОценка согласованности экспертов:\u003Cbr\u003E","\u003Cp\u003EСогласованность экспертов\u003Cbr\u003E","\u003Cp\u003EДоля отзывов в схеме AND\u003Cbr\u003E","\u003Cp\u003EОсновные метрики\u003Cbr\u003E\u003Cp\u003EPrecision, recall, F1-measure, accuracy and average Euclidian distance\u003Cbr\u003EТрадиционный вариант по классам и макро усреднение\u003Cbr\u003E\u003Cp\u003ECMC MSU, Chetviorkin Ilia\u003Cbr\u003E","\u003Cp\u003EОсновные метрики\u003Cbr\u003E","\u003Cp\u003ECMC MSU, Chetviorkin Ilia\u003Cbr\u003E\u003Cp\u003EКлассификация на 2 класса OR\u003Cbr\u003E","\u003Cp\u003EВыводы по проведенному тестированию\u003Cbr\u003E\u003Cp\u003E9 дорожек \u003Cbr\u003EВо всех лучшим методом был метод SVM\u003Cbr\u003EМногие участники экспериментировали со списками оценочных слова, правилами, другими методами обучения, но…\u003Cbr\u003EАнализ выдачи SVM:\u003Cbr\u003EХорошая (отличная) идея (замысел, сценарий) - в плохих отзывах\u003Cbr\u003EИмена известных актеров обычно вносят положительный вклад\u003Cbr\u003E","\u003Cp\u003EКлассификация новостных цитат: прямой или косвенной речи\u003Cbr\u003EСекретарь президиума генсовета «Единой России», зампредседателя Госдумы Сергей Неверов в субботу заявил, что партия не боится раскола в связи с появлением в ней разных идеологических платформ .”\u003Cbr\u003EНужно классифицировать цитаты на 3 класса: позитивный, негативный или нейтральный (нет мнения)\u003Cbr\u003EЗадание похоже\u003Cbr\u003ENTCIR-6 (2007) – извлечение оценочный предложений из новостных статей\u003Cbr\u003EАнализ тональности политических цитат (Awadallah et al., 2012)\u003Cbr\u003E\u003Cp\u003EРОМИП 2012. Задание 2. \r\nКлассификация цитат из новостей\u003Cbr\u003E","\u003Cp\u003EКоллекции для классификации цитат\u003Cbr\u003E\u003Cp\u003EКоллекция для обучения\u003Cbr\u003E4260 цитат, размеченных по классам экспертами\u003Cbr\u003EСбалансированная коллекция: 41% of негативные, 32% позитивные, 27% нейтральные\u003Cbr\u003EТестовая коллекция содержит 124, 647 цитат\u003Cbr\u003EСлучайные доля 5500 цитат для оценки систем\u003Cbr\u003E","\u003Cp\u003EРезультаты\u003Cbr\u003EЛидеры в этой задаче инженерно-лингвистические подходы (словарь+правила) \u003Cbr\u003EШирокая тематика цитат\u003Cbr\u003EОтсутствие большой обучающей коллекции\u003Cbr\u003E","\u003Cp\u003EОценочная лексика vs. Машинное обучение\u003Cbr\u003E\u003Cp\u003EМашинное обучение требует больших размеченных коллекций, и дает относительно высокие результаты, если такие коллекции имеются\u003Cbr\u003EМашинное обучение неустойчиво к переносу на другие предметные области, во времени\u003Cbr\u003EРезультаты машинного обучения плохо объяснимы\u003Cbr\u003E","\u003Cp\u003ESentiRuEval 2014-2015: \r\nАнализ репутации по твитам\u003Cbr\u003E\u003Cp\u003E«Репутационный» твит может выражать\u003Cbr\u003E положительное или отрицательное отношение к компании\u003Cbr\u003Eсообщать положительный или отрицательный факт\u003Cbr\u003EОбучающая выборка\u003Cbr\u003E5000 твитов про банки и 5000 твитов про ТКК\u003Cbr\u003EУчастники\u003Cbr\u003E10 участников\u003Cbr\u003E19 прогонов\u003Cbr\u003E","\u003Cp\u003EПример твита и формат разметки\u003Cbr\u003E\u003Cp\u003E \u003Ctable name=\"bank\"\u003E\u003Cbr\u003E \u003Ccolumn name=\"id\"\u003E71\u003C\u002Fcolumn\u003E\u003Cbr\u003E \u003Ccolumn name=\"twitid\"\u003E492547326574360000\u003C\u002Fcolumn\u003E\u003Cbr\u003E \u003Ccolumn name=\"text\"\u003EСбербанк России не будет работать в Крыму и Севастополе \u003C\u002Fcolumn\u003E\u003Cbr\u003E \u003Ccolumn name=\"sberbank\"\u003E0\u003C\u002Fcolumn\u003E\u003Cbr\u003E \u003Ccolumn name=\"vtb\"\u003ENULL\u003C\u002Fcolumn\u003E\u003Cbr\u003E \u003Ccolumn name=\"gazprom\"\u003ENULL\u003C\u002Fcolumn\u003E\u003Cbr\u003E \u003Ccolumn name=\"alfabank\"\u003ENULL\u003C\u002Fcolumn\u003E\u003Cbr\u003E \u003Ccolumn name=\"bankmoskvy\"\u003ENULL\u003C\u002Fcolumn\u003E\u003Cbr\u003E \u003Ccolumn name=\"raiffeisen\"\u003ENULL\u003C\u002Fcolumn\u003E\u003Cbr\u003E \u003Ccolumn name=\"uralsib\"\u003ENULL\u003C\u002Fcolumn\u003E\u003Cbr\u003E \u003Ccolumn name=\"rshb\"\u003ENULL\u003C\u002Fcolumn\u003E\u003Cbr\u003E","\u003Cp\u003EПроблема разметки\u003Cbr\u003E\u003Cp\u003EНесовпадение в проставленных оценках\u003Cbr\u003Eя сегодня ходил в сбербанк за картой, там оч милая девушка работала \u003Cbr\u003EТестовая выборка размечалась голосованием трех разметчиков\u003Cbr\u003EБыли включены только те твиты, в которых более двух из трех участников разметили твит одинаково\u003Cbr\u003EРазмеры тестовых выборок\u003Cbr\u003EБанки – 4549 твитов\u003Cbr\u003EТКК – 3845 твитов\u003Cbr\u003E","\u003Cp\u003EРазметка тональности твитов\u003Cbr\u003E","\u003Cp\u003EРезультаты\u003Cbr\u003E\u003Cp\u003EРучная разметка участника для ТКК\u003Cbr\u003EMacro-F – 0.703 \u003Cbr\u003EАбсолютный возможный максимум качества для систем\u003Cbr\u003EЛучшие результаты участников далеки от экспертных\u003Cbr\u003EБанки – 0.36\u003Cbr\u003EТКК – 0.488\u003Cbr\u003E","\u003Cp\u003EНаиболее трудные твиты: ошиблись все участники\u003Cbr\u003E\u003Cp\u003EПроблемы из-за небольшой обучающей выборки\u003Cbr\u003EСамый безалаберный банк по отношению к клиентам - Сбербанк \u003Cbr\u003EВ столице произошло дерзкое ограбление Сбербанка\u003Cbr\u003EГребаный сбербанк\u003Cbr\u003EДействительно сложные твиты: ирония\u003Cbr\u003EСбербанк России – лучший в мире производитель пластиковых карточек для отскабливания льда от автомобиля\u003Cbr\u003EНормально @sberbank зарабатывает - размен 5% от суммы\u003Cbr\u003EТвитов первой группы значительно больше\u003Cbr\u003E","\u003Cp\u003EНовые подходы: \r\nкомбинирование методов\u003Cbr\u003E\u003Cp\u003EПредварительное создание оценочных словарей\u003Cbr\u003EВручную\u003Cbr\u003EАвтоматически по большим текстовым коллекциям\u003Cbr\u003EПризнаки для машинного обучения\u003Cbr\u003EПозитивное слово из словаря\u003Cbr\u003EНегативное слово из словаря \u003Cbr\u003EОбщая количество оценок в твите и др.\u003Cbr\u003EМаксимальный позитивный и негативный вес слова в твите\u003Cbr\u003EСредняя сумма весов слов в твите\u003Cbr\u003E=\u003E Снижение зависимости от обучающей выборки\u003Cbr\u003E","\u003Cp\u003EАнализ тональности твитов (SemEval 2013)\u003Cbr\u003E","\u003Cp\u003EДругой подход к преодолению ограниченности обучающей выборки\u003Cbr\u003E\u003Cp\u003EОбучение без учителя (unsupervised learning): представление слов как точек в вещественном пространстве низкой размерности на основе сходства контекстов слов (word embedding)\u003Cbr\u003EИспользуется большой корпус текстов\u003Cbr\u003E","\u003Cp\u003EРезультаты SemEval-2016\r\nNew Approaches as winners\u003Cbr\u003E\u003Cp\u003ESemEval Twitter polarity classification results (Nakov et al., 2016) – 34 teams\u003Cbr\u003EOut of 10 top-ranked systems, \u003Cbr\u003E7 teams used word embeddings\u003Cbr\u003E5 teams used deep neural networks\u003Cbr\u003E","\u003Cp\u003EWinning Neural Networks: \r\nvery different architectures\u003Cbr\u003E\u003Cp\u003ESwiss Cheese – the first place – convolutional NN\u003Cbr\u003E\u003Cp\u003ESENSEI-LIF – the second place – another convolutional NN\u003Cbr\u003E","\u003Cp\u003ESentiRuEval: Лучший подход по классификации твитов в 2016 году\u003Cbr\u003E\u003Cp\u003EПервый подход\u003Cbr\u003EКластеризация слов: нейронные сети и word2vec по большой текстовой коллекции постов и комментариев в социальной сети\u003Cbr\u003EВторой-четвертый подходы\u003Cbr\u003E-использование словарей для порождения признаков\u003Cbr\u003E","\u003Cp\u003EЗаключение \u003Cbr\u003E\u003Cp\u003EАвтоматический анализ тональности текстов – активно развивающееся направление \u003Cbr\u003EРазличные типы задач\u003Cbr\u003EМетоды для решения многих задач\u003Cbr\u003EМашинное обучение\u003Cbr\u003EРаботает лучше, когда есть большая обучающая выборка\u003Cbr\u003EПроблемы с переносимостью на другую область, ухудшение качества со временем\u003Cbr\u003EЛингвистико-инженерный метод\u003Cbr\u003EСловари и правила\u003Cbr\u003EКомбинированный подход\u003Cbr\u003EМашинное обучение, использующее словари\u003Cbr\u003EОбщей оценочной лексики\u003Cbr\u003EРазговорной лексики, извлеченной из социальных сетей\u003Cbr\u003EИспользование словарей позволяет снизить зависимость от недостаточной обучающей выборки\u003Cbr\u003E","\u003Cp\u003EСловарь РуСентиЛекс\u003Cbr\u003E","\u003Cp\u003EРуСентиЛекс: источники-1\u003Cbr\u003E\u003Cp\u003EСписки оценочных слов из нескольких проектов по анализу тональности в конкретных предметных областях (инженерный подход)\u003Cbr\u003EАвтоматическое сопоставление с тезаурусом русского языка РуТез, нахождение соответствующих понятий \u003Cbr\u003EВозможность просмотра синонимов,\u003Cbr\u003Eродовых и видовых понятий\u003Cbr\u003EДалее просмотр и внесение в словарь экспертом\u003Cbr\u003E","\u003Cp\u003EОценочные выражения в тезаурусе РуТез\u003Cbr\u003E","\u003Cp\u003EРуСентиЛекс: источники-2\u003Cbr\u003E\u003Cp\u003EИзвлечение слов с негативными и позитивными ассоциациями (из новостей): \u003Cbr\u003Eбезработица, инфляция, и др.\u003Cbr\u003EПрименение шаблонов (2 млн. документов)\u003Cbr\u003EПозитивные (18 шаблонов)\u003Cbr\u003EЗащищать вин.\u003Cbr\u003EБороться за вин.\u003Cbr\u003EОхранять вин.\u003Cbr\u003EЦенить вин.\u003Cbr\u003EНегативные (36 шаблонов)\u003Cbr\u003EПротивостоять вин.\u003Cbr\u003EБороться с творит.\u003Cbr\u003EОбвинить в творит.\u003Cbr\u003EНе допустить вин.\u003Cbr\u003E\u003Cbr\u003E","\u003Cp\u003EИзвлеченные слова с коннотациями\u003Cbr\u003E\u003Cp\u003EСписок слов с негативными коннотациями\u003Cbr\u003Eкоррупция 14869\u003Cbr\u003Eтерроризм 6876\u003Cbr\u003Eпреступность 2631\u003Cbr\u003Eпреступление 2618\u003Cbr\u003Eэкстремизм 2483\u003Cbr\u003Eоборот 2166\u003Cbr\u003Eраспространение 1939\u003Cbr\u003Eпоследствие 1930\u003Cbr\u003Eэкономический преступление 1791\u003Cbr\u003E…\u003Cbr\u003EДобавлены экспертом в словарь\u003Cbr\u003E","\u003Cp\u003EРуСентиЛекс: источники-3\u003Cbr\u003E\u003Cp\u003EИзвлечение оценочных слов из Твиттера\u003Cbr\u003EМодель извлечения оценочных слов, \u003Cbr\u003Eоснована на машинном обучении\u003Cbr\u003Eнесколько текстовых коллекций\u003Cbr\u003EСлова с высоким содержанием оценочной лексики\u003Cbr\u003EНизким содержанием оценочной лексики \u003Cbr\u003EНовости\u003Cbr\u003EПросмотр и добавления в словарь экспертом\u003Cbr\u003E","\u003Cp\u003EНовые слова с высоким весом, извлеченные из Твиттера (без мата)\u003Cbr\u003E\u003Cp\u003EОфигенный\u003Cbr\u003EУпоротый\u003Cbr\u003EАфигенный\u003Cbr\u003EДибильный\u003Cbr\u003EДерьмовый\u003Cbr\u003EСтремный\u003Cbr\u003EКласный\u003Cbr\u003EХалявный\u003Cbr\u003EСимпотичный\u003Cbr\u003EБесбашенный\u003Cbr\u003EБезбашенный\u003Cbr\u003EДебильный…\u003Cbr\u003E","\u003Cp\u003EРуСентиЛекс: структура\u003Cbr\u003E\u003Cp\u003EТекстовый файл\u003Cbr\u003Eслово или фраза,\u003Cbr\u003Eчасть речи,\u003Cbr\u003Eслово или фраза, в которой каждое слово стоит в лемматизированной форме (бросаться деньги)\u003Cbr\u003Eтональность: позитивная (positive), негативная (negative), нейтральная (neutral) или двойная, positive\u002Fnegative (верноподанный). \u003Cbr\u003Eисточник тональности (явно выраженная оценка, эмоция, или факт);\u003Cbr\u003EДля многозначных слов указание на понятия тезауруса РуТез, если слово в разных значениях имеет разные оценочные характеристике\u003Cbr\u003E","\u003Cp\u003EПримеры описания в РуСентиЛекс\u003Cbr\u003E\u003Cp\u003EПресный\u003Cbr\u003Eпресный, Adj, пресный, negative, feeling, \"НЕВКУСНЫЙ\"\u003Cbr\u003Eпресный, Adj, пресный, negative, opinion, \"НЕИНТЕРЕСНЫЙ\"\u003Cbr\u003Eпресный, Adj, пресный, positive, fact, \"ПРЕСНАЯ ВОДА\"\u003Cbr\u003EГрязный, грязь\u003Cbr\u003Eгрязный, Adj, грязный, negative, opinion\u003Cbr\u003Eгрязь, Noun, грязь, negative, opinion\u003Cbr\u003E\u003Cbr\u003E","\u003Cp\u003EСловарь RuSentiFrames\u003Cbr\u003E","\u003Cp\u003EОценочные фреймы\u003Cbr\u003E\u003Cp\u003EОписывают позитивные и негативные отношения между участниками\u003Cbr\u003EПозитивные и негативные эффекты на участников\u003Cbr\u003EПозитивное\u002Fнегативное настроение\u003Cbr\u003EОтношение автора к участникам\u003Cbr\u003E","\u003Cp\u003EПримеры фреймов\u003Cbr\u003E\u003Cp\u003EХотеть (want) (X, Y)\u003Cbr\u003EPolarity (X, Y,pos, 1)\u003Cbr\u003EДобиться (Achieve) (X,Y)\u003Cbr\u003EPolarity (A1, A2, pos, 1)\u003Cbr\u003EEffect (A2, +, 0.7)\u003Cbr\u003EState (A1, pos, 1)\u003Cbr\u003EEffect (A1, +, 1)\u003Cbr\u003EPolarity (author, A1, pos, 0.7)\u003Cbr\u003EPolarity (author, A2, pos, 0.7) \u003Cbr\u003EИзоляция (Isolation) (A1, from A2) \u003Cbr\u003EPolarity (A1, A2, pos, 0.7)\u003Cbr\u003EEffect (A1, -, 1)\u003Cbr\u003EState (A1, neg, 1)\u003Cbr\u003E","\u003Cp\u003EПравила вывода\u003Cbr\u003E\u003Cp\u003Epolarity (X, Y, pos) & effect (Y, Z, +) =\u003E polarity (X, Z, pos) \u003Cbr\u003Epolarity (X, Y, neg) & effect (Y, Z, +) =\u003E polarity (X, Z, neg) \u003Cbr\u003Epolarity (X, Z, neg) & effect (Y, Z, +) =\u003E polarity (X, Y, neg) \u003Cbr\u003Epolarity (X, Z, neg) &effect (Y, Z, -) =\u003E polarity (X, Y, pos)\u003Cbr\u003E","\u003Cp\u003EИзвлечение отношений\u003Cbr\u003E\u003Cp\u003EЯнукович призвал инициировать создание специальной комиссии\u003Cbr\u003EYanukovych called to initiate the creation of a special commission \u003Cbr\u003EЕвросоюз хотел добиться изоляции Ирана\u003Cbr\u003EThe European Union wanted to isolate Iran \u003Cbr\u003E","\u003Cp\u003E\tОтношения Финляндии и Швеции можно считать хорошими. Ведь входили же страны в состав одного королевства до 1809 года. Страны объединяет также и то, что они не входят в НАТО, но являются партнерами альянса. Кроме того, Финляндия и Швеция укрепляют двустороннее сотрудничество в области обороны.\u003Cbr\u003E\tНесмотря на все это, в ходе обсуждений в Култаранте возникли разногласия. Бывший министр обороны Швеции Карин Энстрём возмутилась тем, что президент Финляндии встречается в следующем месяце с президентом России в Хельсинки. По мнению второго шведского участника дискуссий, Владимиру Путину не были бы рады в Швеции.\u003Cbr\u003E"],href:"\u002Funcategorized\u002Fsistemy-analiza-tonalnosti",href_category:"\u002Funcategorized",date:1626972400,related:[{id:74621,name:"Духовно-нравственный аспект звучащей речи",href:"\u002Funcategorized\u002Fduhovno-nravstvennyy-aspekt-zvuchashchey-rechi",jpg:"jpg\u002F74621"},{id:528857,name:"ПРЕЗЕНТАЦИЯ ПО ТЕМЕ: СПИРТЫ ДЛЯ ИСПОЛЬЗОВАНИЯ НА УРОКАХ ОРГАНИЧЕСКОЙ ХИМИИ",href:"\u002Funcategorized\u002Fprezentatsiya-po-teme-spirty-dlya-ispolzovaniya",jpg:"jpg\u002F528857"},{id:570909,name:"Интерактивный кроссворд Вершины мира",href:"\u002Funcategorized\u002Finteraktivnyy-krossvord-vershiny-mira",jpg:"jpg\u002F570909"},{id:32339,name:"Заправочные супы",href:"\u002Funcategorized\u002Fzapravochnye-supy",jpg:"jpg\u002F32339"},{id:80882,name:"Культура России первой половины XIX века",href:"\u002Funcategorized\u002Fkultura-rossii-pervoy-poloviny-xix-veka",jpg:"jpg\u002F80882"},{id:51286,name:"Устройство управления вычислительной машины",href:"\u002Funcategorized\u002Fustroystvo-upravleniya-vychislitelnoy-mashiny",jpg:"jpg\u002F51286"},{id:74966,name:"Углерод",href:"\u002Funcategorized\u002Fuglerod-2",jpg:"jpg\u002F74966"},{id:546561,name:"Игра - викторина Вопрос на засыпку",href:"\u002Funcategorized\u002Figra-viktorina-vopros-na-zasypku",jpg:"jpg\u002F546561"},{id:559488,name:"Лепбук Этот загадочный космос",href:"\u002Funcategorized\u002Flepbuk-etot-zagadochnyy-kosmos",jpg:"jpg\u002F559488"},{id:30685,name:"Защита прав потребителя",href:"\u002Funcategorized\u002Fzashchita-prav-potrebitelya",jpg:"jpg\u002F30685"},{id:39536,name:"Понятие телемедицины",href:"\u002Funcategorized\u002Fponyatie-telemeditsiny",jpg:"jpg\u002F39536"},{id:260252,name:"Создание радиоуправляемой учебно-тренировочной модели самолета-штурмовика ИЛ-10М",href:"\u002Funcategorized\u002Fsozdanie-radioupravlyaemoy-uchebno-trenirovochnoy-modeli-samoleta",jpg:"jpg\u002F260252"},{id:199778,name:"Христианство. Возникновение христианства",href:"\u002Funcategorized\u002Fhristianstvo-vozniknovenie-hristianstva-2",jpg:"jpg\u002F199778"},{id:507234,name:"И в шутку и в серьёз",href:"\u002Funcategorized\u002Fi-v-shutku-i-v-seryoz",jpg:"jpg\u002F507234"},{id:58455,name:"Формирование и коррекция мыслительной деятельности на уроках географии",href:"\u002Funcategorized\u002Fformirovanie-i-korrektsiya-myslitelnoy-deyatelnosti-na",jpg:"jpg\u002F58455"},{id:62981,name:"Гипертоническая болезнь. Симптоматические артериальные гипертензии",href:"\u002Funcategorized\u002Fgipertonicheskaya-bolezn-simptomaticheskie-arterialnye-gipertenzii",jpg:"jpg\u002F62981"},{id:57980,name:"Сектор организации туризма. Туроператорская и турагентская деятельность",href:"\u002Funcategorized\u002Fsektor-organizatsii-turizma-turoperatorskaya-i-turagentskaya",jpg:"jpg\u002F57980"},{id:71035,name:"Философия в понимании различных филосоов",href:"\u002Funcategorized\u002Ffilosofiya-v-ponimanii-razlichnyh-filosoov",jpg:"jpg\u002F71035"},{id:76231,name:"Киберспорт в жизни человека. 9 класс",href:"\u002Funcategorized\u002Fkibersport-v-zhizni-cheloveka-9-klass",jpg:"jpg\u002F76231"},{id:86089,name:"Порядок отражения с 01.01.2021 реквизитов в распоряжениях о переводе денежных средств (лицевые счета с кодом 03, 14, 08)",href:"\u002Funcategorized\u002Fporyadok-otrazheniya-s-01012021-rekvizitov-v",jpg:"jpg\u002F86089"},{id:541404,name:"ГЕОбитва поколений родительское собрание",href:"\u002Funcategorized\u002Fgeobitva-pokoleniy-roditelskoe-sobranie",jpg:"jpg\u002F541404"},{id:183435,name:"Сельскохозяйственные машины для прикатывания почвы",href:"\u002Funcategorized\u002Fselskohozyaystvennye-mashiny-dlya-prikatyvaniya-pochvy",jpg:"jpg\u002F183435"},{id:467330,name:"Мастер класс Лабораторный практикум по теме: Организация деятельностного подхода в обучении 4 часть",href:"\u002Funcategorized\u002Fmaster-klass-laboratornyy-praktikum-po-teme",jpg:"jpg\u002F467330"},{id:56110,name:"Утопление. Виды утопления",href:"\u002Funcategorized\u002Futoplenie-vidy-utopleniya-1",jpg:"jpg\u002F56110"},{id:528234,name:"Проблемное обучение на уроках химии",href:"\u002Funcategorized\u002Fproblemnoe-obuchenie-na-urokah-himii-1",jpg:"jpg\u002F528234"},{id:30883,name:"Проект внедрения 1С:Документооборот 8",href:"\u002Funcategorized\u002Fproekt-vnedreniya-1sdokumentooborot-8",jpg:"jpg\u002F30883"},{id:82087,name:"КТ грудного сегмента. Показания и противопоказания",href:"\u002Funcategorized\u002Fkt-grudnogo-segmenta-pokazaniya-i-protivopokazaniya",jpg:"jpg\u002F82087"},{id:86322,name:"Строительство нового здания школы № 4 в г. Арамиль",href:"\u002Funcategorized\u002Fstroitelstvo-novogo-zdaniya-shkoly-n-4",jpg:"jpg\u002F86322"}],navigation:{next:"\u002Funcategorized\u002Ffizkulturnaya-minutka",next_name:"Физкультурная минутка",prev:"\u002Funcategorized\u002Fshemy-sveta-dlya-studiynoy-fotosyomki",prev_name:"Схемы света для студийной фотосъёмки"}}},categories:{result:[{id:l,ordering:b,name:H,pseudoname:"uncategorized"},{id:144,ordering:b,name:"Бизнес",pseudoname:"biznes"},{id:146,ordering:b,name:"Образование",pseudoname:"obrazovanie"},{id:149,ordering:b,name:"Финансы",pseudoname:"finansy"},{id:150,ordering:b,name:"Государство",pseudoname:"gosudarstvo"},{id:152,ordering:b,name:"Спорт",pseudoname:"sport"},{id:154,ordering:b,name:"Армия",pseudoname:"armiya"},{id:156,ordering:b,name:"Культурология",pseudoname:"kulturologiya"},{id:157,ordering:b,name:"Еда и кулинария",pseudoname:"eda-i-kulinariya"},{id:158,ordering:b,name:"Лингвистика",pseudoname:"lingvistika"},{id:163,ordering:b,name:"Черчение",pseudoname:"cherchenie"},{id:164,ordering:b,name:"Физкультура",pseudoname:"fizkultura"},{id:165,ordering:b,name:"ИЗО",pseudoname:"izo"},{id:166,ordering:b,name:"Психология",pseudoname:"psihologiya"},{id:116,ordering:l,name:"Английский язык",pseudoname:"angliyskiy-yazyk"},{id:108,ordering:2,name:"Астрономия",pseudoname:"astronomiya"},{id:104,ordering:3,name:"Алгебра",pseudoname:"algebra"},{id:106,ordering:4,name:"Биология",pseudoname:"biologiya"},{id:142,ordering:5,name:"География",pseudoname:"geografiya"},{id:141,ordering:6,name:"Геометрия",pseudoname:"geometria"},{id:123,ordering:7,name:"Детские презентации",pseudoname:"detskie-prezentatsii"},{id:107,ordering:8,name:"Информатика",pseudoname:"informatika"},{id:109,ordering:9,name:"История",pseudoname:"istoriya"},{id:139,ordering:10,name:"Литература",pseudoname:"literatura"},{id:119,ordering:11,name:"Маркетинг",pseudoname:"marketing"},{id:114,ordering:12,name:"Математика",pseudoname:"matematika"},{id:138,ordering:h,name:"Медицина",pseudoname:"medetsina"},{id:118,ordering:14,name:"Менеджмент",pseudoname:"menedzhment"},{id:137,ordering:15,name:"Музыка",pseudoname:"muzyka"},{id:136,ordering:16,name:"МХК",pseudoname:"mhk"},{id:130,ordering:17,name:"Немецкий язык",pseudoname:"nemetskiy-yazyk"},{id:105,ordering:18,name:"ОБЖ",pseudoname:"obzh"},{id:133,ordering:19,name:"Обществознание ",pseudoname:"obshchestvoznanie"},{id:132,ordering:20,name:"Окружающий мир ",pseudoname:"okruzhayushchiy-mir"},{id:131,ordering:21,name:"Педагогика ",pseudoname:"pedagogika"},{id:129,ordering:22,name:"Русский язык",pseudoname:"russkiy-yazyk"},{id:128,ordering:24,name:"Технология",pseudoname:"tehnologiya"},{id:127,ordering:25,name:"Физика",pseudoname:"fizika"},{id:126,ordering:26,name:"Философия",pseudoname:"filosofiya"},{id:125,ordering:27,name:"Химия",pseudoname:"himiya"},{id:124,ordering:29,name:"Экология",pseudoname:"ekologiya"},{id:121,ordering:30,name:"Экономика",pseudoname:"ekonomika"},{id:120,ordering:31,name:"Юриспруденция",pseudoname:"yurisprudentsiya"}]}},state:{},_errors:{},serverRendered:e,config:{public:{SITE_NAME:I,SITE_HOST:"mypreza.com",SITE_LANG:J,API_BASE_URL:"https:\u002F\u002Fmypreza.com\u002Fapi\u002F",pwaManifest:{name:I,short_name:a,description:a,lang:J,start_url:"\u002F?standalone=true",display:"standalone",background_color:j,theme_color:"#000000",icons:[{src:"\u002F_nuxt\u002Ficons\u002F64x64.f2a6e93d.png",type:d,sizes:K,purpose:f},{src:"\u002F_nuxt\u002Ficons\u002F64x64.maskable.f2a6e93d.png",type:d,sizes:K,purpose:g},{src:"\u002F_nuxt\u002Ficons\u002F120x120.f2a6e93d.png",type:d,sizes:L,purpose:f},{src:"\u002F_nuxt\u002Ficons\u002F120x120.maskable.f2a6e93d.png",type:d,sizes:L,purpose:g},{src:"\u002F_nuxt\u002Ficons\u002F144x144.f2a6e93d.png",type:d,sizes:M,purpose:f},{src:"\u002F_nuxt\u002Ficons\u002F144x144.maskable.f2a6e93d.png",type:d,sizes:M,purpose:g},{src:"\u002F_nuxt\u002Ficons\u002F152x152.f2a6e93d.png",type:d,sizes:N,purpose:f},{src:"\u002F_nuxt\u002Ficons\u002F152x152.maskable.f2a6e93d.png",type:d,sizes:N,purpose:g},{src:"\u002F_nuxt\u002Ficons\u002F192x192.f2a6e93d.png",type:d,sizes:O,purpose:f},{src:"\u002F_nuxt\u002Ficons\u002F192x192.maskable.f2a6e93d.png",type:d,sizes:O,purpose:g},{src:"\u002F_nuxt\u002Ficons\u002F384x384.f2a6e93d.png",type:d,sizes:P,purpose:f},{src:"\u002F_nuxt\u002Ficons\u002F384x384.maskable.f2a6e93d.png",type:d,sizes:P,purpose:g},{src:"\u002F_nuxt\u002Ficons\u002F512x512.f2a6e93d.png",type:d,sizes:Q,purpose:f},{src:"\u002F_nuxt\u002Ficons\u002F512x512.maskable.f2a6e93d.png",type:d,sizes:Q,purpose:g}]},yandexMetrika:{id:"85004146",metrikaUrl:"https:\u002F\u002Fmc.yandex.ru\u002Fmetrika\u002Ftag.js",accurateTrackBounce:e,childIframe:c,clickmap:c,defer:c,useRuntimeConfig:e,trackHash:c,trackLinks:e,type:b,webvisor:c,triggerEvent:c,consoleLog:e,partytown:c,isDev:c}},app:{baseURL:"\u002F",buildAssetsDir:"\u002F_nuxt\u002F",cdnURL:a}},pinia:{app:{meta:{h1:m,main_text:a,main_title:n,main_description:o,main_keywords:p,main_image:a},app:{logo_image:q,logo_image_width:r,logo_image_height:s,logo_text:a,image_width_full:t,image_width_min:u,recaptcha_key:v,yandex_search:w,ya_context:c,banner_1:a,banner_2:a,banner_3:a,banner_4:a,banner_5:a,banner_6:a,banner_7:a,banner_8:a,banner_9:a,banner_10:a,email:x,footer_before:a,footer:a,dark_theme:c,strategy:{image_alt_words:h,item_slide_header:y,item_images:z,item_images_tag:A,item_words_h3:c,item_words_tag:B,item_words_1:h,routing:C,item_slide_skipping:D,item_download_timeout:E,item_slider_width:F,item_show_pdf:e,item_show_contents:e,item_show_filename:e},colors:{header_text:j,header_bg:i,accent:i}},social:G,token:a}}}}("",0,false,"image\u002Fpng",true,"any","maskable",13,"#d53032","#ffffff","Системы анализа тональности",1,"Учебные презентации","Презентации в PowerPoint на разные темы","Презентации, проекты, доклады в PowerPoint на разные темы для учебы","Презентация, на тему, урок, класс, PowerPoint, скачати презентацію, фон, шаблон, доклад, проект.","images\u002Fdata\u002Flogo.png",185,40,720,480,"6LeioWIpAAAAAGqMN4KqMVIkekcMW7fBKHjXCd-a","2503267","[e-mail]","h3a","text","none","h3","category","both",80,800,"\u003Cscript src=\"\u002F\u002Fyastatic.net\u002Fes5-shims\u002F0.0.2\u002Fes5-shims.min.js\"\u003E\u003C\u002Fscript\u003E\r\n\u003Cscript src=\"\u002F\u002Fyastatic.net\u002Fshare2\u002Fshare.js\"\u003E\u003C\u002Fscript\u003E\r\n\u003Cdiv class=\"ya-share2\" data-services=\"collections,gplus,vkontakte,facebook,odnoklassniki,gplus,twitter,moimir\" data-counter=\"\"\u003E\u003C\u002Fdiv\u003E","Без категории","Mypreza","ru","64x64","120x120","144x144","152x152","192x192","384x384","512x512")) России не будет работать в Крыму и Севастополе
0
NULL
NULL
NULL
NULL
NULL
NULL
NULL

Проблема разметки
Несовпадение в проставленных оценках
я сегодня ходил в сбербанк за картой, там оч милая девушка работала
Тестовая выборка размечалась голосованием трех разметчиков
Были включены только те твиты, в которых более двух из трех участников разметили твит одинаково
Размеры тестовых выборок
Банки – 4549 твитов
ТКК – 3845 твитов

Разметка тональности твитов

Результаты
Ручная разметка участника для ТКК
Macro-F – 0.703
Абсолютный возможный максимум качества для систем
Лучшие результаты участников далеки от экспертных
Банки – 0.36
ТКК – 0.488

Наиболее трудные твиты: ошиблись все участники
Проблемы из-за небольшой обучающей выборки
Самый безалаберный банк по отношению к клиентам - Сбербанк
В столице произошло дерзкое ограбление Сбербанка
Гребаный сбербанк
Действительно сложные твиты: ирония
Сбербанк России – лучший в мире производитель пластиковых карточек для отскабливания льда от автомобиля
Нормально @sberbank зарабатывает - размен 5% от суммы
Твитов первой группы значительно больше

Новые подходы:
комбинирование методов
Предварительное создание оценочных словарей
Вручную
Автоматически по большим текстовым коллекциям
Признаки для машинного обучения
Позитивное слово из словаря
Негативное слово из словаря
Общая количество оценок в твите и др.
Максимальный позитивный и негативный вес слова в твите
Средняя сумма весов слов в твите
=> Снижение зависимости от обучающей выборки

Анализ тональности твитов (SemEval 2013)

Другой подход к преодолению ограниченности обучающей выборки
Обучение без учителя (unsupervised learning): представление слов как точек в вещественном пространстве низкой размерности на основе сходства контекстов слов (word embedding)
Используется большой корпус текстов

Результаты SemEval-2016
New Approaches as winners
SemEval Twitter polarity classification results (Nakov et al., 2016) – 34 teams
Out of 10 top-ranked systems,
7 teams used word embeddings
5 teams used deep neural networks

Winning Neural Networks:
very different architectures
Swiss Cheese – the first place – convolutional NN
SENSEI-LIF – the second place – another convolutional NN

SentiRuEval: Лучший подход по классификации твитов в 2016 году
Первый подход
Кластеризация слов: нейронные сети и word2vec по большой текстовой коллекции постов и комментариев в социальной сети
Второй-четвертый подходы
-использование словарей для порождения признаков

Заключение
Автоматический анализ тональности текстов – активно развивающееся направление
Различные типы задач
Методы для решения многих задач
Машинное обучение
Работает лучше, когда есть большая обучающая выборка
Проблемы с переносимостью на другую область, ухудшение качества со временем
Лингвистико-инженерный метод
Словари и правила
Комбинированный подход
Машинное обучение, использующее словари
Общей оценочной лексики
Разговорной лексики, извлеченной из социальных сетей
Использование словарей позволяет снизить зависимость от недостаточной обучающей выборки

Словарь РуСентиЛекс

РуСентиЛекс: источники-1
Списки оценочных слов из нескольких проектов по анализу тональности в конкретных предметных областях (инженерный подход)
Автоматическое сопоставление с тезаурусом русского языка РуТез, нахождение соответствующих понятий
Возможность просмотра синонимов,
родовых и видовых понятий
Далее просмотр и внесение в словарь экспертом

Оценочные выражения в тезаурусе РуТез

РуСентиЛекс: источники-2
Извлечение слов с негативными и позитивными ассоциациями (из новостей):
безработица, инфляция, и др.
Применение шаблонов (2 млн. документов)
Позитивные (18 шаблонов)
Защищать вин.
Бороться за вин.
Охранять вин.
Ценить вин.
Негативные (36 шаблонов)
Противостоять вин.
Бороться с творит.
Обвинить в творит.
Не допустить вин.

Извлеченные слова с коннотациями
Список слов с негативными коннотациями
коррупция 14869
терроризм 6876
преступность 2631
преступление 2618
экстремизм 2483
оборот 2166
распространение 1939
последствие 1930
экономический преступление 1791
…
Добавлены экспертом в словарь

РуСентиЛекс: источники-3
Извлечение оценочных слов из Твиттера
Модель извлечения оценочных слов,
основана на машинном обучении
несколько текстовых коллекций
Слова с высоким содержанием оценочной лексики
Низким содержанием оценочной лексики
Новости
Просмотр и добавления в словарь экспертом

Новые слова с высоким весом, извлеченные из Твиттера (без мата)
Офигенный
Упоротый
Афигенный
Дибильный
Дерьмовый
Стремный
Класный
Халявный
Симпотичный
Бесбашенный
Безбашенный
Дебильный…

РуСентиЛекс: структура
Текстовый файл
слово или фраза,
часть речи,
слово или фраза, в которой каждое слово стоит в лемматизированной форме (бросаться деньги)
тональность: позитивная (positive), негативная (negative), нейтральная (neutral) или двойная, positive/negative (верноподанный).
источник тональности (явно выраженная оценка, эмоция, или факт);
Для многозначных слов указание на понятия тезауруса РуТез, если слово в разных значениях имеет разные оценочные характеристике

Примеры описания в РуСентиЛекс
Пресный
пресный, Adj, пресный, negative, feeling, "НЕВКУСНЫЙ"
пресный, Adj, пресный, negative, opinion, "НЕИНТЕРЕСНЫЙ"
пресный, Adj, пресный, positive, fact, "ПРЕСНАЯ ВОДА"
Грязный, грязь
грязный, Adj, грязный, negative, opinion
грязь, Noun, грязь, negative, opinion

Словарь RuSentiFrames

Оценочные фреймы
Описывают позитивные и негативные отношения между участниками
Позитивные и негативные эффекты на участников
Позитивное/негативное настроение
Отношение автора к участникам

Примеры фреймов
Хотеть (want) (X, Y)
Polarity (X, Y,pos, 1)
Добиться (Achieve) (X,Y)
Polarity (A1, A2, pos, 1)
Effect (A2, +, 0.7)
State (A1, pos, 1)
Effect (A1, +, 1)
Polarity (author, A1, pos, 0.7)
Polarity (author, A2, pos, 0.7)
Изоляция (Isolation) (A1, from A2)
Polarity (A1, A2, pos, 0.7)
Effect (A1, -, 1)
State (A1, neg, 1)

Правила вывода
polarity (X, Y, pos) & effect (Y, Z, +) => polarity (X, Z, pos)
polarity (X, Y, neg) & effect (Y, Z, +) => polarity (X, Z, neg)
polarity (X, Z, neg) & effect (Y, Z, +) => polarity (X, Y, neg)
polarity (X, Z, neg) &effect (Y, Z, -) => polarity (X, Y, pos)

Извлечение отношений
Янукович призвал инициировать создание специальной комиссии
Yanukovych called to initiate the creation of a special commission
Евросоюз хотел добиться изоляции Ирана
The European Union wanted to isolate Iran