Волков ЕН для ИТ школы презентация

Цель – повышение доверия клиницистов к системе поддержки принятия решений на основе ИИ за счёт использования методов объяснения результатов работы ML и DL моделей. Применение методов объяснительного ИИ позволяет получить интерпретацию (визуальную, текстовую) для полученной непрозрачной моделью результата.
Интерпретируемость (англ. Interpretability)– пассивная интерпретируемость устройства модели или предсказания на объекте.
Объяснимость (англ. Explainability) – активная генерация выходных объяснений как дополнительных выходных данных для объекта или модели в целом.

Задача 1. Разработка ансамбля моделей глубокого обучения для задач анализа медицинских изображений с применением методов объяснительного ИИ
Основа ансамбля - свёрточные нейросети. Варианты: своя архитектура, своя архитектура + готовые модели (библ. Keras Applications), готовые модели.
В случае использования готовых моделей необходимо использовать трансферное обучение.
Для подачи на сеть необходимо подобрать метод подготовки изображения (для разных видов мед. изображений они разные).
DenseNet для классиф. цифр
Операция свёртки на примере изображения
Архитектура VGG-19

Задача 1. Разработка ансамбля моделей глубокого обучения для задач анализа медицинских изображений с применением методов объяснительного ИИ
Техники ансамблирования моделей
Визуальное объяснение задачи классификации с использ. Grad-CAM

Задача 2. Исследование возможностей моделей визуальных трансформеров в задачах анализа медицинских изображений
Принцип работы визуального трансформера
Архитектура визуального трансформера
Исследовать возможности существующих моделей визуальных трансформеров для задачи классификации или сегментации медицинских изображений, либо попробовать разработать свою архитектуру на основе готовых моделей.

Исследование возможностей моделей глубокого обучения в задаче генерации автоматического описания медицинских изображений
Пример решения
Сравнительное исследование различных типов ИНС для задачи автоматической генерации описания медицинского изображения.
Цель – выявить или создать решение с высокой точностью генерации описания.