Хранилища данных презентация

Технологии бизнес-анализа

Тема 5. Хранилища данных
Системы оперативной обработки информации
OLTP On-Line Transaction Processing
оперативная ( в режиме реального времени) обработка транзакций

Тема 5. Хранилища данных
Система поддержки принятия решений (СППР)

Тема 5. Хранилища данных
Отличия СППР и OLTP-систем

Тема 5. Хранилища данных
Хранилище данных – разновидность систем хранения, ориентированная на поддержку процесса анализа данных, обеспечивающая целостность, непротиворечивость и хронологию данных, а также высокую скорость выполнения
аналитических запросов.
Основные требования к ХД:
высокая скорость получения данных из хранилища;
автоматическая поддержка внутренней непротиворечивости данных;
возможность получения и сравнения срезов данных;
наличие удобных средств для просмотра данных в хранилище;
обеспечение целостности и достоверности хранящихся данных.
Р. Кимбалл - один из авторов концепции

Тема 5. Хранилища данных

Тема 5. Хранилища данных
Концептуальная схема ХД

Тема 5. Хранилища данных

Тема 5. Хранилища данных
Метаданные
- «данные о данных», необходимы для описания значения и свойств информации с целью лучшего ее понимания, использования и управления ею.
Метаданные – высокоуровневые средства отражения информационной модели и описания структуры данных, используемой в ХД. Метаданные должны содержать описание структуры данных хранилища и структуры данных импортируемых источников. Метаданные хранятся отдельно от данных в так называемом репозитарии метаданных.

Тема 5. Хранилища данных
Основные подходы к использованию ХД:
регулярные отчеты – подготовка отчетов стандартных форм, получаемых многократно с определенной периодичностью;
нерегламентированные запросы – возможность получать ответы на нестандартные, сформированные «по требованию» вопросы;
интеллектуальный анализ данных – поддержка процесса интеллектуального анализа больших массивов данных с целью выявления скрытых закономерностей, структур и объектов, построения моделей, прогнозов и т. д.

Тема 5. Хранилища данных

Тема 5. Хранилища данных
Многомерные ХД. Принцип организации многомерного куба

Тема 5. Хранилища данных
Многомерные ХД. Измерения и факты в многомерном кубе

Тема 5. Хранилища данных
В процессе поиска и извлечения из гиперкуба нужной информации над его измерениями производится:
сечение (срез); транспонирование; свертка; детализация.

Тема 5. Хранилища данных
Свертка исходной таблицы по измерению «Товар»

Тема 5. Хранилища данных
Реляционные ХД
Реляционная БД (relational database) – совокупность отношений, содержащих всю информацию, которая должна храниться в базе. Физически это выражается в том, что информация хранится в виде двумерных таблиц, связанных с помощью ключевых полей.

Тема 5. Хранилища данных
Схема построения РХД «Звезда»

Тема 5. Хранилища данных
Реляционные ХД

Тема 5. Хранилища данных
Схема построения РХД «Снежинка»

Тема 5. Хранилища данных
Реляционные ХД

Тема 5. Хранилища данных
Гибридные ХД
сочетают высокую производительность, характерную для многомерной модели, и возможность хранить большие массивы данных, присущую реляционной модели.

Тема 5. Хранилища данных
Витрины данных
Витрина данных – специализированное локальное тематическое хранилище, подключенное к централизованному ХД и обслуживающее отдельное подразделение организации или определенное направление ее деятельности.

Тема 5. Хранилища данных
Витрины данных
Преимущества витрин данных:
содержание данных, тематически ориентированных на конкретного пользователя;
относительно небольшой объем хранимых данных, на организацию и поддержку которых не требуется значительных затрат;
улучшенные возможности в разграничении прав доступа пользователей, так как каждый из них работает только со своей витриной и имеет доступ только к информации, относящейся к определенному направлению деятельности.

Тема 5. Хранилища данных
Централизованное ХД с витринами данных

Тема 5. Хранилища данных
Виртуальные ХД
Виртуальным хранилищем данных называется система, которая работает с разрозненными источниками данных и эмулирует работу обычного хранилища данных, извлекая, преобразуя и интегрируя данные непосредственно в процессе выполнения запроса.
Появляется возможность анализа данных в OLTP-системе сразу после их поступления без ожидания загрузки в хранилище.
Минимизируется объем требуемой дисковой и оперативной памяти, т.к.
отсутствует необходимость хранения исторических данных и многочисленных агрегированных данных для различных уровней обобщения информации.
Наличие в ВХД развитого семантического слоя позволяет аналитику полностью абстрагироваться от проблем, связанных с процессом извлечения данных из разнообразных источников, и сосредоточиться на решении задач анализа данных.
! ВХД следует применять в системах, ориентированных на анализ оперативной информации, актуальной только в течение ограниченного периода.

Тема 5. Хранилища данных
Виртуальные ХД