Традиционный подход сбора, хранения и обработки данных презентация

Традиционный подход сбора, хранения и обработки данных

Традиционный подход. Схема
Ручная работа
Потеря данных
Трата времени на сбор и обработку инфор-ии
Подразд-е 1
Подразд-е 2
Локальный отчет
Локальный отчет
Консолидированный
кросс отчет

Традиционный подход, резюме:
Преимущества:
Высокая скорость развертывания локальных инфраструктур хранилищ на Старте;
Низкая стоимость обслуживания на Старте для подразделения «владельца» хранилища;
Полное закрытие потребностей на Старте для подразделения «владельца» хранилища;
Низкий порог требований к стеку технологий системы на Старте для подразделения «владельца» хранилища.

Недостатки:
Традиционный подход, резюме:
Разрозненность стека технологий хранилищ в каждом подразделении;
Заточенность хранилищ под локальные задачи, как результат не гибкость систем;
Дублирование одних и тех же данных в разных системах хранения;
Закрытость локальных хранилищ для других подразделений;
Отсутствие единых стандартов хранения и безопасности данных;
Отсутствие автоматической верификации данных для кросс-аналитики;

Проблема масштабирования хранилища для группы компаний
Сложность в обслуживании инфраструктуры при росте потребностей подразделений / группы агентств;
Увеличение стоимости инфраструктуры и ее обслуживания по группе компаний;
Безопасность хранения исторический данных в целом по компании;
Достоверность и актуальность данных для кросс-аналитики;
Зоны риска:
Традиционный подход, резюме:

Что делать с новыми потребностями компании?
Надежность данных;
Безопасность данных;
Масштабируемость системы;
Сокращении времени на сбор и обработку данных;
Снижение операционных затрат на поддержание системы.

Это специальным образом организованный массив данных, обрабатываемый и хранящийся в едином пространстве, которое обеспечивает быстрый доступ к оперативной и исторической информации, многомерный анализ данных, автоматизацию отчетности.
Data Warehouse (DWH)

Новый подход сбора, хранения и обработки данных с использованием DWH

Analytics
Reporting
Data mining
Digital
TV
Sales
Подразд-е 1
Подразд-е 2
Admin. 3
Data sources
Data warehouse
Data marts
Users
Reports
Новый подход. Схема

Минимизация ручной работы;
Надежность, актуальность и безопасность данных;
Масштабируемость системы с приростом производительности;
Скорость сбора данных и обработка сложных запросов;
Снижение затрат на работу с данными и подготовку отчетности;
Стимулирование появления новых продуктов/функций в компании.
Не дублирует усилия разных подразделений.
Преимущества:
Новый подход, резюме:

Сложность системы;
Требует наличие высококвалифицированной команды;
Для эффективной работы системы необходимо время;
На этапе запуска и настройки требует финансовые вложения;
Избыточность данных, которая со временем потребует создания отдельных денормализованных таблиц в виде DM.
Недостатки:
Новый подход, резюме:

Время запуска системы;
Все должны пользоваться продуктом, в противном случае он будет не актуален;
При разработке допустить архитектурную ошибку, которая может привести к сложностям при масштабировании системы.
Зоны риска:
Новый подход, резюме:

Затраты / прибыль
Потребности / время
0
Сравнение двух подходов
Графический пример соотношения затрат к прибыли по двум подходам
Графический пример соотношения роста потребностей к времени реализации по двум подходам

DWH
Сокращение времени
Сокращение издержек
Увеличение дохода
Ускорение существующих бизнес-процессов
Появление новых
бизнес-процессов
Ускорение расчетов
Безопасность данных
Эффект от внедрения DWH:
Факторы
Эффект
Процессы
Объект

Временное
хранилище
сырья
Постоянное
хранилище
сырья
Витрины данных
Постоянное хранилище данных в табличном виде
Загрузка сырья из источников;
Временное хранение;
Снижение нагрузки на систему
Очистка данных;
Трансформация данных;
Консолидирование данных;
Поддержка модели данных подразделения / компании;
Хранение данных
Предоставляет доступ конечным пользователям данных;
Структурирование данных;
Упрощает запрос к базе данных;
STG
RAW
ODS
DM
S3
Athena
Step Functions
EC2
Python
Link: Архитектура DWH
Архитектурная схема DWH

Есть прямо сейчас:
ТВ
Mediascope респонденты
Mediascope смотрение
VIMB медиапланы
VIMB программная сетка (блоки, споты)
Планы на ближайшее время:
ТВ
Mediascope мониторинг (блоки, споты)
Improvado (агрегатор личных кабинетов интернет-рекламы)
Медиапланы
SDOBA
Excel
Данные в DWH
TV
advertising
SDOBA
VIMB

Как пользоваться DWH
Можно делать запросы в Кликхаус в готовые витрины:
dm.omd.ru
Можно получить доступ к сырью в S3:
Можно создавать витрины в Кликхаусе на основе сырья:
dm.omd.ru
Можно поддержать ваш источник сырья:
ваш код в нашем Docker-контейнере
Ваш

Проект 1. TVToolBox – инструменты планирования для ТВ рекламы
Задача:
Перевести TVToolBox на инфраструктуру DWH, которая соответствует новым требованиям проекта, для увеличения производительности и стабильности работы сервисов планирования ТВ рекламы.
Заказчик: Анналект
Пользователи: TВ Баинг (Федеральное и Региональное)
Тип пользователей: Внутренние
Количество пользователей: ~30-40 человек
Бюджет: 1 602 тыс. рублей
Доп.расходы: …
Сроки: 2й квартал 2020 года
Link: TVToolBox

Проект 2. Зеркало_Vimb для М.Видео
Задача:
Разработать веб-сервис с внешним доступ через Интернет, который формировал бы отчеты в виде Витрины закупки инвентаря по Клиенту _ М.Видео на ТВ (по аналогии с Vimb), для предоставления сервиса в пользование Клиенту, в рамках соблюдения требований тендерного договора.
Бюджет: 539 тыс. рублей
Доп.расходы: 173 тыс. рублей
Сроки: 1й квартал 2020 года
Link: Зеркало_Vimb для М.Видео
Заказчик: ТВ Баинг + КС
Пользователи: Клиент М.Видео
Тип пользователей: Внешние
Количество пользователей: 3 человека
712 тыс. рублей

Проект 3. Дашборд Pepsico (mvp)
Задача:
Разработать систему автоматического формирования отчетов, которая на постоянной основе объединяет плановые и фактические показатели рекламных кампаний Клиента, для оптимизации ручного труда сотрудников и повышения актуализации данных .
Заказчик: Media Service
Пользователи: Media Planning team, Digital team, Strategists
Тип пользователей: Внутренние
Количество пользователей: ~80-100 человек
Бюджет: 3 501 тыс. рублей
Доп.расходы: …
Сроки: 2й квартал 2020 года
Link: …

Задача:
Разработать систему автоматического формирования отчетов, которая на постоянной основе объединяет плановые и фактические показатели рекламных кампаний Клиента, для оптимизации ручного труда внутренних сотрудников OMD в рамках мониторинга и получения статистики по РК.
Заказчик: Resolution / КС
Пользователи: : Resolution / КС
Тип пользователей: Внутренние
Количество пользователей: ~5 человек
Проект 4. Дашборд Renault (mvp _ мониторинг РК)
Бюджет: 1 245 тыс. рублей
Доп.расходы: …
Сроки: 2й квартал 2020 года
Link: …

Integration
VIMB + BigTV integration
VIMB Test
TNS.Monitoring
Development
MEDIA PLAN
data Integration
Test + Installation
TNS.M. Testing
Monitoring data
TV Tool Box
Mirror M.Video
Dashboard Renault
Dashboard Pepsico
IMPROVADO Integration
SDOBA Integration
VK Public
Integration sources:
GPMD, IMHO, RBK, Yandex, Mail, Mail, Rambler, Avito
Installation source GA
График работ
TNS BigTV
Media Plan
Parser Excel
Integration MP DWH
Installation DataMarts (Digital + TV)
Testing
Data upload excel
Integration source (MVP)
Installation
DataMarts (MVP)
Testing
Data upload Report
02.03.2020 г.

Бюджет проекта
Справочное:
Бюджет рассматривается за период: 01.01.2020 – 01.07.2020

Доходы и расходы
Справочное:
Доходы и расходы рассматриваются за период:
01.01.2020 – 01.07.2020
* в перспективе 2х лет экономия по проектам TVToolBox, Pepsico и Renault, будет оцениваться в пределах 37 млн.рублей

Риски проекта
2,28
46%
3,15
63%
2,43
49%
2
40%
Среднее значение:
В процентах:

Сравнение инфраструктурного решения для DWH
* Ставка FTE – 3300 рублей / час;
** Примерная оценка на переезд
Шкала оценки от 1 до 5, где:
1 – низкая;
5 – высокая.

Реквизиты проекта