Big Data без космоса Как настроить и масштабировать работу с данными, если вы не Google… и даже не Yandex презентация

О чем мы будем говорить: что нужно data-проекту, что мешает и что будет завтра
Техническая составляющая проекта: на чем строить, архитектура
Технологии VS Люди, что важнее и как выбирать?
Почему успешный data-проект - это всегда сложно, но точно НЕ технически!
Куда в целом все движется…

С чем приходится работать…
Быстрый и продолжающийся рост
За 4 года ~ в 100 раз !
В течение 2018 вырастем еще ~в 3 раза
Храним любые сырые данные, которые видим
Пытаемся оперировать реальным бюджетом

Техническая составляющая проекта Flocktory
Mongo PostgreSQL Vertica Redshift Vertica
(где храним данные, которые могут использовать аналитики)
PostgreSQL Druid
(личный кабинет клиента, дашборды в реальном времени)
Druid PowerBI + SQL/Redshift
(кастомизация именно под наши задачи с экономией ресурса)

Технологии VS Люди: что важнее?
Какие технологии используем мы:
Hadoop
Spark
Hive
Kafka
Flink
Scala/Python
Not a rocket science!
Как найти правильных людей?
С Ruby на Clojure – хороший фильтр
Try to use cutting edge – постоянно пробуем новое
Freedom – свобода эксперимента

Почему так сложно сделать успешный data-проект?
BIG DATA

Инициируют технические специалисты, инженеры
Инженеры – оптимисты! А реальность… кусается
Инициатива падает и проект умирает
Почему так сложно сделать успешный data-проект?

Шанс на успех. Ваш data-проект может выжить
Культура data driven
Продуктовая постановка задачи и конкретные маркетинговые цели
Привлечение технологической экспертизы
Не пытаться построить космолет (сразу)

Куда в целом все движется…
Технологии & Люди & Данные
AWS/GCP – облачные технологии сожрут всех (а сегодня еще очень дорого)
Данные - если срочно не начнем делиться и доверять друг другу, то в итоге проиграют все
Люди – вы всегда конкурируете за кадры с Google, Facebook…
AI – все ускоряется

Flocktory – крупнейшая облачная SaaS-платформа для персонализации сайта и управления Customer LTV
Типы клиентов
Крупные интернет-магазины
Онлайн-банки
Сайты страховых компаний
Платежные системы
Операторы связи
Travel-агрегаторы
Медиа
Цифры и факты
~35% онлайн-транзакций Рунета
~60 млн профилей пользователей
>500 клиентов
(преимущественно Enterprise)