Содержание
- 2. Среда Loginom для работы с данными Пакеты, сценарий, компоненты, узлы Данные, переменные, входные и выходные порты
- 3. Low-code платформа Loginom Loginom — интегрированная Low-code платформа для реализации всех аналитических процессов: от консолидации и
- 4. Low-code платформа Loginom Позволяет просто анализировать данные без использования кода Визуальный интерфейс и система сценариев Разработанная
- 5. Как использовать Loginom Скачать версию Logionm Community Edition 6.5.4, заполнив форму по сслыке: https://loginom.ru/download Использовать демо-стенд
- 6. Визуальный интерфейс Для каждого проекта можно создать отдельный пакет со сценариями обработки данных, подключениями и визуализациями
- 7. Навигация В кнопке «Пакеты» можно найти интерфейс взаимодействия с пакетами Loginom По кнопке «Навигация» открывается древовидная
- 8. Модули и сценарии Каждый модуль состоит из: Вкладки сценарий, в котором производится обработка данных средствами Loginom;
- 9. Модули и сценарии Создав модуль и перейдя к сценарию открывается пустое полотно. Сценарий позволяет выносить на
- 10. Задание №1. Создание пакета Loginom 1. Создайте пакет Loginom одним из удобных для вас способов 2.
- 11. Компоненты и узлы Компоненты обработки данных – разработанные базовые единицы логики обработки данных, на базе которых
- 12. Настройка узлов, входные и выходные порты Каждый узел обладает входными и выходными портами разных типов: Порт
- 13. Активный узел и приостановка работы узла Перед началом работы узла его необходимо настроить. Настроенный узел является
- 14. Возможности сценария Loginom На верхней панели сценария расположены полезные функции управления сценарием и объектами в нём.
- 15. Сценарий обработки данных Loginom предназначен для конвейерной пакетной обработки данных с использованием эффективных реализаций алгоритмов. Сценарий
- 16. Сценарий обработки данных Узлы сценария Loginom можно последовательно соединять портами схожего типа от выходных портов ко
- 17. Задание №2. Демо сценарий Loginom 1. Откройте пакет demo_loginom.lgd 2. Откройте модуль demo_1_1_тестовый_сценарий 3. Запустите все
- 18. Задание №2. Демо сценарий Loginom Сколько полей имеет таблица данных на выходном порте «Импорт добычи газа»?
- 19. Импорт и экспорт данных в Loginom Импорт и экспорт данных .lgd файлов Импорт и экспорт данных
- 20. Импорт данных в Loginom Импорт данных в Loginom осуществляется посредством использования узлов компонентов из вкладки «Импорт».
- 21. Экспорт данных из Loginom Экспорт данных из Loginom осуществляется посредством использования узлов компонентов из вкладки «Экспорт».
- 22. Импорт из .lgd файлов Файлы .lgd формата – проприетарный формат хранения данных Loginom ускоряющий запись и
- 23. Импорт из текстовых файлов С помощью компонента импорта «Текстовый файл» можно импортировать в Loginom данные из
- 24. Импорт из текстовых файлов Настройка импорта данных из текстового файла заключается в выполнении двух последовательных действий:
- 25. Импорт из текстовых файлов В настройке форматов импорта необходимо для полей определить имена и метки полей
- 26. Задание №3. Импорт из текстовых файлов 1. Откройте пакет с расширением «.lgp», созданный вами ранее; 2.
- 27. Задание №3. Импорт из текстовых файлов Сколько полей (столбцов) получилось в выходной таблице в результате выполнения
- 28. Импорт из баз данных Loginom поддерживает импорт и экспорт данных из внешних РСУБД. Подключение к базе
- 29. Задание №4. Импорт данных из РСУБД Модуль demo_2_3_импорт_бд Создайте новый модуль для данного задания перейдите в
- 30. Задание №4. Импорт данных из РСУБД В настройках укажите в поле «строка подключения» путь к экземпляру
- 31. Задание №4. Импорт данных из РСУБД Нажмите на него правой кнопкой мыши и выберите опцию «Добавить
- 32. Задание №4. Импорт данных из РСУБД Существует ли возможность быстрого просмотра информации для выходного порта узла
- 33. Трансформация данных в Loginom Фильтрация, сортировка, замена, данных Преобразования данных, вычисление, работа с датами и временем
- 34. Трансформация данных Трансформация данных преследует цель преобразовать информацию в удобный для анализа вид Стандартно различают методы
- 35. Компонент «Фильтр строк» Позволяет разделять выборку данных на две части, удовлетворяющие условию (верхний порт) и не
- 36. Задание №5. Фильтрация пустых полей Модуль demo_3_1_Фильтрация_данных Для импортированных данных из задания №3 проведите фильтрацию импортированных
- 37. Задание №5. Фильтрация пустых полей При настройке фильтрации данных нажмите на «+» и выберите первое поле
- 38. Задание №5. Фильтрация пустых полей Сколько строк данных удовлетворяют условию полных записей? Сколько строк данных не
- 39. Компонент «Сортировка» Упорядочивает записи по значению выбранных полей Упорядочивает строки всей таблицы по значениям выбранных полей
- 40. Задание №6. Сортировка записей Модуль demo_3_2_Сортировка_данных Для данных, удовлетворяющих условию фильтрации из предыдущего задания произведите сортировку
- 41. Задание №6. Сортировка записей Перенесите в настройках сортировки поля «Дата замера» и «газ м3/сут» в поля
- 42. Задание №6. Сортировка записей Какая дата замера оказывается самой ранней в таблице добычи газа? Какой ID
- 43. Компонент «Замена» Назначение: используется для замены данных в исходном наборе с помощью таблиц замен Таблица замен
- 44. Компонент «Замена» Замена значений другими значениями с совпадающими типами данных Можно заменять значение по заданной таблице
- 45. Задание №7. Использование таблицы замен Модуль demo_3_3_замена Необходимо заменить краткие названия месяцев на полные. В поле
- 46. Задание №7. Использование таблицы замен Таблица замен Data/Demo/months.txt содержит пары значений: Краткое название месяца – Полное
- 47. Задание №7. Использование таблицы замен Для полей исходных данных можно настроить Способ замены: Не заменять. Ввод
- 48. Задание №7. Использование таблицы замен Назначение поля Краткое название установим Значение, поля Полное название – Замена.
- 49. Задание №7. Использование таблицы замен Сохраним настройки. Выполним узел. Посмотрим что получилось в результате. Всем ли
- 50. Компонент «Калькулятор» Вычисляет новые поля данных на основе существующих полей и входных переменных на основе поэлементных
- 51. Компонент «Калькулятор» Для нового поля значение в каждой строке данных вычисляется на основе соответствующих ему значений
- 52. Компонент «Калькулятор» Настройка калькулятора имеет 4 рабочие области: Верхняя левая – вычисляемые поля, можно создать новые,
- 53. Компонент «Калькулятор» При создании нового вычисляемого поля для него создается свое пустое поле для вычислений. Выражение
- 54. Задание №8. Вычисление новых полей Модуль demo_3_4_калькулятор В данном задании для упорядоченной выборки необходимо подкорректировать числовые
- 55. Задание №8. Вычисление новых полей Соединим входной порт калькулятора с выходным портом сортировки из задания №6.
- 56. Задание №8. Вычисление новых полей Также создадим поля Pressure_tube и Volume_tube с соответствующими выражениями для их
- 57. Задание №8. Вычисление новых полей Сколько новых полей появилось в выходной таблице данных после вычисления выражений
- 58. Компонент «Параметры полей» Позволяет изменять поля, их имена, метки, типы и виды данных Позволяет исключать поля
- 59. Задание №9. Параметры полей Модуль demo_3_5_параметры_полей Для предыдущего задания добавьте в сценарий обработки данных компонент параметры
- 60. Задание №9. Параметры полей Настройте параметры полей как показано на слайде, исключив поля, на основе которых
- 61. Компонент «Дата и время» Обработчик Дата и время производит трансформацию данных формата Дата/Время. Суть такого преобразования
- 62. Пример преобразования «Дата и время» На основе исходного столбца формируются остальные. В каждом сформированном столбце выделена
- 63. Настройка преобразования «Дата и время» В области Поле отображаются поля входного набора данных с типом Дата/Время.
- 64. Задание №10. Выделение начала месяца Модуль demo_3_6_дата_время Для созданного сценария в задании №9 добавим компонент даты
- 65. Задание №10. Выделение начала месяца Для поля «Дата замера» выберем разбиение по дате начала Год+месяц Сохраним
- 66. Компонент «Группировка» и агрегация данных Компонент «Группировка» осуществляет операцию агрегации данных в таблице по полям групп
- 67. Компонент «Группировка» и агрегация данных Компонент осуществляет обработку данных по схожему принципу с оператором GROUP BY
- 68. Компонент «Группировка» и агрегация данных Чтобы перенести поля в группы можно их перетащить туда с помощью
- 69. Компонент «Группировка» и агрегация данных Настройка вычисляемых статистик доступна на этапе выбора списка показателей. Для выбора
- 70. Задание №11. Группировка данных в добыче Модуль demo_3_7_группировка_данных Добавим в сценарий обработки данных расчёт среднемесячных показателей
- 71. Задание №11. Группировка данных в добыче В настройке группировки выберем следующие поля в качестве групп: Дата
- 72. Задание №11. Группировка данных в добыче Сколько записей мы получили в результате операции группировки данных? Какие
- 73. Обогащение данных Компоненты обогащения данных решают задачу увеличения числа строк или столбцов, посредством соединения двух различных
- 74. Обогащение данных Приведем далее примеры обогащения данных на основе импортированной в Loginom базы данных из задания
- 75. Обогащение данных 04.04.2023 Обработка данных в Loginom
- 76. Компонент «Слияние» Компонент «Слияние» принимает на вход строго 2 таблицы в каждый из входных портов Верхний
- 77. Компонент «Дополнение данных» Компонент «Дополнение данных» соединяет таблицы с помощью левого соединения главной таблицы (верхний порт)
- 78. Компонент «Дополнение данных» 04.04.2023 Обработка данных в Loginom
- 79. Компонент «Дополнение данных» Чаще всего компонент «Дополнение данных» используется для обогащения данных таблицы фактов данными из
- 80. Компонент «Объединение» Компонент «Объединение» выполняет роль UNION из языка SQL для обработки данных и соединяет данные
- 81. Компонент «Соединение» Компонент «Соединение» конкатенирует столбцы данных без привязки к ключу или структуре таблиц Необходим для
- 82. Компонент «Соединение» С помощью компонента Соединение возможно, к примеру, добавить в набор данных поле с позициями
- 83. Работа с переменными в Loginom Создание пользовательских переменных Использование переменных в узлах Соединение, таблица в переменные,
- 84. Работа с переменными в Loginom Переменные в Loginom используются для создания динамических сценариев. Переменная – объект,
- 85. Работа с переменными в Loginom Переменные – порт содержит все переменные сценария с портов 2-5. Переменные
- 86. Задание №12. Работа с переменными Loginom Зададим параметризацию нашего сценария обработки данных добычи газа на месторождениях
- 87. Задание №12. Работа с переменными Loginom С помощью ПКМ по узлу и выбора опции меню «Показать
- 88. Задание №12. Работа с переменными Loginom С помощью ПКМ по появившемуся порту перейдем в его настройки
- 89. Задание №12. Работа с переменными Loginom С помощью кнопки добавить мы сможем задать новую подаваемую переменную
- 90. Задание №12. Работа с переменными Loginom После создания новой переменной на входе порта управляющей переменной сохраним
- 91. Задание №12. Работа с переменными Loginom В перечень условий добавим ещё одно условие по совпадению ID
- 92. Задание №12. Работа с переменными Loginom На выходном порте данных, соответствующих условию наблюдаем ожидаемую функциональность, что
- 93. Задание №12. Работа с переменными Loginom На порте переменных пользователя щелкнем ПКМ и перейдем к настройке
- 94. Задание №12. Работа с переменными Loginom Соединим порт переменных пользователя с входной переменной добычи газа Перейдем
- 95. Задание №12. Работа с переменными Loginom В настройках порта удалим все переменные, полученные от порта переменных
- 96. Задание №12. Работа с переменными Loginom В настройках узла импорта данных включим передачу значения для Имя
- 97. Задание №12. Работа с переменными Loginom Включим импорт данных, на основе быстрого просмотра убедимся в том,
- 98. Задание №12. Работа с переменными Loginom В порте фильтра строк укажем в качестве входного значения для
- 99. Задание №12. Работа с переменными Loginom На основе быстрого просмотра поля данных, соответствующих условию убедимся в
- 100. Задание №12. Работа с переменными Loginom Добавьте на входном порте переменных калькулятора переменные, отвечающие за прохождение
- 101. Работа с переменными Loginom В Loginom есть 5 специальных компонентов для работы с переменными. Замена (переменные)
- 102. Замена (переменные) и Калькулятор (переменные) Замена (переменные) - заменяет значения выбранных переменных на значения, взятых в
- 103. Переменные в таблицу и Соединение (переменные) Переменные в таблицу- преобразует набор переменных в таблицу данных Соединение
- 104. Таблица в переменные Преобразует табличные данные в переменные выбранным способом. Позволяет получить агрегированное значение по нужному
- 105. Самостоятельная работа. Таможенные данные Исследование качества данных Обогащение данных Агрегация данных 04.04.2023 Обработка данных в Loginom
- 106. Задание на выполнение Импортировать данные таможенной статистики по экспорту и импорту в регионах РФ за 2016
- 107. Задание на выполнение Импортировать данные таможенной статистики по экспорту и импорту в регионах РФ за 2018
- 108. Задание на выполнение Для импортированной выборки за 2016 год на основе компонентов трансформации данных отобразите: Перечень
- 109. Задание на выполнение 04.04.2023 Обработка данных в Loginom
- 110. Задание на выполнение Импортируйте в сценарий следующие выборки данных: Файл данных с кодами стран мира ОКСМ
- 111. Задание на выполнение Импортируйте в сценарий следующие выборки данных: Файл данных с информацией о федеральных округах
- 112. Задание на выполнение Импортируйте в сценарий следующие выборки данных: Файл данных с информацией о регионах РФ
- 113. Задание на выполнение Импортируйте в сценарий следующие выборки данных: Файл данных с информацией о разделах товарной
- 114. Задание на выполнение 04.04.2023 Обработка данных в Loginom
- 115. Задание на выполнение В датасете в поле district присутствует федеральный округ с кодом «09», что есть
- 116. Задание на выполнение 04.04.2023 Обработка данных в Loginom
- 117. Задание на выполнение Сформируйте серию группировок данных на основе компонента «Группировка»: Какое количество уникальных кодов ТН
- 118. Задание на выполнение 04.04.2023 Обработка данных в Loginom Убедитесь в правильности построенного конвейера данных, указав в
- 119. Итоги 04.04.2023 Обработка данных в Loginom В данной работе мы изучили базовые возможности обработки данных в
- 120. Неосвещенные вопросы 04.04.2023 Обработка данных в Loginom Кросс-таблица, скользящее окно Узел-ссылка, выполнение узла, подмодели, условие Блок
- 121. Вопросы на защиту работы 04.04.2023 Обработка данных в Loginom Какие данные помогает обрабатывать платформа Loginom? В
- 123. Скачать презентацию