Feature engineering презентация

Обсуждение
Рассмотрим DataFrame с данными для продажи квартир конкретного дома.

DataFrame «Недвижимость»
Обсуждение

Обсуждение
Необходимо исследовать DataFrame и выявить факторы, которые влияют на цену недвижимости.
Можно ли это сделать с помощью имеющихся данных?

Обсуждение
Мы привыкли соотносить стоимость с площадью недвижимости, а не с её длиной и шириной.
Что можно сделать с DataFrame, чтобы работать с ним стало удобнее?

Добавим в DataFrame столбец «Площадь в кв. м»
Обсуждение
Этот столбец будет вычисляться на основании данных двух других столбцов.

Обсуждение
Такой подход называется генерацией новых признаков или Feature engineering.

Модуль 3. Урок 3. Очистка данных. Feature engineering
Новая тема:
Feature engineering

Feature engineering
Вычислим, сколько долларов разработчики заработали на каждом платном приложении.
Как это сделать?

Создадим столбец Profit
Перемножим количество установок ('Installs') и цену за одно приложение ('Price').
df['Profit'] = df['Installs'] * df['Price']
Имя нового столбца
Арифметическое действие со столбцами
Feature engineering

Количество жанров для всех приложений одинаковое?
Feature engineering

Количество жанров
Если жанров несколько, то они разделены ';'
Feature engineering

Какую новую категорию можно создать на основании столбца с жанрами?
И какую гипотезу можно проверить на основании новой категории?
Feature engineering

Новая категория: количество жанров.
Гипотеза: чем больше количество жанров, тем популярнее приложение (больше рейтинг и количество установок).
Feature engineering

Значение — это object (текст)
Как посчитать количество жанров?
Art & Design;Pretend Play
Feature engineering

Необходимо сохранить все жанры одного приложения в какую-то структуру, а потом посчитать её длину.
Какую структуру мы будем использовать?
Feature engineering

Количество жанров
Список — это структура данных, которая содержит упорядоченный набор элементов.
Feature engineering

При помощи какого метода можно преобразовать строку в список?
Feature engineering

s = 'Art & Design;Pretend Play'
s = s.split()
Результат: ['Art', '&', 'Design;Pretend', 'Play']
Метод split()
Если не задать значения параметров метода, строка будет разделена по пробелам.
Какой параметр необходимо указать, чтобы разделить элементы по ';'?
Feature engineering

Метод split()
s = 'Art & Design;Pretend Play'
s = s.split(';')
Результат: ['Art & Design', 'Pretend Play']
Feature engineering

При помощи какой функции можно посчитать длину списка?
Feature engineering

Функция len()
len(['Art & Design', 'Pretend Play']) 2
Feature engineering

Составим план по созданию нового столбца с количеством жанров.
Feature engineering

План по созданию нового столбца
Написать функцию, которая преобразует жанры строки в список.
Применить функцию для преобразования типа к столбцу при помощи метода apply().
Создать новый столбец, в котором будет храниться количество жанров при помощи метода apply() и встроенной функции len().
Feature engineering

Модуль 3. Урок 3. Очистка данных. Feature engineering
VSC + Платформа. Feature engineering

mars.algoritmika.org
Выполните практическое задание
Работа
в VS Code
«VSC + Платформа. Feature engineering»

Завершение
урока
Модуль 3. Урок 3. Очистка данных. Feature engineering