Вычисление линейных коэффициентов регрессии презентация

Содержание

Слайд 2

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Начнем с численного примера, имеющего всего три наблюдениями:

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Начнем с численного примера, имеющего всего три наблюдениями: (1,3),
(1,3), (2,5) и (3,6).

X

Y

2

Истинная модель

Слайд 3

Y

b2

b1

X

Написав установленную регрессию как Y = b1 + b2X, мы определим

Y b2 b1 X Написав установленную регрессию как Y = b1 + b2X,
значения b1 и b2 так, чтобы минимизировать RSS, сумму квадратов остатков.

3

^

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Истинная модель

Расчетная модель

Слайд 4

Y

b2

b1

X

4

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Истинная модель

Расчетная модель

Учитывая наш выбор b1 и b2,

Y b2 b1 X 4 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Истинная модель Расчетная модель
остатки показаны на рисунке.

Слайд 5

Таким образом, показана сумма квадратов остатков.

5

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Таким образом, показана сумма квадратов остатков. 5 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 6

Раскрыты скобки.

6

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Раскрыты скобки. 6 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 7

Суммированы подобные члены.

7

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Суммированы подобные члены. 7 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 8

Как минимум, частные производные RSS по отношению к b1 и b2

Как минимум, частные производные RSS по отношению к b1 и b2 должны быть
должны быть равны нулю. (Мы также должны проверить условие второго порядка.)

8

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 9

Условия первого порядка дают нам два уравнения с двумя неизвестными.

9

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ

Условия первого порядка дают нам два уравнения с двумя неизвестными. 9 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 10

Решая их, мы находим, что RSS минимально, когда b1 и b2

Решая их, мы находим, что RSS минимально, когда b1 и b2 равны 1.67
равны 1.67 and 1.50 соответственно.

10

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 11

Это диаграмма дисперсии (рассеяния).

11

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Y

b2

b1

X

Истинная модель

Расчетная модель

Это диаграмма дисперсии (рассеяния). 11 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Y b2 b1 X

Слайд 12

12

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Y

b2

b1

X

Истинная модель

Расчетная модель

Показаны расчетная линия и расчетные значения

12 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Y b2 b1 X Истинная модель Расчетная модель
Y.

Слайд 13

13

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Прежде чем перейти к общему случаю, нужно сделать

13 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Прежде чем перейти к общему случаю, нужно сделать
небольшое, но важное математическое замечание.

Слайд 14

14

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Когда мы устанавливаем выражение для RSS, мы делаем

14 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Когда мы устанавливаем выражение для RSS, мы делаем
это как функцию от b1 и b2. На этом этапе b1 и b2 не являются конкретными значениями. Наша задача - определить конкретные значения, которые минимизируют RSS.

Слайд 15

15

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Мы должны дать этим значениям собственные названия, чтобы

15 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Мы должны дать этим значениям собственные названия, чтобы
отличать их от всех остальных.

Слайд 16

16

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Обозначим значения, которые минимизируют RSS, следующим образом: b1OLS

16 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Обозначим значения, которые минимизируют RSS, следующим образом: b1OLS and b2OLS.
and b2OLS.

Слайд 17

17

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Теперь мы перейдем к общему случаю с n

17 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Теперь мы перейдем к общему случаю с n
наблюдениями.

X

Xn

X1

Y

Истинная модель

Слайд 18

X

Xn

X1

Y

18

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Истинная модель

Расчетная модель

b2

b1

Учитывая коэффициенты b1 и b2, на

X Xn X1 Y 18 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Истинная модель Расчетная модель
слайде мы получили расчетную линию.

Слайд 19

X

Xn

X1

Y

19

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

b2

b1

Получен остаток для первого наблюдения.

Истинная модель

Расчетная модель

X Xn X1 Y 19 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ b2 b1 Получен остаток

Слайд 20

Аналогично мы определяем остатки для остальных наблюдений.

X

Xn

X1

Y

20

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

b2

b1

Истинная

Аналогично мы определяем остатки для остальных наблюдений. X Xn X1 Y 20 ВЫЧИСЛЕНИЕ
модель

Расчетная модель

Слайд 21

21

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

RSS, сумма квадратов остатков, определена для общего случая.

21 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ RSS, сумма квадратов остатков, определена для общего случая.
Для сравнения приведены данные численного примера.

Слайд 22

22

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Раскрываем скобки, возведя соответствующие выражения в квадрат.

22 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Раскрываем скобки, возведя соответствующие выражения в квадрат.

Слайд 23

Приводим подобные члены.

23

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Приводим подобные члены. 23 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 24

24

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

В этом уравнении наблюдения по X и Y

24 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ В этом уравнении наблюдения по X и Y
являются просто данными, которые определяют коэффициенты в выражении для RSS.

}

Слайд 25

25

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Переменными в уравнении для RSS являются b1 и

25 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Переменными в уравнении для RSS являются b1 и
b2. Обычно b1 and b2 являются константами, а X и Y - переменными.

}

Слайд 26

26

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Если есть сомнения, то можно сравнить общий случай

26 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Если есть сомнения, то можно сравнить общий случай
с нашим конкретным примером.

}

Слайд 27

27

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Первая производная по b1.

}

27 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Первая производная по b1. }

Слайд 28

28

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Получаем окончательное выражение для b1 .

}

28 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Получаем окончательное выражение для b1 . }

Слайд 29

Первая производная по b2.

29

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

}

Первая производная по b2. 29 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ }

Слайд 30

Разделим на 2.

30

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Разделим на 2. 30 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 31

Теперь заменим b1 на выражение, полученное для него, и получим уравнение

Теперь заменим b1 на выражение, полученное для него, и получим уравнение для b2.
для b2.

31

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 32

32

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Используем определение среднего значения выборки.

32 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Используем определение среднего значения выборки.

Слайд 33

33

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Раскрыты скобки в третьем слагаемом.

33 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Раскрыты скобки в третьем слагаемом.

Слайд 34

34

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

В правой части остались слагаемые, не зависимые

34 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ В правой части остались слагаемые, не зависимые от b2 .
от b2 .

Слайд 35

Запишем наш результат в новый слайд.

35

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Запишем наш результат в новый слайд. 35 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 36

Получаем выражение для b2.

36

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Получаем выражение для b2. 36 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 37

На практике мы будем использовать альтернативное выражение. Мы продемонстрируем, что они

На практике мы будем использовать альтернативное выражение. Мы продемонстрируем, что они эквивалентны. 37
эквивалентны.

37

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 38

Раскрываем скобки в числителе.

38

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Раскрываем скобки в числителе. 38 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 39

Упрощаем числитель далее.

39

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Упрощаем числитель далее. 39 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 40

Упрощаем далее.

40

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Упрощаем далее. 40 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 41

Мы показали, что числители двух выражений одинаковы.

41

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Мы показали, что числители двух выражений одинаковы. 41 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 42

Знаменатели являются эквивалентными выражениями.

42

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Знаменатели являются эквивалентными выражениями. 42 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Слайд 43

Подведем итог тому, что мы сделали.

43

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

X

Xn

X1

Y

b2

b1

Истинная модель

Расчетная модель

Подведем итог тому, что мы сделали. 43 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ X Xn

Слайд 44

44

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

X

Xn

X1

Y

Истинная модель

Расчетная модель

b2

b1

Мы нашли параметры расчетной линии, минимизируя

44 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ X Xn X1 Y Истинная модель Расчетная модель
сумму квадратов остатков. В результате мы получили выражения для b1 и b2.

Слайд 45

45

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

X

Xn

X1

Y

b2

b1

Обозначаем найденные параметры расчетной модели, как b1OLS and

45 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ X Xn X1 Y b2 b1 Обозначаем найденные
b2OLS.

Истинная модель

Расчетная модель

Слайд 46

46

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

X

Xn

X1

Y

b2

b1

В дальнейшем мы будем, как правило, пользоваться оценками

46 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ X Xn X1 Y b2 b1 В дальнейшем
OLS, и поэтому надстрочную надпись «OLS» мы использовать не будем.

Истинная модель

Расчетная модель

Слайд 47

47

В случае простой регрессионной модели истинная и расчетная модели записываются без

47 В случае простой регрессионной модели истинная и расчетная модели записываются без свободного
свободного члена.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Истинная модель Расчетная модель

Слайд 48

48

Мы выведем выражение для b2, используя критерий наименьших квадратов. Остаток в

48 Мы выведем выражение для b2, используя критерий наименьших квадратов. Остаток в наблюдении
наблюдении i равен ei = Yi – b2Xi.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Истинная модель Расчетная модель

Слайд 49

49

Здесь мы получаем выражение для суммы квадратов остатков.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Истинная

49 Здесь мы получаем выражение для суммы квадратов остатков. ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ
модель Расчетная модель

Слайд 50

Продифференцируем по b2.

50

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Истинная модель Расчетная модель

Продифференцируем по b2. 50 ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ КОЭФФИЦИЕНТОВ РЕГРЕССИИ Истинная модель Расчетная модель

Слайд 51

51

Следовательно, мы получаем оценку OLS для b2 для этой модели.

ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ

51 Следовательно, мы получаем оценку OLS для b2 для этой модели. ВЫЧИСЛЕНИЕ ЛИНЕЙНЫХ
КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Истинная модель Расчетная модель

Имя файла: Вычисление-линейных-коэффициентов-регрессии.pptx
Количество просмотров: 62
Количество скачиваний: 0