Множественная регрессия презентация

1
Парная регрессия может дать хороший результат, если удается выделить один главный фактор, а влиянием остальных факторов можно пренебречь. Очевидно, что не всегда это удается сделать. В качестве примера рассмотрим следующую задачу.
Для объяснения изменения ВНП (Y) за 10 лет требуется построить регрессионную модель с объясняющими переменными - х1 (объем потребления) и х2 (объем инвестиций).
Статистические данные приведены на следующем слайде.

2
Данные о связи ВНП с объемом потребления и объемом инвестиций за 10 лет (млрд. долл.)
Найдем коэффициенты корреляции между ВНП и объемом потребления ryx1 и между ВНП и объемом инвестиций ryx2.

3
Поскольку оба коэффициента корреляции оказались весьма большими нельзя пренебречь влиянием какого либо одного фактора и придется строить уравнение множественной регрессии, когда предполагается, что результирующий признак y зависит от объясняющих переменных x1 и x2. В общем случае модель множественной линейной регрессии будет выглядеть так

4
Естественно, что множественная регрессия может быть и нелинейной. Примером может служить известная производственная функция Кобба-Дугласа, определяющая зависимость объема выпуска продукции Y от капитальных затрат K и затрат труда L
Здесь А- некоторая константа,
показатель степени

4.1. Спецификация модели
множественной регрессии

1
Под спецификацией модели понимается выбор основных параметров модели таких как вид математической функции реализующих модель, отбор объясняющих переменных и проверка основных положений регрессионного анализа для эмпирических данных, на основании которых строится модель.
Ограничимся вначале случаем множественной линейной регрессии.
Поскольку самым распространенным методом нахождения параметров множественной линейной регрессионной модели остается метод МНК напомним еще раз предпосылки его применения.

2
Так же как и в случае однофакторной регрессии должны выполняться постулаты 1-5.
1. В рассматриваемой регрессионной модели случайными величинами являются а xi случайной величиной не является.
2. Математическое ожидание
3. Дисперсия возмущения или зависимой переменной yi постоянна и не зависит от номера точки i (условие гомоскедастичности или равноизменчивости возмущения)

3
4. Возмущения являются независимыми. Отсюда следует, что
5. Возмущение или зависимая переменная уi распределены по нормальному закону. Последнее условие позволяет произвести оценку статистической значимости модели и коэффициентов регрессии.
6. Отсутствие мультиколлинеарности. Между объясняющими переменными должна отсутствовать сильная линейная зависимость.

4
По сравнению с однофакторной регрессией новым является шестой пункт, который требует проверки включаемых в регрессионную модель переменных на мультиколлинеарность (отсутствие взаимной связи). Взаимосвязь переменных встречается весьма часто. В частности, в рассмотренном выше примере коэффициент корреляции весьма высок
По этой причине нельзя считать, что факторы х1 и х2 являются независимыми. Включение в уравнение связанных между собой переменных приводит к тому, что коэффициенты регрессионного уравнения
оказываются не интерпретируемыми.

5
Не существует метода, который бы сразу указывал, какие из переменных следует включить в модель, а какие нет. По этой причине следует пользоваться одной из возможных стратегий, например, стратегией последовательного включения.
1. Вычислить коэффициенты корреляции между зависимой переменной и каждой из объясняющих переменных. Выделить фактор с наибольшим коэффициентом корреляции.
2. Построить уравнение регрессии, учитывая пока только этот один объясняющий фактор. Найти величину коэффициента детерминации R2 .

6
3. Добавить в регрессионную модель следующий фактор, имеющий наибольшую корреляционную связь с зависимой переменной. Построить двухфакторную регрессионную модель и найти новое значение коэффициента детерминации. Если коэффициент детерминации увеличился незначительно, то добавление фактора не улучшает модель, а только затрудняет ее интерпретацию.
Таким образом, хотя есть возможность учесть любое число факторов, в этом нет необходимости. Включение лишних факторов приводит к статистической не значимости параметров регрессионного уравнения.

7
Для иллюстрации сказанного вновь обратимся к примеру, который мы уже рассматривали о связи ВНП с объемом потребления и инвестициями. Оба коэффициента корреляции весьма велики.
Данные о связи ВНП с объемом потребления и объемом инвестиций за 10 лет (млрд. долл.).

8
С помощью функции ЛИНЕЙН ( ) строим однофакторную модель
y = 1,6254*x1 +0,7399
R2 = 0,9878
Добавим вторую переменную и построим двухфакторную регрессионную модель, снова используя функцию ЛИНЕЙН ( )

9
Запишем уравнение двухфакторной регрессионной модели:
Как следует из приведенных результатов, регрессионные коэффициенты двух рассмотренных выше моделей различаются очень сильно, а коэффициенты детерминации практически неразличимы (ΔR=0,0007 различие в четвертом знаке после запятой).

10
Обращаем внимание на то, что экономический смысл коэффициента стал совершенно другим. Если в случае однофакторной модели при увеличении потребления на 1 млрд. руб. объем ВНП увеличивается на 1,62 млрд. руб., то в случае двухфакторной дисперсии увеличение потребления на 1 млрд. руб. приводит к увеличению объема ВНП на 1,4629 млрд. руб.
Очевидно, что добавление второй переменной здесь является некорректным. Скорее всего объясняющими переменными должна быть какая-то линейная комбинация переменных х1 и х2.

11
Обычно считается, что переменные явно коллинеарны, т.е. находятся в линейной зависимости между собой. если коэффициент корреляции между ними если
Вычисление парных коэффициентов корреляции позволяет обнаружить явную корреляцию объясняющих переменных. Наибольшую трудность вызывает наличие мультиколлинеарных факторов, когда более чем два фактора связаны между собой линейной зависимостью.

12
Для оценки мультиколлинеарности факторов обычно используют определитель матрицы парных коэффициентов корреляции между факторами. Пусть имеется регрессионное уравнение с тремя объясняющими переменными
Составим определитель коэффициентов корреляции

13
Если переменные не коррелированны, то недиагональные компоненты равны нулю и определитель равен единице. Если, наоборот, все переменные коррелированны, то определитель будет иметь два одинаковых столбца и тогда он равен нулю.

14
Оценка значимости мультиколлинеарности факторов может быть проведена методом испытания гипотезы об отсутствии мультиколленеарности (Н0). Доказано, что величина
имеет распределение хи-квадрат с
числом степеней свободы.
Если
То гипотеза Н0 отклоняется и мультиколлинеарность считается доказанной.

4.2 Выбор формы уравнения регрессии

1
Как уже указывалось, наряду с линейной формой регрессионного уравнения, может быть использованы и нелинейные регрессионные уравнения и в первую очередь уравнения регрессии, которые могут быть приведены к линейным с помощью замены переменных.
Приведем вид функций для некоторых моделей
1. Линейная форма

2
Примером линейной модели может быть модель Фридмана, который построил для США по данным за 1905 - 1951 гг. следующую функцию потребления
Согласно этой модели потребление в момент времени t зависит от дохода того же периода Rt и дохода предшествующего периода. Коэффициент при переменной Rt называют краткосрочной предельной склонностью к потреблению, а сумму коэффициентов при Rt и Rt-1 - долгосрочной склонностью к потреблению.

3
Обратим внимание на то, что свободный член в линейном уравнении регрессии очень часто не имеет экономической интерпретации.
2. Степенная форма уравнения множественной регрессии
Степенная форма уравнения регрессии получила широкое распространение в связи с построением производственных функций. Примером может служить функция Кобба-Дугласа.

3а
Степенная форма сводится к линейной, если ввести новые переменные. Действительно, прологарифмируем уравнение
Поэтому для линеаризации достаточно ввести новые переменные

4
Экономический смысл параметров регрессионного уравнения в случае степенной модели легко понять. если вычислить частные эластичности по переменным модели (K, L, например).
Известен также закон Энгеля для расходов на питание в США в зависимости от доходов, который имеет вид

5
Эластичность показывает на сколько процентов изменится функция при изменении аргумента на один процент. В случае функции Кобба -Дугласа параметры α и β показывают, что объем производства увеличится на α процентов при увеличении капитальных затрат на один процент и на β процентов при увеличении трудовых затрат на один процент.

6
Возможны и другие линеаризуемые функции для построения множественной регрессии
3. Экспоненциальная
Экспоненциальная форма используется как правило для моделирования временного изменения изучаемой величины. Например, данные о расходах на продукты питания в США в период с 1959 по 1983 гг. приводят к следующей зависимости

7
Смысл регрессионных коэффициентов здесь состоит в том, что расходы на питание за изучаемый период росли с темпом 2% в год. Это становится очевидным. Если вычислить эластичность расходов на питание по времени.
4 Гиперболическая регрессия.
Гиперболическая форма регрессионной кривой используется при обратной связи признаков. Так, если Y - объем плановых инвестиций, а X - норма процента, то между ними существует связь, которая может быть выражена в форме Y=a+b/X.

8
Экспоненциальная форма сводится к линейной также простым логарифмированием. Вычисляя логарифм правой и левой частей уравнения
получаем
Обозначив LN Y =Z снова получаем линейную модель

9
В случае гиперболической регрессионной модели линеаризация модели также производится простой заменой объясняемой переменной. Введем новую переменную Z=1/Y. тогда вместо гиперболической получаем линейную зависимость для новой переменной

10
Наконец, если исследователя не устраивает ни один из вариантов рассмотренных выше функций регрессии, то можно воспользоваться любыми другими функциями, которые с помощью замен переменных сводятся к линейным. Например, может использоваться такая регрессионная модель

11
Вводя переменные
снова возвращаемся к линейной модели. Естественно, что после анализа линеаризованной модели нужно вернуться к исходным переменным.
Очевидно, что при построении такой сложной модели скорее всего придется встретиться с проблемами ее интерпретации.

4.3 Точечная оценка параметров множественной регрессии

1
Если выполняются условия 1-6 применимости метода МНК, то параметры уравнения множественной регрессии определяются из системы нормальных уравнений. Если регрессионное уравнение имеет вид
то система нормальных уравнений может быть записана в виде

2

3
Решение нормальной системы МНК может быть найдено с помощью метода определителей Крамера. Чаще всего для решения системы нормальных уравнений метода МНК используют компьютерные программы, например Excel. Здесь для этих целей можно использовать функцию ЛИНЕЙН () из набора стандартных статистических функций и функцию Регрессия из пакета анализа.
Применение этих функций для решения уравнений будет продемонстрировано на практических занятиях.

4
Возможен и иной подход к построению уравнения множественной регрессии. В этом случае все переменные вначале заменяются стандартизован-ными отклонениями от соответствующих средних значений:

5
Средние значения всех введенных величин равны нулю, а дисперсия равна единице.
Для стандартизованных переменных линейное регрессионное уравнение запишется в виде
обратим внимание также на то, что свободный член в этом уравнении равен нулю.

6
Регрессионные параметры в стандартизованной модели находятся из системы уравнений МНК, где в качестве коэффициентов при неизвестных β фигурируют частные коэффициенты корреляции.

7
Преимуществом стандартизованной формы уравнения регрессии является то, что теперь коэффициенты уравнения сравнимы между собой по величине и можно отбрасывать те переменные, которые входят в уравнение с малым весом.

8
Стандартизованные коэффициенты регрессии βi и коэффициенты «чистой» регрессии bi связаны между собой очевидным соотношением
пользуясь этими формулами можно переходить от стандартизованной записи к обычной и обратно.

4.4 Коэффициенты детерминации и множественной корреляции

1
Практическая значимость уравнения множественной регрессии оценивается с помощью показателя множественной корреляции R или его квадрата - коэффициента детерминации (R2).
Независимо от формы связи (линейная или нелинейная) показатель детерминации находится из уравнения

2
Если используется уравнение регрессии в стандартизованной форме, то можно легко показать (см. Эконометрика под ред. Елисеевой стр. 114-115), что

3
Для определения коэффициентов множественной корреляции и детерминации используется остаточная (необъясненная) дисперсия. Ясно, что если число параметров уравнения регрессии увеличится, то и ошибка уменьшится.
В пределе, если число параметров равно числу наблюдений, то можно добиться полного совпадения эмпирических и теоретических (определяемых по уравнению регрессии) результатов.

4
Чтобы избежать необоснованного завышения качества регрессионной модели при добавления новой переменной вводится скорректированный индекс множественной детерминации.
Скорректированный фактор детерминации использует не просто отношение ESS/TSS, а отношение этих величин, приходящихся на одну степень свободы
m- число параметров при переменных x.

5
Рассмотрим пример использования нормированного фактора детерминации для решения вопроса о включении в модель дополнительной переменной.
Обратимся вновь к данным связи ВНП с объемом потребления и объемом инвестиций за 10 лет (млрд. долл.) см. след. слайд

6
Данные о связи ВНП с объемом потребления и объемом инвестиций за 10 лет (млрд. долл.)

7
Построим однофакторную регрессионную модель связи ВНП и объема потребления и с помощью функции Регрессия Пакета анализа выведем данные регрессионной статистики.

8
Включим теперь в число факторов регрессионной модели переменную Х2 – объем инвестиций. Как следует из приведенных результатов, при этом фактор детерминации вырос, а нормированный фактор детерминации упал. Поэтому второй фактор в регрессионную модель включать не следует.

9
Рассмотрим еще и однофакторную модель связи ВНП с объемом инвестиций Y(X2). Сравнивая результаты, видим, что в этом случае величина нормированного фактора вырастет при включении в модель переменной Х1 . Таким образом, мы показали, что в рассматриваемом случае связь однофакторная Y=f ( X1)

4.5. Коэффициент частной корреляции

1
Определим понятие коэффициента частной корреляции.
Частные коэффициенты (или индексы) корреляции характеризуют тесноту связи между результатом (Y) и соответствующим фактором (xi) при устранении влияния других факторов.
Если говорить точнее, то частные коэффициенты корреляции представляют собой отношение сокращения остаточной дисперсии за счет включения дополнительной переменной, к остаточной дисперсии, имевшей место до включения переменной в модель.

2
Для простоты сначала рассмотрим случай двухфакторной модели Y=f(x1 , x2 ). Остаточная дисперсия при включении первого фактора в модель

3
При включении двух факторов остаточная дисперсия будет равна
Следовательно влияние включения второго фактора на результат Y можно определить как

4
Если вспомнить определение коэффициента детерминации
то легко увидеть, что коэффициент частной корреляции в рассматриваемом случае может быть записан в виде

5
В общем случае, когда рассматривается модель с k факторами коэффициент частной корреляции, измеряющий влияние на y фактора xi записывается в виде

6
Рассмотрим пример использования фактора частной корреляции для обоснования необходимости включения дополнительного фактора в модель.
Рассмотрим статистические данные о потреблении текстиля (текстильных изделий) в Голландии в период между двумя мировыми войнами с 1923 по 1939 годы. В приведенной ниже таблице T - реальное потребление текстиля на душу населения, DPI - реальный располагаемый доход на душу населения, P - относительная цена текстиля. Все показатели выражены в индексной форме, в процентах к 1925 году.

7
Данные о реальном потребление текстиля в зависимости от располагаемого дохода Х1 и цен на текстиль Х2

8
Построим степенную регрессионную модель и линеаризуем ее. Для этого достаточно вычислить десятичные логарифмы исходных переменных.
Для новых переменных построим линейную регрессионную модель, используя функцию Регрессия из Пакета анализа. В результате получаем следующее регрессионное уравнение
Для этой модели значение параметра R2 =0,974, а сумма квадратов остатков ESS = 0,00256.

9
Исключим теперь переменную lg DPI из регрессионного уравнения и найдем уравнение однофакторной регрессии. В результате получаем уравнение регрессии
для которого значение R2=0,876, а сумма остатков ESS=0,0124.

10
Найдем на основании этих данных коэффициент частной корреляции
Таким образом, коэффициент частной корреляции оказался высок и переменную следует включить в модель.

11
Обратим внимание на то, что линейный коэффициент корреляции между lg T и lg DPI весьма мал и составляет всего 0,098.
Тем не менее частный коэффициент корреляции lg T и lg DPI при фиксированном значении lg P оказался весьма высок. Таким образом, далеко не всегда можно отбирать переменные для включения в модель только основываясь на данных о линейном коэффициенте корреляций между переменными.

4.6. Оценка надежности результатов множественной регрессии и корреляции

1
Значимость уравнения множественной регрессии в целом, так же как и парной регрессии оценивается с помощью F - критерия Фишера.
Обратим внимание на то, что буквой m здесь обозначено число факторов, включенных в модель, а не число параметров регрессионной модели. Учитывая определение фактора множественной детерминации

2
Выразим величины QE и QR через R2
и подставим полученные уравнения в определение показателя Фишера. В итоге получаем
Таким образом, для нахождения значимости регрессионной модели достаточно вычислить коэффициент множественной детерминации R2, а затем по приведенной выше формуле найти коэффициент Фишера.

3
Дальнейшая оценка значимости производится точно также, как и в случае однофакторной регрессии. Наряду с эмпирическим значением критерия Фишера, которое определяется приведенной выше формулой определяется критическое значение показателя Фишера при заданных числах степеней свободы k1=m, k2=n-m-1 и заданном уровне значимости α. В Excel критическое значение статистики Фишера можно найти, вызвав функцию FРАСПРОБР (α, k1, k2) и передав ей параметры: уровень значимости, число степеней свободы k1 и степеней свободы k2 .

4
Если Fэмпир > Fкритич , то гипотеза о не значимости уравнения регрессии отвергается.
Можно оценивать не только значимость уравнения регрессии в целом, но и значимость фактора, дополнительно включенного в регрессионную модель.
Необходимость такой оценки связана с тем, что не каждый фактор, вошедший в модель, существенно увеличивает долю объясненной вариации результативного признака.
Кроме того при наличии в модели нескольких факторов они могут вводиться в модель в разной последовательности.

5
Ввиду корреляции между факторами значимость одного и того же фактора может разной в зависимости от очередности его введения в модель.
Частный F - критерий построен на сравнении прироста факторной дисперсии, обусловленной влиянием дополнительной переменной. Если оценивается влияние фактора xk после того как в модель были введены факторы x1 …xk-1 то формула частного F - критерия примет вид

6
В числителе формулы стоит прирост доли объясненной вариации за счет включения в модель переменной хк , а в знаменателе доля остаточной дисперсии при включении в модель всех факторов. Так как прирост факторной суммы обеспечен дополнением одной переменной, то число степеней свободы для этой величины равно единице. Для суммы квадратов отклонений остатков не объясняемых регрессией число степеней свободы равно n-m-1

7
Эмпирическое значение частного F - критерия сравнивается с критическим при числах степеней свободы k1=1, k2=n-m-1 и уровне значимости α.
Пример
По данным статистических наблюдений в США требуется построить модель связи между расходами на продукты питания (Y)
располагаемым личным доходом Х1
и индексом цен на продукты питания x2.
Данные (в индексной форме) приведены на следующем слайде.

8
Статистические данные о связи расходов на продукты питания (Y) располагаемым личным доходом Х1 и индексом цен на продукты питания x2

9
Используя функцию ЛИНЕЙН ( ) найдем Значения факторов детерминации для Одномерной модели Y=f(x2 )

10
Приведенные результаты позволяют построить регрессионную модель
с фактором детерминации

11
точно также построим двухфакторную модель

12
Регрессионное уравнение в этом случае имеет вид
а значение фактора детерминации равно
Поскольку при уровне значимости 0,05 Fкрит = 4,3, то частный коэффициент Fx1 значим.

13
Если вначале включить в модель переменную x1, а затем попытаться включить переменную x2 , то получим результат
Следовательно этот частный коэффициент F также значим.

4.7. Оценка значимости коэффициентов множественной регрессии

1
Оценка статистической значимости коэффициентов уравнения множественной регрессии производится по стандартным формулам математической статистики. При этом выдвигается гипотеза, что соответствующий коэффициент в действительности равен нулю. Тогда оценивается величина
имеющее распределение Стьюдента, где mb среднеквадратическое отклонение соответствующего регрессионного коэффициента.

2
Если не пользоваться вспомогательными пакетами анализа, то требуется достаточно большой объем вычислений для ответа на вопрос о статистической значимости всех коэффициентов множественной регрессионной модели. Более того, эти вычисления следует выполнять используя матричные обозначения, что для начинающих изучать эконометрику представляет дополнительные сложности.
Затем оценивается критическое значение статистики Стьюдента при заданном уровне значимости и если tрасчет > tкритич то нулевая гипотеза отвергается и коэффициент признается статистически значимым.

3
По этой причине будем исходить из того, что для анализа значимости коэффициентов регрессии используются вспомогательные математические пакеты, например Excel.
Как уже указывалось, среди стандартных функций статистического анализа Excel содержит и функцию ЛИНЕЙН () которая возвращает, в частности регрессионные коэффициенты (первая строка) и стандартные ошибки (среднеквадратические отклонения) для них – вторая строка. Пользуясь этими результатами уже нетрудно оценить статистическую значимость каждого из коэффициентов.

4
Более полную информацию дает использование функции Регрессия из Пакета анализа. Приведем неполный фрагмент выдачи, которую возвращает эта функция для статистических данных о связи расходов на продукты питания (Y) располагаемого личного дохода (Х1) и индекса цен на продукты питания (x2)

5
5

6
Для оценки статистической значимости коэффициентов множественной регрессии можно использовать и частный F – критерий. Можно показать, что
Иначе говоря t -критерий для коэффициента регрессии в i-том факторе определяется корнем квадратным из величины частного F -критерия для этой величины.
Этот результат легко можно проверить, используя данные данные о связи расходов на продукты питания (Y) располагаемым личным доходом Х1 и индексом цен на продукты питания x2

7
Действительно, вспоминая данные о частных коэффициентах корреляции
Как следует из данных приведенных на слайде 84, именно эти значение имеет t -критерий для коэффициентов b1 и b2 .

Методы обнаружения гетероскедастичности остатков

1
Для обнаружения гетероскедастичности (неодинаковости разброса данных для различных точек наблюдения) можно использовать либо графический метод, либо один из возможных тестов.
В простейшем случае гетероскедастичность можно заметить непосредственно, построив поле корреляции переменных и линию тренда. Такой пример приведен ниже.

2
Модельные данные для демонстрации гетероскедастичности. Линия тренда изображена красным цветом

3
На практике для графического обнаружения гетероскедастичности по оси абсцисс откладывают значение результативной переменной, получаемой из уравнения регрессии, а по оси ординат либо ошибку, либо квадрат ошибки для соответствующей точки.
На слайде ниже представлена такая диаграмма, которая получена на основании данных о деятельности крупнейших компаний США за 1996 г.

4
Данные о финансовой деятельности компаний

5
Гетероскедастичность данных предыдущего слайда. По оси Y отложена ошибка

6
Для аналитической проверки данных на гетероскедастичность чаще всего используют тест Голдфелда - Квандта.
Для проведения теста Голдфелда -Квандта вся совокупность делится на три подвыборки с объемами k , (n-2k), k. В нашем случае 7, 6, 7.
Далее выдвигаем гипотезу об отсутствии гетероскедастичности и вычисляем сумму квадратов отклонений ESS для первой и третьей выборок (это можно сделать с помощью функции ЛИНЕЙН в Excel).

7
Для сравнения соответствующих дисперсий строится следующая F - статистика
Эта величина распределена по закону Фишера с числами степеней свободы k-m-1, k-m-1. Если фактическое значение критерия больше критического, то гипотеза об отсутствии гетероскедастичности отклоняется.

8
Используем этот тест для оценки гетероскедастичности зависимости прибыли от использованного капитала. Упорядочим исходные данные по увеличению факторного признака.
Проверяется по существу гипотеза , что с ростом факторного признака возрастает и ошибка.
Находим суммы квадратов ошибок для первой и последней трети данных, используя функцию линейн().

9
В итоге получаем:
Данные для первой трети набора
Данные для последней трети набора
ESS1
ESS3