Rozdział 2 Klasyczna metoda najmniejszych kwadratów

Wybrane zagadnienia ekonometrii z wykorzystaniem
programu Statistica
Marcin Kurpas
UPGOW – Uniwersytet Partnerem Gospodarki Opartej na Wiedzy Uniwersytet Śląski w
Katowicach, ul. Bankowa 12, 40-007 Katowice, http://www.us.edu.pl
Publikacja jest współfinansowana z Unii Europejskiej w ramach Europejskiego Funduszu
Społecznego.
Skrypt jest dystrybuowany bezpłatnie.
2
Spis treści
1 Wstęp
1.1 Czym jest ekonometria? . . . .
1.2 Podstawowe pojęcia ekonometrii
1.2.1 Zmienne modelu . . . .
1.2.2 Parametry strukturalne .
1.2.3 Dane statystyczne . . . .
1.3 Etapy badań ekonometrycznych
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
2 Klasyczna metoda najmniejszych kwadratów
2.1 Jednorównaniowy liniowy model ekonometryczny z jedną zmienną objaśniającą . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2 Wyznaczenie parametrów modelu liniowego z jedną zmienną objaśniającą
metodą najmniejszych kwadratów . . . . . . . . . . . . . . . . . . . . . .
2.3 Uogólnienie na model wielowymiarowy . . . . . . . . . . . . . . . . . . .
2.4 Klasyczna metoda najmniejszych kwadratów - założenia . . . . . . . . .
2.5 Twierdzenie Gaussa-Markowa . . . . . . . . . . . . . . . . . . . . . . . .
2.6 Ocena stopnia dopasowania modelu ekonometrycznego do danych empirycznych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.7 Zadania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.8 KMNK w Statistica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.8.1 Wykres rozrzutu . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.8.2 Szacowanie parametrów modelu . . . . . . . . . . . . . . . . . . .
2.8.3 Statystyczna istotność modelu . . . . . . . . . . . . . . . . . . . .
3 Weryfikacja
3.1 Wartość
3.2 Badanie
3.3 Badanie
3.4 Badanie
3.5 Badanie
3.6 Zadania
założeń KMNK
średnia reszt . . . . . . . . . . . . . . . .
losowości . . . . . . . . . . . . . . . . . .
normalności rozkładu składnika losowego
autokorelacji . . . . . . . . . . . . . . . .
homoskedastyczności . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .
4 Metody doboru zmiennych objaśniających
4.0.1 Wykresy rozrzutu . . . . . . . . . .
4.0.2 Korelacie Pearsona . . . . . . . . .
4.0.3 Eliminacja zmiennych kwazistałych
3
do
. .
. .
. .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5
5
5
6
6
7
9
11
. 11
.
.
.
.
13
15
17
18
.
.
.
.
.
.
20
24
24
24
26
28
.
.
.
.
.
.
31
31
32
33
35
37
39
modelu
41
. . . . . . . . . . . . . . . . 41
. . . . . . . . . . . . . . . . 42
. . . . . . . . . . . . . . . . 44
4
SPIS TREŚCI
4.1
4.0.4 Regresja krokowa . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.0.5 Metoda Hellwiga . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Zadania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5 Szacowanie parametrów modeli w przypadku autokorelacji i heteroskedastyczności
49
5.0.1 Ważona metoda najmniejszych kwadratów . . . . . . . . . . . . . . 50
5.0.2 Metoda Cochrane’a-Orcutta . . . . . . . . . . . . . . . . . . . . . . 51
6 Prognozowanie na podstawie modelu ekonometrycznego
53
7 Nieliniowe modele ekonometryczne
57
7.1 Linearyzowalne modele ekonometryczne . . . . . . . . . . . . . . . . . . . . 57
8 Funkcja produkcji
8.1 Wstęp . . . . . . . . . . . . . . . . . . . . .
8.1.1 Zastosowanie funkcji produkcji . . . .
8.2 Funkcja produkcji Cobba-Douglasa . . . . .
8.2.1 Linearyzacja funkcji Cobba-Douglasa
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
61
61
61
63
63
9 Ekonometryczna analiza rynku i popytu konsumpcyjnego
65
9.1 Podstawowe pojęcia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
9.1.1 Ekonometryczne modele popytu dochodowego . . . . . . . . . . . . 67
10 Dodatek
69
Rozdział 1
Wstęp
1.1
Czym jest ekonometria?
Pierwszym pytaniem, jakie należy sobie zadać rozpoczynając przygodę z ekonometrią jest
”czym zajmuje się ekonometria?”. Odpowiedź, w dość ogólnej postaci, jest następująca:
ekonometria to nauka, która zajmuje się badaniem związków przyczynowo–skutkowych
między zjawiskami ekonomicznymi i społecznymi oraz ilościowym opisem tych relacji. Celem badań ekonometrycznych jest również konfrontacja teorii ekonomicznych z praktyką,
a także prognozowanie, na podstawie pewnych przesłanek, o rozwoju zjawisk ekonomicznych. Powyższe sformułowanie, jak już napisaliśmy, jest dość ogólne, ponieważ metody
ekonometrii znajdują zastosowanie także w badaniu zjawisk przyrodniczych, technicznych,
socjalnych, medycynie lub w naukach o sporcie. Pojęcie ekonometria zostało sformułowane
(tak się przynajmniej uważa) przez norweskiego uczonego Ragnara Frischa, współzałożyciela Towarzystwa ekonometrycznego, pierwszego edytora czasopisma Econometrica. W
1969 roku Frisch (wraz z Janem Tinbergenem) został uhonorowany pierwszą Nagrodą
Nobla w w dziedzinie ekonomii.
1.2
Podstawowe pojęcia ekonometrii
Czym jest model ekonometryczny?
Podstawowym pojęciem ekonometrii (również narzędziem ekonometryka) jest model ekonometryczny. Model ekonometryczny jest uproszczoną wersją rzeczywistości, ponieważ
zjawiska ekonomiczne są na ogół bardzo złożone. Jest to układ równań stochastycznych
(w najprostszym przypadku jedno równanie), który z pewną dokładnością opisuje rzeczywiste zależności pomiędzy rozpatrywanymi zjawiskami ekonomicznymi. Pierwszym,
który zwrócił uwagę na probabilistyczną istotę modelu ekonometrycznego był również
Norweg, i również laureat Nagrody Nobla w dziedzinie ekonomii Tryvge Haavelmo. Wg
niego, modele deterministyczne nie są konsystentne z obserwacjami ekonomicznymi, dlatego niewłaściwe jest stosowanie modeli deterministycznych do niedeterministycznych danych. Składnikami modelu ekonometrycznego są zmienne oraz *parametry strukturalne*.
Dodatkowym składnikiem jest czynnik losowy, którego obecność wynika z przybliżonego
charakteru (niedokładności) badanej zależności.
5
6
1.2.1
ROZDZIAŁ 1. WSTĘP
Zmienne modelu
Zmienne modelu możemy podzielić na dwie grupy: zmienne objaśniane - których zmienność (zachowanie) będziemy chcieli wyjaśnić za pomocą modelu, oraz zmienne objaśniające czyli takie, które wpływają na zachowanie się zmiennej objaśnianej - objaśniają zmienność zmiennej objaśnianej. Czasem zdarza się (np. w modelach wielorównaniowych), że
zmienne objaśniane pełnią rolę również zmiennych objaśniających. Wtedy taki podział
nie jest do końca jednoznaczny. Dlatego wprowadzono podział na zmienne endogeniczne
- wszystkie zmienne objaśniane modelu, które mogą występować również jako zmienne
objaśniające (w tym samym modelu) oraz zmienne egzogeniczne - zmienne, które w danym modelu pełnią wyłącznie rolę zmiennych objaśniających. Zakres niniejszego skryptu
ogranicza się jedynie do prostych modeli, w których zmienne objaśniane nie będą pełniły
roli zmiennych objaśniających. Będziemy zatem używali podziału na zmienne objaśniane
i objaśniające.
Innym podziałem zmiennych, o którym warto wspomnieć, jest podział na zmienne ilościowe i zmienne jakościowe. Zmienne ilościowe przyjmują wartości liczbowe (są mierzalne)
np. liczba sprzedanych samochodów, liczba urodzeń, dochód na członka rodziny. Zmienne
jakościowe przyjmują wartości słowne i dotyczą takich cech jak np. płeć, wykształcenie.
Takie zmienne powodują pewne utrudnienia w procesie mierzenia relacji ekonomicznych,
istnieją jednak metody zastąpienia ich zmiennymi ilościowymi np. poprzez wprowadzenie
zmiennych zero-jedynkowych.
1.2.2
Parametry strukturalne
Wnioskowanie na podstawie modelu ekonometrycznego o zależnościach ekonomicznych
może mieć miejsce dopiero po oszacowaniu parametrów strukturalnych modelu. Parametry
strukturalne to współczynniki, które wiążą ze sobą zmienne objaśniane i objaśniające. Dla
prostych liniowych modeli ekonometrycznych, będą one współczynnikami proporcjonalności pomiędzy zmiennymi objaśniającymi a objaśnianą (np. podobnie jak opór elektryczny
jest współczynnikiem proporcjonalności pomiędzy napięciem przyłożonym do obwodu, a
prądem płynącym w tym obwodzie). Wartości parametrów strukturalnych dla danego
zjawiska ekonomicznego na ogół nie są znane i wymagają wyznaczenia na podstawie danych obserwacyjnych. Dlatego też, w modelu ekonometrycznym (wyznaczanym w procesie
modelowania) występują estymatory parametrów strukturalnych, a nie same parametry.
Chcielibyśmy, aby wartości estymatorów parametrów strukturalnych były jak najbliższe
parametrom strukturalnym tzn. aby model teoretyczny w jak największym stopniu odzwierciedlał prawdziwe zależności ekonomiczne. Jak zobaczymy nie jest to zadanie proste
ze względu na złożoność zjawisk, które chcemy opisywać.
Trzecim składnikiem modelu jest element losowy. Obecność składnika losowego świadczy o stochastycznym charakterze modelu. Czynnik losowy odzwierciedla wpływ drugorzędnych, jawnie niewyróżnionych czynników, niedoskonałość danych statystycznych, a
także nieprzewidywalne zachowanie podmiotów ekonomicznych.
Model ekonometryczny, nie precyzując jego postaci matematycznej, możemy zapisać
jako związek funkcyjny pomiędzy zmiennymi
Yk = fk (Xk , ξk ),
(1.1)
1.2. PODSTAWOWE POJĘCIA EKONOMETRII
7
gdzie Yk jest k-tą obserwacją zmiennej objaśnianej, Xk jest wektorem obserwacji zmiennych objaśniających, ξk jest elementem losowym. Indeks k = 1, 2 . . . n numeruje równania
w modelu, a liczba n to ilość obserwacji danej wielkości.
Modele ekonometryczne można sklasyfikować ze względu na różne cechy. Poniżej wypiszemy najczęściej spotykane podziały:
• ze względu na postać analityczną modelu: modele liniowe, nieliniowe (sprowadzalne
do liniowych, niesprowadzalne do liniowych),
• ze względu na ilość równań modelu: jednorównaniowe, wielorównaniowe,
• ze względu na rolę czynnika czasu: modele statyczne (niezależne od czasu), modele
dynamiczne (zależne od czasu np. modele trendu).
Powyższy podział nie jest tylko zabiegiem formalnym, lecz ma swoje podstawy statystyczne: od typu i postaci modelu zależą metody szacowania jego parametrów.
1.2.3
Dane statystyczne
Podstawową wiedzę o zjawiskach ekonomicznym uzyskuje się na podstawie zebranych danych statystycznych. Dane statystyczne to wyniki powtarzanych pomiarów danej cechy
np. zarobków, wykształcenia itp.. Pomiaru danej cechy dokonuje się zwykle na pewnym
podzbiorze populacji zwanym próbą. Populacja to zbiorowość obiektów (osób, przedmiotów, faktów) podobnych pod względem pewnych cech. Przykładowo, chcemy zbadać średni
wzrost Polaków. Zatem populacją będą wszyscy obywatele Polski. Łatwo sobie wyobrazić,
że dokonanie pomiaru ok 40 milionów ludzi byłoby bardzo czasochłonne i statystycznie
nieuzasadnione. Dlatego wybiera się losowo próbę statystyczną - pewien podzbiór populacji np. 1000 osób z różnych regionów kraju i na tym podzbiorze dokonuje się pomiaru
oraz analizy statystycznej. Jeśli próba losowa jest dostatecznie liczna, to jest próbą reprezentatywną i wyniki badań można uogólnić na całą populację, tzn. z dużym prawdopodobieństwem można sądzić że rozkład danej cechy w populacji (w naszym przykładzie
wzrostu Polaków) jest taki sam jak w wybranej próbie.
Dane statystyczne również możemy podzielić na rodzaje: dane mogą dotyczyć zmienności danej cechy w zależności od chwili czasu, w którym ją mierzymy - takie dane noszą
nazwę szeregów czasowych (np. kursy walut lub indeksy giełdowe); zmienności danej cechy
w ustalonym czasie, ale w odniesieniu do różnych obiektów - dane przekrojowe (np. średni
dochód gospodarstwa domowego w województwie Małopolskim). Dane stanowiące połączenie dwóch poprzednich rodzajów danych noszą nazwę danych panelowych i składają się
z danych dla wielu obiektów, z których każdy jest obserwowany w kilku okresach czasu.
Dysponując surowymi danymi trudno jest wyciągnąć wnioski o zależności pomiędzy
badanymi zjawiskami ekonomicznymi. Dopiero przetworzenie tych danych z zastosowaniem narzędzi ekonometrycznych np. zbudowanie na ich podstawie modelu ekonometrycznego pozwala na określenie ilościowych związków przyczynowo-skutkowych dla danego
zjawiska.
8
ROZDZIAŁ 1. WSTĘP
Tabela 1.1: Przykład danych przekrojowych: liczba mieszkańców Polski w 2010 roku w
danym województwie. Źródło: GUS.
Województwo
liczba mieszkańców
Dolnośląskie
2877840
Kujawsko-pomorskie
2069543
Lubelskie
2151895
Lubuskie
1011024
Łódzkie
2534357
Małopolskie
3310094
Mazowieckie
5242911
Opolskie
1028585
Podkarpackie
2103505
Podlaskie
1188329
Pomorskie
2240319
Śląskie
4635882
Świętokrzyskie
1266014
Warmińsko-mazurskie
1427241
Wielkopolskie
3419426
Zachodniopomorskie
1693072
Tabela 1.2: Przykład szeregu czasowego: cena dolara amerykańskiego zarejestrowana w
ciągu kilku dni. Źródło: FOREX.
Data
Cena w PLN za jednostkę
22.01.2014
3.0608
23.01.2014
3.048
22.01.2014
3.0682
21.01.2014
3.0660
20.01.2014
3.0620
19.01.2014
3.0730
1.3. ETAPY BADAŃ EKONOMETRYCZNYCH
1.3
9
Etapy badań ekonometrycznych
Badanie procesów ekonomicznych odbywa się wieloetapowo i wymaga zarówno wiedzy
statystycznej, jak i merytorycznej dotyczącej danego problemu. Pierwszym etapem badań
jest zapoznanie się ze zjawiskiem ekonomicznym, którego analizę chcemy wykonać. Wiedza na temat praw rządzących danym zjawiskiem jest niezbędna na późniejszych etapach
i jej brak może doprowadzić do błędnych decyzji (np. źle dobrane zmienne objaśniające
lub analityczna postać modelu) lub do błędnych wniosków. Kolejnym etapem jest dobór zmiennych objaśniających do modelu. Jest to zadanie wymagające szczególnej uwagi.
Może się bowiem zdarzyć, że źle dobrane zmienne nie będą w wystarczającym stopniu
wyjaśniały kształtowania się zmiennej objaśnianej lub, co gorsza, ekonometryk podejmie
decyzję o zmianie postaci analitycznej modelu, który dla dobrze dobranych zmiennych
objaśniających dawałby poprawne wyniki. Dobór zmiennych do modelu można podzielić na dwa etapy: wybór potencjalnych zmiennych objaśniających bazujących na wiedzy
merytorycznej, a następnie jego weryfikacja za pomocą narzędzi statystycznych.
Następnym krokiem jest wybór postaci analitycznej modelu. To zadanie również należy do niełatwych, ponieważ dużą rolę odgrywa w nim znajomość teorii ekonometrii,
modelowanego zjawiska oraz doświadczenie. Po dokonaniu wyboru zmiennych objaśniających i postaci modelu przystępuje się do estymacji parametrów strukturalnych modelu.
W tym celu stosuje się rożne metody np. metodę najmniejszych kwadratów lub metodę
największej wiarygodności, które są zaimplementowane w wielu pakietach statystycznych,
zarówno komercyjnych (np. Statistica, STATA, SAS), jak i bezpłatnych (np. R, Gretl).
Wybór metody szacowania parametrów strukturalnych nie może być przypadkowy, ponieważ zależy od postaci analitycznej modelu oraz cech charakteryzujących dane statystycznych. Jest to ściśle związane z własnościami estymatorów uzyskanych konkretną metodą
estymacji.
10
ROZDZIAŁ 1. WSTĘP
Rozdział 2
Klasyczna metoda najmniejszych
kwadratów
Uwagi wstępne
W poprzednim rozdziale podaliśmy ogólną postać modelu ekonometrycznego, jako związku pomiędzy zmiennymi objaśnianymi i objaśniającymi. W następnych będziemy zajmowali się jedną postacią modelu ekonometrycznego, która jest bardzo powszechnie stosowana, mianowicie modelem liniowym. Do estymacji parametrów strukturalnych modelu
będziemy stosować klasyczną metodę najmniejszych kwadratów (KMNK). Jak zobaczymy, wybór tej metody jest nieprzypadkowy.
2.1
Jednorównaniowy liniowy model ekonometryczny z jedną zmienną objaśniającą
Jest to najprostsza wersja modelu liniowego i chociaż najczęściej nie wystarcza do poprawnego opisu zjawisk ekonomicznych, jego zaletą jest prostota zrozumienia i interpretacji.
Jednorównaniowy model liniowy z jedną zmienną objaśniającą możemy zapisać w
następującej postaci:
yi = β0 + β1 xi + i , i = 1, 2, . . . , n,
(2.1)
gdzie βi są nieznanymi parametrami strukturalnymi modelu, yi - i-tą obserwacją zmiennej
objaśnianej, xi - i-tą obserwacją zmiennej objaśniającej, a i zmienną losową. Zmienne yi
oraz xi są nam znane (ich wartości zostały zebrane np. w wyniku przeprowadzenia badania
ankietowego).
Wartości parametrów strukturalnych βk nie są znane, więc zadaniem ekonometryka
jest wyznaczenie takich wartości estymatorów parametrów strukturalnych, które będą
najbliższe tym parametrom. Konstruuje się więc model teoretyczny, w którym parametry
strukturalne β zastępuje się ich estymatorami b:
ŷi = b0 + b1 xi , i = 1, 2, . . . , n,
(2.2)
przy czym przez ŷi oznaczyliśmy wartość teoretyczną zmiennej objaśnianej (wyznaczoną
z modelu), a bk estymatory parametrów strukturalnych βk .
11
12
ROZDZIAŁ 2. KLASYCZNA METODA NAJMNIEJSZYCH KWADRATÓW
Rysunek 2.1: Schematyczne przedstawienie idei modelu ekonometrycznego. Punkty oznaczają dane eksperymentalne, linia oznacza model teoretyczny wyznaczony na podstawie
danych eksperymentalnych. Różnice pomiędzy wartościami teoretycznymi i obserwowanymi to reszty ei . Dane umowne.
Uwaga
Oznaczenia ŷi będziemy używali w celu podkreślenia, że wartość ta jest wartością teoretyczną, wyznaczoną z oszacowanego już modelu. Wartość empiryczną zmiennej objaśnianej oznaczamy yi .
Ponieważ model teoretyczny z reguły nie tłumaczy w stu procentach rozpatrywanego
zjawiska ekonomicznego (np. ze względu na złą jakość danych, zbyt małą próbę lub złą
postać funkcyjną modelu), wartości teoretyczne zmiennej objaśnianej wyznaczone z modelu mogą różnić się od wartości empirycznych. Ich różnice nazywa się resztami modelu:
ei = yi − ŷi , i = 1, 2, . . . , n.
(2.3)
Widać, że reszty będą w pewien sposób odzwierciedlały dopasowanie modelu teoretycznego do danych empirycznych.
Wprowadźmy wielkość, która będzie opisywała dopasowanie modelu do danych empirycznych. Zdefiniujmy ją jako sumę wszystkich reszt:
η=
n
X
ei ,
(2.4)
i=1
gdzie n jest wielkością próby (liczbą obserwacji danej cechy). Na pierwszy rzut oka wydaje
się, że przypadek η = 0 oznaczać będzie idealnie dopasowany model. Niestety, jest to
bardzo zła miara dopasowania, ponieważ w metodzia najmniejszych kwadratów suma
reszt jest zawsze równa zeru
n
X
ei = 0. Reszty dodatnie (powyżej prostej na rysunku 2.1)
i=1
są przeciwne do reszt ujemnych (poniżej prostej na rysunku 2.1) i wzajemnie się znoszą.
2.2. WYZNACZENIE PARAMETRÓW MODELU LINIOWEGO Z JEDNĄ ZMIENNĄ OBJAŚNIAJĄC
Lepszą miarą dopasowania jest suma modułów reszt
n
X
η1 =
|ei |.
(2.5)
i=1
W tym przypadku dodatnie i ujemne reszty nie znoszą się i im większe są reszty ei ,
tym większa jest wartość η1 . Niestety ta funkcja nie jest ”ładną” funkcją matematyczną,
ponieważ nie jest wszędzie różniczkowalna, co powoduje pewne trudności w szukaniu jej
minimum. Dlatego jako miary dopasowania używa się sumy kwadratów reszt
χ=
n
X
e2i .
(2.6)
i=1
W następnym rozdziale pokażemy, że stosując miarę dopasowania (2.6), jesteśmy w
stanie wyznaczyć jednoznacznie takie wartości estymatorów parametrów strukturalnych
b0 i b1 , dla których χ osiąga minimum.
2.2
Wyznaczenie parametrów modelu liniowego z jedną zmienną objaśniającą metodą najmniejszych
kwadratów
Najczęściej stosowaną metodą wyznaczenia ocen bk w parametrycznych modelach liniowych jest metoda najmniejszych kwadratów. Polega ona na wyznaczeniu takich oszacowań
b0 i b1 , dla których suma kwadratów reszt (2.6) jest najmniejsza
χ=
n
X
e2i → min.
(2.7)
i=1
Z równania 2.3 wynika, że przy danych wielkościach xi i yi reszty są funkcjami ocen
parametrów strukturalnych:
χ(b0 , b1 ) =
n
X
e2i =
i=1
n
X
(yi − ŷi )2 =
i=1
n
X
(yi − b0 − b1 xi )2 .
(2.8)
i=1
Chcemy zatem zminimalizować χ(b0 , b1 ) ze względu na parametry b0 i b1 .
Warunkiem koniecznym, aby funkcja miała minimum w punkcie, jest znikanie jej pierwszych pochodnych cząstkowych w tym punkcie:
∂χ(b0 , b1 )
= 0,
∂b0
∂χ(b0 , b1 )
= 0.
∂b1
(2.9)
(2.10)
Zatem,
Pn
∂χ(b0 , b1 )
∂(
=
∂b0
=
n
X
i=1
i=1 (yi
− b0 − b1 xi )2 )
∂
=
∂b0
(2b0 − 2(yi − b1 xi )) = −2
Pn
n
X
i=1
i=1
[(yi − b1 xi ) − b0 ]2
∂b0
(yi − b0 − b1 xi ) = 0
(2.11)
14
ROZDZIAŁ 2. KLASYCZNA METODA NAJMNIEJSZYCH KWADRATÓW
∂χ(b0 , b1 )
∂
=
∂b1
Pn
i=1
= −2
n [(yi − b0 ) − b1 xi ]2 X
=
−2xi (yi − b0 ) + 2b1 x2i
∂b1
i=1
n X
xi yi − xi b0 − b1 x2i = −2
i=1
n
X
xi (yi − b0 − b1 xi ) = 0. (2.12)
i=1
Ponieważ obydwa warunki muszą być spełnione jednocześnie, otrzymujemy układ równań:

n
X



(yi

 −2




 −2
i=1
n
X
− b0 − b1 x i ) = 0 ,
(2.13)
xi (yi − b0 − b1 xi ) = 0.
i=1
Wchodząc ze znakiem sumy pod nawiasy i dzieląc obydwa równania przez (-2) otrzymujemy:

n
X



yi







i=1
n
X
−
n
X
b1 xi − nb0 = 0,
i=1
xi yi − b0
i=1
n
X
x i − b1
i=1
n
X
(2.14)
x2i = 0,
i=1
gdzie
n
X
b0 = b0
n
X
1 = b0 n.
i=1
i=1
Jeśli pierwsze równanie w (2.14) podzielimy przez n i dokonamy podstawienia
n
n
1X
1X
yi = ȳ,
xi = x̄
n i=1
n i=1
(2.15)
gdzie x̄ oznaczana średnią arytmetyczną z xi , to otrzymamy:
n
n
1X
1X
y i − b1
xi − b0 = ȳ − b1 x̄ − b0 = 0.
n i=1
n i=1
(2.16)
Z tego równania możemy wyliczyć wartość parametru b0 :
b0 = ȳ − b1 x̄
(2.17)
i wstawić do drugiego równania w (2.14)



b0 = ȳ − b1 x̄,
n
n
X
X

xi yi − (ȳ − b1 x̄)
xi


i=1
− b1
i=1
Analogicznie, stosując podstawienie
n
X
i=1
xi = nx̄
n
X
i=1
x2i = 0.
(2.18)
2.2. WYZNACZENIE PARAMETRÓW MODELU LINIOWEGO Z JEDNĄ ZMIENNĄ OBJAŚNIAJĄC
otrzymujemy:



b0 = ȳ − b1 x̄,
n
X

xi yi − nx̄ȳ


2
+ nb1 x̄ − b1
i=1
n
X
i=1
Policzmy, czemu są równe wyrażenia
n
X
(xi − x̄)2 oraz
i=1
n
X
(xi − x̄)2 =
i=1
=
(2.19)
x2i = 0.
n
X
(xi − x̄)(yi − ȳ):
i=1
n
X
(x2i − 2x̄xi + x¯2 )
i=1
n
X
(2.20)
x2i − 2nx̄x̄ + nx̄2 =
i=1
n
X
i=1
i=1
n
X
=
x2i − nx̄2
i=1
n
X
(xi − x̄)(yi − ȳ) =
n
X
xi yi − ȳ
n
X
xi − x̄
i=1
n
X
yi + x̄ȳ
n
X
i=1
1
(2.21)
i=1
xi yi − nx̄ȳ
i=1
Wstawiając te wyrażenia do drugiego równania w (2.19) i po kilku przekształceniach
otrzymujemy:


b0








b1







= ȳ − b1 x̄,
n
X
(xi − x̄)(yi − ȳ)
=
i=1
(2.22)
.
n
X
(xi − x̄)2
i=1
Otrzymaliśmy rozwiązanie warunku koniecznego na istnienie ekstremum funkcji χ(b0 , b1 ).
Pozostało nam sprawdzenie warunku wystarczającego na istnienie minimum. Ponieważ
mamy do czynienia z funkcją dwóch zmiennych, musimy policzyć zarówno drugie pochodne po bk jak i pochodne mieszane.
A=
 2
∂ χ(b0 , b1 )


∂b20
 2
 ∂ χ(b0 , b1 )
∂b0 b1
Jeśli det(A) > 0, oraz pochodna
det(A) = 4n


∂ 2 χ(b0 , b1 )
2n
2nx̄

n


∂b0 b1 
X
=
2
x
∂ 2 χ(b0 , b1 ) 
2nX̄ 2
i
i=1
∂b21

(2.23)
∂ 2 χ(b0 , b1 )
> 0 to funkcja ma lokalne minimum. Ponieważ
∂b20
n
X
i=1
!
x2i
− nx̄
2
= 4n
n
X
!
2
(xi − x̄)
>0
i=1
oraz 2n > 0, to w b0 i b1 danymi przez (2.22) funkcja χ(b0 , b1 ) ma minimum.
(2.24)
16
ROZDZIAŁ 2. KLASYCZNA METODA NAJMNIEJSZYCH KWADRATÓW
Wniosek
Użycie metody najmniejszych kwadratów do znalezienia wartości estymatorów bk parametrów strukturalnych βk pozwoliło na znalezienie takich wartości bk , dla których suma
kwadratów reszt osiąga minimum. Oznacza to, że o ile reszty mają rozkład normalny
(patrz np. [6]), inne metody estymacji mogą dać co najwyżej tak samo dobre oszacowania
parametrów strukturalnych.
2.3
Uogólnienie na model wielowymiarowy
W poprzednim rozdziale zdefiniowaliśmy liniowy (względem parametrów i zmiennych objaśnianych) model ekonometryczny z jedną zmienną objaśniającą. W tym rozdziale wprowadzimy ogólniejszy zapis modelu z dowolną liczbą zmiennych objaśniających.
Rozważmy zatem model liniowy
yi = β0 + β1 x1i + β2 x2i + . . . + βk xki + i , i = 1, 2, . . . , n,
(2.25)
gdzie:
yi - jest i-tą obserwacją zmiennej objaśnianej, xki - i-tą obserwacją k−tej zmiennej objaśniającej, a i zmienną losową.
Obserwacje zmiennych objaśnianych dla całej próby tworzą wektor jednokolumnowy

Y=






y1
y2
..
.


.


(2.26)
yn
Dla k− tej zmiennej objaśniającej jej wektor obserwacji jest postaci



Xk = 


xk1
xk2
..
.



.


(2.27)
xkn
Łatwo zauważyć, że wektory obserwacji dla wszystkich zmiennych objaśniających, dla
całej próby o liczebności n tworzą macierz postaci



X=


1 x11 x21 . . . xk1
1 x12 x22 . . . xk2
.. ..
..
..
..
. .
.
.
.
1 x1n x2n . . . xkn



,


(2.28)
gdzie pierwsza kolumna (złożona z jedynek) odpowiada stałej w modelu (parametrowi
β0 ).
Wektor parametrów β oraz czynników losowych i również są jednokolumnowy



β =


β1
β2
..
.
βk



,


(2.29)
2.4. KLASYCZNA METODA NAJMNIEJSZYCH KWADRATÓW - ZAŁOŻENIA 17

i =





1
2
..
.



.


(2.30)
n
Stosując powyższy zapis, model (2.25) możemy zapisać jako
β + .
Y = Xβ
(2.31)
Analogicznie jak robiliśmy to w rozdziale poprzednim, można wyprowadzić warunki
na istnienie minimum funkcjonału χ(bb), który ma następującą postać
χ(bb) = χ(b0 , b1 , . . . , bk ) =
n
X
e2i ,
(2.32)
i=1
gdzie reszty
ei = y − b0 − b1 x1i − b2 x2i . . . − bk xki .
(2.33)
Warunkiem koniecznym istnienia ekstremum jest zerowanie się wszystkich pochodnych
cząstkowych pierwszego rzędu
∂χ(bb)
= 0, l = 1, 2, . . . , k,
∂bl
(2.34)
a warunkiem wystarczającym na istnienie minimum jest dodatnio określona macierz drugich pochodnych
∂ 2 χ(bb)
> 0.
(2.35)
∂bb2
Poniżej podamy tylko wynik obliczeń, zainteresowanych szczegółami rachunkowymi odsyłamy np. do książki [4] lub do skryptu [6].
Z powyższych warunków na minimum funkcjonału χ(bb) otrzymujemy następującą postać wektora estymatorów parametrów strukturalnych:
b = XT X
−1
XT Y,
(2.36)
gdzie XT oznacza macierz transponowaną do macierzy X, a (XT X)−1 jest macierzą odwrotną do macierzy XT X.
2.4
Klasyczna metoda najmniejszych kwadratów - założenia
Aby powyższy formalizm szacowania wartości estymatorów parametrów strukturalnych
mógł nosić nazwę klasycznej metody najmniejszych kwadratów (KMNK), muszą być spełnione pewne założenia [3, 2], co daje nam większe możliwości wnioskowania statystycznego.
18
ROZDZIAŁ 2. KLASYCZNA METODA NAJMNIEJSZYCH KWADRATÓW
1. Istnieje liniowa zależność pomiędzy zmienną objaśnianą i objaśniającymi. Zmienne
objaśniające xi są nielosowe, a ich wartości są traktowane jako stałe w powtarzających się próbkach (pomiarach).
2. Wartości oczekiwane składników losowych są równe zeru: E() = 0.
3. Wariancje składników losowych są stałe, tzn. D2 () = E( T ) = σ 2I , σ 2 < ∞.
X ) = k + 1 ¬ n, gdzie r() oznacza rząd macierzy.
4. r(X
5. Składniki losowe i , i = 1, 2, . . . , n mają rozkład normalny.
Interpretacja założeń
Pierwsze założenie o nielosowości i stałości w próbach zmiennych objaśniających oznacza, że wartości tych zmiennych są znane (założone z góry) np. chcąc zbadać wpływ
intensywności stosowania środków ochrony roślin na zbiór ziemniaków wybiera się trzy
gospodarstwa. Każdy z rolników stosuje ten sam środek ochrony roślin, ale z różną, lecz
stałą intensywnością (pierwszy rolnik spryskuje pole raz w miesiącu, drugi dwa razy a
trzeci trzy razy). Bada się ile ton ziemniaków pierwszej klasy zbierze każdy z gospodarzy. Plony ziemniaków są oczywiście zmienną losową, lecz ilość środka ochrony roślin nie,
ponieważ jest z góry ustalona.
Drugie założenie, o zerowej wartości oczekiwanej składnika losowego oznacza, że zakłócenia od poszczególnych składników losowych mają tendencję do wzajemnego znoszenia
się. Konsekwencją tego założenia jest równość E[yi |x1i , . . . , xki ] = β X, która nadaje następującą interpretację liczbową parametrom modelu: wartość parametru βl mówi o ile
średnio zmieni się wartość zmiennej objaśnianej y, gdy zmienna objaśniająca xl zmieni
się o jednostkę, przy niezmienionych wartościach pozostałych zmiennych.
Trzecie założenie oznacza jednorodność wariancji składnika losowego (tzw. homoskedastyczność). Dodatkowo, E(i , j ) = 0 (lub cov(i , j ) = 0) dla i 6= j co oznacza, że
składniki losowe są nieskorelowane, a ich rozkład jest niezależny od zmiennych objaśniających i taki sam dla wszystkich obserwacji.
Czwarte założenie mówi, że rząd macierzy zmiennych objaśniających jest mniejszy lub
równy liczbie obserwacji. Jest to założenie algebraiczne, lecz niezbędne do jednoznacznego
wyznaczenia wartości estymatorów parametrów strukturalnych.
Ostatnie, piąte założenie nie musi być spełnione w klasycznej metodzie najmniejszych
kwadratów, ale ułatwia wnioskowanie statystyczne i weryfikację modelu ekonometrycznego.
Należy podkreślić, że nie jesteśmy w stanie sprawdzić założeń dotyczących składnika
losowego przed oszacowaniem parametrów modelu. Procedurę tę wykonuje się za pomocą
odpowiednich testów statystycznych już dla otrzymanego modelu. Dlatego też czasem zdarza się, że model trzeba poprawić (zastosować inne metody estymacji) lub nawet odrzucić,
ponieważ nie są spełnione założenia KMNK.
Na koniec jeszcze jedna uwaga odnośnie nazwy powyższej metody. Słowo klasyczna
nie występuje tu przypadkowo i nie może być pominięte. Istnieją bowiem inne metody
estymacji parametrów modelu liniowego, które różnią się od KMNK i które stosuje się, gdy
któreś z założeń KMNK nie są spełnione (np. ważona metoda najmniejszych kwadratów).
2.5. TWIERDZENIE GAUSSA-MARKOWA
2.5
19
Twierdzenie Gaussa-Markowa
Twierdzenie 2.5.1. Estymator parametrów strukturalnych
b = XT X
−1
XT y
(2.37)
wyznaczony klasyczną metodą najmniejszych kwadratów jest estymatorem zgodnym, nieobciążonym i najefektywniejszym w klasie liniowych estymatorów wektora parametrów β
[4].
Wyjaśnijmy pokrótce te własności.
Estymator zgodny
Estymator b jest zgodny, jeśli że wraz ze wzrostem liczebności próby, tj. n → ∞ jest
stochastycznie zbieżny do szacowanego parametru, tzn.
lim P (|b(n) − β| < δ) = 1,
n→∞
(2.38)
gdzie δ jest dowolnie małą liczbą dodatnią, a {b(n) } ciągiem estymatorów.
Inaczej mówiąc, wraz ze wzrostem liczebności próby n prawdopodobieństwo, że estymator b różni się o dowolnie małą liczbę od estymowanego parametru β dąży do jedności.
Stąd wynika, że zwiększenie liczebności próby prowadzi do uzyskania mniejszych błędów
estymacji.
Estymator nieobciążony
Estymator jest nieobciążony, jeśli jego wartość oczekiwana jest równa wartości szacowanego parametru, tzn.
E(b) = β.
(2.39)
Estymator, który nie jest nieobciążony nazywa się obciążonym, a różnicę
Θ = E(b) − β
(2.40)
nazywa się obciążeniem estymatora.
Jeśli Θ > 0, to estymator b daje przeciętnie za wysokie oceny parametru strukturalnego
β, jeśli Θ < 0, to estymator b daje przeciętnie za niskie oceny parametru strukturalnego
β.
Estymator jest asymptotycznie nieobciążony, jeśli obciążenie estymatora dąży do zera
wraz ze wzrostem próby: lim (E(b(n) − β)) = 0.
n→∞
Estymator najefektywniejszy
Niech będzie dany zbiór m estymatorów Γl , l = 1, 2, . . . , m tego samego parametru β.
Efektywność e (Γl ) estymatora Γl to stosunek wariancji estymatora odznaczającego się
najmniejszą wariancją Γmin , do wariancji tego estymatora:
ef f (Γl ) =
σ 2 (Γmin )
.
σ 2 (Γl )
(2.41)
20
ROZDZIAŁ 2. KLASYCZNA METODA NAJMNIEJSZYCH KWADRATÓW
f
Jak łatwo można zauważyć, dla estymatora najefektywniejszego ef f Γef
l
wszystkich estymatorów mających większą wariancję ef f < 1.
2.6
= 1, a dla
Ocena stopnia dopasowania modelu ekonometrycznego do danych empirycznych
Oszacowanie parametrów modelu ekonometrycznego metodą najmniejszych kwadratów
jest zadaniem stosunkowo prostym. Większość programów statystycznych wykonuje to
zadanie prawie natychmiastowo. Jednak samo wyliczenie ocen estymatorów b nie wystarcza, aby móc formułować wnioski na podstawie otrzymanego modelu. Najpierw należy
sprawdzić, czy otrzymany model w wystarczającym stopniu wyjaśnia zachowanie zmiennej objaśnianej oraz czy jest poprawny pod względem statystycznym i merytorycznym.
Ekonometria dysponuje narzędziami do oceny stopnia dopasowania modelu teoretycznego
do danych empirycznych. Poniżej omówimy kilka z nich.
Odchylenie standardowe reszt
Dopasowanie modelu do danych empirycznych moglibyśmy ocenić na podstawie wariancji składnika losowego σ 2 (). Niestety składowe wektora (1 , . . . , n ) nie są wielkościami
obserwowanymi i wyliczenie wariancji σ 2 () jest niemożliwe. Trzeba poszukać innej drogi.
W poprzednim rozdziale wprowadziliśmy pojęcie reszt modelu (2.3), jako różnicę wartości empirycznej i teoretycznej zmiennej objaśnianej. Jeśli zapiszemy to równanie nieco
dokładniej zobaczymy, że reszty modelu będą odpowiednikami czynnika losowego:
e = y − ŷ =⇒ y = ŷ + e → Xβ + = Xb + e
(2.42)
Twierdzenie 2.6.1. W klasycznym modelu regresji liniowej nieobciążonym i zgodnym
estymatorem wariancji składnika losowego σ 2 () jest
Se2 =
n
X
1
eT e
e2 .
=
n − (k + 1)
n − k − 1 i=1 i
(2.43)
Odchylenie standardowe reszt, zwane również standardowym błędem szacunku jest definiowane jako pierwiastek z wariancji reszt
Se =
v
u
u
t
n
X
1
e2 .
n − (k + 1) i=1 i
(2.44)
We wzorach (2.43,2.44) suma kwadratów reszt nie jest dzielona przez liczebność próby
n, a przez liczebność próby pomniejszoną o liczbę zmiennych objaśniających n − (k + 1).
Wielkość ta nazywana jest stopniami swobody równania (2.25). Warto o tym pamiętać
np. podczas pisania własnych procedur do estymacji KMNK np. w programach Excel czy
Matlab, gdzie domyślnie suma kwadratów reszt dzielona jest przez liczebność próby.
Standardowy błąd estymacji informuje, o ile przeciętnie wartości teoretyczne odchylają
się od wartości empirycznych zmiennej objaśnianej. Jest więc oczywiste, że im mniejszy
jest standardowy błąd estymacji, tym lepiej model odzwierciedla rzeczywistą sytuację.
2.6. OCENA STOPNIA DOPASOWANIA MODELU EKONOMETRYCZNEGO DO DANYCH EMPIR
Macierz wariancji–kowariancji estymatorów b
Zanim przejdziemy do macierzy kowariacji estymatorów b, przypomnijmy definicję kowariancji. Kowariancja jest miarą jednoczesnej zmienności dwóch zmiennych (ang. co-vary).
Z jednej strony, kowariancja dwóch zmiennych jest dodatnia, jeśli zmieniają się one w tym
samym kierunku względem ich wartości oczekiwanej (np. obie zmienne przyjmują wartości
powyżej ich wartości oczekiwanej). Z drugiej strony, kowariancja dwóch zmiennych jest
ujemna, jeśli kierunek ich zmienności względem wartości oczekiwanych jest przeciwny (np.
jeśli jedna zmienna przyjmuje wartości powyżej jej wartości oczekiwanej, druga przyjmuje
wartości mniejsze niż wartość oczekiwana). Jeśli nie istnieje liniowa zależność pomiędzy
zmiennymi, wtedy ich kowariancja jest równa zeru.
Kowariancję dwóch zmiennych możemy zapisać w postaci:
D2 (Xi , Xj ) ≡ cov(Xi , Xj ) = E [(Xi − µi )(Xj − µj )] ,
(2.45)
gdzie µi(j) = E(Xi(j) ) jest wartością oczekiwaną zmienej Xi(j) . Można pokazać, że macierz
wariancji-kowariancji wektora estymatorów b ma postać
D2 (b) = S2e XT X
−1
.
(2.46)
Elementy diagonalne djj , j = 1, . . . , k macierzy kowariancji są wariancjami estymatorów
bi , a ich pierwiastki kwadratowe noszą nazwę standardowych błędów szacunku Sbj
parametrów βj
q
(2.47)
Sbj = djj .
Standardowy błąd szacunku Sbj informuje nas o ile średnio wartość estymatora bj oszacowanego KMNK różni się od prawdziwej wartości parametru βj . Wynika stad, że im
większy błąd szacunku, tym bardziej wynik estymacji różni się od prawdziwej wartości
parametru strukturalnego. Dlatego istotne jest, aby wartość Sbj była jak najmniejsza. W
szczególności ważne jest, aby Sbj nie było porównywalne (tego samego rzędu) z bj . W
pracy [2] autorzy sugerują, że standardowy błąd szacunku nie powinien być większy niż
50% dla dużych prób (gdy liczba stopni swobody jest większa niż 20).
Błędy względne estymatorów
Kolejną wielkością, która niesie informację o stopniu dopasowania modelu do danych jest
błąd względny estymatora bi
V (bi ) =
S(bi )
· 100%.
|bi |
(2.48)
Przyjmuje się, że granicą dopuszczalności błędu jest V (bi ) ¬ 50%.
Współczynnik determinancji i współczynnik zbieżności
W poprzednim rozdziale zdefiniowaliśmy, jako miarę dopasowania modelu do danych,
wariancję reszt. Miara ta, mimo iż jest bardzo dobra, jest dość niewygodna w użyciu
ze względu na fakt, że wyrażona jest w jednostkach zmiennej objaśnianej. Dodatkowo,
22
ROZDZIAŁ 2. KLASYCZNA METODA NAJMNIEJSZYCH KWADRATÓW
wariancja reszt skaluje się razem ze zmiennymi, tzn. załóżmy, że zmienna objaśniana i
objaśniająca wyrażone są w PLN: X[P LN ], Y [P LN ]. Wtedy Se również będzie wyrażone
w tych jednostkach np. Se = 10PLN. Jeżeli jednak wyrazimy zmienną objaśniającą w
P LN , a objaśnianą w tysP LN wtedy Se = 0.01tys PLN. To powoduje, że na pierwszy rzut
oka model stał się lepiej dopasowany, co oczywiście jest nieprawdą. Dlatego lepiej stosować
miary dopasowania, które nie zależą od jednostek, w których wyrażone są zmienne. Taką
miarą jest współczynnik determinancji R2 .
Współczynnik determinancji
n
X
e2i
i=1
.
R2 = 1 − X
n
2
(yi − y)
(2.49)
i=1
Zanim omówimy znaczenie R2 wprowadźmy następujące oznaczenia:
T SS =
ESS =
n
X
(yi − ȳ) - (Total Sum of Squares) całkowita zmienność zmiennej objaśnianej,
i=1
n
X
(ŷi − ȳ) - (Explained Sum of Squares) część zmienności zmiennej objaśnianej
i=1
wytłumaczonej przez model,
RSS =
n
X
e2i - (Residual Sum of Squares) część zmienności zmiennej objaśnianej nie
i=1
wytłumaczonej przez model.
Zachodzi przy tym zależność
T SS = ESS + RSS.
(2.50)
Jeśli zapiszemy równanie (2.49) w postaci
R2 =
ESS
,
T SS
(2.51)
to od razu widzimy interpretację współczynnika determinancji. Określa on, w jakim stopniu model tłumaczy zmienność zmiennej objaśniającej. Wartości R2 należą do przedziału
[0; 1]. Jeśli R2 = 0, to model w ogóle nie opisuje zmienności zmiennej objaśnianej, jeśli
R2 = 1 - model całkowicie tłumaczy zmienność zmiennej objaśnianej.
Współczynnik zbieżności
Współczynnik zbieżności określa, jaka część całkowitej zmienności zmiennej objaśnianej,
jaka nie została wyjaśniona przez model
2
Pn
φ = Pn
2
i=1 ei
i=1 (yi
−
y)2
=
RSS
T SS
(2.52)
φ2 przyjmuje również wartości z przedziału [0; 1], przy czym możemy go określić szybko
na podstawie zależności φ2 = 1 − R2 .
2.6. OCENA STOPNIA DOPASOWANIA MODELU EKONOMETRYCZNEGO DO DANYCH EMPIR
Niescentrowany współczynnik determinancji
Współczynnik determinancji określony równaniem (2.49) jest dobrą miarą jedynie dla
modelu liniowego, który zawiera wyraz wolny (b0 ). Jeśli model nie będzie zawierał wyrazu wolnego (ale jest modelem liniowym), należy zastosować jako miarę dopasowania
niescentrowany współczynnik determinancji
2
RN
Pn
e2i
2
i=1 yi
= 1 − Pni=1
(2.53)
Skorygowany współczynnik determinancji
Wyobraźmy sobie sytuację, że oszacowaliśmy KMNK model liniowy oraz sprawdziliśmy
dopasowanie modelu do danych za pomocą współczynnika determinancji na poziomie
R2 = 0.6. Uważamy, że takie dopasowanie modelu jest zbyt małe i chcemy dodać do
modelu nową zmienną objaśniającą. Wyznaczamy zatem nowy model wzbogacony o tą
zmienną i obliczamy współczynnik determinancji. Okazuje się, że w takim przypadku, nie
możemy porównać współczynników determinancji dla modeli z k oraz k + 1 zmiennymi
objaśniającymi. Przyczyną tego jest fakt, że współczynnik determinancji nie jest odporny na wprowadzenie kolejnej zmiennej, tzn. nawet jeśli nowa zmienna nie wniesie żadnej
informacji do modelu, R2 może wzrosnąć dając nam błędną informację o stopniu dopasowania modelu (w populacji) do danych. Taki efekt nazywa się efektem katalizy. W
przypadku, gdy chcemy porównywać modele z tą samą zmienną objaśnianą i różną liczbą
zmiennych objaśniających (różną liczbą stopni swobody) powinniśmy użyć skorygowanego
współczynnika determinancji R̄2
n
X
R̄2 = R2 −
e2i /(n − k − 1)
k
i−1
,
(1 − R2 ) = 1 − X
n
n−k−1
2
(yi − ȳ) /(n − 1)
(2.54)
i=1
gdzie n − k − 1 jest liczbą stopni swobody (n−liczebność próby, k−liczba zmiennych
objaśniających).
Skorygowany współczynnik determinancji ma jednak pewne wady: może przyjmować
wartości ujemne oraz nie możemy go interpretować jako części zmienności zmiennej objaśnianej wyjaśnionej przez model.
Współczynnik korelacji wielorakiej
Współczynnik korelacji wielorakiej
R, będący pierwiastkiem kwadratowym ze współczyn√
nika determinancji R = R2 , interpretuje się jako siłę związku liniowego pomiędzy zmienną objaśnianą a wszystkimi zmiennymi objaśniającymi.
24
ROZDZIAŁ 2. KLASYCZNA METODA NAJMNIEJSZYCH KWADRATÓW
Tabela 2.1: Typowe wartości przyjmowane przez współczynnik determinancji R2 . Źródło
[4].
modele oparte na danych przekrojowych
(np.dane dotyczące przedsiębiorstw lub gospodarstw domowych) 0.05-0.4
modele oparte na zagregowanych danych przekrojowych
(np. statystyki międzynarodowe)
0.3-0.7
modele szeregów czasowych dla danych
rocznych lub kwartalnych
> 0.9
modele oparte na przyrostach zmiennych makroekonomicznych
0.7-0.9
2.7
Zadania
Zadanie 1
W tabeli 2.2 podano trzy wektory reszt modelu oszacowanego różnymi metodami. Odpowiedz na pytanie, który z modeli został oszacowany metodą najmniejszych kwadratów.
Odpowiedź uzasadnj.
e1i
3
4
-2
4
-1
0
4
-7
2
7
4
2
5
-2
e2i
6
2
4
-5
-2
3
9
-1
2
-5
-2
7
4
3
e3i
7
2
-2
4
-3
-5
-3
7
6
3
1
6
2
3
Tabela 2.2: Wektory reszt dla modelu ekonometrycznego oszacowanego trzema różnymi
metodami.
2.8
KMNK w Statistica
W tym rozdziale zapoznamy się z podstawowymi narzędziami dostępnymi w programie
Statistica służącymi do oszacowania parametrów modelu KMNK. Posłużymy się przykładem, w którym będziemy chcieli odpowiedzieć na pytanie, jaki wpływ na sprzedaż
produktu ma jego cena oraz środki przeznaczone na reklamę. Dane do analizy zamieszczone są w Tabeli 10.1 w rozdziale 10.
2.8. KMNK W STATISTICA
2.8.1
25
Wykres rozrzutu
Pierwszym krokiem, który zawsze należy zrobić przed rozpoczęciem estymacji parametrów
modelu jest analiza wykresów rozrzutu wartości zmiennej objaśnianej względem zmiennych objaśniających. To bardzo proste narzędzie pozwala, na podstawie wzrokowej oceny,
na wyciągnięcie wielu informacji na temat zależności pomiędzy zmiennymi np. ocenić czy
istnieje widoczna zależność pomiędzy zmiennymi oraz czy zależność ta ma charakter liniowy czy nieliniowy. Wykresy rozrzutu w programie Statistica możemy zrobić wybierając z
menu Wykresy → Wykresy 2W → Wykresy rozrzutu. Wybierając tę opcję na ekranie
pojawi się okno wyboru zmiennych i opcji do wykresu (Rysunek 2.2).
Rysunek 2.2: Okno kreatora wykresu rozrzutu w programie Statistica.
Aby wybrać zmienne, dla których chcemy zrobić wykresy klikamy na przycisk Zmienne.
Jako zmienną X wybieramy obydwie zmienne objaśniające (trzymając klawisz Ctrl) tj.
Wydatki reklama i Indeks ceny (Rysunek 2.3), a jako zmienną Y sprzedaż, czyli zmienną objaśnianą. Wybierając obydwie zmienne objaśniające jednocześnie, otrzymamy dwa
wykresy rozrzutu dla każdej z osobna.
Rysunek 2.3: Okno kreatora wykresu rozrzutu w programie Statistica.
W efekcie otrzymujemy dwa wykresy rozrzutu z automatycznie dopasowaną przez
Statistica krzywą regresji.
Na podstawie wykresów 2.4 i 2.5 możemy stwierdzić, że w pierwszym przypadku zależność pomiędzy zmienną Sprzedaż a Indeks ceny jest silna i ujemna (im większa cena
produktu tym mniejsza jego sprzedaż), natomiast zależność liniową pomiędzy Sprzedażą
26
ROZDZIAŁ 2. KLASYCZNA METODA NAJMNIEJSZYCH KWADRATÓW
Rysunek 2.4: Wykres rozrzutu zmiennej Sprzedaż względem zmiennej Indeks ceny wraz z
dopasowaną krzywą regresji. Równanie dopasowanej krzywej znajduje się nad wykresem.
a Wydatkami na reklamę jest raczej słaba.
W ten sam sposób robimy wykres rozrzutu zmiennych objaśniających względem siebie.
Pozwoli on nam ocenić, czy zmienne objaśniające są ze sobą w jakiś sposób związane.
Wykres pokazano na Rysunku 2.6. Punkty na wykresie rozmieszczone są losowo i nie
układają się w żaden szczególny wzór co oznacza, że nie ma związku liniowego (przynajmniej dokonując wzrokowej oceny) pomiędzy zmiennymi Indeks ceny i Wydatki na
reklamę. Taki związek byłby oczywiście niepożądany (patrz założenia KMNK).
2.8.2
Szacowanie parametrów modelu
Oszacowania wartości parametrów modelu za pomocą metody najmniejszych kwadratów
dokonuje się wybierając z menu Statystyka → Regresja wieloraka. Pojawi się nam
na ekranie okno wyboru zmiennych zależnych i niezależnych (Rysunek 2.7), w którym
jako zmienną zależną wybieramy Sprzedaż a jako niezależne Indeks ceny oraz Wydatki na
reklamę (Rysunek 2.8).
Następnie wybieramy w oknie regresji OK, w wyniku czego otrzymujemy okno z wynikami regresji (Rysunek 2.9).
W oknie Wyniki regresji wielorakiej pojawia się wiele wielkości, których wartości
trzeba zinterpretować:
• współczynnik korelacji wielorakiej R
• współczynnik determinancji R2
2.8. KMNK W STATISTICA
27
Rysunek 2.5: Wykres rozrzutu zmiennej Sprzedaż względem zmiennej Wydatki na reklamę
wraz z dopasowaną krzywą regresji. Równanie dopasowanej krzywej znajduje się nad
wykresem.
• skorygowany współczynnik determinacji P opraw.R2
• wartość statystyki F oraz p-wartość dla testu F
• błąd standardowy estymacji
Na podstawie R oraz R2 (0.95) możemy stwierdzić bardzo dobre dopasowanie modelu
regresji do danych empirycznych. Ponadto wszystkie zmienne są statystycznie istotne
(podświetlone na czerwono, patrz rozdział 2.8.3), oraz cały model jest statystycznie istotny
(p-wartość dla testu F jest mniejsza od poziomu istotności α = 0.05). Wybierając opcję
Podsumowanie regresji otrzymamy arkusz wyników przedstawiony na Rysunku 2.10.
Jak widać, wszystkie parametry modelu są statystycznie istotne (podświetlenie na
czerwono), z p-wartością dla testu t-Studenta (patrz rozdział 2.8.3) podaną w ostatniej
kolumnie. Wyraz wolny jest również istotny statystycznie. Możemy zatem zapisać nasz
model w formie matematycznej
ŷ = 118.91 + 7.91 · Indeks ceny + 1.86 · Wydatki reklama ± 4.886
(2.55)
Standardowe błędy szacunku parametrów są małe w przypadku zmiennej Indeks ceny
(≈ 1.1) i zmiennej Wydatki reklama (≈ 0.68) i akceptowalne w przypadku wyrazu wolnego (≈ 6.35).
Otrzymany model możemy zinterpretować następująco:
28
ROZDZIAŁ 2. KLASYCZNA METODA NAJMNIEJSZYCH KWADRATÓW
Rysunek 2.6: Wykres rozrzutu zmiennej Indeks ceny względem zmiennej Wydatki na
reklamę wraz z dopasowaną krzywą regresji. Równanie dopasowanej krzywej znajduje się
nad wykresem.
zwiększając (zmniejszając) indeks ceny o jednostkę, średnia sprzedaż maleje (wzrasta) o
7.91, przy pozostałych parametrach (wydatki na reklamę) nie zmienionych. Zwiększając
(zmniejszając) wydatki na reklamę o jednostkę, średnia sprzedaż rośnie (maleje) o 1.86,
przy niezmienionych wartościach pozostałych zmiennych. Ocena b0 różni się średnio od
parametru β0 o 6.35, ocena b1 różni się średnio od β1 o 1.1, a ocena b2 różni się średnio od
β2 o 0.68. Szacując cały model, mylimy się średnio o 4.89. Z powyższego modelu możemy wywnioskować, że większy wpływ na konsumpcję ma cena produktu, a nie dochody.
Zwróćmy również uwagę, że ta tendencja jest już widoczna na etapie tworzenia wykresów rozrzutu (Rysunek 2.4 i 2.5), gdzie zaobserwowaliśmy silny związek liniowy pomiędzy
konsumpcją i ceną, a słaby związek pomiędzy konsumpcją a dochodem.
2.8.3
Statystyczna istotność modelu
Program Statistica automatycznie wykonuje testy istotności statystycznej zarówno całego
modelu, jak i poszczególnych jego składników. Wyniki tych testów otrzymujemy w postaci
wartości statystyki i p-wartości, która jest znacznie wygodniejsza w użyciu.
2.8. KMNK W STATISTICA
Rysunek 2.7: Okno regresji wielorakiej.
Rysunek 2.8: Wybór zmiennych do modelu regresji.
Rysunek 2.9: Okno z wynikami oszacowania parametrów modelu MNK.
29
30
ROZDZIAŁ 2. KLASYCZNA METODA NAJMNIEJSZYCH KWADRATÓW
Rysunek 2.10: Okno podsumowania regresji wielorakiej w Statistica.
Testowanie istotności całego modelu
Ten test bada jednoczesną istotność statystyczną całego układu zmiennych objaśniających, a stawiane hipotezy dotyczą zestawu parametrów. Hipoteza zerowa
H0 : β0 = β1 = β2 = . . . = βk = 0,
(2.56)
[czyt. wszystkie parametry strukturalne modelu są, statystycznie, równe zeru (nieistotne
statystycznie różne od zera)], jest testowana wobec hipotezy alternatywnej
H1 : ∨i∈{0,1,2,...,k} βi 6= 0,
(2.57)
(czyt. przynajmniej jeden z parametrów strukturalnych jest różny od zera). Statystyka
testowa
n − k − 1 R2 − 1
(2.58)
F =
k
R2
ma rozkład F Snedecora z m1 = k i m2 = n − k − 1 stopniami swobody (R2 jest współczynnikiem determinancji). Jeśli wartość statystyki F wyznaczonej na podstawie próby,
dla przyjętego poziomu istotności α, jest większa od wartości krytycznej F ∗ , czyli F ­ F ∗
to hipotezę zerową odrzucamy na rzecz hipotezy alternatywnej. Jeśli F < F ∗ to nie ma
podstaw do odrzucenia H0 . Ponieważ odczytywanie wartości krytycznych statystyki jest
kłopotliwe, stosuje się p wartość jako wyznacznik do odrzucenia bądź przyjęcia hipotezy
zerowej. Jeżeli:
p ¬ α odrzucamy H0 ,
p > α nie ma podstaw do odrzucenia H0 .
(2.59)
W naszym przykładzie (Rysunek 2.10) p < 0.0000, czyli jest mniejsze od przyjętego
poziomu istotności α = 0.05 (wartość domyślnie stosowana w programie Statistica), więc
odrzucamy hipotezę zerową (2.56) o wszystkich parametrach (statystycznie) równych zeru,
na rzecz hipotezy alternatywnej H1 .
Testowanie istotności statystycznej pojedynczej zmiennej
Istotność statystyczna całego modelu nie oznacza automatycznie statystycznej istotności
wszystkich jego składników. Do testowania istotności statystycznej jednej zmiennej stosuje
się test t-Studenta (jest to również test parametryczny). Test ma za zadanie stwierdzić,
2.8. KMNK W STATISTICA
31
czy dana zmienna objaśniająca ma istotny wpływ na zmienną objaśnianą. Podobnie jak
w poprzednim przypadku, w programie Statistica, test jest wykonywany automatycznie i
prezentowane są tylko jego wyniki. Statystyka testowa:
tbi =
bi
Sbi
(2.60)
ma rozkład t Studenta z n−k −1 stopniami swobody, gdzie bi - jest wartością estymatora,
a Sbi jest jego odchyleniem standardowym.
Jeśli dla przyjętego poziomu istotności α
|tbi | ­ t∗α , odrzucamy H0 , zmienna jest statystycznie istotna,
(2.61)
∗
|tbi | < tα , nie ma podstaw do odrzucenia H0 , zmienna jest statystycznie nieistotna.
Analogicznie jak dla testu F , jeśli obliczona p wartość jest mniejsza od poziomu istotności
p ¬ α to odrzucamy H0 , w przeciwnym razie nie ma podstaw do odrzucenia H0 .
32
ROZDZIAŁ 2. KLASYCZNA METODA NAJMNIEJSZYCH KWADRATÓW
Rozdział 3
Weryfikacja założeń KMNK
W poprzednim rozdziale oszacowaliśmy metodą najmniejszych kwadratów parametry modelu ekonometrycznego. Jak już napisaliśmy w rozdziale 2.4, aby metoda najmniejszych
kwadratów była klasyczną metodą najmniejszych kwadratów, muszą być spełnione założenia KMNK. W tym rozdziale dokonamy weryfikacji założeń KMNK bazując na modelu
z poprzedniego rozdziału. Trzeba podkreślić, że analiza założeń KMNK nie jest tylko
formalnym zabiegiem pozwalającym na dopisanie do nazwy Metoda Najmniejszych Kwadratów przymiotnika klasyczna. Jest ona weryfikatorem poprawności całego modelu i bez
wykonania analizy składnika losowego, a konkretniej reszt modelu które są estymatorami
składników losowych, wyciąganie jakichkolwiek wniosków na temat modelowanego zjawiska jest nieuzasadnione i nie ma żadnego sensu. Praktyka zawodowa powinna być taka,
że po otrzymaniu końcowej wersji modelu, od razu przystępujemy do analizy reszt.
Zgodnie z założeniami KMNK, musimy sprawdzić, czy reszty modelu spełniają założenia losowości,stałości wariancji, braku skorelowania i normalności rozkładu
oraz czy wartość średnia reszt jest równa zeru. Analizę reszt w Statistica wykonujemy wybierając w oknie wyników regresji zakładkę Reszty,założenia,predykcja (Rysunek
3.1).
Po wybraniu tej zakładki pojawi się okno, w którym wybieramy opcję wykonaj analizę
reszt.
W efekcie pojawia się okno z opcjami analizy reszt (Rysunek 3.2).
3.1
Wartość średnia reszt
Wartość średnią reszt możemy sprawdzić wybierając w zakładce Podstawowe w oknie
analizy reszt (Rysunek 3.2) opcję Podsumowanie: Reszty i przewidywane. Otrzymamy
tabelę za wartościami reszt oraz wyliczoną średnią reszt (estymator wartości oczekiwanej
składnika losowego) i inne statystyki opisowe. Jak widać z Rysunku 3.3, średnia z reszt
jest równa zeru, więc podstawowa konsekwencja założeń KMNK jest spełniona.
33
34
ROZDZIAŁ 3. WERYFIKACJA ZAŁOŻEŃ KMNK
Rysunek 3.1: Okno podsumowania regresji. Analiza reszt dostępna w zakładce Reszty,założenia,predykcja.
Rysunek 3.2: Opcje zakładki Reszty,założenia,predykcja.
3.2
Badanie losowości
Weryfikacja tego założenia ma na celu zbadanie poprawności postaci analitycznej modelu.
Do tego celu możemy wykorzystać zarówno wzrokową ocenę rozkładu reszt, jak i testy
statystyczne. W pierwszym przypadku, jeśli reszty modelu spełniają założenie losowości,
to na wykresie reszt w funkcji wartości obserwowanych (zarówno dla zmiennych objaśniających, jak i zmiennej objaśnianej) reszty powinny układać się w miarę losowo i nie
wykazywać regularności (np. kolejnych serii reszt dodatnich i ujemnych). Na Rysunku
3.4 pokazano wykres reszt modelu względem empirycznych wartości zmiennej objaśniającej. Reszty rozkładają się nieregularnie więc możemy sądzić, że założenie losowości jest
spełnione.
Podobnie sytuacja wygląda na wykresach reszt względem zmiennych objaśniających
(Rysunek 3.5 i 3.6): nie widzimy żadnych regularności. Możemy zatem przyjąć losowy
charakter reszt.
Test serii
Jeśli na podstawie wykresów reszt względem zmiennych obserwowanych nie potrafimy
jednoznacznie stwierdzić czy ich charakter jest losowy, możemy skorzystać z testu serii.
3.2. BADANIE LOSOWOŚCI
35
Rysunek 3.3: Podsumowanie analizy reszt. Pod podwójną kreską znajdują się niektóre
statystyki opisowe. Średnia z reszt modelu jest równa zeru.
Procedura testowa jest następująca:
• porządkujemy reszty niemalejąco względem wybranej zmiennej objaśniającej (lub
czasowej jeśli taka występuje)
• jeśli reszta ma wartość ujemną (dodatnią) oznaczamy ją symbolem A (B). W wyniku
tej operacji otrzymamy naprzemiennie serie znaków A i B.
• zliczamy liczbę serii dodatnich i ujemnych, a następnie z tablic testu serii dla liczby
n1 reszt dodatnich i liczby n2 reszt ujemnych odczytujemy wartości krytyczne S1∗ i
S2∗ dla poziomu istotności odpowiednio α2 i 1− α2 (test serii jest testem dwustronnym)
• stawiamy hipotezę zerową o losowym doborze jednostek do próby (o w przypadku
modelu normalnego prowadzi do hipotezy o liniowej postaci modelu)
H0 : yi = β0 + β1 x1i + . . . + βk xki + i
(3.1)
wobec hipotezy alternatywnej
H1 : yi 6= β0 + β1 x1i + . . . + βk xki + i
(3.2)
• jeżeli całkowita liczba serii (suma serii dodatnich i ujemnych) S spełnia warunek
S1∗ ¬ S ¬ S2∗ to nie ma podstaw do odrzucenia hipotezy (3.1) o losowości reszt, w
przeciwnym razie hipotezę zerową należy odrzucić.
36
ROZDZIAŁ 3. WERYFIKACJA ZAŁOŻEŃ KMNK
Rysunek 3.4: Wykres reszt modelu względem obserwowanych wartości zmiennej objaśnianej.
3.3
Badanie normalności rozkładu składnika losowego
Jak już wcześniej napisaliśmy, założenie o normalności rozkładu składnika losowego nie
jest konieczne do stosowania KMNK. Jego niespełnienie utrudnia jednak wnioskowanie
statystyczne. Dokładniej mówiąc, chodzi o test t Studenta i test F , których użyliśmy
do sprawdzenia istotności całego modelu (test F ) i jego poszczególnych składników (test
t). Testy te są tzw. testami parametrycznymi, które mają dużą moc testu, lecz testowana zmienna powinna mieć rozkład normalny. Co prawda testy te są odporne na małe
odchylenia od normalności, lecz jeśli odchylenia są znaczne, wtedy oceny istotności współczynników regresji mogą być zaburzone.
Zgodność rozkładu reszt z rozkładem normalnym możemy sprawdzić na dwa sposoby:
wybierając opcję Reszty, założenia predykcja→Podstawowe→Wykres normalności
reszt. Otrzymamy wykres z prostą normalności oraz resztami (Rysunek 3.7). Im bliżej
prostej będą układały się punkty, tym rozkład reszt bardziej będzie zbliżony do normalnego. W tym przypadku trudno dopatrzeć się poważnych odstępstw od rozkładu normalnego.
Drugim sposobem zbadania normalności rozkładu jest użycie testu statystycznego.
Bardzo często stosowanym testem normalności (jest to tzw. test zgodności) jest test
Shapiro-Wilka. Jest to test nieparametryczny i może być stosowany dla małych prób, lub
dla przypadków gdy wymagania testów parametrycznych nie są spełnione. W Statistica.
do badania normalności możemy użyć również nieparametrycznych testów KołmogorowaSmirnowa (K-S) i testu Lillieforsa. Test opiera się na porównaniu rozkładu w próbie z
teoretycznym rozkładem normalnym przy założeniu, że znamy średnią i odchylenie standardowe w populacji. Jeśli ten warunek nie jest spełniony stosuje się test Lillieforsa (zwany
3.4. BADANIE AUTOKORELACJI
37
Rysunek 3.5: Wykres reszt modelu względem obserwowanych wartości zmiennej Wydatki
na reklamę.
inaczej testem K-S z poprawką Lillieforsa). Najpierw musimy jednak skopiować obliczone
w procesie analizy reszt wartości reszt. Wracamy do arkusza reszt, zaznaczamy odpowiednią kolumnę i klikając prawym przyciskiem myszy, z menu podręcznego wybieramy Kopiuj
z nagłówkami. Wracamy do arkusza danych i w menu Wstaw wybieramy Dodaj zmienne. Pojawi się okno specyfikacji zmiennej (Rysunek 3.8), w którym jako nazwę zmiennej
wpisujemy Reszty, a w polu Wstaw po wpisujemy nazwę zmiennej Wydatki reklama.
Test Shapiro-Wilka znajdziemy wybierając w menu Statystyka → Statystyki podstawowe
i tabele → Normalność. Wybieramy zmienną Reszta, zaznaczmy opcje testy normalności
K-S i Lillieforsa oraz test Shapiro-Wilka, a następnie klikamy przycisk Histogramy.
W efekcie otrzymamy histogram z dopasowaną krzywą normalną (Rysunek 3.10) oraz obliczone wartości statystyk i p-wartości dla testów Kołmogorowa-Smirnowa, Lillieforsa i
Shapiro-Wilka (u góry wykresu, Rysunek 3.10). Zgodnie z definicją, ponieważ p ­ α nie
mamy podstaw do odrzucenia hipotezy zerowej o normalności rozkładu reszt. Czytelnika
zainteresowanego pozostałymi opcjami okna Normalność odsyłamy do pozycji [5].
3.4
Badanie autokorelacji
Autokorelacja składnika losowego oznacza, że wartości reszt modelu nie są od siebie niezależne. Jeśli reszta ei jest skorelowana z resztą ei±1 to mówimy o autokorelacji pierwszego
rzędu. Analogicznie, korelacja pomiędzy resztami ei oraz ei±k oznacza autokorelację ktego rzędu.
Występowanie autokorelacji wynika z pewnej bezwładności zjawisk ekonomicznych, dlatego często obserwowana jest dla danych w postaci szeregów czasowych i nie zawsze wynika
38
ROZDZIAŁ 3. WERYFIKACJA ZAŁOŻEŃ KMNK
Rysunek 3.6: Wykres reszt modelu względem obserwowanych wartości zmiennej Indeks
ceny.
z błędów modelowania danego zjawiska. Autokorelacja składnika losowego może wynikać
również z nieuwzględnienia w modelu (jako zmiennej objaśniającej) opóźnionej zmiennej
objaśnianej, ze złej postaci funkcyjnej modelu lub ze złej jakości danych statystycznych
[2].
Jako miarę autokorelacji składnika losowego wykorzystuje się współczynnik autokorelacji. W niniejszym podręczniku ograniczymy się jedynie do autokorelacji pierwszego rzędu.
Wtedy współczynnik autokorelacji z próby ρ̂ pomiędzy resztą ei a ei−1 dany jest wzorem:
n
X
ρ̂ =
ei ei−1
i=1
n
X
e2i
i=1
n
X
!1/2 .
(3.3)
e2i−1
i=1
Współczynnik ρ̂ przyjmuje wartości z przedziału [−1; 1].
Autokorelację pierwszego rzędu składnika losowego możemy zbadać za pomocą testu
Durbina-Watsona. Test ten w programie Statistica jest dostępny w menu analizy reszt
w zakładce Więcej→Statystyka Durbina-Watsona. Po wybraniu tej opcji otrzymamy
wyliczony współczynnik autokorelacji (Rysunek 3.11) oraz wartość statystyki d D-W:
X
d=
(ei − ei−1 )2
i=1,n
X
e2i
(3.4)
i=1,n
Wnioskowanie na podstawie tej statystyki jest dość złożone i nie zawsze daje się rozstrzygnąć czy autokorelacja występuje. Dodatkowo, wymagane jest aby analizowany model
3.4. BADANIE AUTOKORELACJI
39
Rysunek 3.7: Wykres normalności reszt. Im punkty bardziej odległe od prostej, tym mniejsza zgodność rozkładu reszt modelu z rozkładem normalnym.
Rysunek 3.8: Okno dodawania zmiennych do arkusza.
miał wyraz wolny, składniki resztowe miały rozkład normalny, liczba obserwacji była
większa niż 15 oraz aby w modelu nie występowała jawna opóźniona zmienna objaśniana
w charakterze zmiennej objaśniającej.
Procedura testowania wymaga odczytania z tablic górnej dU i dolnej dL wartości krytycznej, a następnie porównania ich z wartością statystyki wyznaczonej z próby (3.4).
Przypadek ρ̂ < 0
Jeśli ρ̂ < 0, to testujemy hipotezę zerową H0 :ρ = 0 wobec hipotezy alternatywnej H1 :ρ <
0. Jeżeli:
• d ¬ 4 − dU , nie ma podstaw do odrzucenia H0 (brak autokorelacji)
• d ­ 4 − dL , odrzucamy H0 (autokorelacja dodatnia)
40
ROZDZIAŁ 3. WERYFIKACJA ZAŁOŻEŃ KMNK
Rysunek 3.9: Okno wyboru testu normalności.
• 4 − du < d < dL , test D-W nie daje rozstrzygnięcia
Przypadek ρ̂ > 0
Jeśli ρ̂ > 0, to testujemy hipotezę zerową H0 :ρ = 0 wobec hipotezy alternatywnej H1 :ρ >
0. Jeżeli:
• d ­ dU , nie ma podstaw do odrzucenia H0 (brak autokorelacji)
• d ¬ dL , odrzucamy H0 (autokorelacja dodatnia)
• dL < d < dU , test D-W nie daje rozstrzygnięcia
W przypadku naszego modelu liczebność próby n = 75, liczba zmiennych niezależnych
k = 2. Odczytane z tablic wartości krytyczne dL = 1.57 i dU = 1.68, a współczynnik
autokorelacji ρ̂ = −0.094. Wobec powyższego, zachodzi związek d < 4 − dU i nie ma
podstaw do odrzucenia hipotezy zerowej o braku autokorelacji.
3.5
Badanie homoskedastyczności
Homoskedastyczność, inaczej stałość wariancji, jest kolejnym założeniem KMNK które
musimy zweryfikować. Fakt występowania heteroskedastyczności nie zawsze oznacza zły
wybór modelu lub niską jakość danych statystycznych. Zdarza się, np. w medycynie przy
badaniu zależności temperatury ciała od stężenia γ-globuliny, że wariancja nie jest stała
[5]. Dlatego, jak już podkreśliliśmy, niezwykle istotne jest posiadanie przynajmniej podstawowej wiedzy na temat badanego zjawiska.
Bardzo często stosuje się w tym celu ocenę wzrokową rozkładu reszt względem wartości przewidywanych (teoretycznych) lub kwadratów reszt względem wartości przewidywanych. Opcja druga, jeśli występuje heteroskedastyczność (wariancja nie jest stała)
powinna dodatkowo wzmocnić efekt i ułatwić jego zaobserwowanie.
3.5. BADANIE HOMOSKEDASTYCZNOŚCI
41
Rysunek 3.10: Histogram reszt modelu wraz z dopasowaną krzywą normalną. Nad wykresem obliczone wartości statystyk i p-wartości dla testów Kołmogorowa-Smirnowa, Lillieforsa i Shapiro-Wilka. Nie ma podstaw do odrzucenia hipotezy o normalności rozkładu
reszt.
Rysunek 3.11: Wartość statystyki Durbina-Watsona (D-W) oraz wyliczony współczynnik
autokorelacji.
Test Goldfelda - Quandt’a
Jest to test parametryczny, w którym przyjmuje się jako założenie, że wariancja reszt
wzrasta wraz ze wzrostem kwadratu zmiennej objaśniającej, która jest źródłem heteroskedastyczności (którą podejrzewamy o jej wywołanie). Algorytm testowania jest następujący:
1. Porządkujemy niemalejąco reszty względem zmiennej objaśniającej, którą podejrzewamy o wywołanie heteroskedastyczności.
2. Tak otrzymany wektor reszt dzielimy na trzy podgrupy, z czego dwie skraje mają
taką samą liczność ñ = (n − c)/2, gdzie c jest licznością grupy środkowej (liczność
grup skrajnych musi być większa niż liczba zmiennych objaśniających).
3. Dla każdej ze skrajnych podgrup l = 1, 2 oblicza się sumę kwadratów reszt Sl2 =
1
el .
ñ−k−1 i
42
ROZDZIAŁ 3. WERYFIKACJA ZAŁOŻEŃ KMNK
Rysunek 3.12: Opcje zakładki Wykr. rozrzutu. w analizie reszt.
Rysunek 3.13: Wykres reszt względem wartości przewidywanych (teoretycznych). Wzrokowa ocena sugeruje stałość wariancji.
4. Obliczamy iloraz
S22
,
S12
który ma rozkład F Snedecora z m1 = m2 = ñ − k − 1 stopniami swobody.
R=
(3.5)
5. Testujemy prawdziwość hipotezy zerowej H0 : σ1 = σ2 wobec alternatywnej H1 :
σ1 6= σ2
Jeśli R < F ∗ to nie ma podstaw do odrzucenia hipotezy H0 - składnik losowy jest
homoskedastyczny, jeśli R ­ F ∗ odrzucamy H0 na rzecz H1 - występuje heteroskedastyczność składnika losowego.
Przeprowadzenie testu Goldfelda-Quandt’a w Statistica jest bardzo proste. Zaznaczamy
kolumnę jednej zmiennej objaśniającej i kolumnę reszt. Następnie z menu Dane wybieramy opcję Sortuj po czym wybieramy obie zmienne do sortowania (w oknie sortowania)
3.5. BADANIE HOMOSKEDASTYCZNOŚCI
43
i opcję rosnąco. Tak posortowane reszty dzielimy na dwie grupy (opis poniżej) i wybierając Statystyka→Statystyki podstawowe i tabele wybieramy Statystyki opisowe
i zakładkę Więcej. Zaznaczamy opcję Wariancja (Rysunek 3.14).
Rysunek 3.14: Okno statystyk podstawowych. Do wyboru przypadków dla których chcemy
obliczyć statystyki służy opcja Select Cases .
Aby wyliczyć wariancję dla poszczególnych podgrup, skorzystamy z opcji wyboru przypadków Select Cases. Po jej wybraniu wyświetli się okno z warunkami selekcji przypadków (Rysunek 3.15). Selekcji możemy dokonać na dwa sposoby: albo wybierając przypadki, dla których chcemy przeprowadzić obliczenia (Włącz przypadki) albo wybierając
przypadki, które chcemy wykluczyć z analizy (Wyłącz przypadki).
Z naszej próby wybraliśmy dwie podgrupy o liczności ñ = 30. Zaznaczamy więc
opcję Włącz przypadki→Określone przez i w polu Numer przypadku wpisujemy zakres pierwszej podgrupy 1 − 30 (Rysunek 3.15). Wyliczona w ten sposób wariancja S12 =
22.7894. Analogicznie, dla drugiej grupy wpisujemy przypadki 46 − 75 i otrzymujemy
wariancję S22 = 23.998 (Rysunek 3.16).
Następnie obliczamy iloraz R = S22 /S12 = 1.053. Pozostaje jeszcze wyliczenie wartości
krytycznej statystyki F Snedecora. Możemy to zrobić za pomocą wbudowanego modułu
Statystyka → Kalkulator prawdopodobieństwa (Rysunek 3.17). Wybieramy z listy
rozkład F , następnie zaznaczamy opcję Oblicz X z p oraz ustalamy poziom istotności
na poziomie α = 0.05 (w kalkulatorze prawdopodobieństwa zaznaczamy opcję 1-p oraz w
polu p: wpisujemy 0.05 (patrz Rysunek 3.17). W polach liczby stopni swobody df 1 i df 2
wpisujemy 27 (ñ − k − 1 = 27, Rysunek 3.17) dla obydwu podgrup i wybieramy Oblicz.
44
ROZDZIAŁ 3. WERYFIKACJA ZAŁOŻEŃ KMNK
Rysunek 3.15: Okno selekcji przypadków uwzględnianych w analizie.
Rysunek 3.16: Obliczone wariancje podgrup
Porównując obliczoną wartość krytyczną statystyki F ∗ = 1.905 z R = 1.053 (R < F ∗ )
możemy stwierdzić, że nie ma podstaw do odrzucenia hipotezy H0 o homoskedastyczności
składnika losowego.
3.6
Zadania
Zadanie 1
Za pomocą testu Shapiro-Wilka zbadać normalność rozkładu zmiennych z tabeli 10.1.
Zadanie 2
Wykonaj ponownie analizę reszt rozważanego modelu. Przejdź do okna Podsumowanie
→ Reszty i przewidywane. Odpowiedz na pytanie co oznaczają kolumny Odległość
Mahalanobisa, Odległość Cooka (patrz np. [5, 7]) oraz Usunięte reszty. Do czego
mogą przydać się te wielkości?
3.6. ZADANIA
Rysunek 3.17: Kalkulator prawdopodobieństwa w Statistica
45
46
ROZDZIAŁ 3. WERYFIKACJA ZAŁOŻEŃ KMNK
Rozdział 4
Metody doboru zmiennych
objaśniających do modelu
Wprowadzenie
Wybór zmiennych objaśniających do modelu ekonometrycznego jest zadaniem niezwykle
ważnym. Po pierwsze, w modelu powinny znaleźć się tylko takie zmienne, które rzeczywiście kształtują zachowanie zmiennej objaśnianej. Ten punkt doboru zmiennych powinien
być przeprowadzony zawsze jako pierwszy. Jeśli chcemy modelować wybrane zjawisko
społeczne, musimy dysponować odpowiednia wiedzą merytoryczną na jego temat np. nieuzasadnionym wydaje się fakt uwzględnienia w modelowaniu zachowania rynków kursów
walut, uwzględnienie jako zmiennej objaśniającej powierzchni państwa. Wiedzy tej nie
musimy zdobywać sami, często zleceniodawca dostarcza zbiór zmiennych, które uważa
za potencjalnie istotne w modelowaniu danego zjawiska. Po drugie, żadna zmienna objaśniające nie powinna powielać informacji wnoszonej przez inną zmienną objaśniającą
(zmienne objaśniające nie powinny być ze sobą skorelowane). Po trzecie, zmienne powinny mieć odpowiednio duży zakres zmienności (jeśli wszystkie punkty leżą bardzo blisko
siebie, może istnieć wiele prostych, które da się dopasować do takiej chmury punktów).
Jak widać, zmienna powinna spełniać wiele kryteriów aby być dobrą zmienną objaśniającą. Poniżej podamy kilka metod statystycznych wyboru zmiennych objaśniających do
modelu ekonometrycznego.
4.0.1
Wykresy rozrzutu
Najprostszym i szybkim sposobem wstępnej oceny jakie zmienne będą w głównej mierze
kształtowały zmienność zmiennej niezależnej jest wykonanie wykresów rozrzutu zmiennej objaśnianej względem objaśniających oraz i-tej zmiennej objaśniającej w funkcji j-tej
zmiennej objaśniającej. Wykresy rozrzutu pozwalają wzrokowo ocenić czy istnieje związek
pomiędzy wartościami zmiennych i czy związek ten ma charakter liniowy (przynajmniej
jeśli chodzi o zmienną objaśnianą). Pamiętamy, że założeniem KMNK jest to, aby pomiędzy zmienną objaśnianą a objaśniającymi zachodziła silna korelacja liniowa. Ponadto,
zmienne objaśniające nie powinny być ze sobą skorelowane. Na Rysunkach 4.1 – 4.3 przedstawione są wykresy rozrzutu wszystkich zmiennych względem siebie, z dopasowaną przez
Statistica krzywą regresji (nie należy mylić dopasowanych do wykresu rozrzutu dwóch
47
48ROZDZIAŁ 4. METODY DOBORU ZMIENNYCH OBJAŚNIAJĄCYCH DO MODELU
zmiennych krzywej regresji z wielowymiarową regresją wieloraką). Widzimy (Rysunek
Rysunek 4.1: Wykres rozrzuty zmiennej zależnej Sprzedaż od zmiennej niezależnej Indeks
ceny wraz z dopasowaną krzywą regresji.
4.1), że istnieje silny związek liniowy pomiędzy zmienną Sprzedaż a zmienną Indeks ceny.
Możemy również stwierdzić, po znaku współczynnika dopasowanej prostej (patrz góra rysunku), że im niższa będzie cena, tym sprzedaż powinna rosnąć. Związek z drugą zmienną
objaśniającą jest nieco słabszy oraz korelacja pomiędzy zmiennymi ma znak dodatni (im
więcej wydajemy na reklamę, tym większa jest sprzedaż). Ostatni z wykresów rozrzutu
(Rysunek 4.3) jest równie ważny dla dalszych rozważań. Punkty na wykresie rozłożone są
przypadkowo i trudno doszukać się związku pomiędzy tymi zmiennymi. Zatem możemy
uznać (na tym etapie po dokonaniu oceny wzrokowej), że zmienne objaśniające nie są ze
sobą skorelowane.
4.0.2
Korelacie Pearsona
Ilościowy opis siły liniowego związku pomiędzy zmiennymi oddaje współczynnik korelacji
Pearsona. Stosowanie współczynnika Pearsona do opisu korelacji ma swoje ograniczenia:
• zmienne powinny mieć rozkład normalny, lub zbliżony do normalnego,
• jest czuły na obserwacje odstające,
• wykrywa tylko liniową zależność.
49
Rysunek 4.2: Wykres rozrzuty zmiennej zależnej Sprzedaż od zmiennej niezależnej Wydatki na reklamę wraz z dopasowaną krzywą regresji.
Współczynnik Pearsona z próby (na podstawie obserwacji par zmiennych (x, y)) jest
wyrażony wzorem:
Pn
(xi − x̄)(yi − ȳ)
qP
(4.1)
rab = qP i=1
n
n
2
2
(x
−
x̄)
(y
−
ȳ)
i=1 i
i=1 i
1 Pn
1 Pn
2
i=1 xi , ȳ =
i=1 yi Wprowadzając oznaczenie na wariancję z próby Sx i
n
n
Sy2 oraz kowariancję covxy
n
1X
Sx2 =
(xi − x̄)2
(4.2)
n i=1
gdzie x̄ =
Sy2
covxy =
n
1X
(yi − ȳ)2
=
n i=1
n
1X
(xi − x̄)(yi − ȳ)
n i=1
otrzymujemy
covxy
.
Sx Sy
covxx
=
=1.
Sx2
rxy =
Ponieważ covxx = Sx2 (covyy = Sy 2 ), rxx
Własności współczynnika korelacji:
(4.3)
(4.4)
(4.5)
50ROZDZIAŁ 4. METODY DOBORU ZMIENNYCH OBJAŚNIAJĄCYCH DO MODELU
Rysunek 4.3: Wykres rozrzuty zmiennej niezależnej Indeks ceny od zmiennej niezależnej Wydatki na reklamę. Punkty rozłożone losowo, trudno zauważyć istnienie związku
pomiędzy zmiennymi.
• rxy = ryx ,
• rxy ∈ [−1, 1],
• rxx = 1.
Jeżeli |rxy | = 1 to mówimy o ścisłej zależności liniowej pomiędzy x i y, jeżeli |rxy | = 0, o
braku związku liniowego.
Obliczając współczynnik korelacji, możemy na podstawie wartości korelacji określić
współzależność zmiennych objaśnianej z objaśniającymi oraz zmiennych objaśniających ze
sobą. Pozwala to na wstępną eliminację z modelu zmiennych objaśniających nieskorelowanych ze zmienną objaśnianą, oraz na wychwycenie skorelowanych ze sobą zmiennych objaśniających. Korelacje Pearsona w programie Statistica obliczamy wybierając Statystyka
→ Statystyki podstawowe i tabele → Macierze korelacji. Otworzy się okno wybory zmiennych (Rysunek 4.4), w którym możemy wybrać jedną lub dwie listy zmiennych.
Wybierając jedną listę zmiennych, Statistica obliczy współczynniki korelacji pomiędzy
wszystkimi zaznaczonymi zmiennymi (wszystkimi kombinacjami zmiennych). Wybierając drugą opcję, możemy obliczyć korelacje pomiędzy wybraną zmienną (np. zmienną
objaśnianą) a pozostałymi zmiennymi (np. objaśniającymi) bez uwzględniania korelacji
pomiędzy tymi ostatnimi.
Obliczmy korelacje Pearsona pomiędzy wszystkimi zmiennymi dla rozważanego modelu. W oknie 4.4 wybieramy Jedna lista zmiennych, a następnie zaznaczamy wszystkie
51
Rysunek 4.4: Okno korelacji programu Statistica.
zmienne i wybieramy opcję Podsumowanie w oknie 4.4. Otrzymamy okno wyników korelacji (Rysunek 4.5). Na podstawie obliczonych korelacji widzimy, że najsilniej ze zmienną
objaśnianą Sprzedaż skorelowana jest zmienna Indeks ceny i jest to korelacja ujemna
(im większa wartość zmiennej tym mniejsza Sprzedaż ). Możemy zatem wnioskować, że
zmienna Indeks ceny w największym stopniu kształtuje zmienność zmiennej objaśnianej.
Ponadto widzimy, że zmienne objaśniające (Indeks ceny i Wydatki na reklamę) są bardzo
Rysunek 4.5: Wyniki obliczeń współczynnika korelacji Pearsona. Korelacje istotne statystycznie (na poziomie istotności α=0.05) są automatycznie podświetlone na czerwono.
słabo skorelowane ze sobą i nie występuje pomiędzy nimi współzależność liniowa.
4.0.3
Eliminacja zmiennych kwazistałych
Jednym z najprostszych kryteriów wstępnej filtracji zmiennych jest eliminacja zmiennych,
których zmienność (przedział zaobserwowanych wartości) jest mała. Zwykle, im szerszy
52ROZDZIAŁ 4. METODY DOBORU ZMIENNYCH OBJAŚNIAJĄCYCH DO MODELU
zbiór wartości przyjmuje dana zmienna, tym bardziej widoczny jest charakter jej zmienności oraz dokładniej możemy zbadać jej związek ze zmienną objaśnianą. Wprowadza się
zatem miarę zmienności jako współczynnik zmienności
V =
S
∗ 100%,
x̄
(4.6)
gdzie S jest odchyleniem standardowym z próby, a x̄ jest średnią arytmetyczną zmiennej
z próby. W odróżnieniu do odchylenia standardowego, które określa bezwzględne zróżnicowanie cechy, V jest miarą względną. Wartości współczynnika zmienności najczęściej
podaje się w procentach. W procedurze doboru zmiennych na podstawie współczynnika
zmienności, odrzuca się te cechy, których zmienność V jest mniejsza od pewnej wartości
krytycznej V ∗ . Niestety nie ma uniwersalnej wartości V ∗ dla wszystkich zjawisk ekonomicznych i wartość tą należy przyjąć arbitralnie oraz na podstawie wiedzy na temat
analizowanego zjawiska.
4.0.4
Regresja krokowa
Metoda regresji krokowej polega na sekwencyjnym doborze zmiennych do modelu, w celu uzyskania najlepszego zestawu zmiennych. Istnieją dwie odmiany tej metody: regresja
krokowa postępująca oraz regresja krokowa wsteczna. W obydwu odmianach tej metody
decyzja o wprowadzeniu lub odrzuceniu zmiennej z modelu podejmowana jest na podstawie cząstkowego testu F Snedecora (czasami wykorzystuje się zamiast testu F Snedecora
równoważny test t-Studenta). Metoda regresji krokowej jest bardzo często stosowaną metodą doboru zmiennych objaśniających.
Regresja krokowa postępująca
W tej odmianie regresji krokowej dobór zmiennych polega na sekwencyjnym dokładaniu
zmiennych do modelu. Załóżmy, że mamy M potencjalnych zmiennych objaśniających.
Wtedy procedura doboru zmiennych jest następująca:
• w pierwszym kroku tworzymy M oddzielnych modeli z jedną zmienną objaśniającą
xj .
• Następnie dokonujemy sprawdzenia istotności tej zmiennej xj poprzez cząstkowy
test F Snedecora. Jeśli wartość statystyki Fj jest większa od wartości progowej Fin
(w programie Statistica wartość tą nazywa się F do wprowadzania, to zmienna zostaje wprowadzona do modelu. Jeśli kilka zmiennych będzie statystycznie istotnych
wprowadzana jest ta, która ma największą wartość statystyki Fin .
• W następnych krokach z pozostałych M − 1 zmiennych konstruuje się modele z
dwiema zmiennymi objaśniającymi, z których jedna została wybrana w poprzednim korku. Analogicznie, wyznacza się statystyki Fj , a do modelu wprowadza się
zmienną, która ma największą i większą od Fin wartość statystyki F .
• Po wprowadzaniu drugiej zmiennej, ponownie bada się istotność pierwszej zmiennej
w modelu z dwoma zmiennymi. Jeśli w nowym modelu ta zmienna jest nieistotna
53
statystycznie lub F < Fout (Fout w programie Statistica nazywa się F do usuwania), zostaje ona odrzucona, a procedurę doboru drugiej zmiennej powtarzamy z
pozostałymi M − 1 zmiennymi.
• Procedurę powtarza się tak długo, aż nie wyczerpie się zbiór zmiennych lub żadna
z pozostałych zmiennych nie będzie mogła być wprowadzona ze względu na zbyt
małą wartość statystyki F .
Regresja krokowa wstecz
W regresji krokowej wstecz modelem wyjściowym jest model ze wszystkimi M zmiennymi. W kolejnych krokach usuwa się z modelu te zmienne, których wartość statystyki F
jest najmniejsza i mniejsza od wartości progowej Fout . Procedura jest powtarzana aż do
uzyskania najlepszego modelu.
4.0.5
Metoda Hellwiga
Metoda Hellwiga doboru zmiennych objaśniających do modelu jest metodą rodzimą i bazuje na sile wzajemnych korelacji liniowych, jakie istnieją pomiędzy zmienną objaśnianą
i objaśniającą, oraz korelacji pomiędzy zmiennymi objaśniającymi. Spośród wszystkich
możliwych kombinacji zmiennych objaśniających wybiera się tą, w której zmienne objaśniające są najsilniej związane ze zmienną objaśnianą a ich wzajemne korelacje są najsłabsze.
Jako miarę korelacji wykorzystuje się współczynnik korelacji Pearsona r.
Sposób doboru zmiennych do modelu jest następujący.
1. w pierwszym kroku tworzymy wszystkie możliwe kombinacje potencjalnych zmiennych objaśniających tzn. ze zbioru wszystkich potencjalnych zmiennych {x1 , x2 , . . . , xk }
tworzymy L = 2k − 1 kombinacji Kl (l = 1, 2, . . . , L), zaczynając od kombinacji z
jedną zmienną objaśniającą, potem z dwiema zmiennymi objaśniającymi, z trzema
i tak dalej (kolejność umowna), aż do wyczerpania możliwości.
2. Dla każdej kombinacji Kl obliczamy tzw. pojemność indywidualną nośnika informacji :
r2
hlj = X j
,
(4.7)
|rij |
i∈{Kl }
gdzie indeks i przebiega po wszystkich numerach zmiennych należących do kombinacji Kl , l jest numerem kombinacji, rj jest współczynnikiem korelacji Pearsona
pomiędzy j-tą zmienną objaśniającą w kombinacji a zmienną objaśnianą, a rij jest
współczynnikiem korelacji Pearsona pomiędzy i-tą i j-tą zmienną objaśniającą w
danej kombinacji.
3. Następnie, dla każdej kombinacji Kl oblicza się integralną pojemność informacyjną
zdefiniowaną jako sumę pojemności indywidualnych w danej kombinacji:
X
Hl =
j∈Kl
hlj , l = 1, 2, . . . , L.
(4.8)
54ROZDZIAŁ 4. METODY DOBORU ZMIENNYCH OBJAŚNIAJĄCYCH DO MODELU
4. Jako końcowy zestaw zmiennych objaśniających wybieramy ten, który charakteryzuje się największą wartością integralnej pojemności informacyjnej.
Przykład
Dla danych z tabeli 10.3 dobrać zmienne do modelu za pomocą metody Hellwiga.
Pierwszym krokiem jest zbadanie normalności rozkładu zmiennych, ponieważ wsp. korelacji Pearsona jest czuły na duże odstępstwa od rozkładu normalnego. Do tego celu
użyjemy testu Shapiro–Wilka (patrz rozdział 3.3). Otrzymujemy następujące wartości
p − value (tabela 4.1), na podstawie których (na poziomie istotności α=0.05) nie ma
podstaw do odrzucenia hipotezy o normalności rozkładu dla każdej zmiennej. Następnie
Tabela 4.1: Obliczone p-wartości dla testu Shapiro-Wilka dla zmiennych za tabeli 10.3.
zmienna
p-wartość
y: poziom sportowy
0.072
x1 : masa ciała
0.692
x2 : wytrzymałość
0.404
x3 : siła
0.656
obliczamy współczynniki korelacje Pearsona. Wyniki przedstawia Rysunek 4.6. Teraz mu-
Rysunek 4.6: Wyniki obliczeń współczynnika korelacji Pearsona dla danych z tabeli 10.3.
simy wypisać wszystkie możliwe kombinacje zmiennych objaśniających. Ponieważ mamy
trzy potencjalne zmienne, otrzymujemy 23 − 1 = 7 kombinacji: K1 = {x1 }, K2 = {x2 },
K3 = {x3 }, K4 = {x1, x2}, K5 = {x1 , x3 }, K6 = {x2 , x3 }, K7 = {x1 , x2 , x3 }. Dla każdej
kombinacji liczymy integralne pojemności informacyjne Hl .
• H1 = h11 =
r12
0.3357322
=
= 0.113
|r11 |
1
• H2 = h22 =
r22
0.45568602
=
= 0.21
|r22 |
1
• H3 = h33 =
r32
0.6076872
=
= 0.37
|r33 |
1
• H4 = h41 + h42 =
r12
r22
0.113
0.21
+
=
+
= 0.269
|r11 | + |r12 | |r22 | + |r21 |
1 + 0.202 1 + 0.202
4.1. ZADANIA
55
• H5 = h51 + h53 =
r12
r32
0.113
0.37
+
=
+
= 0.357
|r11 | + |r13 | |r33 | + |r31 |
1 + 0.353 1 + 0.353
• H6 = h62 + h63 =
r32
0.21
0.37
r22
+
=
+
= 0.461
|r22 | + |r23 | |r33 | + |r32 |
1 + 0.258 1 + 0.258
• H7 = h71 + h72 + h73
r12
0.113
h71 =
=
= 0.073
|r11 | + |r21 | + |r31 |
1 + 0.202 + 0.353
0.21
r22
=
= 0.144
h72 =
|r12 | + |r22 | + |r32 |
0.202 + 1 + 0.258
r32
0.37
=
= 0.23
h73 =
|r13 | + |r23 | + |r33 |
0.353 + 0.258 + 1
H7 = 0.073 + 0.144 + 0.23 = 0.447
Największą integralną pojemność informacyjną ma kombinacja K6 (H6 = 0.461), więc
zgodnie z ideą metody Hellwiga, w modelu powinny znaleźć się zmienne x2 i x3 (wytrzymałość oraz siła).
4.1
Zadania
Zadanie 1
Dla danych z tabeli 10.1 dobrać zmienne do modelu stosując metodę Hellwiga.
Zadanie 2
Dla tych samych danych oszacować model stosując metodę regresji krokowej wstecz najpierw stosując domyślne ustawienia wartości statystyk F do wprowadzania i usuwania.
Następnie zmienić wartość F do usuwania na 4 i porównać wyniki.
56ROZDZIAŁ 4. METODY DOBORU ZMIENNYCH OBJAŚNIAJĄCYCH DO MODELU
Rozdział 5
Szacowanie parametrów modeli w
przypadku autokorelacji i
heteroskedastyczności
Uogólniona metoda najmniejszych kwadratów
Zgodnie z założeniami KMNK (patrz rozdział 2.4) wariancja składnika losowego jest stała: D2 () = σ 2I , gdzie I jest macierzą jednostkową. Jeśli wariancja składnika losowego
nie jest stała, powyższa równość nie zachodzi. Ponadto, z uwagi na fakt, że estymator
X T X )−1 staje się obciążonym estymatorem wariancji
wariancji składnika losowego Se2 (X
składnika losowego D2 (), również macierz wariancji-kowariancji estymatorów parameX T X )−1 . Niespełnienie założeń
trów strukturalnych (2.46) nie jest równa D 2 (bb) = Se2 (X
stałości wariancji lub braku autokorelacji składników losowych uniemożliwia stosowanie
KMNK do szacowania parametrów strukturalnych modelu liniowego. Wiąże się to z utratą pewnych własności estymatorów: estymatory nie są już najefektywniejsze i nie mają
najmniejszej wariancji. Wariancja składników losowych, a co za tym idzie standardowe
błędy szacunku, bywają niedoszacowane. Skutkuje to zawyżaniem statystyki t Studenta [2], na podstawie których testowana jest istotność parametrów strukturalnych modelu
(w efekcie, w rzeczywistości statystycznie nieistotne parametry modelu będą wykazywały
fałszywą istotność).
W takich przypadkach należy stosować tzw. Uogólnioną Metodę Najmniejszych Kwadratów (UMNK), w której macierz wariancji-kowariancji składnika losowego zapisuje się
w postaci
D2 () = σ 2Ω ,
(5.1)
gdzie Ω jest macierzą symetryczną i dodatnio określoną (UMNK można stosować jedynie
w tych przypadkach, w których macierz D2 () da się zapisać w postaci (5.1)). Wtedy
estymator parametrów strukturalnych modelu wyraża się wzorem [2]
b = (X
X T Ω−1X )−1X T Ω−1Y ,
(5.2)
a estymator macierzy wariancji-kowariancji b jako
X T Ω −1X )−1 ,
Ω (bb) = Se2 (X
57
(5.3)
58ROZDZIAŁ 5. SZACOWANIE PARAMETRÓW MODELI W PRZYPADKU AUTOKORELACJI I H
przy czym
Se2 =
e T Ω −1e
n−k−1
(5.4)
jest estymatorem wariacji składnika losowego.
5.0.1
Ważona metoda najmniejszych kwadratów
Metoda ta jest szczególną postacią UMNK i stosuje się ją, gdy model jest heteroskedastyczny i nie występują autokorelacje reszt lub w przypadkach, gdy w sposób zamierzony
chcemy wzmocnić wpływ pewnych obserwacji na kształtowanie się zmiennej objaśnianej
(patrz np. [5] str 82). Ideą tej metody jest zastosowanie dla każdej obserwacji nieujemnej
wagi, której celem jest zrównoważenie wariacji czynnika losowego poprzez zmniejszenie
znaczenia obserwacji z większą wariancją lub, w drugim przypadku, zwiększenie znaczenia obserwacji bardziej istotnych.
Ponieważ nie występują autokorelacje, macierz Ω jest macierzą diagonalną, której elementy diagonalne (w najprostszym przypadku) są równe modułom z reszt wyjściowego modelu
oszacowanego KMNK (modelu z heteroskedastycznym składnikiem losowym). Macierz do
niej odwrotna Ω −1 zawiera wtedy odwrotności modułów reszt
1

 |ê1 |



Ω
−1
=

 0



 0



 ...


 0




0
0
1
|ê2 |
0
...
0
0
0
0
...
...
0
0
1
0 ... 0
|ê3 |
... ... ... ...
0
0 
0
0
0
0
...
0
0
0
...
0
...
1
|ên−1 |
0
0
0
...
0
0
0
1
|ên |



















(5.5)
Procedura ważonej MNK jest następująca: w pierwszym kroku szacujemy parametry
modelu KMNK. Następnie konstruuje się model pomocniczy, w którym rolę zmiennej
objaśniającej pełnią moduły reszt ỹi = |ei | wcześniej wyznaczonego modelu (zmienne
objaśniające zostawiamy takie same). Z oszacowanych wartości teoretycznych ỹi wyznacza
się wagi wi = 1/ỹi , które są diagonalnymi elementami macierzy (5.5). W kolejnym kroku
tworzy się model ekonometryczny
wi yi = β0 wi + β1 (wi x1i ) + . . . + βk (wi xki ) + i ,
(5.6)
gdzie yi są pierwotnymi obserwacjami zmiennej objaśnianej. Tak skonstruowany model
szacujemy ponownie KMNK, ponieważ estymatory parametrów strukturalnych są zgodne
i asymptotycznie najefektywniejsze.
Główną zaletą tej metody jest możliwość wykorzystania regresji liniowej w sytuacjach
gdy dane statystyczne są różniej jakości.
59
Ważona MNK w Statistica
W programie Statistica procedurę estymacji parametrów ważoną MNK możemy przeprowadzić albo za pomocą dołączonego do pakietu programu (modułu Statistica) napisanego
w języku Visual Basic, albo ręcznie korzystając z opcji regresji.
5.0.2
Metoda Cochrane’a-Orcutta
Tą wersję UMNK stosuje się w przypadku wystąpienia autokorelacji pierwszego rzędu.
Nazwa tej metody pochodzi od nazwisk dwóch statystyków: Donalda Cochrane’a i Guy’a
Orcutt’a, a jej idea opiera się na transformacji autoregresyjnej pierwszego rzędu zmiennej
objaśnianej i zmiennych objaśniających, a następnie oszacowania wartości estymatorów
KMNK. Załóżmy, że test Durbina-Watsona wykazał istnienie autokorelacji pierwszego rzędu reszt modelu, oraz że współczynnik autokorelacji wynosi ρ. Transformacji pierwotnych
zmiennych dokonujemy za pomocą macierzy T :
T y = T βX + T gdzie macierz T ma postać
√
T =









1−ρ 0
0 0
−ρ
1
0 0
0
−ρ 1 0
...
... ... ...
0
0
0 0
0
0
0 0
(5.7)

... 0
0
0
... 0
0
0


... 0
0
0

. . . . . . . . . . . .


. . . −ρ 1
0
. . . 0 −ρ 1
(5.8)
gdzie ρ jest współczynnikiem autokorelacji wyznaczonym z próby. Po dokonaniu transformacji należy ponownie oszacować parametry modelu KMNK. Niestety, powyższa transformacja nie gwarantuje usunięcia autokorelacji reszt za pierwszym podejściem. Dlatego
też, po oszacowaniu parametrów nowego modelu, ponownie trzeba wykonać test sprawdzający występowanie autokorelacji. W przypadku ponownego wystąpienia autokorelacji
powyższą metodę należy zastosować ponownie.
60ROZDZIAŁ 5. SZACOWANIE PARAMETRÓW MODELI W PRZYPADKU AUTOKORELACJI I H
Rozdział 6
Prognozowanie na podstawie modelu
ekonometrycznego
Wszystkie poprzednie rozdziały skryptu były poświęcone zagadnieniom związanym z tworzeniem modelu ekonometrycznego. W tym rozdziale omówimy krótko praktyczne zastosowanie modelu ekonometrycznego. Najczęstszym wykorzystaniem oszacowanego i zweryfikowanego modelu ekonometrycznego jest predykcja ekonometryczna, czyli wnioskowanie
na podstawie modelu o przyszłych, nieznanych wartościach zmiennej objaśnianej. Ograniczymy się do jednorównaniowego liniowego modelu ekonometrycznego.
Prognoza nie zawsze musi dotyczyć zjawisk zależnych od czasu (przyszłości), chociaż
takie wykorzystanie modeli jest najczęstsze. Może również dotyczyć wartości zmiennej objaśnianej dla nieznanych, np. większych niż zaobserwowane w próbie, wartości zmiennych
objaśniających.
Zmienna objaśniana, dla której konstruuje się prognozę, nazywa się zmienną prognozowaną, natomiast okres (lub przedział wartości, jeśli prognoza nie dotyczy przedziału
czasu) nazywa się horyzontem prognozy.
Założenia teorii predykcji
Podobnie, jak w przypadku modeli ekonometrycznych, aby predykcja ekonometryczna
była formalnie (statystycznie) poprawna, muszą być spełnione pewne założenia:
• wartości estymatorów parametrów strukturalnych, w którym zmienna prognozowana
jest zmienną objaśnianą, są znane (oszacowane)
• model ekonometryczny jest pozytywnie zweryfikowany
• wartości zmiennych objaśniających dla horyzontu prognozy są znane lub oszacowane
• rozkład składnika losowego jest stacjonarny
• postać analityczna modelu i jego parametry strukturalne są stabilne
61
62ROZDZIAŁ 6. PROGNOZOWANIE NA PODSTAWIE MODELU EKONOMETRYCZNEGO
Prognoza punktowa
Załóżmy, że chcemy przewidzieć wartość zmiennej objaśnianej (prognozowanej) y ∗ , dla
wartości danych wektorem zmiennych objaśnianych X ∗ . Jeśli wyjściowy model ekonometryczny ma postać
y = X T β + ,
(6.1)
to prognozowana wartość y ∗ jest równa [3]
y ∗ = (X ∗ )T β + 0 ,
(6.2)
gdzie wektor zmiennych objaśniających X ∗ jest równy


1
 
 x1 
 

 x2  .
X∗ = 
 . 
 .. 
 
(6.3)
xk
Uwaga
W równaniu (6.2) występuje transponowany wektor X ∗ , wobec czego iloczyn (X ∗ )T β jest
iloczynem skalarnym dwóch wektorów.
Z twierdzenia Gaussa-Markowa (rozdział 2.5) wiemy, że
ŷ = (X)T b
(6.4)
jest najefektywniejszym, nieobciążonym estymatorem wartości oczekiwanej zmiennej objaśnianej E(y|X) (lub po prostu y - z własności nieobciążoności). Podobnie, prognoza ŷ p
ŷ p = (X ∗ )T b
(6.5)
jest najefektywniejszym, nieobciążonym estymatorem wartości oczekiwanej prognozy E(y ∗ |X ∗ )
(lub y ∗ ).
Wtedy błąd prognozy możemy wyrazić jako różnicę
β − b )T X ∗ + 0 ,
ep = y ∗ − ŷ p = (β
(6.6)
a wariancja reszt jest równa [2]
(6.7)
(6.8)
X T X )−1 X ∗ .
D2 (ep ) = σ 2 1 + (X ∗ )T (X
Estymatorem wariancji (6.7) jest
X T X )−1 X ∗ ,
S 2 (ep ) = Se2 1 + (X ∗ )T (X
gdzie Se2 jest wariancją reszt modelu. Wtedy średni błąd predykcji ex ante dany jest
jako odchylenie standardowe błędu prognozy
V∗ =
q
q
X T X )−1 X ∗
S 2 (ep ) = Se 1 + (X ∗ )T (X
(6.9)
Błąd predykcji ex ante oznacza błąd jaki możemy popełnić stosując prognozę zanim poznamy prawdziwą (zaobserwowaną) wartość zmiennej prognozowanej. Jeśli znamy
prawdziwą wartość prognozowanej zmiennej, możemy ją porównać z wcześniejszą prognozą i otrzymamy błąd predykcji ex post.
63
Prognoza przedziałowa
W poprzednim rozdziale zajmowaliśmy się tzw. prognozą punktową, czyli predykcją dokładnej wartości zmiennej prognozowanej. Innym rodzajem prognozy jest prognoza przedziałowa. Polega ona na wyznaczeniu przedziału ufności dla prognozowanej wartości
zmiennej y ∗ . Wykorzystujemy w tym celu średni błąd predykcji ex ante (6.9):
(ŷ p − t∗ V ∗ , ŷ p + t∗ V ∗ ) ,
(6.10)
gdzie ŷ p jest prognozą punktową, V ∗ średnim błędem predykcji ex ante, a t∗ jest wartością
statystyki t-Studenta dla n − k − 1 stopni swobody, dla której
P (ŷ p − t∗ V ∗ < y ∗ < ŷ p + t∗ V ∗ ) = 1 − α,
(6.11)
α jest zadanym poziomem istotności. Przedział (6.10) nazywamy 1−α procentowym przedziałem predykcji (lub 1 − α procentowym przedziałem ufności dla predykcji). Mówimy
wtedy, że z prawdopodobieństwem 1 − α, prawdziwa wartość zmiennej prognozowanej
znajduje się w tym przedziale.
64ROZDZIAŁ 6. PROGNOZOWANIE NA PODSTAWIE MODELU EKONOMETRYCZNEGO
Rozdział 7
Nieliniowe modele ekonometryczne
Wstęp
W poprzednich rozdziałach do opisu zjawisk ekonomicznych, a dokładniej do ich modelowania, stosowaliśmy klasyczną metodę regresji liniowej. Jednym z założeń tej metody jest
istnienie liniowego związku pomiędzy zmiennymi objaśniającymi a zmienną objaśnianą.
Dlatego, jak już napisaliśmy w poprzednich rozdziałach, niezwykle ważnym etapem modelowania ekonometrycznego jest określenie charakteru związku pomiędzy zmienną objaśnianą i objaśniającymi. Można to zrobić wzrokowo tworząc wykresy rozrzutu zmiennych.
Na etapie stosowania KMNK wystarczy nam jedynie odpowiedź na pytanie czy związek
jest liniowy czy nie.
Co zrobić w przypadku, gdy związek ten nie ma charakteru liniowego? Zdarza się tak np.
przy opisie relacji dochody-wydatki, czy w opisie produkcji. W tych przypadkach niestety
nie możemy użyć KMNK do analizy. Są jednak (dla pewnej klasy przypadków) metody,
które pozwalają na sprowadzenie modelu nieliniowego do modelu liniowego. Transformacja, która pozwala przejść z modelu nieliniowego do liniowego nosi nazwę linearyzacji. W
następnym rozdziale będziemy omawiać właśnie takie modele.
7.1
Linearyzowalne modele ekonometryczne
Jak już napisaliśmy, modele linearyzowalne to takie, które przy pomocy pewnej transformacji da się sprowadzić do modelu liniowego. Wtedy do estymacji parametrów modelu
możemy użyć KMNK. Wydaje się więc, że problem nieliniowości jest łatwo rozwiązywalny. Niestety praktyka wygląda nieco inaczej, ponieważ aby dokonać linearyzacji modelu,
musimy najpierw określić charakter związku nieliniowego tzn. określić jakiego typu funkcja (np. wielomianowa, wykładnicza czy logarytmiczna) najlepiej pasuje opisuje zależność
pomiędzy zmiennymi. Po raz kolejny, bardzo pomocny jest wykres rozrzutu, z którego
możemy z grubsza oszacować charakter związku. Jeśli nie ma pewności co do postaci
analitycznej np. mamy dwie lub trzy możliwości, wtedy najlepiej oszacować model dla
wszystkich przypadków i wybrać ten, który charakteryzuje się najlepszym dopasowaniem
do danych empirycznych.
W Tabeli 7.1 podaliśmy kilka typów związków nieliniowych wraz z odpowiednią transformacją i modelem po transformacji.
65
66
ROZDZIAŁ 7. NIELINIOWE MODELE EKONOMETRYCZNE
Tabela 7.1: Tabela transformacji modeli nieliniowych do modeli liniowych. Źródło [5].
Postać matematyczna
Transformacja
Model po transformacji
Y = aX b
a0 = log a,Y 0 = log Y ,X 0 = log X
Y 0 = a0 + bX 0
Y = abX
Y 0 = log Y , a0 = log a, b0 = log b
Y 0 = a0 + Xb0
Y = a + bX + cX 2
X1 = X,X2 = X 2
Y = a + bX1 + c + X2
2
n
Y = a0 + a1 X + a2 X . . . an X
X1 = X, X2 = X 2 , . . . Xn = X n Y = a0 + a1 X1 + . . . an Xn
Y = a + Xb
X 0 = 1/X
Y = a + bX 0
aX
Y =
Y 0 = 1/Y, X 0 = 1/X
Y = a1 + ab X 0
b+X
Y = a + b ln X
X 0 = ln X
Y = a + bX 0
Program Statistica dostarcza szereg narzędzi wspomagających pracę z nieliniowymi
modelami ekonometrycznymi począwszy od możliwości dopasowania różnego typu krzywych do danych empirycznych (co ułatwia określenie postaci związku funkcyjnego) po
narzędzia do transformacji zmiennych i linearyzowania modelu. Zobrazujmy to przykładem. Dane do przykładu znajdują się w Tabeli 10.2 w rozdziale 10.
Zaczynamy od wykresu rozrzutu zmiennych. Z menu Wykresy wybieramy Wykres rozrzutu
Rysunek 7.1: Wykres rozrzutu zmiennych z Tabeli 10.2. Na pierwszy rzut oka widać, że
nie jest to funkcja liniowa.
2W, po czym wybieramy zmienne do wykresu. W głównym menu wykresów rozrzutu odznaczamy opcję Dopasuj: liniowa (aby samodzielnie spróbować określić rodzaj zależności).
Otrzymujemy wykres przedstawiony na Rysunku 7.1.
7.1. LINEARYZOWALNE MODELE EKONOMETRYCZNE
67
Rysunek 7.2: Zaawansowane opcje wykresów rozrzutu pozwalają wybrać funkcję analityczną, która ma być dopasowana do danych z wykresu.
Skorzystajmy teraz z zaawansowanych opcji wykresów rozrzutu. W głównym oknie
Wykres rozrzutu 2W wybieramy zakładkę Więcej i z okna Dopasuj wybieramy jedną z
funkcji (Rysunek 7.2), które Statistica ma dopasować do danych empirycznych. Wyniki
tej operacji dla kilku różnych funkcji zamieszczone są na rysunkach poniżej (Rysunki
7.3,7.4,7.5,7.6).
Widać, że funkcja wielomianowa pasuje do danych najlepiej. W oknie wykresu możemy zobaczyć wzór analityczny dopasowanej funkcji. Ma on ogólną postać Y = aX + bX 2 .
Odpowiada to funkcji Funkcja kwadratowa z Tabeli 7.1. Dokonamy więc podanej w tej
tabeli transformacji zmiennej X a następnie przeprowadzimy estymację parametrów modelu.
Z menu Statystyka wybieramy Zaawansowane modele liniowe i nieliniowe → Linearyzowana
regresja nieliniowa, a następnie wybieramy zmienne do modelu (zmienną X oraz Y )
i klikamy OK. Na ekranie pojawi się okno wyboru transformacji nieliniowych, w którego zaznaczamy opcję X**2. Następnie przechodzimy do wyboru zmiennych objaśnianej
i objaśniających, gdzie zaznaczamy jako objaśnianą Y , a jako zmienne objaśniające X
oraz V 1 ∗ ∗2 (Rysunek 7.7). Jak widać, po zaznaczeniu odpowiedniego typu transformacji, Statistica stworzyła nowe zmienne (przetransformowane), których kolejność jest taka
sama jak kolejność oryginalnych zmiennych (V 5 ∗ ∗2 to przetransformowana zmienne X,
V 6 ∗ ∗2 to przetransformowana zmienna Y ). W kolejnym kroku wybieramy opcję OK w
oknie regresji, w wyniku czego otrzymujemy wynikowy model (Rysunek 7.8).
Jak widać zarówno cały model (statystyka F) jak i wszystkie parametry modelu są
istotne, model jest bardzo dobrze dopasowany (Poprawione R2 = 0.95). Przetransformowany model możemy zapisać w postaci
Y = 4.67 + 0.05X − 0.000036X 2 ± 1.17
(7.1)
68
ROZDZIAŁ 7. NIELINIOWE MODELE EKONOMETRYCZNE
Rysunek 7.3: Wykres rozrzutu z dopasowaną funkcją liniową.
Model trzeba jeszcze zweryfikować pod względem normalności rozkładu reszt. W tym
przypadku reszty mają rozkład normalny. a ich wartość średnia jest równa 0 (sprawdzenie
pozostawiamy Czytelnikowi).
7.1. LINEARYZOWALNE MODELE EKONOMETRYCZNE
Rysunek 7.4: Wykres rozrzutu z dopasowaną funkcją logarytmiczną.
Rysunek 7.5: Wykres rozrzutu z dopasowaną funkcją wykładniczą.
69
70
ROZDZIAŁ 7. NIELINIOWE MODELE EKONOMETRYCZNE
Rysunek 7.6: Wykres rozrzutu z dopasowaną funkcją wielomianową.
Rysunek 7.7: Okno wyboru zmiennych do modelu zlinearyzowanego.
Rysunek 7.8: Okno wynikowe regresji liniowej dla modelu zlinearyzowanego.
7.1. LINEARYZOWALNE MODELE EKONOMETRYCZNE
Rysunek 7.9: Okno podsumowania regresji liniowej dla modelu zlinearyzowanego.
71
72
ROZDZIAŁ 7. NIELINIOWE MODELE EKONOMETRYCZNE
Rozdział 8
Funkcja produkcji
8.1
Wstęp
Jednym z zadań ekonometrii jest analiza i modelowanie procesu produkcyjnego. W szczególności dotyczy to analizy zależności pomiędzy nakładami i zasobami produkcyjnymi a
efektami (wielkością) produkcji. Głównym narzędziem ekonometrycznym stosowanym w
tej analizie jest funkcja produkcji. Funkcja produkcji jest modelem ekonometrycznym (najczęściej nieliniowym), w którym zmienną objaśnianą jest wielkość produkcji, a zmiennymi
objaśniającymi są nakłady poszczególnych czynników produkcji. Dwoma najważniejszymi
czynnikami produkcji są:
• praca L - rozumiana jako siła robocza (w tym również kapitał ludzki od którego
zależy jakość pracy)
• kapitał K - np. pieniądz, budynki, samochód itp..
Innym czynnikiem produkcji (w zależności od typu produkcji) są surowce, z których produkowane są dobra. Surowce można również klasyfikować jako kapitał produkcyjny. W
ekonomii klasycznej (do początków XXw) podstawowym czynnikiem produkcji była również ziemia, lecz dziś traktowana jest jako składowa kapitału produkcyjnego.
Czynniki produkcji charakteryzują się tym, że mogą być (do pewnego stopnia) wzajemnie zastępowane, oraz że w procesie produkcji wytwarzają nową wartość. Ponadto, są
one wyczerpywalne tzn. w procesie produkcji następuje ich zużycie i muszą być odnawiane.
Proces odnawiania czynników produkcji nazywa się inwestowaniem.
W ogólnym zapisie matematycznym funkcję produkcji możemy wyrazić jako
y = f (L, K),
gdzie y jest wielkością produkcji.
8.1.1
Zastosowanie funkcji produkcji
Badanie funkcji produkcji sprowadza się do wyznaczenia jej charakterystyk:
73
(8.1)
74
ROZDZIAŁ 8. FUNKCJA PRODUKCJI
• produktu całkowitego P C,
Produkt całkowity jest to teoretyczna wartość produkcji przy ustalonych lub prognozowanych nakładach K i L
P C = ŷ
(8.2)
• produktu przeciętnego P Pi
Produkt przeciętny to przeciętna wielkość produkcji przypadająca na jednostkę itego czynnika produkcji przy ustalonych pozostałych czynnikach produkcji:
P Pi =
ŷ
,
xi
(8.3)
gdzie P Pi jest produktem przeciętnym względem i-tego czynnika produkcji, ŷ produkt całkowity, xi - i-ty czynnik produkcji.
• produktu krańcowego P Ki
Produkt krańcowy (marginalny) to przyrost wielkości produkcji spowodowany przyrostem i-tego czynnika produkcji, przy niezmienionych pozostałych czynnikach produkcji.
∆y
P Ki =
(8.4)
∆xi
• elastyczności produkcji Ei ,
Elastyczność produkcji względem i-tego czynnika produkcji to względna zmiana
wielkości produkcji na skutek zmiany i-tego czynnika produkcji o jeden procent,
przy stałych pozostałych czynnikach produkcji
Ei =
xi ∆y
P Ki
∆y ∆xi
:
=
=
ŷ
xi
ŷ ∆xi
P Pi
(8.5)
• efektu skali produkcji ESP ,
Efekt skali produkcji informuje o ile procent wzrośnie wielkość produkcji, jeżeli wartość wszystkich czynników produkcji wzrośnie jednocześnie o 1%
ESP =
k
X
Ei .
(8.6)
i=1
– Jeżeli ESP < 1 to mówimy o malejącej wydajności czynników produkcji
(produkcja wzrasta wolniej niż nakłady),
– jeżeli EP S = 1 to mówimy o stałej wydajności czynników produkcji
(produkcja wzrasta w tym samym tempie co nakłady)
– jeżeli EP S > 1 to mówimy o rosnącej wydajności czynników produkcji
(produkcja wzrasta szybciej niż nakłady)
8.2. FUNKCJA PRODUKCJI COBBA-DOUGLASA
8.2
75
Funkcja produkcji Cobba-Douglasa
Jedną z ważniejszych funkcji produkcji jest funkcja Cobba-Douglasa. Sformułowana przez
szwedzkiego ekonomistę Knuta Wicksel’a została zweryfikowana na danych empirycznych
przez Paula Douglasa i Charlesa Cobba. Oryginalna postać funkcji uwzględniała dwa
główne czynniki produkcji : pracę i kapitał:
y = f (K, L) = β0 K β1 Lβ2 e ,
(8.7)
gdzie K, L ­ 0 oznaczają odpowiednio kapitał i pracę, a parametry β0 , β1 , β2 mają wartości dodatnie, oznacza czynnik losowy.
Funkcję Cobba-Douglasa możemy uogólnić na większą liczbę czynników kształtujących
produkcję. Zapisujemy ją wtedy w postaci:
f (x1 , x2 , . . . , xk ) = β0 xβ1 1 xβ2 2 . . . xβkk e = β0 e
k
Y
βj
xj
(8.8)
j=1
Własności funkcji Cobba-Douglasa
• jest nieujemna,
• jest rosnąca ze względu na każdy xi
Dalsza cześć rozdziału będzie poświęcona oryginalnej wersji (8.7) funkcji Cobba-Douglasa,
tzn. funkcji z dwoma czynnikami produkcji.
8.2.1
Linearyzacja funkcji Cobba-Douglasa
Funkcję Cobba-Douglasa można przetransformować do postaci liniowej i szacować jej
parametry KMNK. Logarytmując obustronnie równanie (8.7) otrzymamy jego liniową
wersję
ln y = ln b0 + b1 ln K + b2 ln L,
(8.9)
gdzie bi są estymatorami parametrów βi .
Dla zlinearyzowanej funkcji Cobba-Douglasa (np. dla 8.9) elastyczność produkcji Ei =
bi , wobec czego efekt skali produkcji można zapisać jako ESP = b1 + b2 + . . . + bk .
Izokwanta
Jeżeli funkcja produkcji jest funkcją dwóch czynników produkcji, to relację pomiędzy wielkością produkcji a tymi czynnikami możemy przedstawić na płaszczyźnie za pomocą tzw.
izokwanty. Jak już napisaliśmy, czynniki produkcji mogą się do pewnego stopnia zastępować. Z tego powodu, tę samą ilość produkcji możemy otrzymać dla różnych kombinacji
pracy i kapitału. Zbiór wszystkich kombinacji pracy i kapitału, które dają taką samą
wielkość produkcji jest właśnie izokwantą (Rysunek 8.1). Im dalej znajduje się krzywa
od początku układu współrzędnych, tym większa jest produkcja. Izokwantę nazywa się
również krzywą jednakowej produkcji.
76
ROZDZIAŁ 8. FUNKCJA PRODUKCJI
Rysunek 8.1: Przykłady izokwant. Na osiach znajdują się czynniki produkcji, każda krzywa
reprezentuje stałą wielkość produkcji dla różnych kombinacji nakładów.
Rozdział 9
Ekonometryczna analiza rynku i
popytu konsumpcyjnego
Ekonometryczna analiza rynku jest jedną z głównych analiz ekonometrycznych i jedną
z ważniejszych. Pojęcie to jest bardzo szerokie. Może dotyczyć np. analizy rynków pracy, popytu i podaży, analizy rynków finansowych lub walutowych. Niniejszy rozdział jest
krótkim wprowadzeniem do szerokiego tematu, jakim jest zastosowanie modeli ekonometrycznych do badania rynków. Zainteresowanym szczególnie rynkami finansowymi polecamy dwie prace dostępne na stronie www.ekonofizyka.pl w zakładce Skrypty dla studentów :
”Wprowadzenie do funkcjonowania rynków finansowych”, ”Wybrane zagadnienia analizy rynków finansowych”, a także pracę ”Komputerowe modelowanie zjawisk rynkowych”
(również na www.ekonofizyka.pl ).
9.1
Podstawowe pojęcia
Popyt to skłonność nabywcy do zakupu określonej ilości dobra lub usługi. Określa on, jak
dużo danego dobra lub usługi nabywca (rynek) jest skłonny kupić po określonej cenie.
Poziom popytu na dany towar wyznaczany jest zarówno przez czynniki rynkowe, takie
jak cena towaru lub usługi, poziom dochodu nabywców oraz ich oczekiwania, ceny innych
towarów, jak również przez czynniki pozarynkowe np. upodobania nabywców, poziom
wykształcenia lub płeć. Matematyczny opis omawianej zależności nazywa się funkcją
(krzywą) popytu.
Funkcje popytu są niezwykle przydatne. Pozwalają zobrazować, i w dużym stopniu
przewidzieć, jak rynek reaguje na zmianę cen i przychodów. Załóżmy, że przychód konsumenta rośnie. Czy będzie on nabywał więcej czy mniej dobra x1 ? Jeśli będzie nabywał go
więcej, wtedy dobro x1 nazywa się dobrem normalnym (Rysunek 9.1, panel lewy). Jeśli
będzie nabywał go mniej, wtedy takie dobro nazywamy dobrem podrzędnym (Rysunek 9.1,
panel prawy).
Jak zmieni się sytuacja jeśli zamiast przychodu konsumenta wzrośnie cena produktu?
Musimy tu rozważyć dwa przypadki: gdy zmieni się cena dobra, które chcemy nabyć
(x1 ), oraz przypadek gdy zmieni się cena innego dobra (x2 ). W przypadku pierwszym,
gdy cena dobra x1 rośnie a popyt na to dobro spada, to dobro takie nazywamy dobrem
zwyczajnym, a gdy popyt na dobro x1 rośnie (wraz z rosnącą ceną), dobro takie nazywamy
77
78ROZDZIAŁ 9. EKONOMETRYCZNA ANALIZA RYNKU I POPYTU KONSUMPCYJNEGO
Rysunek 9.1: Wykres zależności popytu od dochodu. Lewy panel: popyt na dobra normalne, prawy panel: popyt na dobra podrzędne.
Rysunek 9.2: Wykres zależności popytu od dochodu. Zależność przedstawia popyt na
dobra normalne.
dobrem Giffena (Rysunek 9.2).
W przypadku drugim, jeśli popyt na dobro x1 rośnie wraz ze wzrostem ceny innego
dobra x2 , to dobra takie nazywamy substytucyjnymi. Jeśli cena jednego z nich rośnie,
zastępujemy dobro x1 je innym, tańszym (x2 ).
Badanie związków popytu z czynnikami kształtującymi popyt nazywa się badaniem
elastyczności popytu, a siłę związku współczynnikiem elastyczności popytu. Ze względu na
czynnik kształtujący popyt, możemy wyróżnić dwa rodzaje elastyczności popytu: dochodową i cenową.
Cenowa elastyczność popytu
Ed(p) =
∆Q/Q
∆P/P
(9.1)
gdzie ∆Q/Q jest procentową zmianą zapotrzebowania na dane dobro, a ∆P/P jest procentową zmianą ceny dobra. ∆Q (∆P )- przyrost zapotrzebowania (ceny) na produkt, Q
(P ) - zapotrzebowanie (cena produktu) na produkt przed zmianą.
Współczynnik elastyczności Ed(p) interpretujemy następująco: np. jeśli cena produktu wzrośnie o 5% a popyt na produkt zmaleje o 5%, wtedy elastyczność popytu dla
początkowej ceny i popytu Ed(p) = −1; jeśli cena produktu wzrośnie o 5% a popyt na produkt również wzrośnie o 5%, wtedy elastyczność popytu dla początkowej ceny i popytu
Ed(p) = 1.
9.1. PODSTAWOWE POJĘCIA
79
Wartość
Interpretacja
|Ed() | = 0
popyt doskonale nieelastyczny (sztywny)
0 < |Ed() | < 1 popyt relatywnie nieelastyczny (słabo elastyczny)
|Ed() | = 1
popyt proporcjonalny
|Ed() | > 1
popyt elastyczny
Tabela 9.1: Zestawienie wartości bezwzględnych współczynników elastyczności popytu
oraz ich interpretacja.
Rysunek 9.3: Graficzne przedstawienie prawa Engla. Źródło:www.wikipedia.org
Dochodowa elastyczność popytu
Ed(i) =
∆Q/Q
∆I/I
(9.2)
gdzie ∆Q/Q jest procentową zmianą zapotrzebowania na dane dobro, a ∆I/I jest procentową zmianą dochodu nabywców, ∆I- przyrost dochodu, I - wielkość dochodu przed
zmianą.
Elastyczność popytu klasyfikuje się na podstawie bezwzględnej wartości współczynników elastyczności. Ich zestawienie, wraz z interpretacją przedstawia Tabela 9.1.
9.1.1
Ekonometryczne modele popytu dochodowego
W XIX wieku, niemiecki ekonomista i statystyk Ernst Engel prowadził badania dotyczące
zmian wydatków na żywność pod wpływem zmian dochodów. Doszedł on do wniosku, że
wraz ze zwiększaniem się dochodu, względny udział wydatków na żywność w ogólnych
wydatkach maleje. Prawo to jest prawem empirycznym i nosi nazwę Prawa Engla.
Krzywe stosowane do opisu zależności pomiędzy dochodem a popytem (wydatkami)
nazywane są krzywymi Engla. Poniżej prezentujemy postacie funkcyjne najczęściej stosowanych krzywych [2]:
• postać liniowa
ŷi = b0 + b1 xi + . . . + bk xki ,
(9.3)
ŷi = b0 xb1i1 xb2i2 . . . xbkik ,
(9.4)
• postać potęgowa
80ROZDZIAŁ 9. EKONOMETRYCZNA ANALIZA RYNKU I POPYTU KONSUMPCYJNEGO
które można sprowadzić do postaci liniowej przez obustronne logarytmowanie.
• funkcja Workinga (postać wykładnicza z odwrotnością)
1
1
ŷi = exp b0 + b1
+ . . . + bk
,
x1i
xki
(9.5)
którą można sprowadzić do postaci liniowej przez obustronne logarytmowanie i podstawienie x̃ = 1/x. Przetransformowany model ma postać ỹi = b0 +b1 x̃1i +. . .+bk x̃ki .
Dysponując liniową wersją modelu, możemy oszacować jego parametry klasyczną metodą najmniejszych kwadratów. Metoda ta jest dostępna w Statistica w menu Statystyka→Regresja
wieloraka. Możemy również skorzystać z opcji linearyzowalnych modeli regresji, lub samodzielnie wybrać specyfikację modelu.
Rozdział 10
Dodatek
81
82
ROZDZIAŁ 10. DODATEK
Tabela 10.1: Tabela z danymi wykorzystanymi do konstrukcji modelu w rozdziale 2.8.
Oznaczenia: Y - Sprzedaż [tys. $], X1 - Indeks ceny [tys. $], X2 - wydatki na reklamę
[tys.$]. Źródło: dane przykładowe z programu Gretl.
Y
X1 X 2
Y
X1 X2
Y
X1 X2
86.1 4.83 2.9 76.5 5.35 2.3 73.7
6
2.9
84.1 4.86 2.9 82.1 5.37 2.8 73.7 6.02 2.2
84.7 4.89 3.1 86.1 5.41 2.4 75 6.05 2.2
83.8 4.94 0.9 81.3 5.45 2 82.2 6.14 2.7
83.9 4.96 1.1 67.6 5.46 1 84.3 6.16 1.5
83.3 4.98 0.6 76.6 5.48 2.8 76.4 6.2
3
80.6 5.02 2 69.9 5.54 0.5 67.4 6.22 0.7
89.3 5.02 1.5 73.7 5.56 1 74.4 6.22 1.3
87.6 5.04 2.1 75.7 5.59 2.1 79.2 6.22 1.2
80.4 5.05 2.9 79.5 5.62 1.2 78.1 6.24 1.9
73.1 5.08 1.3 62.4 5.63 0.8 81 6.24 0.7
84.2 5.08 2.8 73.7 5.68 0.9 73.2 6.25 1.7
88.1 5.1 2.1 73.2 5.69 1.3 69 6.33 3.1
91.2 5.1 1.6 78.8 5.69 3 73.7 6.35 1.4
74.2 5.11 0.7 78.1 5.7 0.7 71.2 6.37 0.5
86.5 5.11 2.5 75.4 5.71 0.7 73.6 6.39 3.1
84.3 5.2 2.3 82.2 5.73 1.7 68.7 6.41 1.1
75 5.21 0.8 79.7 5.76 2.3 70.3 6.41 1.3
80.3 5.22 1.7 81.2 5.83 1.8 80.2 6.41 3.1
88 5.22 1.6 73.2 5.85 1.8 68.6 6.45 2.8
73.6 5.23 0.8 75.2 5.86 3.1 69.1 6.47 2.7
81 5.23 1.1 73.7 5.88 1.1 69.7 6.47 1.9
80.2 5.28 3.1 70.7 5.89 1.5 75.7 6.47 2.5
84.7 5.33 2.1 66 5.93 2.8 64.5 6.49 0.5
85.9 5.34 1.8 71.8 5.98 1.5 71.8 6.49 2.9
83
Tabela 10.2: Dane do modelu przykłady z modelem zlinearyzowanym, Źródło: opracowanie
własne.
X
Y
X
Y
X
Y
235 14.870 264 16.411 470 23.197
274 15.063 413 20.932 292 18.968
206 14.066 355 19.972 136 12.012
164 13.959 304 17.261 403 22.283
153 13.730 191 13.682 109 9.709
391 18.192 387 20.459 362 17.314
399 19.376 227 16.272 250 13.914
247 17.445 64 8.240 181 14.126
213 13.427 49 7.840 328 16.119
434 18.333 382 18.958 466 18.997
297 16.027 491 23.045 118 9.777
273 17.845 200 14.001 325 20.011
440 19.088 29 5.224 49 7.420
426 21.053 219 13.911 491 23.045
215 13.343 258 15.259 345 18.017
37 5.839 375 19.171 279 18.708
396 20.099 298 17.608 56 7.708
22 4.128 472 21.943 97 9.947
235 15.176 80 9.928 257 16.352
87 8.301 424 22.239 134 12.386
442 21.655 271 14.980 483 23.076
189 13.335 160 13.788 292 18.113
296 17.377 187 13.265 212 15.143
146 11.237 286 17.081 200 13.859
130 12.086 438 20.091 389 21.301
159 12.105 68 7.751 371 18.491
99 10.945
84
ROZDZIAŁ 10. DODATEK
Tabela 10.3: Dane do użyte do wyznaczenia zmiennych modelu metodą Hellwiga. Źródło:
opracowanie własne.
poziom sportowy masa ciała wytrzymałość siła
5
76.6
52.5
28
5
63.7
45
40
4.75
60.5
25
37
4.75
70.7
30
35
5
63.8
40
38
4.25
69.2
20
33
4.5
66.2
40
21
4
69.8
40
29
4.5
74.7
30
29
4.25
67.8
50
24
4.25
72.5
30
29
3.75
65.9
40
26.5
4.25
67.2
32.5
18
4
65.5
20
20
4.25
62.9
40
29
4.25
71.7
40
21
4.25
67.8
15
27
3.75
72.6
42.5
33
4
75.8
22.5
12
3.75
80.3
25
3.75
82.4
20
21
3.5
74.8
12.5
33
3.25
77.2
25
17
3.25
78.5
20
15
3
66.8
28
19
3
73.3
30
30
3.25
76.7
35
17
3
66.7
15.5
19
3
68
27.5
11
Bibliografia
[1] S. Bartosiewicz, M. Czekała, J. Dziechciarz, K. Jajuga, E. Nowak, Z. Panasiewicz, W.
Pluta, C. Szmigiel ”Estymacja modeli ekonometrycznych”, Wydawnictwo Naukowe
PWN 1989
[2] B. Borkowski, H, Dudek, W. Szczesny ”Ekonometria wybrane zagadnienia”, Wydawnictwo Naukowe PWN 2003
[3] W. H. Greene, ”Econometric analisys”, Prentice Hall, New Jersey 2002
[4] M. Gruszczyński, T. Kuszewski, M. Podgórska ”Ekonometria I Badania Operacyjne.
Podręcznik Dla Studiów Licencjackich”, Wydawnictwo Naukowe PWN 2009
[5] Andrzej Stanisz ”Przystępny kurs statystyki z zastosowaniem STATISTICA PL na
przykładach z medycyny”, Tom 1 i 2, StatSoft Polska 2006
[6] J. Syska, Metoda najwiekszej wiarygodnosci i informacja Fisher’a w fizyce i ekonofizyce
[7] J. Syska, Współczesne metody analizy regresji wspomagane komputerowo
85