Moduł 1. Podstawy prognozowania. Model regresji liniowej

advertisement
M a t e ri ał y p o mo cn ic ze d o e -l e arn i n g u
Pro gn o zo w an i e i sy mu l ac je
Janusz Górczyński
Moduł 1. Podstawy prognozowania.
Model regresji liniowej
Wyższa Szkoła Zarządzania i Marketingu
Sochaczew 2012
2
Od Autora
Treści zawarte w tym materiale były pierwotnie opublikowane w serii wydawniczej „Wykłady ze statystyki i
ekonometrii”, a obecne ich wydanie zostało dostosowane do potrzeb kursu e-learningowego „Prognozowanie i
symulacje” przygotowanego dla studentów kierunku zarządzanie.
Prace nad wykorzystaniem komputerów i Internetu w dydaktyce zostały uruchomione w naszej Uczelni
praktycznie od momentu jej utworzenia. Początkowo było to realizowane głównie poprzez przygotowywanie przez
wykładowców różnego rodzaju materiałów dydaktycznych w wersji cyfrowej (pokazy PowerPoint, dokumenty Worda
czy Excela), które były i są udostępniane w zakładce download. Kolejny krok to przygotowanie autorskiej platformy
testów internetowych (zakładka Testy). Od 2011 roku została uruchomiona w pełni profesjonalna platforma elearningowa, w której do weryfikacji wiedzy przekazywanej w kolejnych modułach zaadaptowane zostały wspomniane
wcześniej testy internetowe.
Treści zawarte w tym materiale zostały tak przygotowane, aby ułatwić tym z Was, którzy z różnych powodów
mają problemy z matematyką, statystyką i ekonometrią, przypomnienie i zrozumienie materiału z zakresu
wykorzystania wybranych fragmentów tej wiedzy do zastosowań praktycznych związanych z budowaniem modeli
prognostycznych.
Jak korzystać z tych materiałów?
Sądzę, że dobrym rozwiązaniem będzie spokojne przeczytanie poszczególnych tematów, prześledzenie
przykładowych zadań, a następnie trzeba je samemu rozwiązać. Weryfikatorem przyswojonej wiedzy jest – w pewnym
stopniu – interaktywny test komputerowy. W ramach każdego modułu użytkownik dostaje pewną liczbę pytań
pokrywających materiał modułu. W pierwszym podejściu próg zaliczenia ustawiany jest z reguły na 50% pozytywnych
odpowiedzi, a w przypadku niezaliczenia testu próg jest podnoszony o 5% w każdej kolejnej próbie.
Janusz Górczyński
3
Spis treści
WSTĘP .............................................................................................................................................................................. 4
1
2
PROGNOZOWANIE – POJĘCIA OGÓLNE .................................................................................................... 5
1.1
METODY PROGNOSTYCZNE ........................................................................................................................... 5
1.2
BŁĄD PROGNOZY .......................................................................................................................................... 5
REGRESJA LINIOWA ........................................................................................................................................ 8
2.1
ESTYMACJA MODELU .................................................................................................................................... 8
2.2
BADANIE ISTOTNOŚCI ................................................................................................................................... 9
2.3
DOKŁADNOŚĆ OCEN PARAMETRÓW MODELU .............................................................................................. 11
2.4
BADANIE ZAŁOŻEŃ MODELU LINIOWEGO .................................................................................................... 12
2.5
3
4
2.4.1
Założenie o zerowej wartości oczekiwanej reszt losowych.......................................................... 12
2.4.2
Założenie o normalności składników losowych ........................................................................... 13
2.4.3
Założenie o nieskorelowaniu składników losowych..................................................................... 13
PROGNOZOWANIE ....................................................................................................................................... 15
ARKUSZE OBLICZENIOWE .......................................................................................................................... 16
3.1
SKOPIOWANIE ARKUSZA NA SWÓJ KOMPUTER............................................................................................. 16
3.2
UDOSTĘPNIENIE MAKROPOLECEŃ ............................................................................................................... 17
3.2.1
Udostępnienie makr w MS Excel 2003 ........................................................................................ 17
3.2.2
Udostępnienie makr w MS Excel 2007 i nowszych...................................................................... 17
LITERATURA .................................................................................................................................................... 19
4
Wstęp
Przedmiot „Prognozowanie i symulacje” realizowany jest na wielu kierunkach studiów sprawiając studentom
tych kierunków pewne problemy. Wynikają one między innymi z tego powodu, że przekazywane w ramach przedmiotu
treści i oczekiwane umiejętności wymagają z jednej strony dość dużej wiedzy teoretycznej z zakresu statystyki i
ekonometrii, a z drugiej strony praktycznej umiejętności wykonywania obliczeń statystycznych.
Moim zamiarem jest przedstawienie tych interesujących problemów na wielu przykładach, w tym na przykładach
praktycznych. Pierwsza część prezentowanego materiału zawiera teoretyczne wprowadzenie do metod regresyjnych:
regresji liniowej, regresji wielokrotnej liniowej, regresji krokowej, regresji krzywoliniowej, badaniu istotności
wyestymowanych modeli oraz ich wykorzystania do prognozowania.
W zastosowaniach praktycznych niezbędne są jakieś narzędzia obliczeniowe, z uwagi na potencjalnych
odbiorców tego skryptu będę korzystać wyłącznie z arkusza kalkulacyjnego Excel. Nic oczywiście nie stoi na
przeszkodzie wykorzystywaniu do celów obliczeniowych wyspecjalizowanych pakietów statystycznych (np. Statistica,
SPSS, Statgraphics), ale dostęp do nich może być trudniejszy. Dla ułatwienia obliczeń będę korzystać z trzech
specjalnie przygotowanych skoroszytów MS Excel:
StatystykaJG.xls
Liniowa.xls
TestSerii.xls
Wszystkie trzy skoroszyty są dostępne w zakładce Download/StatystykaJG na stronie naszej Uczelni.1 Każdy z
tych skoroszytów zawiera mniej lub bardziej zaawansowane makropolecenia VBA2.
Skoroszyt StatystykaJG.xls (lub StatystykaJG.xlsm) jest najbardziej rozbudowany, a procedury w
nim zawarte pozwalają na wykonanie większości obliczeń statystycznych realizowanych w typowych programach
przedmiotów statystyka, ekonometria czy prognozowanie. Procedury dostępne są poprzez menu aplikacji, a obsługa
poszczególnych procedur realizowana jest poprzez klasyczne formularze windowsowe.
Skoroszyty Liniowa.xls oraz TestSerii.xls są znacznie skromniejsze, a ich rola ograniczona jest do
dwóch zagadnień: estymacji modelu liniowego oraz wykorzystaniu testu serii. Kolejna różnica związana jest ze
sposobem wykonywania obliczeń, w tych dwóch skoroszytach obliczenia wykonywane są (głównie) poprzez jawne
formuły zapisane w komórkach arkusza.
W pracy przyjęto następującą konwencję zapisu:
1
2
Nazwy skoroszytów i arkuszy są wypisywane czcionką Courier New,
Formuły Excela wypisywane są czcionką Courier New ,
Nazwy poleceń menu, nazwy zakładek i opisy kontrolek formularzy są wypisywane pochyloną czcionką
Times New Roman.
http://www.wszim-sochaczew.edu.pl
Visual Basic for Applications, język programowania pakietu Office
5
1 Prognozowanie – pojęcia ogólne
Prognozowanie (lub inaczej predykcja) jest opartym na naukowych podstawach przewidywaniem
kształtowania się zjawisk i procesów w przyszłości. Przedmiotem prognozowania jest przebieg zjawisk i procesów
przyrodniczych, społecznych, demograficznych, gospodarczych, technicznych itp.
Jeżeli prognozowanie dotyczy procesów i zjawisk zachodzących w gospodarce, to mówimy wtedy o
prognozowaniu gospodarczym.
Z terminem „prognozowanie” związany jest termin „prognozy” („predykcji”). Prognozowanie jest procesem
wnioskowania o przewidywanym kształtowaniu się zjawiska czy procesu w przyszłości, a prognoza (predykcja) jest
konkretnym wynikiem procesu prognozowania.
Prognozowanie gospodarcze (ale nie tylko) jest utrudnione przez specyficzne warunki, w jakich zachodzą
procesy gospodarcze, w tym ich uzależnienie od wielu różnorodnych czynników. Czynniki te, z uwagi na sposób
oddziaływania obiektu prognozy, można podzielić na:
1.1
•
czynniki egzogeniczne (zewnętrzne), czyli takie, na które obiekt prognozy nie ma wpływu, a które
powinny być uwzględnione w prognozowaniu z uwagi na ich ograniczający lub stymulujący wpływ na
przebieg danego zjawiska (np. kurs walutowy na kształtowanie się obrotów danej firmy, przebieg
warunków pogodowych na plonowanie danej rośliny itd.);
•
czynniki endogeniczne (wewnętrzne), czyli takie, na które obiekt prognozy ma wpływ (np. wydajność
pracy, wielkość stosowanego nawożenia itd.).
Metody prognostyczne
W każdym procesie prognozowania można wyróżnić następujące etapy:
Zdefiniowanie problemu prognostycznego,
Zebranie danych statystycznych i ich wstępna analiza,
Wybór metody prognozowania,
Zbudowanie prognozy i ocena jej trafności.
Istotnym elementem procesu prognozowania jest wybór odpowiedniej metody prognozowania, która
determinuje sposób zbudowania prognoz. W zastosowaniach praktycznych najczęściej stosuje się metodę predykcji
nieobciążonej, która sprowadza się do wyznaczenia prognozy na poziomie wartości oczekiwanej zmiennej
prognozowanej w danym punkcie.
Prognozowanie metodą predykcji nieobciążonej jest uzasadnione szczególnie wtedy, gdy można oczekiwać, że w
punkcie prognozy powtórzą się te warunki, które obserwowano dla danych statystycznych wykorzystanych do
zbudowania modelu prognostycznego.
Jeżeli oczekiwanie takie nie jest uprawnione, to w miejsce predykcji nieobciążonej można wybrać takie metody
prognozowania jak największego prawdopodobieństwa czy też metoda minimalizacji oczekiwanej straty.
W pracy tej ograniczono się do wykorzystania metody predykcji nieobciążonej, jako najczęściej stosowanej w
praktycznych rozwiązaniach.
1.2
Błąd prognozy
Z uwagi na fakt, że zmienna objaśniana jest losowa naturalne jest występowanie różnic między rzeczywistą
wartością zmiennej objaśnianej a jej prognozą wyznaczoną dla zadanej wartości zmiennej objaśniającej (lub zadanych
6
wartości zmiennych objaśnianych)3. Realne jest więc wystąpienie błędu prognozy, częściej będziemy używać pojęcia
błąd predykcji.
Dwoma podstawowymi rodzajami mierników dokładności i trafności zbudowanych prognoz są:
mierniki dokładności ex ante,
mierniki dokładności ex post.
Mierniki dokładności ex ante służą do oceny oczekiwanych wielkości odchyleń rzeczywistych wartości
zmiennej objaśnianej od ustalonej prognozy. Wartości tych mierników podawane są w momencie ustalenia prognozy,
a wiec wtedy, gdy nie są jeszcze znane rzeczywiste wartości zmiennej objaśnianej.
W przykładach praktycznych będziemy wykorzystywać arkusze kalkulacyjne StatystykaJG.xls lub
StatystykaJG.xlsm oraz Liniowa.xls, w obu arkuszach wyznaczane są średnie błędy predykcji punktowej
ex ante, można je symbolicznie oznaczyć jako S yˆ P . Błąd ten oznacza, że przy prognozowaniu wartości ŷ p popełniamy
średnio błąd
± S yˆ P . Średni błąd predykcji jest liczbą mianowaną, po jego podzieleniu przez prognozę punktową ŷ p
otrzymamy względny średni błąd predykcji ex ante:
V =
S yˆ p
yˆ p
⋅ 100% .
Względny błąd prognozy ex ante informuje nas o tym, jaki duży (procentowo) błąd popełniamy przyjmując, że
nieznana, prognozowana wartość będzie równa wyznaczonej prognozie punktowej ŷ p .
Średni błąd predykcji
S yˆ P wykorzystujemy także do zbudowania prognozy przedziałowej wg wzoru:
y * ∈< yˆ p − tα ; v S yˆ P ; yˆ p + tα ; v S yˆ P > z P = 1 − α .
Wyznaczony przedział liczbowy pokrywa , z prawdopodobieństwem 1 − α , nieznaną wartość zmiennej zależnej
y* w ustalonym punkcie prognozy.
Ocena prawdziwości mierników ex ante może być zweryfikowana dopiero po rzeczywistym zrealizowaniu się
zmiennej objaśnianej w punkcie, dla którego była postawiona prognoza.
Jeżeli znamy rzeczywistą wartość zmiennej prognozowanej Y w wybranym punkcie, to błąd predykcji ex post
jest równy D = Y − yˆ p .
Wielkość błędu absolutnego prognozy ex post informuje nas o różnicy między rzeczywistą wartością zmiennej
prognozowanej w danym punkcie a postawioną prognozą.
Podobnie jak w przypadku błędu ex ante możemy wyznaczyć względny błąd prognozy ex post z wzoru:
V =
3
D
Y − yˆ p
100% =
100% .
Y
Y
Prognozę tę nazywamy prognozą punktową, symbolicznie oznaczaną jako ŷ p .
7
Jeżeli prognoza była budowana nie dla pojedynczego punktu, lecz dla ich ciągu, to można wyznaczyć średni
błąd prognozy ex post (absolutny i względny) z wzorów:
D=
1
k
V =
1
k
∑
∑
k
i =1
(Yi − yˆ ip )
Yi − yˆ ip
⋅ 100%
i =1
Yi
k
Statystyczną oceną błędu prognozy ex post w takiej sytuacji jest średni kwadratowy błąd prognozy
wyznaczony z wzoru:
S=
1
k
∑
k
i =1
(Yi − yˆ ip ) 2 .
Arkusze kalkulacyjne, które będziemy wykorzystywać w prezentowanych dalej przykładach część z tych
mierników dokładności prognoz wyznaczają, ale nie wszystkie. W miarę potrzeby można je samodzielnie doliczyć
pisząc stosunkowo prostą formułę Excela.
8
2 Regresja liniowa
2.1 Estymacja modelu
Rozważmy populację generalną π, w której obserwujemy dwie zmienne: zmienną losową Y i zmienną ustaloną4
lub losową X. O zmiennej losowej Y zakładamy, że ma rozkład normalny z wartością średnią m będącą funkcją liniową
zmiennej X oraz stałym (niezależnym od zmiennej X) odchyleniem standardowym. Założenie to można zapisać
następująco:
Y ~ N (m( x) = b0 + b1 x; σ y x ) .
(2.1)
Parametry funkcji liniowej m( x) = b0 + b1 x nie są znane i muszą być oszacowane na podstawie odpowiedniej
próby losowej. Oznaczmy element n-elementowej próby losowej jako parę liczb ( yi , xi ) . Zgodnie z modelem funkcji
liniowej między yi a xi zachodzi związek:
yi = m( xi ) = b0 + b1 xi + ei
(2.2)
gdzie ei jest niedopasowaniem (różnicą, odchyleniem, resztą) między wartością obserwowaną w próbie yi a wartością
teoretyczną b0 + b1 xi . Parametry funkcji liniowej (parametry modelu) m( x) = b0 + b1 x musimy tak dobrać, aby
dopasowanie funkcji regresji było „jak najlepsze”. Kryterium to będzie spełnione wtedy, gdy suma kwadratów reszt ei
będzie minimalna (suma kwadratów, ponieważ reszty są zarówno dodatnie jak i ujemne). Wychodząc z wzoru (2.2)
mamy:
s=
∑
n
i =1
∑
n
ei2 =
i =1
[yi − (b0 + b1xi )]2 = minimum
(2.3)
Tak sformułowane kryterium estymacji nieznanych parametrów modelu znane jest w teorii statystyki jako
metoda najmniejszych kwadratów – MNK.
Suma kwadratów odchyleń s zdefiniowana wzorem 2.3 jest funkcją dwóch niewiadomych (zmiennych) - b0 i b1 ,
a problem znalezienia jej minimum rozwiążemy poprzez wyznaczenie i przyrównanie do zera pochodnych funkcji s
względem b0 i b1 :
 ∂s
 ∂b = −2
0
 ∂s

= −2
 ∂b1
∑
∑
n
i =1
[yi − (b0 + b1 xi ] = 0
(2.4)
[y − (b0 + b1 xi ] ⋅ xi = 0
i =1 i
n
Przyrównanie obu pochodnych cząstkowych do zera tworzy tzw. układ równań normalnych, a jego
rozwiązanie daje oceny (oszacowania) nieznanych parametrów modelu. Oszacowania te tradycyjnie będziemy oznaczać
symbolem „daszka” umieszczonym nad szacowanym parametrem. Przykładowo, b0 jest nieznanym parametrem, a b̂0
jego estymatorem (oszacowaniem, oceną). Uwaga to wynika z tego, że w dalszych przekształceniach układu równań
normalnych używać już będziemy symboli ocen parametrów modelu w miejsce samych parametrów. Przekształcając
2.4 otrzymujemy następujące wzory na oceny parametrów modelu:
∑ ( y − y)( x − x ) = ∑
=
∑ (x − x)
∑
n
bˆ1
n
i
i =1
n
i =1
4
i
2
i
i =1
n
∑
− x∑
y i xi − y
x2
i =1 i
n
x
i =1 i
n
x
i =1 i
=
cov xy
var x
bˆ0 = y − bˆ1 x
Zmienna ustalona, inaczej nielosowa; taka, która w kolejnych próbach przyjmuje te same wartości.
(2.5)
9
2.2 Badanie istotności
Korzystając z wzoru 2.5 mamy oceny parametrów modelu liniowego, tym samym mamy także ocenę funkcji
regresji z próby:
(2.6)
mˆ ( x) = bˆ0 + bˆ1 x .
Otwartym pozostaje pytanie, czy prawdziwe jest nasze założenie o tym, że między wartością oczekiwaną
zmiennej losowej Y a wartościami zmiennej X istnieje związek linowy postaci:
m( x) = b0 + b1 x .
Związku takiego nie będzie wtedy, gdy parametr b1 będzie równy zero, tym samym powinniśmy przeprowadzić weryfikację hipotezy zerowej H 0 : b1 = 0 wobec alternatywy H1 : b1 ≠ 0 . Tak sformułowaną hipotezę nazywać
będziemy hipotezą o nieistotności regresji. Jej odrzucenie oznaczać będzie, że istnieje istotny liniowy związek między
zmienną Y a zmienną X oszacowany równaniem 2.6. Z kolei brak podstaw do odrzucenia hipotezy zerowej oznaczać
będzie, że takiego związku nie ma (wartość oczekiwana zmiennej losowej Y będzie stała, czyli jej ocena będzie równa
średniej tej zmiennej).
Hipotezę H 0 : b1 = 0 wobec alternatywy H1 : b1 ≠ 0 zweryfikować możemy metodą analizy wariancji lub testem
t-Studenta.
Przed wprowadzeniem analizy wariancji rozważmy dowolną obserwację ( yi , xi ) oraz odpowiadającą im
teoretyczną wartość zmiennej losowej Y wyznaczoną dla argumentu xi z wyestymowanej funkcji regresji
yˆ = mˆ ( x ) = bˆ + bˆ x . Różnicę (odchylenie) wartości obserwowanej y od średniej y można przedstawić jako sumę
i
i
o
1 i
i
dwóch różnic:
yi − y = ( yˆ i − y ) + ( yi − yˆ i )
(2.7)
Podnosząc obustronnie równość 2.7 do kwadratu i sumując po wskaźniku i otrzymamy, po odpowiednich
przekształceniach, analogiczną równość sum kwadratów odchyleń:
∑
n
i =1
( yi − y )2 = ∑i=1( yˆ i − y )2 + ∑i=1 ( yi − yˆ i )2
n
n
(2.8)
Po lewej stronie równości 2.8 mamy całkowitą sumę kwadratów odchyleń dla zmiennej y, a po prawej stronie
sumę kwadratów odchyleń teoretycznych wartości ŷ od wartości średniej y oraz sumę kwadratów odchyleń dla reszt
losowych.
Składnik
∑
n
i =1
( yˆ i − y )2 reprezentujący sumę kwadratów odchyleń wyjaśnioną modelem funkcji regresji można
przedstawić w znacznie wygodniejszej postaci uwzględniając wyestymowane równanie regresji oraz wzór na ocenę
parametru b̂1 :
∑
n
i =1
( yˆ i − y )2 = bˆ1 cov xy
(2.9)
Równość 2.8, przedstawiająca podział całkowitej zmienności zmiennej losowej Y na dwa niezależne składniki:
zmienność wyjaśnioną modelem oraz zmienność resztową, jest podstawą wykonania analizy wariancji.
10
Tabela analizy wariancji dla weryfikacji H 0 : b1 = 0 wobec H1 : b1 ≠ 0
Zmienność
Stopnie
Suma kwadratów
Średni kwadrat
swobody
odchyleń
odchyleń
2
var R
Modelu
ˆ
vR = 1
s
var R = b cov xy
R =
1
vR
Resztowa
vE = n − 2
var E = var T − var R
Całkowita
vT = n − 1
var y =
∑
n
i =1
s E2 =
F
empiryczne
FR =
s R2
s E2
var E
ve
( yi − y ) 2
Hipotezę H 0 : b1 = 0 będziemy odrzucać na korzyść H1 : b1 ≠ 0 wtedy, gdy wartość empiryczna statystyki F
Fishera-Snedecora będzie większa od wartości krytycznej odczytanej dla ustalonego poziomu istotności α, lub gdy
wyliczony krytyczny poziom istotności (tzw. p-value) będzie mniejszy od przyjętego poziomu istotności (najczęściej
α = 0,05 lub α = 0,01). W takiej sytuacji będziemy wnioskować, że istnieje istotny, liniowy związek między zmienną
losową Y a zmienną X opisany wyestymowanym z próby równaniem regresji postaci mˆ ( x) = bˆ + bˆ x .
0
1
W sytuacji, gdy F empiryczne będzie nie większe od odpowiedniej wartości krytycznej lub p-value większe od
przyjętego poziomu istotności α, to nie mamy podstaw do odrzucenia hipotezy H 0 : b1 = 0 . Tym samym nie istnieje
liniowa zależność funkcyjna między zmiennymi Y i X, a wyestymowane z próby równanie regresji ma postać mˆ ( x) = y .
Parametry b0 i b1 nazywamy odpowiednio stałą regresji i współczynnikiem regresji. Pierwszy z nich nie ma
praktycznie żadnej interpretacji merytorycznej, z kolei współczynnik regresji b1 ma bardzo ładną i przydatną
interpretację: mówi nam o tym, o ile średnio zmieni się zmienna y przy wzroście zmiennej x o jednostkę.
Średni kwadrat odchyleń dla zmienności resztowej s E2 jest oceną wariancji odchyleń od regresji σ y2 / x określonej
w założeniu 2.1:
var y − bˆ1 cov xy
σˆ y2 / x = S y2 / x = s E2 =
.
(2.10)
n−2
Hipoteza H 0 : b1 = 0 przy alternatywie H1 : b1 ≠ 0 może być także weryfikowana przy pomocy statystyki
t-Studenta.
Przy prawdziwości H 0 : b1 = 0 statystyka:
bˆ
bˆ1
t emp. = 1 =
S bˆ
S y2 / x
1
(2.11)
var x
ma rozkład t-Studenta z liczbą stopni swobody v = n − 2 .
Jeżeli temp. > tα , n − 2 , to H 0 : b1 = 0 odrzucamy na korzyść hipotezy alternatywnej. Podobnie jak w przypadku
analizy wariancji decyzję weryfikacyjną można oprzeć o wyznaczony, dla danego t emp . , krytyczny poziom istotności
p-value.
W przypadku odrzucenia hipotezy H 0 : b1 = 0 możemy być zainteresowani weryfikacją hipotezy zerowej
zakładającej określoną (oznaczaną symbolicznie przez b10 ), niezerową wartość współczynnika regresji, czyli
11
H 0 : b1 = b10 . Hipotezę tę, przy dowolnej alternatywie, możemy zweryfikować testem t-Studenta, gdzie wartość
empiryczna tej statystyki dana jest wzorem:
bˆ − b
bˆ − b
temp. = 1 10 = 1 10
(2.12)
Sbˆ
S y2 / x
1
var x
2.3 Dokładność ocen parametrów modelu
Parametry modelu szacujemy na podstawie próby losowej, tym samym mają one charakter losowy, są
zmiennymi losowymi. Tym samym ich konkretna wartość wyznaczona z n-elementowej próby obarczona jest
pewnym błędem. Znajdując oceny tych błędów i korzystając z rozkładu t-Studenta możemy zbudować 1-α procentowe
przedziały ufności dla prawdziwych wartości tych parametrów w populacji generalnej.
Ocenę błędu współczynnika regresji b1 możemy znaleźć ze znanego już wzoru:
S bˆ =
1
S y2 / x
(2.13)
var x
a następnie korzystając z faktu, że zmienna t =
bˆ1 − b1
ma rozkład t-Studenta
S bˆ
budujemy przedział ufności dla
1
współczynnika regresji w populacji:
b1 ∈< bˆ1 − tα , n − 2 Sbˆ ; bˆ1 + tα , n − 2 Sbˆ > z prawdopodobieństwem P = 1 − α .
1
(2.14)
1
Ocenę błędu stałej regresji b0 możemy wyznaczyć z wzoru:
S bˆ =
S y2 / x ⋅
∑
n
x2
i =1 i
(2.15)
n ⋅ var x
0
a następnie korzystając z faktu, że zmienna t =
bˆ0 − b0
ma rozkład t-Studenta budujemy przedział ufności dla stałej
S bˆ
0
regresji w populacji:
b ∈< bˆ − t
0
0
ˆ +t
α , n−2 Sbˆ > z prawdopodobieństwem P = 1 − α .
α , n−2 S bˆ0 ; b0
(2.16)
0
Interpretacja obu przedziałów ufności jest standardowa, w przypadku przedziału ufności dla współczynnika
regresji może mieć postać: z prawdopodobieństwem 1 − α mamy prawo oczekiwać, że współczynnik regresji w
populacji będzie nie mniejszy niż bˆ − t
S , ale nie większy niż bˆ + t
S .
1
α , n − 2 bˆ1
1
α , n − 2 bˆ1
12
2.4
Badanie założeń modelu liniowego
Model regresji liniowej określony wzorem 2.2 wymaga spełnienia trzech ważnych założeń dotyczących rozkładu
reszt losowych.
(2.17)
Eei = 0
D 2 ei = σ y2 / x
(2.18)
Cei e j = 0 dla i ≠ j
(2.19)
Założenia te mogą być jeszcze uzupełnione założeniem o normalności reszt losowych, czyli:
ei ~ N (0; σ y / x )
(2.20)
2.4.1
Założenie o zerowej wartości oczekiwanej reszt losowych.
Sprawdzenie założenia o losowości reszt jest równoważne zweryfikowaniu hipotezy o poprawności doboru
modelu funkcji regresji.
Warunek Eei = 0 (dla i = 1, 2, ..., n) jest spełniony wtedy, gdy wartość oczekiwana zmiennej losowej Y jest
opisana zależnością:
E (Y ) = mˆ ( x) = bˆ0 + bˆ1 x
Niespełnienie warunku Eei = 0 jest sygnałem, że model mˆ ( x) jest źle określony i musi być zmieniony w
zakresie postaci modelu czy doboru zmiennych niezależnych.
Badanie losowości reszt jest wykonywane zawsze a posteriori, czyli po wyestymowaniu modelu funkcji
regresji.
Dla każdej obserwacji empirycznej yi wyznaczamy wartość teoretyczną ŷi wynikającą z wyestymowanego
modelu funkcji regresji. W kolejnym kroku wyznaczamy reszty jako różnice między oryginalną wartością zmiennej
losowej Y a wartością teoretyczną tej zmiennej:
(2.21)
ei = yi − yˆ i
W uporządkowanym rosnąco według wartości zmiennej niezależnej X ciągu reszt określamy liczbę serii S reszt
tych samych znaków. W poprawnie dobranym modelu liczba tych serii powinna należeć do pewnego przedziału
liczbowego. Krańce tego przedziału możemy odczytać z tablic rozkładu serii dla ustalonego poziomu istotności α .
Rozkład serii nie jest symetryczny, stąd z tablic tego rozkładu będziemy odczytywać dwie wartości krytyczne S1* i S 2*
uzależnione od poziomu istotności α oraz liczby reszt jednoimiennych (dodatnich i ujemnych) n1 i n2 :
S1* dla
1
α
2
oraz
S 2* dla 1 − 12 α .
Przedział liczbowy < S1* ; S 2* > wyznacza obszar dopuszczalny dla hipotezy zerowej zakładającej losowość reszt.
Tym samym w sytuacji, gdy wyznaczona liczba serii S należy do przedziału < S1* ; S 2* > , to możemy uważać, że model
funkcji regresji został poprawnie dobrany.
Jeżeli wyznaczona liczba serii S < S1* lub S > S1* , to reszty nie są losowe, a to pociąga konieczność zmiany
modelu funkcji regresji (zmiany postaci funkcji lub/i zmiennych objaśniających).
13
Tablice liczby serii są opracowane jedynie dla liczby reszt dodatnich (ujemnych) nie przekraczających 20, co
może być problemem przy większych próbach losowych. W takich sytuacjach można przybliżyć rozkład liczby serii S
rozkładem normalnym przyjmując, że:
mˆ S =
2 ⋅ n1 ⋅ n2
+1
n1 + n2
σˆ S =
2 ⋅ n1 ⋅ n2 (2 ⋅ n1 ⋅ n2 − n1 − n2 )
(n1 + n2 ) 2 (n1 + n2 − 1)
Pozwala to na standaryzację rozkładu liczby serii S:
S − mˆ S
zS =
σˆ S
(2.22)
(2.23)
i weryfikację równoważnej do H 0 : Eei = 0 hipotezy zerowej H 0 : z = 0 poprzez sprawdzenie, czy statystyka 2.23 trafia
do obszaru krytycznego dla H 0 czy też nie. Oczywiście do weryfikacji H 0 można także wykorzystać krytyczny
poziom istotności p-value.
W arkuszu StatystykaJG.xls (StatystykaJG.xlsm) test serii został zaimplementowany (wbudowany)
do procedur Regresja liniowa jak i Regresja wielokrotna, jego użycie wymaga jedynie zaznaczenia odpowiedniego pola
wyboru na formularzach tych dwóch procedur.
W przypadku, gdy dysponujemy jedynie wynikami próby i wyestymowanym modelem funkcji regresji (np. z
jakiejś publikacji, czy po estymacji modelu z pomocą standardowych poleceń Excela typu Dodaj linię trendu) badanie
poprawności doboru modelu testem serii może być wykonane – po wyznaczeniu reszt losowych – przy pomocy
wspomnianego wcześniej arkusza TestSerii.xls. Wystarczy skopiować do niego (poprzez wartości) uporządkowany
rosnąco wg wartości zmiennej objaśnianej wektor reszt losowych.
2.4.2
Założenie o normalności składników losowych
Założenie o wariancji reszt losowych w praktyce nie jest sprawdzane z tej przyczyny, że z reguły nie
dysponujemy wystarczającą liczbą danych empirycznych. Formalnie dla każdej wartości zmiennej niezależnej X
powinniśmy dysponować taką liczbą pomiarów zmiennej zależnej Y, aby można było oszacować wariancję reszt ei
(wyznaczanych przy tych samych wartościach zmiennej x).
Pewnym rozwiązaniem jest sprawdzenie założenia 2.20 o normalności rozkładu reszt losowych. Jego
nieodrzucenie oznacza, że zmienna losowa Y ma, dla każdej wartości zmiennej X, rozkład normalny o tej samej
wariancji, co wyczerpuje założenie 2.1.
2.4.3
Założenie o nieskorelowaniu składników losowych
Kolejnym założeniem klasycznej regresji liniowej, które możemy sprawdzić analizując reszty, jest założenie o
nieskorelowaniu kolejnych składników losowych (tzw. brak autokorelacji):
Cei e j = cov(ei ; e j ) = 0 dla i ≠ j
(2.24)
Założenie to jest sprawdzane poprzez weryfikację hipotezy zerowej o tym, że współczynnik autokorelacji rzędu
τ (najczęściej pierwszego) jest równy zero. Oceną współczynnika autokorelacji w próbie jest współczynnik korelacji
liniowej wyznaczony wg wzoru:
∑ ee
∑ e ∑
n
ρˆτ = rτ =
j =τ +1
n
j =1
2
j
j j −τ
n
j =τ +1
.
e 2j
(2.25)
14
Hipotezę o braku autokorelacji rzędu τ :
H 0 : ρτ = 0
(2.26)
możemy zweryfikować testem d Durbina-Watsona:
∑
d=
n
j =τ +1
(e j − e j −τ ) 2
∑
n
j =1
e 2j
(2.27)
lub klasycznym testem t-Studenta wyznaczając wartość empiryczną statystyki z wzoru:
t emp. =
rτ n − τ − 2
1 − rτ2
.
Między statystyką d Durbina-Watsona a statystyką t-Studenta zachodzi w przybliżeniu związek:
d ≈ 2(1 − rτ )
(2.28)
(2.29)
z którego wynika, że statystyka d przyjmuje swoje wartości z przedziału domkniętego <0; 4>. W przypadku braku
autokorelacji rzędu τ ( rτ = 0 ) wartość statystyki d jest równa zero.
Rozkład statystyki d przy założeniu, że H 0 : ρτ = 0 jest prawdziwa, zależy od liczby obserwacji n, liczby
zmiennych niezależnych k w modelu funkcji regresji oraz przyjętego poziomu istotności α .
Rozkład statystyki d Durbina-Watsona został stablicowany przy jednostronnej hipotezie alternatywnej
H1 : ρτ > 0 . W tablicach rozkładu statystyki d, dla ustalonych parametrów n i k oraz przyjętego poziomu istotności α ,
podane są dwie wartości d1 i d 2 wyznaczające obszar krytyczny dla hipotezy H 0 : ρτ = 0 .
Przy weryfikowaniu H 0 : ρτ = 0 wobec H1 : ρτ > 0 stosujemy następujące kryteria weryfikacji hipotezy
zerowej:
d ≤ d1 ⇒ H 0 : ρτ = 0 odrzucamy na korzyść H1 : ρτ > 0 ,
d1 < d < d 2 ⇒ nie podejmujemy żadnej decyzji,
d ≥ d2
⇒ nie mamy podstaw do odrzucenia H 0 : ρτ = 0 .
Hipotezę H 0 : ρτ = 0 możemy także zweryfikować wobec H1 : ρτ < 0 , ale przy podejmowaniu decyzji
stosujemy inne kryteria:
d ≥ 4 − d1 ⇒ H 0 : ρτ = 0 odrzucamy na korzyść H1 : ρτ < 0 ,
4 − d 2 < d < 4 − d1 ⇒ nie podejmujemy żadnej decyzji,
d ≤ 4 − d 2 ⇒ nie mamy podstaw do odrzucenia H 0 : ρτ = 0 .
Procedura wykorzystywana w skoroszycie StatystykaJG.xls (StatystykaJG.xlsm) do estymacji regresji liniowej dwóch zmiennych weryfikuje hipotezę o nieskorelowaniu składników losowych za pomocą klasycznej
statystyki t-Studenta wyznaczonej zgodnie z wzorem 2.28.
Problem występowania autokorelacji składników losowych w szczególności dotyczy takich sytuacji, w
których wartości zmiennej losowej Y są powtarzane na tych samych jednostkach eksperymentalnych (np. szeregi
czasowe).
W przypadku stwierdzenia autokorelacji oznacza to, że klasyczna metoda najmniejszych kwadratów nie może
być stosowana do estymacji parametrów modelu, daje bowiem obciążone oceny tych parametrów, a nie nieobciążone.
Rozwiązaniem jest zastosowanie innej metody estymacji parametrów modelu, np. uogólnionej metody najmniejszych
15
kwadratów. W dalszej części zajęć przedstawiona zostanie jedna z wersji UMNK polegającej na transformacji danych
wyjściowych.
2.5
Prognozowanie
Wyestymowany, istotny model funkcji regresji można wykorzystać do wyznaczenia średniej wartości zmiennej
losowej y w interesującym nas punkcie x0 :
mˆ ( x0 ) = bˆ0 + bˆ1 x0
(2.30)
Wyznaczona zgodnie z powyższym wzorem średnia wartość zmiennej y (tzw. wartość regresyjna, także
prognoza punktowa) jest oczywiście losowa (ponieważ losowe są parametry modelu). Ocena wariancji wartości
regresyjnej jest określona wzorem:
 1 (x − x )2 
S m2ˆ ( x 0 ) = S y2 / x  + 0
(2.31)
 .
var x 
 n
Warto zauważyć, że ocena wariancji wartości regresyjnej jest najmniejsza wtedy, gdy x0 = x , inaczej mówiąc
wtedy, gdy wyznaczamy oczekiwaną wartość zmiennej y w punkcie średnim dla zmiennej niezależnej. Ocena wariancji
wartości regresyjnej stosunkowo szybko rośnie w miarę tego, jak punkt x0 odsuwa się dalej (w obu kierunkach) od
wartości średniej zmiennej X.
W klasycznym modelu normalnej regresji liniowej estymator mˆ ( x0 ) określony wzorem 2.30 ma rozkład
normalny z wartością średnią m( x0 ) i odchyleniem standardowym równym pierwiastkowi kwadratowemu z wyrażenia
2.31.
Korzystając dalej z tego, że statystyka:
mˆ ( x0 ) − m( x0 )
t=
S mˆ ( x )
(2.32)
0
ma rozkład t-Studenta z liczbą stopni swobody v = n − 2 budujemy przedział ufności dla m( x0 ) :
m( x0 ) ∈< mˆ ( x0 ) − tα , n−2 S mˆ ( x0 ) ; mˆ ( x0 ) + tα , n−2 S mˆ ( x0 ) > z P = 1 − α .
(2.33)
W klasycznym ujęciu problemu predykcji (prognozowania) chodzi o estymację pojedynczej realizacji zmiennej y
przy ustalonej wartości zmiennej X = x 0 . Zgodnie z modelem liniowym wartość tę wyznaczymy jako:
y x0 = b0 + b1 x0 + e
(2.34)
a jej najlepszym estymatorem nieobciążonym jest wartość regresyjna mˆ ( x0 ) = bˆ0 + bˆ1 x0 .
Błąd prognozy pojedynczej realizacji zmiennej y (błąd predykcji) jest sumą nieskorelowanych błędów odchyleń
pojedynczych realizacji i błędu wartości regresyjnej:
1 ( x0 − x ) 2
+
.
(2.35)
n
var x
Podobnie jak w przypadku wartości regresyjnej możemy zbudować przedział ufności dla prawdziwej wartości
zmiennej losowej y przy ustalonej wartości zmiennej X = x 0 :
S ( y xP0 ) = S y / x + S mˆ ( x 0 ) = S y / x 1 +
y x0 ∈< mˆ ( x 0 ) − tα , n − 2 S ( y xPo ); mˆ ( x 0 ) − tα , n −2 S ( y xPo ) > z P = 1 − α .
(2.36)
16
3 Arkusze obliczeniowe
Jak wspomniałem wcześniej arkusze obliczeniowe zawierają bardziej lub mniej rozbudowane makropolecenia,
dlatego powinniśmy pobrać je ze strony Uczelni i zapisać na lokalnym dysku swojego komputera i dopiero z tej
lokalizacji je uruchamiać.
3.1 Skopiowanie arkusza na swój komputer.
Wchodzimy na stronę WWW Uczelni i przechodzimy do zakładki Download, w której odszukujemy folder
StatystykaJG i otwieramy go. Znajdujemy potrzebny plik i klikamy go prawym przyciskiem myszy, a następnie
wywołujemy (lewym przyciskiem) polecenie Zapisz plik jako … (Save targer as…).
Otwarte zostanie okno dialogowe polecenia Zapisz plik jako…, w którym wskazujemy miejsce zapisania
pobieranego pliku. Po wskazaniu folderu klik przycisku Zapisz kończy pobieranie.
17
W folderze Download/StatystykaJG arkusze obliczeniowe z makrami są także w wersji zarchiwizowanej,
ponieważ może się zdarzyć, że przeglądarka lub jej ustawienia nie pozwolą na pobranie plików Excela z makrami.
Pliki te pobieramy tak, jak to pokazano wyżej, ale po ich pobraniu musimy je rozpakować (wystarczy podwójny klik na
plik archiwum, użyty jest standardowy w środowisku Windows program archiwizujący ZIP).
3.2 Udostępnienie makropoleceń
Przy ich otwieraniu powinniśmy pozwolić na uruchomienie makropoleceń, inaczej arkusze będą niefunkcjonalne
(nieprzydatne). Robimy to trochę inaczej w MS Excel w wersji 2003 oraz w wersjach nowszych.
3.2.1
Udostępnienie makr w MS Excel 2003
Przy wczytywaniu skoroszytu z makrami w MS Excel 2003 zobaczymy pokazany niżej komunikat.
Klik przycisku Włącz makra pozwala na pełne wykorzystanie funkcjonalności arkuszy obliczeniowych. W
przypadku arkusza StatystykaJG.xls zobaczymy rozbudowane menu główne o polecenia statystyczne.
3.2.2
Udostępnienie makr w MS Excel 2007 i nowszych
Po wczytaniu skoroszytu z makrami możemy zobaczyć pokazany niżej komunikat, który informuje nas, że
wczytany skoroszyt zawiera makra i że zostały one wyłączone.
18
W takiej sytuacji klikamy na przycisk Włącz zawartość, co skutkuje włączeniem makr z jednoczesnym
usunięciem komunikatu o ostrzeżeniach.
W przypadku skoroszytu StatystykaJG.xlsm widocznym efektem włączenia makr jest zawartość zakładki
Dodatki, w której widoczne będą polecenia menu tego skoroszytu (np. Hipotezy, Regresja, itd.).
Po takim uruchomieniu skoroszytu z makrami będą one dla nas dostępne i będziemy mogli je wykorzystać do
automatyzacji obliczeń.
19
4 Literatura
1.
Aczel A. D., Statystyka w zarządzaniu, Wydawnictwo Naukowe PWN, Warszawa 2000
2.
Borkowski B., Dudek H., Szczęsny W., Ekonometria. Wybrane zagadnienia. Wydawnictwo Naukowe
PWN, Warszawa 2003
3.
Nowak E., (red.), Prognozowanie gospodarcze. Metody, modele, zastosowania, przykłady. Agencja
Wydawnicza PLACET, Warszawa, 1998
4.
Górczyński J,. Wybrane wzory i tablice statystyczne, Wyd. III poprawione i uzupełnione. Wyższa Szkoła
Zarządzania i Marketingu, Sochaczew, 2006
5.
Górczyński J., Podstawy statystyki, Wyd. II poprawione i uzupełnione. Wyższa Szkoła Zarządzania i
Marketingu, Sochaczew, 2000
6.
Górczyński J., Podstawy ekonometrii. Wyższa Szkoła Zarządzania i Marketingu, Sochaczew, 2004
7.
Górczyński J., Procedury VBA i Microsoft Excel w badaniach statystycznych. Wyższa Szkoła
Zarządzania i Marketingu, Sochaczew, 2006
8.
Pawełek B., Wanat ST., Zeliaś A., Prognozowanie ekonomiczne. Teoria, przykłady, zadania.
Wydawnictwo Naukowe PWN, Warszawa 2008
9.
Welfe A., Ekonometria, Polskie Wydawnictwo Ekonomiczne, Warszawa 2003
Download
Random flashcards
123

2 Cards oauth2_google_0a87d737-559d-4799-9194-d76e8d2e5390

bvbzbx

2 Cards oauth2_google_e1804830-50f6-410f-8885-745c7a100970

Create flashcards