Statystyka matematyczna

Marek Cieciura, Janusz Zacharski
PODSTAWY PROBABILISTYKI
Z PRZYKŁADAMI ZASTOSOWAŃ
W INFORMATYCE
CZĘŚĆ IV
STATYSTYKA MATEMATYCZNA
Na prawach rękopisu
Warszawa, wrzesień 2011
Data ostatniej aktualizacji: piątek, 2 grudnia 2011, godzina 16:39
Statystyka jest bardziej sposobem myślenia lub wnioskowania niŜ pęczkiem recept
na młócenie danych w celu odsłonięcia odpowiedzi - Calyampudi Radhakrishna Rao
Podręcznik:
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ
W INFORMATYCE
publikowany jest w częściach podanych poniŜej
Nr
Tytuł
I.
Wprowadzenie
II.
Statystyka opisowa
III.
Rachunek prawdopodobieństwa
IV.
Statystyka matematyczna
V.
Przykłady zastosowań w informatyce
VI.
Dowody wybranych twierdzeń
VII.
Tablice statystyczne
Autorzy proszą o przesyłanie wszelkich uwagi i propozycji dotyczących zawartości
podręcznika z wykorzystaniem formularza kontaktowego zamieszczonego w portalu
http://cieciura.net/mp/
Publikowane części będą na bieŜąco poprawiane, w kaŜdej będzie podawana data ostatniej
aktualizacji.
Podręcznik udostępnia się na warunku licencji Creative Commons (CC): Uznanie Autorstwa
– UŜycie Niekomercyjne – Bez Utworów ZaleŜnych (CC-BY-NC-ND),co oznacza:
•
Uznanie Autorstwa (ang. Attribution - BY): zezwala się na kopiowanie,
dystrybucję, wyświetlanie i uŜytkowanie dzieła i wszelkich jego pochodnych pod
warunkiem umieszczenia informacji o twórcy.
•
UŜycie Niekomercyjne (ang. Noncommercial - NC): zezwala się na
kopiowanie, dystrybucję, wyświetlanie i uŜytkowanie dzieła i wszelkich jego
pochodnych tylko w celach niekomercyjnych..
•
Bez Utworów ZaleŜnych (ang. No Derivative Works - ND): zezwala się na
kopiowanie, dystrybucję, wyświetlanie tylko dokładnych (dosłownych) kopii dzieła,
niedozwolone jest jego zmienianie i tworzenie na jego bazie pochodnych.
Podręcznik i skorelowany z nim portal, są w pełni i powszechnie dostępne, stanowią więc
Otwarte Zasoby Edukacyjne - OZE (ang. Open Educational Resources – OER).
2
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
SPIS TREŚCI
14. STATYSTYKI I ICH ROZKŁADY ....................................................................................... 5
14.1. PRÓBA JAKO ZMIENNA LOSOWA WIELOWYMIAROWA ............................................................ 5
14.2. PODSTAWOWE STATYSTYKI I ICH ROZKŁADY ........................................................................ 6
14.2.1. Wykazy statystyk .......................................................................................................... 6
14.2.2. Rozkład średniej z próby .............................................................................................. 7
14.2.3. Rozkład statystyk związanych z wariancją z próby ....................................................... 8
15. ESTYMACJA PARAMETRÓW.......................................................................................... 12
15.1. WPROWADZENIE ............................................................................................................... 12
15.2. ESTYMACJA PUNKTOWA .................................................................................................... 12
15.2.1. Klasyfikacja estymatorów i nierówność Rao-Cramera ............................................... 13
15.2.2. Estymacja wartości oczekiwanej rozkładu normalnego .............................................. 14
15.2.3. Estymatory wariancji rozkładu normalnego ............................................................... 15
15.2.4. Metoda największej wiarygodności otrzymywania estymatorów................................. 17
15.2.5. Zestawienie estymatorów parametrów rozkładu zmiennej losowej i ich własności...... 19
15.3. ESTYMACJA PRZEDZIAŁOWA .............................................................................................. 20
15.3.1. Uwagi wstępne........................................................................................................... 20
15.3.2. Wyznaczenie przedziału ufności dla wartości oczekiwanej rozkładu normalnego ....... 21
15.3.3. Tabela przedziałów ufności........................................................................................ 24
15.3.4. Wyznaczanie wielkości próby..................................................................................... 28
15.3.5. Wykorzystanie arkusza Excel ..................................................................................... 30
16. WERYFIKACJA HIPOTEZ ................................................................................................ 31
16.1 WPROWADZENIE ................................................................................................................ 31
16.1.1. Uwagi wstępne........................................................................................................... 31
16.1.2. Pzykład konstrukcji testu parametrycznego do weryfikacji hipotezy o wartości
oczekiwanej........................................................................................................................... 34
16.1.3. Pzykład konstrukcji testu parametrycznego do weryfikacji hipotezy o równości wartości
oczekiwanych ........................................................................................................................ 35
16.1.4. Uwagi o weryfikacji hipotez parametrycznych ........................................................... 37
16.2. TESTY PARAMETRYCZNE DLA JEDNEJ PRÓBY ...................................................................... 38
16.2.1. Testy do weryfikacji hipotezy o wartości oczekiwanej................................................. 38
16.2.2. Testy do weryfikacji hipotezy o wariancji i odchyleniu standardowym ....................... 43
16.2.3. Testy do weryfikacji hipotezy o wskaźniku struktury................................................... 44
16.3. TESTY PARAMETRYCZNE DLA DWÓCH PRÓB........................................................................ 45
16.3.1. Testy do porównywania wartości oczekiwanych dla prób niezaleŜnych ...................... 45
16.3.2. Testy do porównywania wartości oczekiwanych – próby zaleŜne................................ 53
16.3.3. Testy do porównywania wariancji.............................................................................. 57
16.3.4. Testy do porównywania wskaźników struktury ........................................................... 59
16.4. TESTY NIEPARAMETRYCZNE DLA JEDNEJ PRÓBY ................................................................. 61
16.4.1. Ocena losowości próby .............................................................................................. 61
16.4.2. Test zgodności chi kwadrat ........................................................................................ 62
16.4.3. Ocena normalności rozkładu ..................................................................................... 65
16.4.4. Test niezaleŜności chi kwadrat ................................................................................... 68
16.5. TESTY NIEPARAMETRYCZNE DLA DWÓCH PRÓB................................................................... 73
16.5.1. Test zgodności rozkładów dla prób niepowiązanych (test Wilcoxona) ........................ 73
16.5.2. Test zgodności rozkładów dla prób powiązanych (test rangowanych znaków) ............ 75
16.6. ALGORYTMIZACJA OBLICZEŃ ............................................................................................. 77
16.6.1. Wykorzystanie arkusza Excel ..................................................................................... 77
16.6.2.Zasady wyboru testu przy dwóch próbach................................................................... 78
3
STATYSTYKA MATEMATYCZNA
17. ANALIZA KORELACJI I REGRESJI DWÓCH ZMIENNYCH...................................... 79
17.1. WPROWADZENIE ............................................................................................................... 79
17.2. ANALIZA KORELACJI.......................................................................................................... 80
17.2.1. Uwagi wstępne........................................................................................................... 80
17.2.2. Estymacja współczynnika korelacji cech populacji..................................................... 80
17.2.3. Weryfikacja hipotez o współczynniku korelacji........................................................... 82
17.2.4. Współczynnik korelacji Spearmana............................................................................ 84
17.2.5. Współczynnik korelacji Cramera................................................................................ 87
17.3. ANALIZA REGRESJI ............................................................................................................ 88
17.3.1. Uwagi wstępne........................................................................................................... 88
17.3.2. Estymatory współczynników regresji.......................................................................... 88
17.3.3. Rozkłady estymatorów współczynników regresji......................................................... 92
17.3.4. Estymacja przedziałowa współczynników regresji...................................................... 92
17.3.5. Weryfikacja hipotez o współczynnikach regresji......................................................... 94
18. WPROWADZENIE DO ZAAWANSOWANYCH METOD STATYSTYCZNYCH......... 96
18.1. CHARAKTERYSTYKA ZAAWANSOWANYCH METOD STATYSTYCZNYCH ................................. 96
18.2. ALGORYTMIZACJA WYBORU METOD STATYSTYCZNYCH .................................................... 100
4
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
14. STATYSTYKI I ICH ROZKŁADY
Począwszy od tego rozdziału będziemy przedstawiali teorię i zastosowania statystyki
matematycznej. RozwaŜymy najpierw sytuacje, w których badana jest jedna cecha populacji lub
dwie cechy róŜnych populacji tak, Ŝe moŜna je traktować jako zmienne losowe niezaleŜne.
Wówczas o próbach pobranych z tych populacji mówimy, Ŝe są niepowiązane.
14.1. Próba jako zmienna losowa wielowymiarowa
W dalszych rozwaŜaniach będzie potrzebna nowa definicja próby umoŜliwiająca korzystanie
w statystyce z rachunku prawdopodobieństwa.
Badana jest cecha X populacji. Niech X1, X2, ... Xn będą zmiennymi losowymi niezaleŜnymi
o jednakowym rozkładzie, takim jak rozkład cechy X. Próba losowa n-elementowa ze względu na
cechę X (próba n elementowa) jest to zmienna losowa n-wymiarowa
(X1, X2, ..., Xn)
(14.1)
Interpretacja
Zmienna losowa X1 jest modelem wartości cechy X pierwszego elementu wylosowanego
z populacji do próby, X2 modelem drugiego elementu itd. PoniewaŜ do próby losujemy elementy
metodą ze zwracaniem, więc kaŜdy element populacji ma te same szanse być
wylosowany, dlatego przyjmuje się, Ŝe zmienne losowe są niezaleŜne.
KaŜdą wartość
(x1, x2, ..., xn)
próby (14.1) nazywamy realizacją próby lub takŜe próbą.
(14.2)
Przykład 14.1
RozwaŜamy populację gospodarstw domowych na terenie Warszawy. Populację tę badamy ze
względu na cechę X – liczba osób w gospodarstwie. Z populacji pobieramy próbę
pięcioelementową. Losujemy ze zwracaniem pięć gospodarstw domowych. Przypuśćmy,
Ŝe otrzymaliśmy wartości cechy X: 2, 3, 1, 3, 4. Zatem zmienna losowa X1 oznaczająca liczbę osób
w wylosowanym pierwszym gospodarstwie przyjęła wartość 2, zmienna losowa X2 oznaczająca
liczbę osób w wylosowanym drugim gospodarstwie przyjęła wartość 3 itd.
Próba
(X1, X2, X3, X4, X5)
(14.3)
przyjęła wartość
(2, 3, 1, 3, 4)
(14.4)
Przypuśćmy, Ŝe badanie powtórzono i otrzymano teraz następujące wartości cechy X: 3,1,1,2,2.
Otrzymaliśmy inną wartość próby (14.3), mianowicie
(3, 1 ,1, 2, 2)
(14.5)
Ciągi (14.4) i (14.5) są realizacjami próby (14.3). Statystyki
Aby moŜna było przeprowadzić analizę statystyczną naleŜy przekształcić próbę, czyli rozpatrywać
funkcje próby. Funkcje próby (14.1) nazywamy statystykami
Un = g(X1, X2, ..., Xn)
(14.6)
Przykład 14.2
Jeśli interesujemy się średnią liczbą osób w gospodarstwach domowych wybranych do próby,
to naleŜy rozwaŜyć zmienną losową
U5 =
X1 +X 2 +X 3 +X 4 +X 5
5
5
średnia arytmetyczna z próby
(14.7)
STATYSTYKA MATEMATYCZNA
Zmienna ta jest funkcją próby (14.3), jest zatem statystyką. Wartościami (realizacjami) tej
statystyki, dla realizacji próby (14.4) i (14.5) są liczby
u5 =
2+3+1+3+4
3+1+1+2+2
=2,6 i u 5 =
=1,8 5
5
14.2. Podstawowe statystyki i ich rozkłady
14.2.1. Wykazy statystyk
Przedstawimy teraz dwa wykazy najczęściej stosowanych statystyk.
• Wykaz statystyk klasycznych, tj. statystyk, których wartości zaleŜą od wszystkich zmiennych
losowych wchodzących w skład próby.
• Wykaz statystyk pozycyjnych, tj. statystyk, których wartości zaleŜą tylko od niektórych
zmiennych losowych wchodzących w skład próby, głównie od tych, które zajmują odpowiednią
pozycję w próbie.
Tabela 14.1 Wykaz statystyk klasycznych
Lp
Postać
2
S2n =
3
Sn =
4
Ŝ2n =
5
6
7
8
9
10
11
1 n
∑ Xi
n i =1
Średnia z próby
1 n
∑ (Xi − X n ) 2
n i =1
Wariancja z próby (obciąŜona1)
1 n
∑ (Xi − X n )2
n i=1
Odchylenie standardowe z próby
Xn =
1
Nazwa / Komentarz
1 n
∑ (Xi − X n )2
n − 1 i=1
1 n
So2
=
∑ (Xi − m)2
n
n i =1
Un =
nSo2
n
σ2
n X −m
= ∑ i

σ 
i =1 
nS2n
Wariancja z próby (nieobciąŜona2)
m=EX
2
m=EX, σ=DX
2
n X −X 
i
n
=
∑


2
σ
σ
i =1 

1 n
U n = ∑ Xik
n i =1
n
1
U n = ∑ (X i − X n )k
n i=1
X −m
Un = n
n −1
Sn
Y
W(ω) = n
n
Yn- liczba jedynek w próbie patrz poniŜsza uwaga
Un =
1
Wyjaśnienie nazwy w podpukcie 15.2.1.
2
Jak wyŜej
Moment z próby rzędu k
Moment centralny z próby rzędu k
Wskaźnik struktury wariantu ω.
6
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Tabela 14.2. Wykaz statystyk pozycyjnych
Nazwa statystyki
Symbol
Mediana z próby
Me
Kwantyl rzędu p z próby
Kp
Kwartyl pierwszy, drugi i trzeci z próby
Q1, Q2, Q3
Rozstęp z próby
Ro
Definicja statystyki
Statystyka przyjmująca dla kaŜdej realizacji
próby medianę w tej realizacji
Statystyka przyjmująca dla kaŜdej realizacji
próby kwantyl rzędu p w tej realizacji
Statystyka przyjmująca dla kaŜdej realizacji
próby odpowiedni kwartyl w tej realizacji
Statystyka przyjmująca dla kaŜdej realizacji
próby rozstęp w tej realizacji
Podobnie definiuje się inne statystyki pozycyjne np. decyle z próby i centyle z próby.
Uwaga: KaŜdemu elementowi próby przyporządkowujemy 1, gdy element ma wartość cechy X
równą wariantowi ω lub 0 w przeciwnym przypadku. Wtedy próba (X1, X2, ..., Xn) jest ciągiem
zmiennych losowych o rozkładach zerojedynkowych, a kaŜda realizacja próby jest ciągiem
n- elementowym zer lub jedynek.
14.2.2. Rozkład średniej z próby
Średnia z próby n-elementowej jest to statystyka
Xn =
1 n
∑ Xi
n i=1
Parametry średniej
Jeśli cecha X populacji ma wartość oczekiwaną m i wariancję σ2 , to
σ2
σ
EX n =m , D 2 X n = , DX n =
n
n
Rozkład średniej
Jeśli cecha X populacji ma rozkład normalny N(m, σ), to średnia arytmetyczna X n ma rozkład
σ 

3
normalny N  m,
 . Twierdzenie to wynika z własności rozkładu normalnego .
n

Rozkład asymptotyczny średniej
Jeśli cecha X populacji ma wartość oczekiwaną m i wariancję σ 2 >0 , to dla duŜych n średnia
σ 

arytmetyczna X n ma rozkład asymptotycznie normalny N  m,
.
n

Twierdzenie to wynika z faktów:
a) na podstawie tw. Lindeberga-Levy’ego4 suma
n
∑X
i
ma rozkład asymptotycznie normalny,
i=1
b) funkcja liniowa zmiennej losowej o rozkładzie normalnym ma rozkład normalny.
Oba rozkłady średniej (dokładny i asymptotyczny) potwierdzają znany nam fakt, wynikający
z prawa wielkich liczb Chinczyna, Ŝe średnia arytmetyczna duŜej liczby zmiennych losowych ma
rozkład skupiony przy wartości oczekiwanej. Teraz ten fakt został ujęty ilościowo.
3
4
Patrz podpunkt 21.1.1. części VII Wybrane twierdzenia z dowodami
Patrz podpunkt 9.2.2 części III Rachunek prawdopodobieństwa
7
STATYSTYKA MATEMATYCZNA
Przykład 14.1
Cecha X populacji ma rozkład normalny N(3,1). Obliczymy prawdopodobieństwa
P( X-3 <0,1), P( X16 -3 <0,1), P( X 400 -3 <0,1) .
Rozwiązanie
P ( X-3 <0,1) =2Φ ( 0,1) -1=2 ⋅ 0,5398-1=0,08
1 

 1
Statystyka X16 ma rozkład N  3,
 , czyli rozkład N  3, 4  . Zatem
16 



1
1

P( X16 -3 <0,1)=P  X16 -3 : <0,1:  =2Φ(0,4)-1= 2 ⋅ 0,4556-1=0,30
4
4

1 

 1 
Statystyka X 400 ma rozkład N  3,
 czyli rozkład N  3, 20  . Zatem
400 



1
1 

P( X 400 -3 <0,1)=P  X 400 -3 : <0,1:  =2Φ(2)-1=2 ⋅ 0,97725-1=0,955
20
20 

Obliczyliśmy prawdopodobieństwa, Ŝe zmienne losowe X, X16 , X 400 przyjmą wartości
z otoczenia o promieniu 0,1 swoich wartości oczekiwanych. Widać, Ŝe to prawdopodobieństwo dla
zmiennej losowej X jest małe, umiarkowanej wartości dla średniej X16 i bardzo duŜe dla średniej
X 400 . Potwierdza to wcześniej sformułowaną właściwość średniej z próby, o przyjmowaniu przez
nią wartości z prawdopodobieństwem bliskim jedności mało róŜniących się od jej wartości
oczekiwanej (a takŜe cechy populacji), gdy próba jest liczna. Wynika stąd, Ŝe wartości statystyki
X n mogą słuŜyć do oceny wartości oczekiwanej, gdy wartość ta nie jest znana, a próba ma duŜo
elementów. 14.2.3. Rozkład statystyk związanych z wariancją z próby
Wariancja z próby n-elementowej jest to statystyka
1 n
S2n = ∑ (Xi − X n ) 2
n i =1
Odchylenie standardowe z próby n-elementowej jest to statystyka
Sn =
1 n
∑ (Xi − X n )2
n i=1
Interpretacja
ZauwaŜmy, Ŝe dla realizacji próby, której elementy mało róŜnią się od siebie realizacja s 2n
statystyki S2n jest liczbą bliską zeru, natomiast dla realizacji próby, której elementy róŜnią się
znacznie od siebie, ta realizacja jest duŜą liczbą. Podobne uwagi dotyczą odchylenia standardowego
z próby. Zatem statystyki S2n i Sn są miarami zróŜnicowania elementów próby względem średniej
z próby.
Z wariancją z próby związane są statystyki
Ŝ2n =
2
1 n
X i -X n ) oraz
(
∑
n-1 i=1
gdzie m jest wartością oczekiwaną cechy X populacji.
8
So2
n =
1 n
2
∑ ( Xi -m )
n i=1
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
ZauwaŜmy, Ŝe między statystykami Ŝ2n i So2
n występują związki
Ŝ2n =
n
2
n 2
Sn oraz nS2n =(n-1) Ŝ2n = ∑ ( X i -X n )
n-1
i=1
nS2n nSo2
n
i
2
2
σ
σ
Zakładamy, Ŝe cecha X populacji ma rozkład normalny N(m, σ). Wtedy statystyka
Rozkłady statystyk
2
n
nSo2
 X i -m 
n
=
∑


2
σ
σ 
i=1 
jest sumą kwadratów n niezaleŜnych zmiennych losowych o rozkładzie normalnym N(0, 1), zatem
ma rozkład χ 2 z n stopniami swobody5.
Natomiast statystyka
nS2n n  X i -X n 
=∑ 

σ 2 i=1  σ 
2
nSo2
n
, Ŝe zamiast róŜnicy Xi - m występuje róŜnica X i - X n . MoŜna
σ2
udowodnić, Ŝe ma ona takŜe rozkład χ 2 , tyle, Ŝe z n-1 stopniami swobody. Zatem prawdziwe jest
twierdzenie:.
nSo2
n
Jeśli cecha X populacji ma rozkład normalny N(m, σ), to statystyka
ma rozkład χ 2
σ2
nS2n
z n stopniami swobody. Statystyka
ma rozkład χ 2 z n-1 stopniami swobody.
2
σ
2 ˆ2
o2
ZbieŜność statystyk Sn ,Sn ,Sn
Jeśli cecha populacji X ma wariancję σ 2 , to ciągi ( S2 ) , Sˆ 2 , ( So2 ) są zbieŜne według
róŜni się tym od statystyki
( )
( S ) , ( Sˆ ) , (S ) są
n
prawdopodobieństwa do wariancji σ 2 , natomiast ciągi
n
n
n
n
o
n
zbieŜne według
prawdopodobieństwa do odchylenia standardowego σ .
Wynika stąd, Ŝe dla licznej próby wartości statystyk S2n , Sˆ 2n , So2
n mogą słuŜyć do oceny wariancji
σ 2 , natomiast wartości statystyk S ,Sˆ ,So do oceny odchylenia standardowego σ .
n
n
n
Wartość oczekiwana statystyk S , Sˆ 2n , So2
n
2
n
ES2n =
5
n-1 2
σ ,
n
E Sˆ 2n =σ 2 ,
Patrz ppkt 6.2.5 - definicja rozkładu chi kwadrat.
9
2
E So2
n =σ .
STATYSTYKA MATEMATYCZNA
W tabelach 14.2. i 14.3. podano zestawienie wybranych statystyk wraz z ich rozkładami6.
Tabela 14.2. Rozkłady statystyk dla jednej cechy populacji
Rozkład cechy populacji
Statystyka
Rozkład statystyki
Normalny
Xn
Normalny N(m,σ)
Dowolny z wartością
oczekiwaną m i wariancją
2
nSn 2
σ2
nSn o2
σ2
X n -m
n-1
Sn
χ 2 z n-1 stopniami swobody
χ 2 z n stopniami swobody
Studenta z n-1 stopniami swobody
Xn
Asymptotycznie normalny
σ
N(m,
) dla duŜych n
n
Wskaźnik struktury
(częstość sukcesu)
Yn
n
Yn- liczba jedynek w
próbie
Asymptotycznie normalny

p(1-p) 
N  p,
,
n 

σ >0
Zerojedynkowy
P(X = 1) = p
P ( X = 0) = 1 − p
p- prawdopodobieństwo
sukcesu
σ 

N  m,

n

Dla przypadku, gdy X: N(m, σ), podane w tabeli 14.3. rozkłady statystyk moŜna zilustrować
w sposób następujący.
Rys. 14.1. Rozkłady wybranych statystyk
6
Patrz punkt 21.1. części VII Wybrane twierdzenia z dowodami
10
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Tabela 14.4. Rozkłady statystyk dla dwóch niezaleŜnych cech populacji
Rozkład cechy X
Rozkład cechy Y
Normalny
N(m, σ1)
Normalny
N(m, σ2)
Normalny
N(m, σ)
Normalny
N(m, σ)
Normalny
N(m1, σ )
Normalny
N(m2, σ )
Dowolny
z wartością
oczekiwaną m1
i z wariacją σ12
Dowolny
z wartością
oczekiwaną m2
i z wariacją σ 22
Statystyka
X n1 -Yn 2
σ12 σ 22
+
n1 n 2
Xn1 -Yn2
2
1 n1
nn
1 2
(n1+n2-2)
n1+n2
2
2 n2
nS +n S
Ŝ2n 2
X n1 -Yn 2
n1
11
+
Normalny
N(0,1)
Studenta z n1 + n2 -2
stopniami swobody
Snedecora z parą
(n1-1, n2-1) stopni
swobody
Ŝ2n1
S2n1
Rozkład statystyki
S2n 2
n2
Asymptotycznie normalny
N(0,1)
STATYSTYKA MATEMATYCZNA
15. ESTYMACJA PARAMETRÓW
15.1. Wprowadzenie
W teorii estymacji wyróŜnia się: estymację parametryczną i estymację nieparametryczną.
Estymacja parametryczna dotyczy szacowania nieznanych parametrów rozkładu. Problem
estymacji parametrycznej, odnoszący się do jednej cechy jest następujący:
Populacja badana jest ze względu na cechę X o rozkładzie zaleŜnym od parametru Q, tzn.
dystrybuanta tej cechy jest postaci FQ (x), przy czym dla kaŜdego Q naleŜącego do pewnego zbioru
Ω – przestrzeni parametru Q, dystrybuanta ta jest znana. Przy tych załoŜeniach wnioskowanie
o rozkładzie cechy X sprowadza się do oszacowania (estymacji) na podstawie próby wartości
parametru Q.
WyróŜnia się dwa sposoby szacowania parametru Q: oszacowanie punktowe i oszacowanie
przedziałowe.
Estymacja nieparametryczna dotyczy szacowania postaci funkcyjnej rozkładu, np. w postaci
dystrybuanty. MoŜna w tym celu stosować, analogicznie jak przy estymacji parametrycznej,
oszacowanie punktowe lub przedziałowe. Przy szacowaniu przedziałowym wyznacza się obszar
(pas) ufności.
15.2. Estymacja punktowa
Estymacja punktowa parametru Q polega na:
Wybraniu pewnej statystyki Un o rozkładzie zaleŜnym od parametru Q.
Obliczeniu na podstawie próby wartości un statystyki Un
Przyjęciu, Ŝe un jest oszacowaniem parametru Q, co zapisujemy
Q̂ = u n
i czytamy: oceną parametru Q jest un.
Statystyka Un nazywa się wówczas estymatorem parametru Q.
Znanych jest szereg metod wyznaczania estymatorów. NajwaŜniejsze z nich to: metoda momentów,
metoda największej wiarygodności, metoda najmniejszych kwadratów – autor Carl Gauss, metoda
estymacji bayesowskiej i metoda estymacji minimaksowej.
PoniŜej podano istotę pierwszej z wymienionych metod, druga zostanie scharakteryzowana
w punkcie 15.2.4, a trzecia w punkcie 17.3.2.(łacznie z nawiązaniem do poprzednich)
Metoda momentów została opracowana pod koniec XIX wieku przez angielskiego statystyka
K. Pearsona. Zgodnie z tą metodą przyjmuje się, Ŝe estymatorem momentu cechy populacji jest
odpowiadający mu moment z próby, zaś estymatorem funkcji momentów populacji jest ta sama
funkcja momentów z próby.
Przykład 15.1
Badana jest cecha X populacji. Zgodnie z metodą momentów przyjmujemy, Ŝe estymatorem
1 n
wartości oczekiwanej m jest średnia z próby X n = ∑ Xi , natomiast estymatorem wariancji σ2
n i =1
n
2
1
jest wariancja z próby S2n = ∑ ( X i -X n ) . n i=1
NaleŜy podkreślić, Ŝe charakterystyki liczbowe opisane w ramach statystyki opisowej pokrywają się
z estymatorami wyznaczonymi metodą momentów.
12
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
15.2.1. Klasyfikacja estymatorów i nierówność Rao-Cramera
Estymator zgodny parametru Q jest to estymator Un zbieŜny wg prawdopodobieństwa do Q, tzn.
lim P( U n -Q <ε)=1
n →∞
dla dowolnego ε >0
Estymator nieobciąŜony parametru Q jest to estymator Un o wartości oczekiwanej równej
parametrowi Q
EUn = Q
Estymator najefektywniejszy parametru Q jest to estymator nieobciąŜony tego parametru
o najmniejszej wariancji spośród wszystkich estymatorów nieobciąŜonych parametru Q.
Estymator obciąŜony parametru Q jest to estymator Un taki, Ŝe
EUn ≠ Q
Estymator asymptotycznie nieobciąŜony parametru Q jest to estymator Un o granicy wartości
oczekiwanej równej parametrowi Q
lim EU n =Q
n →∞
Estymator asymptotycznie najefektywniejszy parametru Q jest to estymator nieobciąŜony lub
asymptotycznie nieobciąŜony taki, Ŝe
(
D2 U n
lim 2 =1
n →∞ D U
n
(
gdzie U n jest estymatorem najefektywniejszym parametru Q.
Interpretacja
Jeśli estymator jest estymatorem zgodnym parametru Q, to dla duŜej próby
z prawdopodobieństwem bliskim 1 ocena parametru i parametr mało róŜnią się.
Jeśli estymator parametru Q jest nieobciąŜony, to otrzymujmy oceny bez błędu systematycznego.
Jeśli bowiem byłoby EU n <Q , to otrzymywalibyśmy oceny średnio zaniŜone. Natomiast, gdyby
EU n >Q , to otrzymywalibyśmy oceny średnio zawyŜone.
Jeśli estymator jest estymatorem najefektywniejszym parametru Q, to jego rozkład jest najbardziej
skupiony przy parametrze Q, zatem otrzymujemy oceny bliŜsze parametrowi Q, niŜ przy innych
estymatorach.
Estymator asymptotycznie nieobciąŜony jest praktycznie estymatorem nieobciąŜonym, gdy próba
jest liczna, takŜe estymator asymptotycznie najefektywniejszy jest praktycznie, dla duŜej próby,
estymatorem najefektywniejszym.
Zgodność, a nieobciąŜoność estymatora
PoniŜsze twierdzenie jest uŜyteczne przy badaniu zgodności estymatora.
Jeśli Un jest estymatorem nieobciąŜonym lub asymptotycznie nieobciąŜonym parametru Q oraz
lim D 2 U n =0
n →∞
to Un jest estymatorem zgodnym tego parametru.
Nierówność Rao-Cramera
Jeśli cecha populacji X jest zmienną losową skokową o funkcji prawdopodobieństwa zaleŜnej od
parametru Q
P(X=x k )=pk (Q)
i Un jest estymatorem nieobciąŜonym parametru Q oraz spełnione są warunki regularności7, to
wariancja estymatora Un spełnia tzw. nierówność Rao-Cramera
7
Leitner Roman, Zacharski Janusz: Zarys matematyki wyŜszej dla studentów, część III, WNT, Warszawa 1998 - str. 298
13
STATYSTYKA MATEMATYCZNA
1
D2 U n ≥
2
 d

n∑ 
lnp k (Q)  p k (Q)
k  dQ

przy czym dla estymatora najefektywniejszego zachodzi równość w powyŜszej nierówności.
Jeśli cecha populacji X jest zmienną losową ciągłą o gęstości fQ(x) zaleŜnej od parametru Q
i Un jest estymatorem nieobciąŜonym parametru Q oraz spełnione są warunki regularności8, to
wariancja estymatora Un spełnia nierówność Rao-Cramera w poniŜszej postaci
D2 U n ≥
1
2
∞
 ∂

n∫ 
ln f Q (x)  f Q (x)dx
∂Q

-∞ 
przy czym dla estymatora najefektywniejszego zachodzi równość w powyŜszej nierówności.
Efektywność estymatora
Efektywność estymatora nieobciąŜonego Un parametru Q jest to liczba
(
D2 U n
en = 2
D Un
(
2
gdzie D U n jest wariancją estymatora najefektywniejszego parametru Q.
Oczywiście
0 < en ≤ 1
Estymator Un jest estymatorem najefektywniejszym wtedy i tylko wtedy, gdy en = 1.
15.2.2. Estymacja wartości oczekiwanej rozkładu normalnego
Cecha X populacji ma rozkład normalny N(m,σ), przy czym σ jest znane. Przyjmiemy, Ŝe
estymatorem wartości oczekiwanej jest średnia z próby
1 n
X n = ∑ Xi
n i =1
Zgodność
Cecha X ma rozkład z wartością oczekiwana m. Średnia z próby X n jest estymatorem zgodnym
wartości oczekiwanej m, gdyŜ na podstawie prawa wielkich liczb Chinczyna9
lim P( X n - m <ε)=1 dla dowolnego ε >0 n →∞
NieobciąŜoność
PoniewaŜ
1 n
1
1 n
 1 n
EX n =E  ∑ X k  = ∑ EX k = ∑ m= nm=m
n k=1
n
 n k=1  n k=1
więc średnia z próby jest estymatorem nieobciąŜonym wartości oczekiwanej. Efektywność
Obliczymy najpierw wariancję estymatora najefektywniejszego wartości oczekiwanej rozkładu
normalnego, a następnie wariancję średniej z próby i porównamy otrzymane wielkości.
8
9
Patrz jw
Patrz ppkt 9.4.3. części III Rachunek prawdopodobieństwa
14
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
% jest estymatorem najefektywniejszym, to jego wariancja jest równa prawej stronie
Jeśli U
n
nierówności Rao-Cramera
1
1
% =
D2 U
= {ozn.} =
n
2
∞
M
 ∂

n∫ 
lnf m (x)  f m (x)dx
 ∂m

-∞
2
2
1
gdzie: f m (x)=
e-(x-m) /(2σ )
σ 2π
1
(x-m)2
∂
(x-m)
Zatem lnf m (x)=ln
i
lnf m (x)= 2
2
∂m
σ
σ 2π 2σ
∞
n
n
n
n
M= 4 ∫ (x-m) 2 f m (x)dx= 4 D2 X= 4 σ 2 = 2
σ -∞
σ
σ
σ
2
(
1
σ
Czyli D 2 U n =
wariancja estymatora najefektywniejszego wartości oczekiwanej rozkładu normalnego
=
1
n 2 n
σ
n
1
1 n
1
σ2

 1 n
D2 X n =D2  ∑ X k  = 2 ∑ D2 X k = 2 ∑ σ 2 = 2 nσ 2 =
n k=1
n
n
 n k=1  n k=1
(
Zatem D2 X n = D2 U n , więc średnia z próby jest estymatorem najefektywniejszym wartości
oczekiwanej rozkładu normalnego.
Z powyŜszego wynika, Ŝe średnia z próby X n jest estymatorem zgodnym, nieobciąŜonym
i najefektywniejszym wartości oczekiwanej rozkładu normalnego.
15.2.3. Estymatory wariancji rozkładu normalnego
Estymatorami wariancji są statystyki
2
2
1 n
1 n
1 n
2
Sn 2 = ∑ ( X i -X n ) Sn o2 = ∑ ( X i -m ) Ŝn 2 =
X i -X n )
(
∑
n i=1
n i=1
n-1 i=1
Zbadamy własności tych estymatorów przy załoŜeniu, iŜ rozkład cechy jest normalny.
nSn 2 nSn o2
W ppkt 14.2.3. stwierdziliśmy, Ŝe statystyki
i
mają rozkłady chi kwadrat z n-1
σ2
σ2
i n stopniami swobody oraz, Ŝe rozkład chi kwadrat z n stopniami swobody ma wartość oczekiwaną
równą n i wariancję 2n.
NieobciąŜoność10
E
nS2n
=n-1
σ2
oraz
E
E
nSo2
n
=n
σ2
oraz
E
nS2n n
= 2 ES2n
2
σ
σ
nSo2
n
n
= 2 ESo2
n
2
σ
σ
zatem ES2n =
n-1 2
σ
n
2
zatem ESo2
n =σ
n 2 n
n n-1 2 2
ESˆ 2n =E
Sn =
ES2n =
σ =σ
n-1
n-1
n-1 n
10
W 21.2 części VI Wybrane twierdzenia wraz z dowodami oceniono obciąŜoność wariancji bez załoŜenia o
normalności rozkładu
15
STATYSTYKA MATEMATYCZNA
Wnioski
2
2
Statystyki So2
n i Ŝn są estymatorami nieobciąŜonymi wariancji σ .
Statystyka S2n jest estymatorem obciąŜonym wariancji σ 2 ale
n-1 2 2
σ =σ
lim ES2n = lim
n →∞
n →∞ n
czyli jest estymatorem asymptotycznie nieobciąŜonym wariancji σ 2 .
Zgodność
Przy badaniu zgodności estymatorów wariancji σ 2 wykorzystamy twierdzenie podane w punkcie
15.2.1. PoniewaŜ rozwaŜane estymatory wariancji są nieobciąŜone lub asymptotycznie
nieobciąŜone, to zgodnie z tym twierdzeniem będą estymatorami zgodnymi, gdy ich wariancje
zbieŜne są do zera. Obliczymy te wariancje
2 ( n-1) 4
nS2
nS2 n 2
D2 2n =2(n-1)
oraz D 2 2n = 4 D 2 S2n , zatem D 2 S2n =
σ →0
σ
σ
σ
n2
o2
o2
n2
2σ 4
2 nSn
2 nSn
o2
2 o2
D
=2n
oraz D
= 4 ESn , zatem D Sn =
→0
n
σ2
σ2
σ
n 2
n2
n 2 2 ( n-1) 4 2σ 4
2 2
σ =
→0
D 2Sˆ 2n =D 2
Sn =
D
S
=
n
2
2
2
n-1
n-1
( n-1)
( n-1) n
Wniosek. Statystyki S 2n , Son 2 , Ŝ 2n są estymatorami zgodnymi wariancji σ 2
Efektywność
(
Jeśli U n jest estymatorem najefektywniejszym wariancji σ 2 , to jego wariancja jest równa prawej
stronie nierówności Rao-Cramera, czyli
% =
D2 U
n
gdzie: f σ2 (x)=
1
2
∞
 ∂

n ∫  2 lnf σ2 (x)  f σ2 (x)dx
∂
σ

-∞ 
= {ozn.} =
2
2
1
e-(x-m) /(2σ )
σ 2π
Zatem
1
1 (x-m) 2
lnf σ2 (x)=- lnσ 2 -ln
2
2
2π 2σ
∂
1 (x-m)2 (x-m)2 -σ 2
lnf
(x)=+
=
2
∂σ 2 σ
2σ 2
2σ 4
2σ 4
2
2
∞
 (x-m) 2 -σ 2 
 ∂

M = n ∫  2 lnf σ2 (x)  f σ2 (x)dx = n ∫ 
 f 2 (x)dx =
2σ 4  σ
∂σ

-∞ 
-∞ 
∞
∞
∞
∞

n 
4
2
2
4
= 8  ∫ (x-m) f σ2 (x)dx-2σ ∫ (x-m) f σ2 (x)dx+σ ∫ f σ2 (x)dx  =
4σ  - ∞
-∞
-∞

4
n
1
2σ
n
= 8 µ 4 -2σ 4 +σ 4  = 8 3σ 4 -2σ 4 +σ 4  = 8 = 4
4σ
2σ
4σ 2σ
4
(
1
2σ
D2 U n =
=
1
n
n 4
2σ
16
1
M
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Porównując otrzymany wynik z wcześniej obliczonymi wariancjami estymatorów stwierdzamy, Ŝe
( 2σ 4
2 o2
2
D Sn =D U n =
n
(
2
4
D U 2σ 2σ 4 n-1
e n = 2 2n =
:
=
n n-1 n
D Sˆ n
(
D 2 U n 2σ 4 2(n-1)σ 4 n
=
:
=
D 2S2n
n
n2
n-1
Wnioski z powyŜszych równości
Statystyka
So2
n =
1 n
2
( Xi -m ) jest estymatorem najefektywniejszym wariancji σ2 rozkładu
∑
n i=1
normalnego.
2
1 n
X i -X n ) nie jest estymatorem najefektywniejszym wariancji σ2 rozkładu
(
∑
n-1 i=1
normalnego, ma efektywność (n-1)/n, jest więc estymatorem asymptotycznie najefektywniejszym.
Statystyka Ŝ2n =
2
1 n
X i -X n ) jest estymatorem asymptotycznie najefektywniejszym wariancji σ2
(
∑
n i=1
rozkładu normalnego.
Statystyka S2n =
PoniewaŜ statystyka ta nie jest estymatorem nieobciąŜonym, więc nie moŜe być estymatorem
najefektywniejszym i nie moŜna mówić o efektywności tego estymatora.
Estymatory odchylenia standardowego
Estymatory odchylenia standardowego przedstawione są w tabeli 15.2.
ZauwaŜmy, Ŝe pierwiastek kwadratowy estymatora nieobciąŜonego wariancji σ2 nie musi być
estymatorem nieobciąŜonym odchylenia standardowego σ.
15.2.4. Metoda największej wiarygodności otrzymywania estymatorów
Cecha X populacji ma rozkład zaleŜny od s parametrów Q1, ... , Qs
(X1, ... , Xn) – próba
(x1, ... , xn) – realizacja próby.
Funkcja wiarygodności jest to funkcja s zmiennych Q1, ... , Qs
•
•
w przypadku cechy populacji X skokowej przyporządkowuje kaŜdemu moŜliwemu punktowi
(Q1, ... , Qs) prawdopodobieństwo otrzymania realizacji próby (x1, ... , xn)
L(Q1, ... , Qs) = P(X1 = x1, … , Xn = xn) = P(X1 = x1) … P(Xn = xn)
w przypadku cechy populacji X ciągłej przyporządkowuje kaŜdemu moŜliwemu punktowi
(Q1, ... , Qm) gęstość próby w punkcie będącym realizacją próby (x1, ... , xn)
L(Q1, ... , Qs) = f (x1, ... , xn) = f1(x1) … fn(xn)
Metoda największej wiarygodności (MNW) otrzymywania estymatorów polega na wyznaczeniu,
ˆ , ..., Q
ˆ , parametrów Q1, ... , Qs, by funkcja wiarygodności
dla danej realizacji próby, takich ocen Q
1
s
ˆ
ˆ
w punkcie ( Q , ..., Q ) osiągała wartość największą.
1
s
Estymatory, których wartościami są oceny parametrów Q1, ... ,Qs uzyskiwanymi metodą
największej wiarygodności nazywamy estymatorami największej wiarygodności (ENW).
17
STATYSTYKA MATEMATYCZNA
Interpretacja
MNW opiera się na następującej intuicji: skoro otrzymano realizację próby (x1, ... , xn), to musiała
ona być bardziej wiarygodna od innych realizacji, tzn. w przypadku cechy skokowej
prawdopodobieństwo uzyskania takiej realizacji powinno być największe, natomiast
w przypadku cechy ciągłej gęstość próby dla otrzymanej realizacji powinna być największa.
ENW mają rozkłady asymptotycznie normalne i są estymatorami zgodnymi oraz asymptotycznie
nieobciąŜonymi i asymptotycznie najefektywniejszymi ( przy dość ogólnych załoŜeniach).
Przykład 15.2
Wyznaczymy metodą największej wiarogodności na podstawie próby (x1 , x 2 ,..., x n ) estymator
wartości oczekiwanej cechy X o rozkładzie N(m,σ)
Uwzględniając, Ŝe gęstość rozkładu normalnego ma postać
−
1
f (x) =
e
σ 2π
otrzymuje się funkcję wiarogodności w postaci
−
1
L(m) =
e
σ 2π
(x1 − m)2
2σ
2
−
1
...
e
σ 2π
(x − m) 2
2 σ2
(x n − m) 2
2σ
2
n
1
n
( x i − m)
 1  − 2 σ2 ∑
i=1
=
e

 σ 2π 
2
Przy poszukiwaniu maksimum funkcji L(m) wygodniej posługiwać się logarytmem tej funkcji,
gdyŜ łatwiej jest znaleźć maksimum lnL(m), aniŜeli maksimum L(m), a obie funkcja L(m) i ln L(m)
przyjmują maksimum w tym samym punkcie, co funkcja, a na ogół.
Logarytm funkcji L(m) jest równy
1
1
1
+ n ln
− 2
σ
2 π 2σ
Po zróŜniczkowaniu względem parametru m otrzymujemy
ln L(m) = n ln
n
∑ (x
i
− m) 2
i =1
d ln L(m)
1 n
1 n
1
= − 2 ∑ (x i − m) = 2 ∑ x i − 2 n ⋅ m
dm
σ i =1
σ i =1
σ
Po przyrównaniu pochodnej do zera otrzymujemy
1
σ2
n
∑x
i
−
i =1
1
ˆ =0
n⋅m
σ2
skąd
1 n
∑ xi
n i =1
Zatem estymator wartości oczekiwanej cechy X o rozkładzie N(m,σ) jest równy średniej
arytmetycznej elementów próby.
Druga pochodna jest równa
m̂ =
d2
d d ln L(m) d  1
ln L(m) =
=  2
2
dm
dt
dm
dt  σ
n
∑x
i =1
i
−
1
1

n ⋅m = − 2 n < 0
2
σ
σ

czyli m̂ zapewnia maksimum funkcji L(m) Kolejne przykłady wyznaczania estymatorów metoda największej wiarogogodności zamieszczono
w punkcie 21.3. części VI Wybrane twierdzenia wraz z dowodami:
• Estymator parametru p rozkładu zero-jedynkowego.
• Estymator parametru Θ rozkładu wykładniczego.
• Estymator parametru λ rozkładu Poissona.
18
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
15.2.5. Zestawienie estymatorów parametrów rozkładu zmiennej losowej i ich własności
Tabela 15.2. Zestawienie estymatorów
Parametr
Wartość
oczekiwana m
rozkładu
normalnego
Estymator
Zgodny
NieobciąŜony
Najefektywniejszy
1 n
∑ Xk
n k=1
TAK
TAK
TAK
2
1 n
X i -X n )
(
∑
n i=1
TAK
Asymptotycznie
nieobciąŜony
Brak oceny11
1 n
2
( Xi -m )
∑
n i=1
TAK
TAK
TAK
2
1 n
X i -X n )
(
∑
n-1 i=1
TAK
TAK
Asymptotycznie
najefektywniejszy
TAK
Asymptotycznie
nieobciąŜone
Asymptotycznie
najefektywniejsze
TAK
TAK
DuŜa efektywność
dla małych prób
TAK
TAK
Efektywność
1/(π-2)
TAK
TAK
TAK
TAK
TAK
TAK
Xn =
S2n =
Wariancja σ2
rozkładu
normalnego
S02
n =
Ŝ2n =
S0n , Ŝn , Sn
Odchylenie
standardowe
Parametr λ
rozkładu
Poissona
Parametr p
rozkładu zerojedynkowego
11
Własności estymatora
U n = ( X max -X min ) d n
Xmax – największy
element w próbie
Xmin – najmniejszy
element w próbie
dn – współczynnik
liczbowy, tak
dobrany, by estymator
był nieobciąŜony
n
1
Un =
π/2 ∑ X k -m
n
k=1
Xn =
1 n
∑ Xk
n k=1
Yn/n, gdzie Yn
oznacza liczbę
jedynek
w próbie
Statystyka jest estymatorem asymptotycznie najefektywniejszym wariancji rozkładu normalnego, ale poniewaŜ
statystyka ta nie jest estymatorem nieobciąŜonym, więc nie moŜe być estymatorem najefektywniejszym i nie moŜna
mówić o efektywności tego estymatora.
19
STATYSTYKA MATEMATYCZNA
15.3. Estymacja przedziałowa
15.3.1. Uwagi wstępne
Oszacowanie przedziałowe nieznanego parametru polega na wyznaczeniu przedziału ufności.
X – cecha populacji, Q – parametr rozkładu cechy X, 1 - α - poziom ufności ( 0< α <1).
*
**
Jeśli istnieją dwie statystyki U*n , U**
n takie, Ŝe P(U n ≤ Q ≤ U n )=1-α to przedział losowy
12
<U*n ; U**
n >
nazywamy przedziałem ufności parametru Q na poziomie ufności 1 - α.
(15.1)
*
**
Jeśli na podstawie próby obliczymy wartości u*n , u**
n statystyk Un , Un , to otrzymujemy liczbowy
przedział
< u*n ; u**
n >
(15.2)
będący wartością (realizacją) przedziału (15.1). Parametr Q moŜe naleŜeć do przedziału (15.2) lub
nie naleŜeć. Jeśli jednak poziom ufności 1 - α jest bliski jedności, to bardzo rzadko będziemy
otrzymywać liczbowe przedziały ufności (15.2) do których parametr Q nie naleŜy.
Granice przedziału ufności są zmiennymi losowymi. Zatem dla róŜnych realizacji próby
otrzymujemy na ogół róŜne realizacje przedziałów ufności. Gdybyśmy oszacowanie przedziałowe
powtórzyli wiele razy, to częstość realizacji, do których szacowany parametr naleŜy byłaby bliska
poziomowi ufności i tak np. jeśli próbę powtórzono 100 razy i poziom ufności przyjęto 0,99, to
częstość tych realizacji, do których parametr naleŜy byłaby bliska 0,99, a więc średnio tylko do
jednej ze 100 realizacji szacowany parametr nie będzie naleŜał.
Błąd bezwzględny. Błąd względny
Jeśli realizacja (15.2) ma postać <u n - ε; u n + ε> , to liczbę ε nazywamy błędem bezwzględnym, zaś
ε
liczbę δ=
błędem względnym oszacowania parametru na poziomie istotności 1 - α.
un
Na poniŜszym rysunku przedstawiono kilka z moŜliwych realizacji przedziałów ufności dla
wartości oczekiwanej.
m
Rys. 15.4. Ilustracja szacowania m za pomocą przedziałów ufności
Niektóre z nich pokrywają prawdziwą wartość parametru m, a niektóre nie. Sumarycznie, tzn.
odnosząc się do wszystkich realizacji przedziałów ufności otrzymywanych tą metodą naleŜy
stwierdzić, Ŝe z częstością bliską 1-α pokrywają prawdziwą wartość parametru.
12
RozwaŜa się takŜe jednostronne przedziały ufności postaci (-∞; Un> lub <Un;-∞).
20
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
15.3.2. Wyznaczenie przedziału ufności dla wartości oczekiwanej rozkładu normalnego
Dla zilustrowania sposobu postępowania przy określeniu przedziału ufności wyznaczymy go dla
wartości oczekiwanej rozkładu normalnego w dwóch przypadkach: przy znanej i nieznanej
wariancji.
Znana wariancja.
Cecha X ma rozkład normalny N(m,σ), σ jest znane.
Do budowy przedziału ufności na poziomie 1 – α wybieramy statystykę do oszacowania wartości
oczekiwanej w postaci średniej arytmetycznej próby X n , która jak wiadomo (21-3.1) jest
σ
estymatorem najefektywniejszym. Jak wiadomo13, średnia arytmetyczna ma rozkład X n : N(m,
)
n
zaleŜny od wartości oczekiwanej m.
Standaryzujemy X n , tzn. przekształcamy ją w statystykę U n
Un =
Statystyka Un ma rozkład N(0,1)14 .
Xn − m
σ
n
Wyznaczamy przedział liczbowy < −u α , u α > tak aby
P[− u α ≤
Xn − m
≤ uα ] = 1− α
σ
n
(15-3.2)
gdzie uα zaleŜy od poziomu ufności 1 - α.
Rozwiązujemy nierówność pod znakiem prawdopodobieństwa względem m
σ
σ
−u α
≤ Xn − m ≤ u α
n
n
σ
σ
−Xn − u α
≤ −m ≤ − X n + u α
n
n
σ
σ
Xn + uα
≥ m ≥ Xn − uα
n
n
σ
σ
Xn − uα
≤ m ≤ Xn + u α
(15-3.3)
n
n
ZaleŜność (15-3.3 ) określa szukany przedział ufności, spełnia on warunek
σ
σ
(15-3.4)
P(X n − u α
≤ m ≤ Xn + uα
) = 1− α
n
n
Dla jego określenia naleŜy jeszcze wyznaczyć uα. Uwzględniając (3.6-2) i rozkład normalny Un
P(− u α ≤ U n ≤ u α ) = P(U n ≤ u α ) − P(U n ≤ − u α ) = φ(u α ) − φ(− u α )
qdzie Φ jest dystrybuantą rozkładu normalnego N(0,1).
PoniewaŜ Φ (−u α ) = 1 − Φ (u α ) - patrz poniŜszy rysunek
13
14
Podpunkt 19.1.1 części VI Wybrane twierdzenia z dowodami
Podpunkt 20.5.5 części VI Wybrane twierdzenia z dowodami
21
STATYSTYKA MATEMATYCZNA
Rysunek 15.14a. Wyznaczanie granicy przedziału ufności
to
P(− u α ≤ U n ≤ u α ) = φ(u α ) − 1 + φ(u α ) = 2φ(u α ) − 1
Uwzględniając (15-3.2) mamy równanie do wyznaczenia uα
2φ(u α ) − 1 =1-α
Zatem uα wyznacza się z zaleŜności
φ(u α ) = 1 −
α
2
(15-3.5)
Uwagi dotyczące przedziału ufności (15.3)
1. PołoŜenie końców przedziału jest losowe (bo średnia z próby ma wartość zaleŜną od realizacji
próby).
2. Długość przedziału jest stała.
3. Długość przedziału zaleŜy od poziomu ufności 1–α (bo u α zaleŜy od α), im większy poziom
ufności, tym dłuŜszy przedział ufności – patrz rys. 15.3.
4. Długość przedziału jest odwrotnie proporcjonalna do pierwiastka liczebności próby, zatem ze
wzrostem liczebności próby zwiększa się dokładność oszacowania, jednak nadmierne
powiększanie próby nie jest korzystne, bowiem powoduje małe zwiększanie się dokładności.
5. Długość przedziału ufności zaleŜy od odchylenia standardowego σ cechy X. Jeśli X oznacza
wynik pomiaru, to σ oznacza dokładność pomiaru, a więc zwiększanie dokładności pomiarów
powoduje zmniejszenie błędu oszacowania.
Z powyŜszych uwag wynika, Ŝe potrzebny jest kompromis między zaufaniem do oszacowania
(poziomem ufności), a błędem oszacowania, bowiem zwiększenie ufności powoduje zwiększenie
błędu, zmniejszenie błędu powoduje zmniejszenie ufności oszacowania.
Stosowanie przedziału ufności (15.3) wymaga spełnienia załoŜenia, Ŝe odchylenie standardowe σ
jest znane. ZałoŜenie to w zagadnieniach praktycznych jest niezmiernie rzadko spełnione.
Nieznana wariancja
Cecha X ma rozkład normalny N(m,σ), σ jest znane..
Konstrukcja przedziału ufności dla wartości oczekiwanej rozkładu normalnego, gdy σ nie jest
znane wymaga innego, niŜ poprzednio przekształcenia średniej z próby, mianowicie
wykorzystujemy twierdzenie, Ŝe statystyka
X -m
Un = n
n-1
Sn
ma rozkład Studenta z n-1 stopniami swobody15. Dalej postępujemy podobnie jak poprzednio.
15
Podpunkt 21.1.2 części VI Wybrane twierdzenia z dowodami
22
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Wyznaczamy liczbę u α tak, by
P(-u α ≤ U n ≤ u α )=1- α
co jest równowaŜne wyraŜeniu
P( U n ≥ u α )=α
Liczbę u α spełniającą powyŜszy związek odczytujemy z tablic rozkładu Studenta z n-1 stopniami
swobody i poziomu prawdopodobieństwa α (pkt 6 części VII „Tablice statystyczne”) lub
znajdujemy ją przy pomocy programu komputerowego. Mamy
X -m
P(-u α ≤ n
n-1 ≤ u α )=1-α
Sn
Rozwiązując względem m występującą w powyŜszym związku nierówność otrzymujemy przedział
ufności
uS
uS
<X n - α n ;X n + α n > przedział ufności dla wartości oczekiwanej rozkładu normalnego
n-1
n-1
uS
ε= α n błąd bezwzględny (połowa długości przedziału ufności)
n-1
Tym razem nie tylko końce przedziału ufności są losowe, takŜe losowa jest długość przedziału
ufności.
Próba o duŜej liczności
RozwaŜymy jeszcze jedną sytuację. Nie mamy informacji, Ŝe rozkład cechy jest normalny, za to
wiemy, Ŝe próba jest liczna. Wówczas statystyka X n ma rozkład w przybliŜeniu normalny,
σ 

N  m,
 ). Postępując, jak przy konstrukcji przedziału (15.3) i zastępując σ odchyleniem
n

standardowym z próby ( o ile σ nie jest znane) otrzymujemy przedział ufności
uS
uS
<X n - α n ;X n + α n > - przedział ufności dla wartości oczekiwanej dowolnego rozkładu.
n
n
Podsumowanie
Znalezione powyŜej trzy przedziały ufności dla wartości oczekiwanej oraz przedziały ufności dla
innych parametrów są przedstawione w tabeli 15.3. Uogólniając powyŜszej przedstawione
postępowanie naleŜy stwierdzić, Ŝe konstrukcja przedziału ufności dla parametru Q polega na:
1. Wybraniu statystyki o rozkładzie zaleŜnym od Q, najlepiej by statystyka ta była estymatorem
najefektywniejszym tego parametru lub estymatorem o wysokiej efektywności.
2. Przekształceniu wybranej statystyki w statystykę U n wyraŜoną wzorem, w którym występuje
Q. Rozkład U n powinien być znany i zaleŜeć tylko od Q.
3. Wyznaczeniu przedziału liczbowego <u1 ;u 2 > , tak by P(u1 ≤ U n ≤ u 2 )=1-α .
4. Rozwiązaniu względem Q nierówności u1 ≤ U n ≤ u 2 .
23
STATYSTYKA MATEMATYCZNA
15.3.3. Tabela przedziałów ufności
Tabela 15.3. Zestawienie przedziałów ufności
Parametr
Wartość
oczekiwana
m
Rozkład cechy
Normalny
N(m,σ),
σ - jest znane
Normalny
N(m,σ),
σ - nie jest znane
Dowolny
Liczna próba
n ≥ 100
Wariancja σ2
Normalny N(m,σ)
nS2 nS2
;
u1 u 2
Odchylenie
standardowe
σ
Normalny
N(m,σ),
nS2 nS2
;
u1
u2
Wskaźnik
struktury p
Rozkład zerojedynkowy
P(X = 1) = p,
P ( X = 0) = 1 − p
liczna próba
n ≥ 100
Wartość
oczekiwana
m
Wartość
oczekiwana
m
Wyznaczanie liczby u α
Przedział ufności
σ uα
σu
<X−
; X+ α >
n
n
<X−
S uα
<X−
W − uα
n −1
S uα
n
Su α
; X+
; X+
n −1
Su α
n
α
2
Φ -dystrybuanta rozkładu N(0,1)
P(| Tn −1 |≥ u α ) = α
Tn-1 zmienna losowa o rozkładzie Studenta z n-1
stopniami swobody
α
Φ (u α ) = 1 −
2
Φ -dystrybuanta N(0,1)
α
P(Yn −1 ≥ u 1 ) =
2
α
P(Yn −1 ≥ u 2 ) = 1 −
2
Yn-1 ma rozkład χ2 z n – 1 stopniami swobody
α
P(Yn −1 ≥ u 1 ) =
2
α
P(Yn −1 ≥ u 2 ) = 1 −
2
Yn-1 ma rozkład χ2 z n – 1 stopniami swobody
α
Φ (u α ) = 1 −
2
Φ -dystrybuanta rozkładu normalnego N(0,1)
Φ (u α ) = 1 −
>
>
W(1 − W)
W(1 − W)
; W + uα
n
n
W - wskaźnik struktury w próbie
W=Yn/n Yn – licznba jedynek w próbie
24
Nr
PU-1
PU-2
PU-3
PU-4
PU-5
PU-6
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Przykład 15.3
Badano ceny drukarek Canon BC250 w 40 wylosowanych punktach sprzedaŜy. Otrzymano, Ŝe
średnia cena drukarki wynosi 358,37. Zakładając, Ŝe cena drukarki w całej populacji ma rozkład
normalny N(m, σ) na poziomie ufności 1-α = 0,95 wyznaczymy na podstawie 40 elementowej
próby przedział ufności dla średniej ceny drukarki przyjmując, Ŝe odchylenie standardowe populacji
jest równe 20.
Rozwiązanie.
Zastosujemy przedział ufności PU-1: <X-
σ uα
n
; X+
σ uα
n
> . PoniewaŜ 1-α = 0,95, czyli α = 0.05
α
α
= 0.025. Równanie do wyznaczenia uα ma postać Φ(u α )=1- = 0,975, stąd uα=1,96, więc błąd
2
2
σu
20 ⋅1,96
bezwzględny, czyli połowa długości przedziału ufności ε= α =
= 6,198.
n
40
Średnia arytmetyczna ceny jest równa x = 358,37.
i
Zatem szukanym przedziałem ufności jest przedział <358,37–6,2;358,37+6,2 = <352,17;364,57>
ε
6,2
Błąd względny δ= 100%=
100% = 1,55%.
x
358,37
σ uα
Długość połowy przedziału ufności równą ε =
zwraca funkcja UFNOŚĆ arkusza Excel na
n
podstawie odchylenia standardowego σ i liczebności próby.
Zwracamy uwagę, Ŝe otrzymany wynik jest identyczny jak obliczony powyŜej.
25
STATYSTYKA MATEMATYCZNA
Przykład 15.4
Dla danych z przykładu 15.3 obliczymy błędy bezwzględny i względny oszacowania parametru m
na poziomie ufności 1 - α = 0,99.
Rozwiązanie
α
Mamy Φ(u α )=1- = 0,995, stąd u α =2,576 , więc błąd bezwzględny, czyli połowa długości
2
σu
ε
8,15
20 ⋅ 2,576
przedziału ufności ε = α =
=8,15, błąd względny δ = =
=2,27% x 358,37
n
40
Widzimy, Ŝe powiększanie poziomu ufności (zaufania do otrzymanego oszacowania) powoduje
powiększenie obu błędów bezwzględnego i względnego. Dlatego w praktyce nie moŜna
przyjmować zbyt duŜych poziomów ufności, gdyŜ prowadzi to do duŜych błędów oszacowania
(przedziały ufności mają wtedy duŜą długość).
Niektórzy praktycy przyjmują, Ŝe oszacowanie jest:
• Bardzo dobre, gdy błąd względny jest równy najwyŜej 2%;
• Dobre, gdy błąd względny jest zawarty między 2% i 5%;
• Dostateczne, gdy błąd względny jest zawarty między 5% i 10%;
• Niedostateczne, gdy błąd względny jest większy od 10%.
Przykład 15.5
Na poziomie 0,95 obliczmy przedział ufności dla średniej ceny monitorów 17 calowych na
podstawie 12 elementowej próby: 733, 685, 761, 812, 708, 735, 639, 730, 703, 694, 714, 664
zakładając, Ŝe cena ma rozkład normalny.
Rozwiązanie
Stosujemy przedział ufności PU-2 <XObliczamy: x = 714,83 oraz s
Su α
Su α
; X+
>
n-1
n-1
1 10
2
∑ (x i − 714,83) =43,19
12 i =1
Liczba u α spełnia związek P(|Tn-1| ≥ u α )=α , który dla danych zadania przybiera postać
P(|T11| ≥ u α ) = 0,01. Z tablicy rozkładu Studenta dla 11 stopni swobody i poziomu prawdopodobieństwa 0,05 (pkt 6 części VII „Tablice statystyczne”) odczytujemy, Ŝe u α = 2,201, więc
Su α 43,19 ⋅ 2,201 95, 064
ε=
=
=
=28,66 .
Zatem
przedział
ufności
jest
równy
3, 317
n-1
11
< 8, 6 − 0, 23 ; 8, 6 + 0, 23 > = < 8, 37 ; 8, 63 >
ŝ u
45,11 ⋅ 2, 201 99, 287
Długość połowy przedziału ufności równą ε ' = α =
= 28,66 zwraca
=
3, 464
n
12
narzędzie Statystyka opisowa modułu Analiza danych pakietu Excel
Kolumna1
Średnia
Błąd standardowy
Mediana
Tryb
Odchylenie standardowe
Wariancja próbki
Poziom ufności (95,0%)
714,8333333
13,02261048
711
#N/D!
45,11164601
2035,060606
28,6625724
Zwraca się uwagę, Ŝe otrzymany wynik jest identyczny jak obliczony powyŜej.
26
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Przykład 15.6
Jako miarę dokładności przyrządu przyjęto odchylenie standardowe pomiarów dokonanych tym
przyrządem. Zakładamy, Ŝe pomiary pochodzą z populacji normalnej N(m,σ). Dokonano 20
pomiarów i otrzymano wariancję z próby 6,5. Na poziomie ufności 0,9 oszacuj przedziałem ufności
wariancję i odchylenie standardowe wszystkich moŜliwych pomiarów.
Rozwiązanie
Dane n = 20, s2 =6,5, 1- α = 0, 9, rozkład cechy populacji N(m, σ).
Stosujemy przedziały ufności PU-4 i PU-5
nS2 nS2
;
u1 u 2
nS2 nS2
;
u1
u2
,
Liczby u1 i u2 spełniają związki
P(Yn-1 ≥ u1 )=
α
2
P(Yn-1 ≥ u 2 )=1-
α
2
w których Yn-1 oznacza zmienną losową o rozkładzie χ2 z n-1 stopniami swobody.
0,1
=0,05
2
0,1
P(Y19 ≥ u 2 )=1=0,95
2
P(Y19 ≥ u1 )=
Z tablicy rozkładu χ2 (pkt 5 części VII „Tablice statystyczne”) odczytujemy, Ŝe u1 = 30,1 u2 = 10,1
Przedział ufności dla wariancji
20 ⋅ 6,5 20 ⋅ 6, 5
;
=< 4,3;12, 9 >
30,1
10,1
Przedział ufności dla odchylenia standardowego < 4, 3 ; 12, 9 > = < 2,1 ; 3, 6 > Przykład 15.7
Na 400 obrotów anteny radarowej obiekt znajdujący się w obszarze obserwacji radaru został
wykryty 350 razy. Literą p oznaczamy prawdopodobieństwo wykrycia obiektu przy jednym obrocie
anteny (niezawodność radaru). Znajdziemy przedział ufności dla p na poziomie ufności 0,95.
Rozwiązanie
Niech X będzie zmienną losową przyjmującą wartość 1, gdy w jednym obrocie anteny obiekt został
wykryty, zaś wartość 0, gdy nie został wykryty. Zmienna losowa X ma rozkład zerojedynkowy z
parametrem p. Prawdopodobieństwo p oszacujemy przedziałem ufności PU-6
W-u α
W(1-W)
W(1-W)
; W+u α
n
n
gdzie w jest wskaźnikiem struktury w próbie (oszacowaniem wskaźnika struktury p w populacji)
k
w = , k - liczba jedynek w próbie.
n
Dla danych w zadaniu mamy
w=
k 350
=
= 0,875 = 87,5%
n 400
27
STATYSTYKA MATEMATYCZNA
α
0,05
Φ(u α )=1- =1=0,975 ⇒ u α =1,96
2
2
w(1-w)
0,875 ⋅ 0,125
ε = uα
=1,96
=3,2%
n
400
<87,5%-3,2% ; 87,5%+3,2%>= <84,2% ; 90,7%>
Odp. Niezawodność radaru z ufnością 0,95 jest zawarta między 84,2% a 90,7%. 15.3.4. Wyznaczanie wielkości próby
Zagadnienie
Wyznaczyć liczebność próby n tak by błąd bezwzględny oszacowania parametru przedziałem
ufności wynosił ε , przy poziomie ufności 1 - α .
Zasady wyznaczania wielkości próby podano w poniŜej tabeli.
Tabela 15.4. Wyznaczanie liczebności próby n przy poziomie ufności 1 - α
ZałoŜenia
Cecha X ma
rozkład
normalny
N(m, σ), σ jest
znana16
Cecha X ma
rozkład
normalny
N(m, σ), σ nie
jest znana
Etapy wyznaczania liczebności próby
1) Wyznaczamy liczbę uα : Φ(u α )=1 σu 
2) Obliczamy n =  α 
 ε 
α
2
2
Nr
LP-1
1) Pobieramy próbę o małej liczebności n0 (wstępną próbę) i szacujemy
odchylenie standardowe σ za pomocą odchylenia standardowego s0
z tej próby
2
s u 
2) Obliczamy n =  0 α  + 1
 ε 
LP-2
Rozkład cechy 3) Jeśli n-n0 > 0, to naleŜy powiększyć próbę o n-n0 elementów.
X nie jest znany. Jeśli
Próba jest liczna n – n0 ≤ 0, to poprzestajemy na pobraniu wstępnej próby.
Cecha X ma
rozkład
zerojedynkowy.
Próba jest
liczna.
Dokładność
oszacowania
dokładnością ε
17
1) Wyznaczamy liczbę uα : Φ(u α )=1-
α
2
u α2
k gdzie
ε2
w − oszacowanie wskaźnika na podstawie wstępnej próby,

 w(1 − w) w ≤ 0,5

k =  0, 25
nie mamy Ŝadnych informacji o w
 0, 21
jesli wiemy, Ŝe wadliwość nie moŜe przekroczyć 30%


2) Obliczamy n =
Uwaga: Przy obliczaniu n zawsze przyjmujemy zaokrąglenie w górę
16
17
Patrz przedział ufności PU-1
Patrz przedział ufności PU-6
28
LP-3
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Przykład 15.8
W doświadczeniu chemicznym bada się czas trwania reakcji chemicznej. Czas ten modelujemy
zmienną losową X o rozkładzie normalnym N(m, 5 sek).
Ile razy naleŜy powtórzyć to doświadczenie, by oszacować przedziałem ufności średni czas m
trwania tej reakcji na poziomie ufności 0,95 tak, by błąd bezwzględny wynosił 2 s?
Rozwiązanie
Korzystamy z zasady LP-1 podanej w tabeli 15.3
 σ uα 
n =

 ε 
2
Φ (u α ) = 1 −
α
0, 05
= 1−
= 0,975 ⇒ uα=1,96,
2
2
2
 1,96 ⋅ 5 
n=
 ≈ 24
 2 
Odp. NaleŜy doświadczenie powtórzyć 24 razy. Przykład 15.9
Cecha X populacji ma rozkład normalny o nieznanych parametrach. W celu oszacowania wartości
oczekiwanej przedziałem ufności o długości 1, na poziomie ufności 0,96, pobrano wstępną
5- elementową próbę i otrzymano odchylenie standardowe s0=0,8. Jak wielką próbę naleŜy pobrać?
Rozwiązanie
Korzystamy z zasady LP-2 podanej w tabeli 15.3
Φ (u α ) = 1 −
α
0, 04
= 1−
= 0,98 ⇒ u α = 2, 05
2
2
2
2
 0,8 ⋅ 2, 05 
s u 
n =  0 α  +1= 
 + 1 ≈ 12
 ε 
 0,5 
Odp. NaleŜy pobrać próbę 12 elementową, czyli naleŜy dobrać jeszcze 7 elementów. Przykład 15.10
Cecha X populacji ma rozkład normalny N(m, σ), σ nie jest znana. Jak wielką próbę naleŜy pobrać,
by na poziomie ufności 0, 98 oszacować wartość oczekiwaną m z błędem, co najwyŜej równym 0,5,
gdy na podstawie wstępnej próby 50 elementowej otrzymano odchylenie standardowe 3,0?
Rozwiązanie
Korzystamy z zasady LP-2 podanej w tabeli 15.3
1 – α = 0, 98 ε = 0,5 n 0 = 50 s0 = 3, 0
α
0, 04
Φ (u α ) = 1 − = 1 −
= 0, 98 ⇒ uα = 2,05
2
2
2
2
 3, 0 ⋅ 2, 05 
s u 
n =  0 α  +1 = 
 + 1 ≈ 153
 ε 
 0,5 
Odp. NaleŜy wziąć próbę 153 elementową, naleŜy więc jeszcze dobrać 103 elementy. 29
STATYSTYKA MATEMATYCZNA
Przykład 15.11
Mamy oszacować przedziałem ufności wadliwość p partii towaru na poziomie ufności
1- α = 0,96, z dokładnością ε = 0,05. Jak wielka powinna być próba?
Rozwiązanie
α
0,04
Φ(u α )=1- =1=0,98 ⇒ uα = 2,05
2
2
w(1-w)
n = u α2
ε2
Jeśli nie mamy Ŝadnych informacji o wadliwości w, to w miejsce iloczynu w(1-w) podstawiamy ¼
(największą wartość iloczynu).
1/4
≈ 421
0,052
Jeśli natomiast wiemy, Ŝe wadliwość nie moŜe przekroczyć 30%, to iloczyn w (1-w) nie moŜe
0,21
przekroczyć liczby 0,3 ⋅ 0,7 = 0,21, zatem n=2,052
≈ 353 0,052
n = 2,052
15.3.5. Wykorzystanie arkusza Excel
Lp
Zakres analizy statystycznej
1.
Estymacja długości połowy przedziału
ufności dla wartości oczekiwanej przy
znanej wariancji
2.
Estymacja długości połowy przedziału
ufności dla wartości oczekiwanej przy
nieznanej wariancji
Funkcje
statystyczne
Narzędzia statystyczne
UFNOŚĆ
STATYSTYKA
OPISOWA
30
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
16. WERYFIKACJA HIPOTEZ
16.1 Wprowadzenie
16.1.1. Uwagi wstępne
Teoria weryfikacji hipotez zajmuje się metodami sprawdzania hipotez statystycznych.
Hipoteza statystyczna to kaŜde przypuszczenie dotyczące nieznanego rozkładu badanej cechy
(cech). Hipoteza dotycząca jedynie wartości parametrów cechy nazywa się hipotezą parametryczną,
natomiast hipoteza precyzująca, do jakiego typu rozkładów naleŜy rozkład cechy populacji, nosi
nazwę hipotezy nieparametrycznej.
Przykład 16.1
Wiemy, Ŝe cecha X populacji ma rozkład N(m, 3). Przypuszczenie, Ŝe „wartość oczekiwana cechy
X jest równa 5” jest hipotezą parametryczną.
ZałóŜmy teraz, Ŝe nie mamy Ŝadnej informacji o rozkładzie cechy X populacji. Przypuszczenie
„rozkład cechy X jest normalny” jest hipotezą nieparametryczną. Test statystyczny jest to metoda weryfikacji (sprawdzania) hipotez statystycznych, przy czym
•
Test parametryczny jest to test do weryfikacji hipotez parametrycznych.
•
Test nieparametryczny jest to test do weryfikacji hipotez nieparametrycznych.
Zajmiemy się najpierw hipotezami i testami parametrycznymi dla jednej i dwóch prób.
Rozpatrzmy cechę X populacji, o rozkładzie zaleŜnym od parametru Q ∈ Ω, gdzie Ω jest
podzbiorem zbioru liczb rzeczywistych, zwanym przestrzenią parametru.
O parametrze Q wysuwamy dwie hipotezy:
• Hipotezę zerową, (główną, sprawdzaną), Ŝe parametr Q ma wartość równą Q0∈ Ω, co
zapisujemy H0 (Q = Q0) i czytamy: hipoteza H zero, Ŝe parametr Q jest równy Q zero.
• Hipotezę alternatywną, Ŝe parametr Q przyjmuje dowolną wartość z przestrzeni parametru róŜną
od Q0, co zapisujemy H1 ( Q∈ Ω- Q0)
W zagadnieniach tu rozwaŜanych hipoteza alternatywna będzie miała jedną z czterech poniŜszych
postaci
H1 (Q ≠ Q0), H1 (Q > Q0), H1 (Q < Q0), H1 (Q = Q1).
(16.1)
Przy weryfikacji hipotez podejmujemy jedną z dwu decyzji
• Odrzucić hipotezę zerową i przyjąć alternatywną.
• Przyjąć hipotezę zerową i odrzucić alternatywną.
PoniewaŜ decyzje przy weryfikacji hipotez podejmujemy na podstawie próby, więc decyzja moŜe
być błędna mimo iŜ test został wykonany poprawnie.
Hipoteza zerowa odzwierciedla z reguły pytanie, na które naleŜy uzyskać odpowiedź. Występują
równieŜ przypadki, Ŝe taką rolę spełnia hipoteza alternatywna, ale łatwiej jest weryfikować hipotezę
zerową. Hipotezę alternatywną ustala się na podstawie przesłanek, jakimi dysponuje się przed
pobraniem próby, tzn. postać hipotezy alternatywnej określona jest wiedzą o problemie badawczym
nie opierającą się o wnioski z analizy prób. Tak więc hipoteza alternatywna wyraŜa skrystalizowane
a priori przypuszczenie o treści róŜnej od treści hipotezy sprawdzanej.
Opis testu parametrycznego
X - cecha populacji, Q – parametr rozkładu cechy X.
Wysuwamy hipotezy: zerową H0 (Q = Q0) i alternatywną H1, która ma jedną z postaci (16.1).
31
STATYSTYKA MATEMATYCZNA
Postępowanie przy weryfikacji powyŜszych hipotez jest następujące
1. Wybieramy pewną statystykę U n o rozkładzie zaleŜnym od parametru Q oraz pewną liczbę α z
przedziału (0,1) i wyznaczamy podzbiór K zbioru liczb rzeczywistych tak by spełniony był
warunek
P(U n ∈ K/Q=Q0 ) = α
(16.2)
czyli by prawdopodobieństwo, iŜ statystyka Un przyjmie wartość ze zbioru K, przy załoŜeniu, Ŝe
prawdziwa jest hipoteza zerowa było równe α.
2. Pobieramy próbę18 i obliczamy wartość un statystyki Un
3. Podejmujemy decyzje
odrzucamy H0 , gdy un∈K
przyjmujemy H0, gdy u n ∉ K
(16.3)
(16.4)
Wykorzystywaną statystykę Un nazywamy sprawdzianem, zbiór K – zbiorem krytycznym,
a liczbę α poziomem istotności.
Przy weryfikacji hipotez przyjmuje się mały poziom istotności (bliski 0, ale dodatni).
Uzasadnienie podejmowanych decyzji:
• Decyzja (16.3): Jeśli hipoteza H0 (Q = Q0) jest prawdziwa, to prawdopodobieństwo zdarzenia
Un∈K jest zgodnie z (16.2) równe α, a więc tak małe, Ŝe uwaŜamy, iŜ zajście tego zdarzenia jest
w praktyce niemoŜliwe. PoniewaŜ jednak to zdarzenie dla pobranej próby zaszło, więc
wnioskujmy, Ŝe załoŜenie, przy którym prawdopodobieństwo tego zdarzenia zostało obliczone
jest nieprawdziwe. Stąd teŜ odrzucamy H0.
• Decyzja (16.4): Jeśli zdarzenie Un∈K, przy załoŜeniu, Ŝe hipoteza H0 (Q = Q0) jest prawdziwa,
nie zaszło, to nie ma powodu, by twierdzić, Ŝe H0 nie jest prawdziwa, bowiem nie ma nic
nadzwyczajnego w fakcie, Ŝe nie zaszło zdarzenie o małym prawdopodobieństwie. Dlatego
hipotezę H0 przyjmujemy lub ostroŜniej: mówimy, Ŝe nie ma podstaw do odrzucenia tej
hipotezy.
Przy podejmowaniu decyzji moŜna zawsze popełnić jeden z dwu błędów
• Błąd I rodzaju - błąd polegający na odrzuceniu hipotezy zerowej H0, gdy ta hipoteza jest
prawdziwa. Odrzucenie H0, gdy jest ona prawdziwa moŜna jako zdarzenie losowe zapisać
Un∈K/Q=Q0. Prawdopodobieństwo tego zdarzenia, zgodnie ze wzorem (16.2) jest równe
poziomowi istotności α, zatem prawdopodobieństwo błędu I rodzaju P(U n ∈ K/Q = Q 0 )=α .
• Błąd II rodzaju - błąd polegający na przyjęciu hipotezy zerowej H0, gdy ta hipoteza jest
fałszywa. Przypuśćmy, Ŝe hipoteza alternatywna jest postaci H1(Q = Q1). Wtedy błąd II rodzaju:
przyjęcie H0, gdy ta hipoteza jest fałszywa, jako zdarzenie losowe moŜna zapisać U n ∉ K/Q=Q1 ,
a prawdopodobieństwo tego zdarzenia oznaczmy β, zatem prawdopodobieństwo błędu II
rodzaju P(U n ∉ K/Q=Q1 )=β .
Jak widzimy prawdopodobieństwo błędu I rodzaju jest równe poziomowi istotności α, a więc jest
znane na podstawie metody weryfikacji, natomiast prawdopodobieństwo błędu II rodzaju wymaga
obliczenia, co wcale nie musi być łatwe, dlatego często rezygnujemy z jego wyznaczania.
18
WyróŜnia się dwa rodzaje prób: niepowiązane i powiązane. JeŜeli wartości określonej cechy mierzone są u róŜnych
elementów to otrzymywane próby nazywamy niepowiązanymi. Z kolei jeŜeli wartości cechy mierzone sa u tych
samych elementów np. w róŜnych momentach czasu to otrzymywane próby nazywamy powiązanymi.
32
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
W zaleŜności od postaci hipotezy alternatywnej przyjmuje się róŜną postać zbioru krytycznego.
I tak:
Zbiór krytyczny prawostronny jest to
zbiór postaci K =< k 2 ; ∞) . Wzór (16.2)
przybiera teraz postać
P(U n ≥ k 2 /Q=Q 0 )=α
Rys. 16.1. Prawostronny zbiór krytyczny
Zbiór krytyczny lewostronny jest to
zbiór postaci K = ( −∞; k1 > . Wzór
(16.2) przybiera teraz postać
P(U n ≤ k1 /Q=Q 0 )=α
Jeśli gęstość statystyki Un / Q=Q0 ma
wykres symetryczny względem osi Oy
(rozkład normalny, rozkład Studenta), to
zbiór krytyczny lewostronny moŜna
zapisać w postaci K = ( −∞;−k > . Wzór
(16.2) przybiera teraz postać
P( U n ≥ k | Q = Q 0 ) = α identyczną jak
dla zbioru krytycznego prawostronnego.
Rys. 16.2. Lewostronny zbiór krytyczny
Zbiór krytyczny dwustronny jest to zbiór
postaci K = (−∞; k1 > ∪ < k 2 ; ∞) . Zbiór
ten w przypadku symetrycznego
względem osi Oy rozkładu statystyki
Un / Q=Q0 przyjmuje postać
K=(-∞;-k>∪<k;∞)
W pierwszym przypadku liczby k1 i k2
wyznaczamy z relacji
Rys. 16.3. Dwustronny zbiór krytyczny
P(U n ≤ k1 /Q=Q0 )=α/2
P(U n ≥ k 2 /Q = Q0 )=α/2
W drugim przypadku liczba k spełnia
relację P(|U n | ≥ k)=α
Zbiór krytyczny naleŜy wybrać tak, by przy ustalonym prawdopodobieństwie
(poziomie istotności), prawdopodobieństwo błędu II rodzaju było najmniejsze.
• Jeśli hipoteza alternatywna ma postać H1 (Q > Q0), to przyjmujemy
prawostronny.
• Jeśli hipoteza alternatywna ma postać H1 (Q < Q0), to przyjmujemy
lewostronny.
• Jeśli hipoteza alternatywna ma postać H1 (Q ≠ Q0), to przyjmujemy
dwustronny.
33
błędu I rodzaju
zbiór krytyczny
zbiór krytyczny
zbiór krytyczny
STATYSTYKA MATEMATYCZNA
16.1.2. Pzykład konstrukcji testu parametrycznego do weryfikacji hipotezy o wartości
oczekiwanej
Badana jest cecha X populacji generalnej ma rozkład normalny N(m,σ), przy czym σ jest znane.
O wartości oczekiwanej wysuwamy hipotezy:
• zerową H0 (m=m0)
• alternatywną H1 (m>m0)
a)
ZałóŜmy, Ŝe hipoteza zerowa jest prawdziwa i Ŝe przyjęto hipotezę alternatywną postaci
H1 (m>m0). Hipotezy weryfikujemy na podstawie o próbę (x1 , x 2 ,..., x n1 ) przy poziomie
istotności α. Wtedy róŜnica X n − m 0 obliczona na podstawie próby powinna przyjąć wartość
bliską zeru, bowiem statystyka X n jest estymatorem najefektywniejszym parametru m.
Natomiast, gdy róŜnica ta jest duŜa (ze względu na kształt hipotezy alternatywnej powinna być
dodatnia), to moŜna sądzić, Ŝe hipoteza zerowa jest fałszywa.
Wygodniej jest posługiwać się postacią standaryzowaną statystyki X n − m 0 , czyli statystyką
Un =
Xn − m0
σ/ n
Statystyka Un/m = m0 ma rozkład normalny N(0,1). Mała wartość tej statystyki przemawia za
przyjęciem hipotezy zerowej, natomiast duŜa wartość za przyjęciem hipotezy alternatywnej.
Dlatego zbiór krytyczny przyjmujemy prawostronny (potwierdza się zasada wyboru zbioru
krytycznego K = <k ; ∞)) na danym poziomie istotności α. Liczba k spełnia związek
P(Un ≥ k/m = m0). Stąd 1 − Φ ( k ) = α , czyli Φ(k)=1-α . Liczba k jest liczbą graniczną w tym
sensie, Ŝe przyjmujemy, iŜ wartości un statystyki Un, obliczone na podstawie próby są duŜe,
gdy un ≥ k, natomiast są małe w przeciwnym przypadku. Zatem
Jeśli un ≥ k, czyli u n ∈ K , to H0 odrzucamy i przyjmujemy H1
Jeśli un < k, czyli u n ∉ K , to H0 przyjmujmy i odrzucamy H1
b)
ZałóŜmy teraz, Ŝe hipoteza alternatywna ma postać H1 (m< m0). TakŜe w tym przypadku mała
wartość statystyki Un przemawia za przyjęciem hipotezy zerowej, natomiast duŜa wartość
bezwzględna, ale ujemna za przyjęciem hipotezy alternatywnej. Dlatego zbiór krytyczny
przyjmujemy lewostronny K = (-∞ ; -k> na danym poziomie istotności α. Liczba k spełnia
związek P(Un ≤ -k/m = m 0 )=α . Stąd Φ(-k) = α ⇒ 1-Φ(k) = α , czyli Φ(k)=1-α .
c)
ZałóŜmy wreszcie, Ŝe hipoteza alternatywna ma postać H1 (m≠m0). W tym jak
i w poprzednich przypadkach mała wartość statystyki Un przemawia za przyjęciem hipotezy
zerowej, natomiast wartości o duŜym module (dodatnie lub ujemne) za przyjęciem hipotezy
alternatywnej. Dlatego zbiór krytyczny przyjmujemy dwustronny K=(-∞; -k> ∪ < k;∞) na
danym poziomie istotności α. Liczba k spełnia związek
α
P( U n ≥ k/m=m 0 ) = α . Stąd 2 [1-Φ(k)] = α , czyli Φ(k)=12
Przykład 16.2
Czas wykonania detalu modelowany jest zmienną losową o rozkładzie normalnym
N(m, 2 min.). W celu weryfikacji hipotez: zerowej, Ŝe średni czas wykonania detalu wynosi
3 min i alternatywnej, Ŝe wynosi 4,6 min., pobrano próbę 9 elementową, której średnia wyniosła 3,4
min. Zweryfikujemy powyŜsze hipotezy na poziomie istotności 0,015.
Rozwiązanie
X - zmienna losowa oznaczająca czas wykonania detalu,
Rozkład zmiennej losowej X: N(m, 2 min.)
Hipotezy: H0 (m =3), H1 (m =4,6)
Poziom istotności: α = 0,015
34
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Liczebność próby n = 9
Średnia z próby x 9 = 3,4
Sprawdzian Un =
X-m 0
σ/ n
. Wartość sprawdzianu u 9 =
3, 4 − 3, 0
2/ 9
= 0, 6
Zbiór krytyczny prawostronny K = <k; ∞)
Liczba k spełnia związek Φ(k) =1- α = 1- 0,015 =0,985 ⇒ k = 2,17
(na podstawie tablicy – pkt 4 części VII „Tablice statystyczne”).
.
K = <2,17 ; ∞)
u9 = 0,6
PoniewaŜ u 9 ∉ K , więc hipotezę H0 przyjmujemy.
Przy podjęciu tej decyzji moŜna popełnić błąd drugiego rodzaju. Obliczymy prawdopodobieństwo
tego błędu.
 X -3,0

β=P(U n ∉ K/Q=Q1 )=P(U 9 <2,17/m=4,6)=P  9
<2,17/m=4,6  =
 2/ 9

 X -4,6

1,6
=P  9
<2,17/m=4,6  =Φ(-0,23)=1-Φ(0,23)=0,4
2/ 9
 2/ 9

Odp. Hipotezę, Ŝe średni czas wykonania detalu wynosi 3 min. naleŜy przyjąć. Prawdopodobieństwo, Ŝe powyŜsza decyzja jest błędna wynosi 0,4, a więc jest wysokie, dlatego moŜna
polecić podjęcie ostroŜniejszej decyzji: nie ma podstaw do odrzucenia powyŜszej hipotezy. 16.1.3. Pzykład konstrukcji testu parametrycznego do weryfikacji hipotezy o równości
wartości oczekiwanych
Zakładamy, Ŝe badane cechy X i Y populacji generalnej są niezaleŜne i mają rozkłady normalne
X : N(m1 , σ1 ) oraz Y : N(m 2 , σ2 ) , przy czym σ1 i σ2 są znane.
O wartościach oczekiwanych wysuwamy hipotezy:
• zerową H0 (m1=my2
• alternatywną H1 (m1≠m2)
Hipotezy weryfikujemy na podstawie niezaleŜnych prób (x1 , x 2 ,..., x n1 ) i (y1 , y 2 ,..., y n 2 ) na
poziomie istotności α.
Do weryfikacji hipotezy wykorzystujemy średnie arytmetyczne z prób
X n1 =
1 n1
1
Xi Yn 2 =
∑
n1 i =1
n2
n2
∑Y
i
(16.5)
i =1
które są estymatorami nieobciąŜonymi i najefektywniejszymi wartości oczekiwanych – patrz tabela
15.2.
Gdyby hipoteza H0 była prawdziwa, wówczas róŜnica pomiędzy średnimi arytmetycznymi X n1 i
Yn 2 nie powinna być zbyt duŜa.
Jak wiadomo, średnie arytmetyczne X n1 i Yn 2 mają rozkłady
X n1 : N(m1 ,
σ1
σ
) Yn 2 : N(m 2 , 2 )
n1
n2
35
STATYSTYKA MATEMATYCZNA
Zatem zmienna losowa X n1 − Yn 2 ma rozkład:
σ12 σ 22
+ )
n1 n 2
N(m1 − m 2 ,
czyli zmienna
(X n1 − Yn 2 ) − (m1 − m 2 )
σ12 σ22
+
n1 n 2
ma rozkład N(0,1).
JeŜeli załoŜymy, Ŝe hipoteza H o : m1 = m 2 jest prawdziwa, to m1 − m 2 = 0 i wobec tego zmienna
X n1 − Yn 2
U n1 ,n 2 =
σ12 σ 22
+
n1 n 2
będzie miała rozkład normalny N(0,1).
Znajdziemy taką liczbę kα, aby przy ustalonym α był spełniony warunek
P U n1 ,n 2 > k α = α
(
)
(16-3.4)
Jest on równowaŜny warunkowi
{
}
P −k α ≤ U n1 ,n 2 ≤ k α = 1 − α
Ale
{
}
P −k α ≤ U n1 ,n 2 ≤ k α = P(U n1 ,n 2 ≤ k α ) − P((U n1 ,n 2 ≤ −k α ) = φ(k α ) − φ(−k α )
qdzie Φ jest dystrybuantą rozkładu normalnego N(0,1).
PoniewaŜ Φ (− u α ) = 1 − u α to
{
}
P −k α ≤ U n1 ,n 2 ≤ k α = φ(k α ) − 1 + φ(k α ) = 2φ(k α ) − 1
Równanie do wyznaczenia kα ma postać 2φ(k α ) − 1 =1-α
Zatem uα wyznacza się z zaleŜności
α
2
Na podstawie uα wyznacza się zbiór krytyczny (−∞; −k α ) ∪ (k α ; ∞) .
φ(u α ) = 1 −
36
(16-3.5)
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
16.1.4. Uwagi o weryfikacji hipotez parametrycznych
Uwaga 1. O związku poziomu istotności z decyzjami
JeŜeli odrzuci się hipotezę zerową na danym poziomie istotności, to odrzuci się ją takŜe na kaŜdym
poziomie istotności większym od danego.
JeŜeli przyjmie się hipotezę zerową na danym poziomie istotności, to przyjmie się ją takŜe na
kaŜdym poziomie istotności mniejszym od danego.
Czytelnik jest proszony o wykonanie ilustracji graficznej powyŜszych twierdzeń.
Uwaga 2. O granicznym poziomie istotności
Graniczny poziom istotności (oznaczenie α̂ ) to liczba taka, Ŝe
dla wszystkich poziomów istotności α ≥ αˆ hipotezę zerową odrzucamy
natomiast dla wszystkich poziomów istotności α < αˆ hipotezę zerową przyjmujemy.
α̂ wyznacza się na podstawie rozkładu sprawdzianu Un , przykładowo dla prawostronnego zbioru
ˆ
krytycznego α̂ = P(U n ≥ k/Q=Q
0 ) , gdzie k̂ jest otrzymaną wartością sprawdzianu.
Uwaga 3. O odrzucaniu hipotezy zerowej
Jeśli w wyniku testowania hipotez otrzymaliśmy decyzję o odrzuceniu hipotezy zerowej na danym
poziomie istotności i poziom graniczny jest mniejszy od danego, to moŜna ją takŜe odrzucić na
poziomie równym poziomowi granicznemu, więc moŜna zmniejszyć prawdopodobieństwo
popełnienia błędu II rodzaju, zatem utwierdzić się bardziej w przekonaniu, Ŝe podjęliśmy właściwą
decyzję.
Przykład 16.3
Cecha X populacji ma rozkład normalny N(m,2). O parametrze m wysunięto hipotezy
H0(m = 3) i H1(m = 1), które postanowiono zweryfikować na poziomie istotności 0,025. W tym celu
pobrano próbę 16 elementową i otrzymano średnią z próby równą 1,5. Zweryfikujemy te hipotezy
i obliczymy poziom graniczny.
Rozwiązanie
X − m0
1, 5 − 3, 0
Sprawdzian Un=
. Wartość sprawdzianu u16 =
= −3
2 / 16
σ/ n
Zbiór krytyczny prawostronny K =( -∞; -k>
Liczba k spełnia związek Φ(k) =1- α = 1- 0,025 =0,975 ⇒ k =1,96. K = (- ∞; -1,96>
PoniewaŜ u 16 ∈ K , więc hipotezę H0 odrzucamy, na poziomie istotności 0,025.
Poziom graniczny α̂ spełnia zaleŜność Φ(-3)=1-αˆ =0,99865 α̂ ≈ 0,00135
Wniosek. Hipotezę H0 naleŜy odrzucić na poziomie istotności równym 0,00135 (a więc bardzo
małym), co utwierdza nas w podjętej wcześniej decyzji - decyzja na podstawie poziomu istotności α
oraz poziomu granicznego α̂ , poniewaŜ α̂ ≈ 0,00135<.0,025=α.
Uwaga 4. O hipotezie alternatywnej
NaleŜy podkreślić, Ŝe decyzja o wysunięciu hipotezy alternatywnej w postaci H1(Q>Q0) lub
w postaci H1(Q<Q0) nie moŜe być podjęta na podstawie wyników próby, powinna natomiast
wynikać z analizy rozwaŜanego zjawiska i stosowanych testów. Jeśli więc nie mamy dostatecznie
mocnych argumentów za przyjęciem hipotezy alternatywnej w jednej z dwu powyŜszych postaci, to
zaleca się przyjąć postać H1(Q≠Q0). Konsekwencją tego faktu jest stosowanie zbioru krytycznego
dwustronnego, natomiast przy poprzednich hipotezach alternatywnych stosuje się zbiory krytyczne
jednostronne. NaleŜy jeszcze podkreślić, Ŝe przy stosowaniu testów opartych na zbiorach
krytycznych dwustronnych (testów dwustronnych) otrzymuje się większe prawdopodobieństwo
błędu II rodzaju, niŜ przy stosowaniu testów jednostronnych.
37
STATYSTYKA MATEMATYCZNA
Uwaga 5. O analogii przedziału ufności oraz zbioru krytycznego
W tym miejscu zwraca się uwagę na analogię przedziału ufności budowanego w ramach estymacji
parametrycznej oraz zbioru krytycznego określanego przy konstrukcji testu parametrycznego do
weryfikacji hipotez o parametrach rozkładu. PokaŜemy to na przykładzie cechy X o nieznanej
wartości oczekiwanej, która ma rozkład N(m, σ) ze znanym σ.
Rys. 16.4. Związek pomiędzy przedziałem ufności a zbiorem krytycznym
16.2. Testy parametryczne dla jednej próby
16.2.1. Testy do weryfikacji hipotezy o wartości oczekiwanej
ZałoŜymy, Ŝe badana cecha X populacji generalnej ma rozkład normalny N(m, σ), przy czym σ jest
znane. W podpunkcie 16.1.3. pokazaliśmy w jaki sposób konstruuje się test do weryfikacji hipotez:
• zerowej H0 (m=m0)
• alternatywnej H1 (m>m0)
Tak samo postępuje się przy konstrukcji testu dla innych hipotez alternatywnych: H1 (m< m0) lub
H1 (m≠m0).
W analogiczny sposób konstruuje się testy w dwóch innych przypadkach:
• σ nieznane
• σ nieznane, próba liczna
Zostały one przedstawione w tabeli 16.1.
38
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Tabela 16.1. Zestawienie testów do weryfikacji hipotezy o wartości oczekiwanej na podstawie próby o liczności n
Nr testu
TP-1
TP-2
TP-3
Rozkład cechy
N(m,σ)
N(m,σ)
Dowolny
Warunki stosowania
σ znane
σ nieznane
σ nieznane, próba
liczna
Hipoteza zerowa
H 0 (m=m0 )
H 0 (m=m0 )
H 0 (m=m0 )
Sprawdzian
X − m0
X − m0
X-m 0
σ/ n
S / n −1
S/ n
Rozkład sprawdzianu
pod warunkiem m=m0
N(0,1)
Studenta z n-1
stopniami swobody
N(0,1)
TP-3
Wariant testu
Hipoteza
alternatywna
Zbiór krytyczny
TP-1
TP-2
A
H1 (m>m0 )
< k ; ∞)
Φ (k ) = 1 − α
P(| Tn −1 | ≥ k ) = 2α
B
H 1 (m<m 0 )
( −∞ ; − k >
Φ (k ) = 1 − α
P(| Tn −1 | ≥ k ) = 2α
C
H1 (m ≠ m0 )
( −∞ ; − k > ∪ < k ; ∞)
α
2
P(| Tn −1 | ≥ k ) = α
Φ (k) = 1 −
39
Φ (k ) = 1 − α
Φ (k) = 1 −
α
2
STATYSTYKA MATEMATYCZNA
Przykład 16.4
Czasy wykonania pewnego złoŜonego zestawienia (w sekundach) w zaleŜności od danych były
następujące:
123
146
151
149
162
133
142
156
155
137
Zweryfikować na poziomie α = 0,05 hipoezę H0 (m=140) względem H1 (m>140) przy załoŜeniu,
Ŝe rozpatrywany czas ma rozkład N(m, σ), w dwóch przypadkach: a) σ = 12 b) σ nieznane
Rozwiązanie
a) σ = 12
Wykorzystujemy test TP-1. Na podstawie próby obliczamy średni czas wykonania zestawienia
x =145,4.
X − m0
145, 4 − 140
5, 4
5, 4
Wartość sprawdzianu U n =
jest równa u10 =
=
=
= 1, 423
12 / 3,163 3, 794
σ / 10
12 / 10
Z tablic rozkładu normalnego wyznaczamy wartość k dla której Φ (k) = 1 − α = 0,95 otrzymując
k=1,64. Zatem zbiór krytyczny ma postaćK= < 1,64 ; ∞) . Wartość sprawdzianu nie naleŜy do zbioru
krytycznego, czyli hipotezę zerową przyjmujemy.
Wysunięte hipotezy moŜna zweryfikować korzystając z funkcji statystycznej TEST.Z arkusza
kalkulacyjnego Excel, podając wartość oczekiwaną 140 z H0 w polu X oraz odchylenie
standardowe 12 w polu Sigma.
Wynik formuły to krytyczny poziom istotności α̂ ≈ 0,0774 przy weryfikacji hipotezy dla
prawostronnego zbioru krytycznego. PoniewaŜ α̂ ≈ 0,0774 > 0.05 = α więc H0 przyjmujemy19.
MoŜemy na zakończenie przekonać się, Ŝe rzeczywiście α̂ ≈ 0,0774 jest krytycznym poziomem
istotności. Wstawiając wartość sprawdzianu u10=1,423 do funkcji ROZKLAD.NORMALNY.S
otrzymujemy 0,9226 .
19
Patrz uwaga 2 w punkcie 16.1.4.
40
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Otrzymany wynik 0,9226 = 1 - α̂ = 1 - 0,0774.
b) σ nieznane.
Zamiast testu TP-1 wykorzystamy test TP-2, a uwzględniając postać hipotezy alternatywnej jego
wersję TP-2C.
Na podstawie próby obliczamy:
• średni czas wykonania zestawienia x =145,4.
1 10
• wariancję z próby s 2 = ∑ (x i − x)2 = 126,24, czyli s = s 2 = 126, 24 = 11, 24
10 i =1
Zatem wartość sprawdzianu U n =
X − m0
S / n −1
u10 =
145, 4 − 140 145, 4 − 140
=
= 1, 44
3, 75
11, 24 / 9
Z tablic rozkładu Studenta P(| T9 | ≥ k) = 0,1 otrzymujemy k=1,833. Uwzględniając postać H1 zbiór
krytyczny jest następujący K= < k ; ∞) = < 1,833 ; ∞) . Wartość sprawdzianu nie naleŜy do zbioru
krytycznego, czyli nie ma podstaw do odrzucenia hipotezy zerowej.
Wysunięte hipotezy moŜna zweryfikować korzystając z funkcji statystycznej TEST.Z arkusza
kalkulacyjnego Excel, podając wartość oczekiwaną 140 z H0 w pole X oraz nie wypełniając pola
Sigma.
41
STATYSTYKA MATEMATYCZNA
Wynik formuły jest równy krytycznemu poziomowi istotności α̂ = 0,0747 dla prawostronnego
zbioru krytycznego krytycznego. PoniewaŜ α̂ ≈ 0,0747 > 0.05 = α więc H0 przyjmujemy.
MoŜemy na zakończenie sprawdzić, czy rzeczywiście α̂ ≈ 0,07467 jest krytycznym poziomem
istotności. Wstawiając wartość sprawdzianu u10=1,44 do funkcji ROZKLAD.T otrzymujemy
0,0918.
Otrzymany wynik 0,0918 jest róŜny od α̂ = 0,0747. Spowodowane jest to tym, Ŝe w arkuszu Excel
wykorzystano rozkład normalny, co oznacza, Ŝe zastosowany został test dla prób o duŜych
licznościach, mimo Ŝe liczność próby wynosiła zaledwie 10.
Dowodem tego jest wstawienie
ROZKLAD.NORMALNY.S
wartości
42
sprawdzianu
u10=1,44
do
funkcji
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Otrzymany wynik 0,925 jest równy w przybliŜeniu 1 - α̂ = 1 – 0,0747
16.2.2. Testy do weryfikacji hipotezy o wariancji i odchyleniu standardowym
Cecha X populacji ma rozkład normalny N(m, σ), parametr m moŜe być znany lub nieznany.
Hipoteza zerowa H0 (σ = σ0)
Tabela 16.2. Testy do weryfikacji hipotezy o wariancji i odchyleniu standardowym
Hipoteza
alternatywna
H1 (σ>σ 0 )
Sprawdzian Un
Rozkład sprawdzianu
Zbiór krytyczny K
< k2 ; ∞ )
H1 (σ<σ 0 )
nS 2n
Wyznaczanie
liczby k
P(Yn-1 ≥ k 2 )=α
σ o2
2
Rozkład χ z n-1 stopniami
swobody
< 0 ; k1 >
P(Yn-1 ≥ k1 )=1-α
TP-4B
<0 ; k1 > ∪
P(Yn-1 ≥ k1 )=α/2
P(Yn-1 ≥ k 2 )=1-α/2
TP-4C
H1 (σ ≠ σ 0 )
∪ < k 2 ; ∞)
Nr testu
TP-4A
Yn-1 zmienna losowa o rozkładzie χ2 z n-1 stopniami swobody
Uwaga
Hipoteza H0 (σ = σ0), jest równowaŜna hipotezie H0 (σ2 = σ02 ), hipoteza H1 (σ>σ 0 ) jest równowaŜna
hipotezie H1 (σ2 > σ02 ), itd., zatem hipoteza o odchyleniu standardowym jest równowaŜna
odpowiedniej hipotezie o wariancji, co wykorzystuje się przy weryfikacji hipotez o tym parametrze.
Przykład 16.4
Popyt na pewien towar modelujemy zmienną losową X o rozkładzie normalnym. W próbie 10
elementowej otrzymaliśmy średnią 1250 kg i odchylenie standardowe 50 kg.
a) Na poziomie istotności 0,02 sprawdzimy hipotezy H0(m = 1350 kg) i H1(m ≠1350 kg)
b) Na poziomie istotności 0,05 sprawdzimy hipotezy H0(σ =45) i H1(σ >45)
Rozwiązanie
Cecha populacji X - popyt na towar. Rozkład cechy X: normalny N(m, σ), parametry m i σ nie są
znane.
Liczebność próby n = 10. Charakterystyki próby x10 =1250 kg, s10 =50 kg
a) Stosujemy test TP – 2C. Sprawdzian U n =
X − m0
S / n −1
Zbiór krytyczny K= (−∞ ; − k > ∪ < k ; ∞)
43
jego wartość u10 =
1250 − 1350
= −6
50 / 9
STATYSTYKA MATEMATYCZNA
Wyznaczanie liczby k P(| Tn −1 | ≥ k ) = α . P(|T9 | ≥ k) = 0, 02 ⇒ k = 2,821 (na podstawie
tablicy rozkładu Studenta – pkt 6 części VII „Tablice statystyczne”)
K = (−∞ ; − 2,821 > ∪ < 2,821, ; ∞) 
 ⇒ u10 ∈ K ⇒ H 0 odrzucamy
u10 = −6

nS2n
10 ⋅ 502
,
jego
warto
ść
u
=
= 12,34
10
σ 2o
452
Zbiór krytyczny K = (k; ∞). Wyznaczanie liczbę k P(Yn-1 ≥ k) = α
b) Stosujemy test TP – 4A. Sprawdzian U n =
P(Y9 ≥ k) = 0, 05 ⇒ k = 16,919 (na podstawie tablicy rozkładu χ2 – pkt 5 części VII „Tablice
statystyczne”).
K = (16,919; ∞) 
 ⇒ u10 ∉ K ⇒ H 0 przyjmujemy
u10 = 12,34 
Przykład 16.5
Dokonano 10 pomiarów natęŜenia prądu. Otrzymano z tej próby wariancję 2,3. Zakładamy,
Ŝe natęŜenie to jest zmienną losową o rozkładzie normalnym.
Na poziomie istotności 0,04 sprawdź hipotezy: zerową, Ŝe natęŜenie prądu ma wariancję równą 2
i alternatywną, Ŝe natęŜenie prądu ma wariancję róŜną od 2.
Rozwiązanie
X – natęŜenie prądu
2
Rozkład cechy X: normalny N(m, σ). Liczebność próby n =10. Wariancja z próby s10
=2,3
2
2
Hipotezy H0 (σ = 2,0) H1 (σ ≠ 2,0) Poziom istotności α =0,04
nS2n
10 ⋅ 2,3
, jego wartość u10 =
= 11,5
2
σo
2, 0
Zbiór krytyczny K= < 0 ; k1 > ∪ < k 2 ; ∞)
P(Yn-1 ≥ k 2 ) = α / 2 ⇒ P(Y9 ≥ k 2 ) = 0, 02 ⇒ k2 = 19,679
P(Yn-1 ≥ k1 ) = 1 − α / 2 ⇒ P(Y9 ≥ k1 ) = 0,98 ⇒ k1 =2,532
K = < 0 ; 2,532 > ∪ < 19,679 ; ∞)
u10 =11,5
PoniewaŜ u10 ∉ K, więc hipotezę H0 przyjmujemy. Stosujemy test TP-4C. Sprawdzian Un=
16.2.3. Testy do weryfikacji hipotezy o wskaźniku struktury
Cecha X populacji ma rozkład zerojedynkowy P(X=1)=p, P(X=0)=1-p,
Hipoteza zerowa H 0 (p = p 0 ) . Próba liczna n ≥100
p ∈ (0;1)
Tabela 16.3. Test do weryfikacji hipotezy o wskaźniku struktury
Hipoteza
alternatywna
H1 (p > p0 )
H1 (p < p0 )
H1 (p ≠ p0 )
Sprawdzian U n
Rozkład sprawdzianu
W-p 0
n
p 0 (1-p 0 )
Asymptotycznie
normalny N(0,1)
Zbiór krytyczny K
Wyznaczanie
liczby k
Nr
testu
< k ; ∞) )
Φ (k ) = 1 − α
TP-5A
(−∞; k > ( −∞; k)
Φ(k ) = 1 − α
TP-5B
α
2
TP-5C
( −∞ ; − k > ∪ < k ; ∞)
W – wskaźnik struktury w próbie, w= r/n, r – liczba jedynek w próbie.
Φ – dystrybuanta rozkładu normalnego N(0,1)
44
Φ (k) = 1 −
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Przykład 16.6
W próbie 1000 osób uprawnionych do głosowania, 320 osób oświadczyło, Ŝe będzie głosować
w wyborach na pewną partię. Czy otrzymany wynik jest sprzeczny z przypuszczeniem, Ŝe na tą
partię moŜe głosować 35% wyborców? Sprawdzimy odpowiednie hipotezy na poziomie istotności
0,02.
Rozwiązanie
X – zmienna losowa przyjmująca wartość 1, gdy wyborca będzie głosował na daną partię, wartość
0, gdy nie będzie głosował na tą partię.
Zmienna losowa X na rozkład zerojedynkowy P (X = 1) = p, P(X = 0) = 1 − p
Liczebność próby n =1000. Liczba jedynek w próbie r = 320
r
320
Wskaźnik struktury w próbie w = =
= 0,32
n 1000
Poziom istotności α = 0,02
Hipotezy H 0 (p=0,35), H1 (p < 0,35)
Stosujemy test TP-5B
W − p0
0,32 − 0,35
n . Wartość sprawdzianu u n =
1000 = −2
Sprawdzian Un =
0,35 ⋅ 0,65
p 0 (1 − p 0 )
Zbiór krytyczny K = (−∞ ; − k >
Φ ( k ) = 1 − α = 0,98 ⇒ k = 2, 05 K = (−∞;−2,05 >
un = -2
PoniewaŜ u10 ∉ K, więc hipotezę H0 przyjmujemy. Otrzymany wynik nie przeczy przypuszczeniu,
Ŝe na partię moŜe głosować 35% wyborców. 16.3. Testy parametryczne dla dwóch prób
16.3.1. Testy do porównywania wartości oczekiwanych dla prób niezaleŜnych
ZałoŜymy, Ŝe badana cecha X populacji generalnej ma rozkład normalny N(m, σ), przy czym σ jest
znane. W podpunkcie 16.1.3. pokazaliśmy w jaki sposób konstruuje się test do weryfikacji hipotez:
• zerowej H0 (m1=m2)
• alternatywnej H1 (m1≠m2)
Tak samo postępuje się przy konstrukcji testu dla innych hipotez alternatywnych: H1 (m1>m2) lub
H1 (m1< m2)
W analogiczny sposób konstruuje się testy w trzech innych przypadkach:
• σ1 σ2 są równe i nieznane
• σ1 σ2 nie są równe i nieznane
• próby są liczne, n1, n2 ≥ 100
Wszystkie rozpatrzone dotąd testy zostały przedstawione w tabeli 16.4.
45
STATYSTYKA MATEMATYCZNA
Tabela 16.4 . Zestawienie testów do porównywania dwóch wartości oczekiwanych na podstawie niezaleŜnych prób o licznościach n1, n2
Nr testu
TP-6
TP-7
Rozkłady cech
N(m1 ,σ1 ), N(m 2 ,σ 2 )
N(m1,σ), N(m2,σ)
TP-8
test Studenta dla
nieznanych wariancji
Dowolny
Warunki stosowania
σ1 i σ 2 są znane
σ nieznane
σ1 σ2 są nieznane
Hipoteza zerowa
H 0 ( m1 = m 2 )
H 0 ( m1 = m 2 )
H 0 (m 1 = m 2 )
próby są liczne
n1, n2 ≥ 100
H 0 ( m1 = m 2 )
X−Y
X−Y
Nazwa testu
test Studenta
X-Y
Sprawdzian
2
1
X-Y
2
2
1 1
2
⋅
S12
S22
TP-9
Dowolny
S12 S22
+
n1 n 2
σ
σ
+ 2
n1 n 2
n S +n 2S2 n1 +n 2
n1 +n 2 -2 n1n 2
Rozkład sprawdzianu
N(0,1)
Studenta z n1+n2-2
stopniami swobody
Studenta - patrz
poniŜej
asymptotycznie
N(0,1)
TP-6
TP-7
TP-8
TP-9
Nr
testu
Hipoteza
alternatywna
Zbiór krytyczny
A
H1 (m1 >m 2 )
< k ; ∞)
+
n1 − 1 n 2 − 1
P( Tdef ≥ k) = 2α
df =
Φ(k ) = 1 − α
B
H 1 (m 1 <m 2 )
P( Tn1 + n 2 − 2 ≥ k) = 2α
(a + b) 2
a2
b2
+
n1 − 1 n 2 − 1
gdzie: a =
( −∞ ; − k >
s12
n1 − 1
b=
C
H1 (m1 ≠ m 2 )
( −∞ ; − k > ∪ < k ; ∞)
Φ (k) = 1 −
α
2
P(| Tn1+ n 2 −2 | ≥ k) = α
46
Φ (k ) = 1 − α
s 22
n2 −1
P( Tdef ≥ k) = α
def jak powyŜej
Φ (k) = 1 −
α
2
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Przykład 16.7
W celu określenia struktury zatrudnienia w pewnej firmie obliczono liczbę zatrudnionych kobiet
i męŜczyzn w kolejnych 8 miesiącach otrzymując następujące wyniki:
MęŜczyźni
195
187
175
146
194
191
194
206
Kobiety
219
233
190
210
214
247
225
197
Chcemy sprawdzić hipotezę o równości wartości oczekiwanych ilości zatrudnionych kobiet
i męŜczyzn, względem hipotezy alternatywnej bedącej jej zaprzeczeniem, przy załoŜeniu, Ŝe liczby
zatrudnionych mają rozkłady normalny o takich samych wariancjach20 oraz przyjmując poziom
istotności 0,05.
Rozwiązanie
Na podstawie prób obliczamy średnie i wariancje z próby
Średnia z próby x =
MęŜczyŜni
Kobiety
186, 0
216,875
294,5
301,3594
1 n
∑ xi
n i=1
Wariancja z próby s 2 =
1 n
∑ (x i − x)2
n i=1
Zatem wartość sprawdzianu dla testu TP-7
U n1 ,n 2 =
X-Y
2
1 1
n S +n 2S22 n1 +n 2
n1 +n 2 -2 n1n 2
jest równa
−30,875
−30,875 −30,875
=
=
= −3, 3464
294,5+301, 36
85,1227 9, 2262
8s +8s 16
s +s
7
14 64
7
Granice zbioru krytycznego wyznaczamy z zalezności P(| Tn1 + n2 − 2 | ≥ k ) = α , która po uwzględnieniu
u 8,8 =
x-y
2
1
2
2
=
x-y
2
1
2
2
=
danych ma postać P(| T14 | ≥ k ) = 0,05 , zatem k=2,145.
Zbiór krytyczny jest więc równy K= (−∞ ; − k > ∪ < k ; ∞) = (−∞ ; − 2,145 > ∪ < 2,145 ; ∞)
Wartość sprawdzianu naleŜy więc do zbioru krytycznego, więc odrzucamy hipotezę H0 na korzyść
statystyki H1. Oznacza to, Ŝe średnie liczby zatrudnionych kobiet i męŜczyzn nie są równe.
Wysunięte hipotezy moŜna zweryfikować korzystając z arkusza kalkulacyjnego Excel na dwa
sposoby, co zilustrowano poniŜej.
1. Wykorzystujemy funkcję statystyczną TEST.T Po wpisaniu danych w komórki a1:p1 i a2:p2 oraz
ustalając parametry testu: Typ = 2 - test dla równych wariancji i Ślady = 2 - test dwustronny.
20
Równość wariancji w populacji naleŜ y sprawdzić testem do porównywania wariancji, otrzymany wynik potwierdzi lub
nie słuszność przyjętego załoŜenia – test opisano w punkcie 16.3.3.
47
STATYSTYKA MATEMATYCZNA
Wynik formuły ≈ 0,0048 jest równy jest równy granicznemu poziomowi istotności α̂ , wyznaczonemu
na podstawie wartości wskaźnika obliczonego bez wykorzystania programu komputerowego, co
zilustrowano poniŜej.
PoniewaŜ α̂ ≈0,0048 < 0,05 = α hipotezę zerową naleŜy odrzucić21.
21
Patrz uwaga 2 w punkcie 16.1.4.
48
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
2. Wykorzystujemy narzędzie pakietu Analiza danych: Test t: z dwiema próbami zakładający równe
wariancje wpisując wcześniej dane w komórki a1:p1 i a2:p2.
Test t: z dwiema próbami zakładający równe wariancje
Średnia
Wariancja
Obserwacje
Wariancja sumaryczna
RóŜnica średnich wg hipotezy
df
t Stat
Zmienna 1
186
336,571429
8
340,491071
0
14
-3,3464481
P(T<=t) jednostronny
0,00239888
Test T jednostronny
1,76131012
P(T<=t) dwustronny
0,00479775
Test t dwustronny
2,14478668
Komentarz
Zmienna 2
216,875
344,410714
8
Sprawdzian
Graniczny poziom
istotności
Granica zbioru
krytycznego
Graniczny poziom
istotności
Granica zbioru
krytycznego
Za pomocą otrzymanej tabelki weryfikujemy wysunięte hipotezy na dwa sposoby, pamiętając, Ŝe
hipoteza alternatywna jest zaprzeczeniem hipotezy zerowej:
•
W oparciu o zbiór krytyczny.
PoniewaŜ t Stat=-3,3464481 ∈ K = (−∞ ; − 2,145 > ∪ < 2,145 ; ∞) więc odrzucamy hipotezę H0 na
korzyść hipotezy H1.
•
W oparciu o graniczny poziom istotności
PoniewaŜ α̂ =0,00479775 < 0,05 = α hipotezę zerową naleŜy odrzucić na korzyść hipotezy Ho.
Na zakończenie zwracamy uwagę, Ŝe otrzymaliśmy taką samą wartość sprawdzianu t Stat ≈ -3,346 i
granicę zbioru krytycznego ≈ 2,14 jakie otrzymano wcześniej bez programu komputerowego oraz taką
samą wartość krytycznego poziomu istotności P(T<=t) dwustronny ≈0,0048, jaką otrzymano z
wykorzystaniem funkcji statystycznej TEST.T. 49
STATYSTYKA MATEMATYCZNA
Przykład 16.8
Porównywano czas rozwiązywania pewnego testu przez członków dwóch zespołów analityków
(w minutach).
Z1
188
192
187
178
179
175
177
178
185
Z2
190
179
185
186
183
184
179
180
190
190
Chcemy sprawdzić hipotezę o równości średniego czasu rozwiązywaniu testu w obu zespołach,
względem hipotezy alternatywnej bedącej jej zaprzeczeniem, przy załoŜeniu, Ŝe czasy rozwiązywania
testu mają rozkłady normalne z róŜnymi wariancjami22 oraz przyjmując poziom istotności 0,05.
Rozwiązanie
Na podstawie prób obliczamy:
Średnia z próby x =
1 n
∑ xi
n i =1
Wariancja z próby s 2 =
1 n
(x i − x) 2
∑
n i =1
X
Y
x = 182, 9
y = 184, 0
s12 = 34, 09
s 22 = 16, 0
Zgodnie z załoŜeniem o nierówności wariancji stosujemy TP-8
Wartość sprawdzianu
U n1,n 2 =
X−Y
S12
S22
n1 − 1 n 2 − 1
+
jest równa
182,9 − 184, 0
1,1
1,1
1,1
=−
=−
=−
= −0, 457
2, 406
34, 09 16
3.788 + 2
5, 788
+
9
8
Sprawdzian ma rozkład Studenta z liczbą stopni swobody równą
un
n
1 2
=
df =
(a + b)2
a2
b2
+
n1 − 1 n 2 − 1
gdzie: a =
s12
s2
i b= 2
n1 − 1
n2 −1
s12
34, 09
s2
16
=
= 3,79 i b = 2 = = 2,0
n1 − 1
9
n2 −1 8
Zatem liczba stopni swobody
(3, 79 + 2, 0)2
5, 792
33, 52
df =
=
=
= 15,96
2
2
1, 6 + 0,5
2,1
3, 79
2, 0
+
9
8
Dla danych z przykładu a =
czyli przyjmujemy liczbę stopni swobody równą 16.
Z tablic rozkładu Studenta wyznaczamy liczbę k dla której P( Tdf ≥ k) = α otrzymując k=2,12.
22
Co moŜna sprawdzić testem do porównywania wariancji – patrz przykład 16.10
50
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Czyli zbiór krytyczny ma postać: K=(-∞ ; -1,746>∪<1,746 ; ∞).
PoniewaŜ u n n ∉ K ⇒ H0 przyjmujemy.
1 2
Wysunięte hipotezy moŜna zweryfikować korzystając z arkusza kalkulacyjnego Excel na dwa
sposoby, co ilustrują poniŜsze rysunki
1. Wykorzystując funkcję statystyczną TEST.T po wpisaniu danych w komórki a1:p1 i a2:p2 oraz
ustalając parametry testu: Typ = 3 - test dla róŜnych wariancji i Ślady = 2 - test dwustronny.
Wynik formuły 0,653 jest równy jest równy granicznemu poziomowi istotności α̂ ,
wyznaczonemu na podstawie wartości wskaźnika obliczonego bez wykorzystania programu
komputerowego, co zilustrowano poniŜej.
51
STATYSTYKA MATEMATYCZNA
PoniewaŜ α̂ =0,653 > 0,05 = α hipotezę zerową H0 przyjmujemy23.
2. Wykorzystując narzędzie pakietu Analiza danych: Test t: z dwiema próbami zakładający
nierówne wariancje wpisując wcześniej dane w komórki a1:a10 i g1:g9.
Otrzymane wyniki są następujące:
Komentarz
Test t: z dwiema próbami zakładający nierówne wariancje
Zmienna 1
Zmienna 2
Średnia
182,9
184
Wariancja
37,87777778
18
Obserwacje
10
9
RóŜnica średnich wg hipotezy
0
df
16
Sprawdzian
t Stat
-0,457232151
Graniczny
P(T<=t) jednostronny
0,326825607
poziom istotności
Granica zbioru
krytycznego
Test T jednostronny
1,745883669
Graniczny
poziom istotności
P(T<=t) dwustronny
0,653651213
Granica zbioru
Test t dwustronny
2,119905285
krytycznego
Za pomocą otrzymanej tabelki weryfikujemy wysunięte na dwa sposoby, pamiętając, Ŝe hipoteza
alternatywna jest zaprzeczeniem hipotezy zerowej:
•
W oparciu o zbiór krytyczny.
PoniewaŜ t Stat=--0,457232151 ∉ ∈ K = (−∞ ; − 2,12 > ∪ < 2,12 ; ∞) więc hipotezę H0
przyjmujemy.
•
W oparciu o graniczny poziom istotności
PoniewaŜ α̂ =0,653651213 > 0,05 = α hipotezę zerową Ho przyjmujemy.
Na zakończenie zwracamy uwagę, Ŝe otrzymaliśmy taką samą wartość sprawdzianu t Stat ≈ -0,457 i
granice zbioru krytycznego ≈ 2,12 jakie wcześniej bez programu komputerowego oraz taką samą
wartość krytycznego poziomu istotności P(T<=t) dwustronny ≈0,653, jaką otrzymano z wykorzystaniem
funkcji statystycznej TEST.T.
23
Patrz uwaga 2 w punkcie 16.1.4.
52
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Przykład 16.9
Badano dwa typy samochodów ze względu na maksymalną prędkość. W 100 pomiarach maksymalnej
prędkości I typu otrzymano średnią maksymalną prędkość 205,4 km/h i odchylenie standardowe 4,5
km/h, natomiast w 144 pomiarach maksymalnej prędkości II typu samochodów otrzymano średnią
maksymalną prędkość 207,3 km/h i odchylenie standardowe 6,8 km/h.
Czy moŜna twierdzić, Ŝe średnia maksymalna prędkość dla obu typów samochodów jest jednakowa,
czy teŜ naleŜy przyjąć, iŜ dla typu I jest mniejsza niŜ dla II typu? Sprawdź odpowiednie hipotezy na
poziomie istotności 0,01.
Rozwiązanie
X – maksymalna prędkość I typu samochodów.
Y - maksymalna prędkość II typu samochodów.
Rozkłady obu cech nie są znane.
X
n1 = 100
x = 205,4
s1 = 4,5
Liczebności prób
Średnie z prób
Odchylenia standardowe z prób
Y
n2 = 144
y = 207,3
s2 = 6,8
Poziom istotności α = 0,01
Wartości oczekiwane m1 = EX m2 = EY
Hipotezy: H0 (m1 = m2), H1 (m1 < m2)
Z uwagi na duŜą liczebność prób stosujemy test TP-9.
X−Y
205,4 − 207,3
Sprawdzian U=
. Wartość sprawdzianu u =
= −2,63
2
2
2
2
S1 S2
4,5
6,8
+
+
n1 n 2
100 144
Zbiór krytyczny K = (−∞ ; − k > , gdzie Φ (k ) = 1 − α =0,99 ⇒ k = 2,33
K = (−∞ ; − 2,33 >
u = -2,63
PoniewaŜ u ∈ K , więc hipotezę H0 odrzucamy i przyjmujemy hipotezę alternatywną, Ŝe średnia
maksymalna prędkość jest mniejsza dla samochodów typu I. Przy podjęciu takiej decyzji zagraŜa
popełnienie błędu I rodzaju, którego prawdopodobieństwo α =0,01 jest jak widać małe. Graniczny
poziom istotności α̂ = Φ (u) = Φ (−2, 63) = 1 − Φ (2, 63) = 0, 004 i jest znacznie mniejszy od α, co
utwierdza nas jeszcze bardziej o słuszności podjętej decyzji. 16.3.2. Testy do porównywania wartości oczekiwanych – próby zaleŜne
Z populacji losujmy n elementów i mierzymy wartości cechy X w dwóch momentach (np. wartość
ciśnienia tętniczego przed podaniem leku i w godzinę po podaniu leku). Otrzymujemy dwie próby n
elementowe dla dwóch cech: cechy X1 – wartość badanej cechy w momencie początkowym i cechy
X2 – wartość badanej cechy w momencie końcowym. Cechy te nie muszą być niezaleŜne, zatem
próby są powiązane. Aby sprawdzić hipotezę, Ŝe wartości oczekiwane obu cech są równe, naleŜy
sprawdzić hipotezę, Ŝe wartość oczekiwana zmiennej losowej Y = X1 - X2 jest równa zeru na
podstawie próby, której wartościami są róŜnice wartości prób dla obu cech.
Zakładamy, Ŝe cecha Y ma rozkład normalny, co moŜna sprawdzić przy pomocy odpowiedniego testu
(patrz rozdział o testach nieparametrycznych). Wtedy rozwaŜane poniŜej testy są szczególnym
przypadkiem testów TP - 4, 5, 6 (dla m 0 =0).
Hipoteza zerowa H 0 (m1 = m 2 ) .
53
STATYSTYKA MATEMATYCZNA
Tabela 16..6 Testy do porównywania wartości oczekiwanych prób powiązanych, rozkład normalny
Hipoteza
alternatywna
H1 (m1 >m 2 )
H1 (m1 <m 2 )
H1 (m1 ≠ m 2 )
Sprawdzian Un
Rozkład sprawdzianu
(k ; ∞ )
P( Tn −1 ≥ k) = 2α
Nr
testu
TP-10A
(−∞ ; − k )
P( Tn −1 ≥ k) = 2α
TP-10B
(−∞ ; − k ) ∪
∪ (k ; ∞)
P(| Tn −1 | ≥ k) = α
TP-10C
Zbiór krytyczny K Wyznaczanie liczby k
Y
n-1 .
SY
Rozkład Studenta z
n – 1 stopniami swobody
Tn-1- zmienna losowa o rozkładzie Studenta z n-1 stopniami swobody.
Opisany powyŜej test nosi nazwę test Studenta dla prób powiązanych.
Przykład 16.10
W pewnej firmie informatycznej przed wprowadzeniem nowej technologii projektowania
oprogramowania sprawdzono jej skuteczność przez porównanie czasów projektowania róŜnorodnych
modułow z wykorzystaniem dotychczasowej i nowej technologii. Sprawdzenia tego dokonano na
podstawie próby 16-elementowej. Elementy tej próby określone w minutach podano poniŜej. X1 –
czas projektowania modułu z wykorzystaniem dotychczasowej technologii, a X2 – czas
projektowania modułu z wykorzystaniem nowej tetechnologii.
X1
405
125
540
100
200
30
1200
265
90
206
18
489
590
310
995
75
X2
334
150
520
95
212
30
1055
200
85
129
14
440
610
208
880
25
Rozwiązanie
Przyjmując załoŜenie, Ŝe czasy projektowania modułów podelgaja rozkładom normalnym będziemy
weryfikować hipotezę zerową, Ŝe nowa technologia nie zmienia czasu projektowania wobec hipotezy
alternatywnej, Ŝe go skraca.
Wysuwamy hipotezy H0(m1 = m2), H1(m1 > m2), które zweryfikujemy na poziomie istotności 0,05.
Zastosujemy test Studenta dla prób powiązanych TP-10B.
Y
n − 1 , gdzie Y jest średnią Y = X2 – X1, rozkład sprawdzianu U n / m1 = m 2
SY
jest rozkładem Studenta z n-1 stopniami swobody
Sprawdzian: U n =
Na podstawie próby otrzymujemy, Ŝe y= − 40,69 s 2y =2493,59 . PoniewaŜ n=16 zatem
u16 =
y
s 2y
n −1 =
−40, 6875
16 − 1 = −0,8147 ⋅ 3,87 = −3,15
49,94
Dla określenia zbioru krytycznego K= (−∞ ; − k > wyznaczamy liczbę k: P(| Tn-1 | ≥ k) = 2α
P(| T15 | ≥ k) = 0,1 ⇒ k = 1, 753 wykorzystano tablice rozkładu Studenta dla 15 stopni swobody i
prawdopodobieństwa 0.1 (funkcja dotyczy rozkładu dwustronnego, a nam potrzebny jest zbiór
jednostronny). Zatem zbiór krytyczny K= (−∞ ; − 1,753 >
PoniewaŜ u16 ∈ K , więc hipotezę zerową odrzucamy, co oznacza, Ŝe nowa technologia skraca czas
projektowania modułów.
Wysunięte hipotezy moŜna zweryfikować korzystając z arkusza kalkulacyjnego Excel na dwa
sposoby.
1. Wykorzystując funkcję statystyczną TEST.T po wpisaniu danych w komórki a1:p1 i a2:p2 oraz
ustalając parametry testu: Typ = 1 - test dla prób powiązanych (test sparowany) i Ślady = 1 - test
jednostronny.
54
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Wynik formuły 0,0033 jest równy jest równy granicznemu poziomowi istotności α̂ ,
wyznaczonemu na podstawie wartości wskaźnika obliczonego bez wykorzystania programu
komputerowego, co zilustrowano poniŜej.
PoniewaŜ α̂ =0,0033 < 0,05 = α hipotezę zerową H0 odrzucamy24.
24
Patrz uwaga 2 w punkcie 16.1.4.
55
STATYSTYKA MATEMATYCZNA
2. Wykorzystując narzędzie pakietu Analiza danych: Test t: par skojarzonych z dwiema próbami
dla średniej wpisując wcześniej dane w komórki a1:a16 i b1:b16.
Otrzymane wyniki były następujące:
Średnia
Wariancja
Obserwacje
Korelacja Pearsona
RóŜnica średnich wg hipotezy
df
t Stat
P(T<=t) jednostronny
Zmienna 1
352,375
118367,7167
16
0,992224891
0
15
-3,155688486
Zmienna 2
311,6875
97734,3625
16
0,00326497
Test T jednostronny
1,753050325
P(T<=t) dwustronny
0,006529939
Test T dwustronny
2,131449536
Komentarz
Sprawdzian
Graniczny poziom
istotności
Granica zbioru
krytycznego
Graniczny poziom
istotności
Granica zbioru
krytycznego
Za pomocą otrzymanej tabelki weryfikujemy wysunięte hipotezy na dwa sposoby, pamiętając, Ŝe
hipoteza alternatywna jest jest jednostronna:
•
W oparciu o zbiór krytyczny.
PoniewaŜ t Stat=- 3,155688486 ∉ ∈ K = (−∞ ; − 1,175> więc hipotezę H0 odrzucamy.
•
W oparciu o graniczny poziom istotności
PoniewaŜ α̂ =0,00326497 < 0,05 = α hipotezę zerową Ho odrzucamy.
Na zakończenie zwracamy uwagę, Ŝe otrzymaliśmy taką samą wartość sprawdzianu t Stat ≈ 3,15 i
granicę zbioru krytycznego ≈ 1,75 jakie otrzymano wcześniej bez programu komputerowego oraz taką
samą wartość krytycznego poziomu istotności P(T<=t) jednostronny ≈0,003, jaką otrzymano z
wykorzystaniem funkcji statystycznej TEST.T
56
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
16.3.3. Testy do porównywania wariancji
Badane są dwie populacje: pierwsza ze względu na cechę X, druga ze względu na cechę Y.
Zakładamy, Ŝe cechy te są niezaleŜne o rozkładach normalnych odpowiednio N(m1,σ1), N(m2,σ2).
(
Hipoteza zerowa H0 σ12 = σ22
)
Tabela 16.7. Testy do porównywania wariancji, N(m1,σ1) N(m2,σ2)
Hipoteza
alternatywna
Sprawdzian U n1n 2
Rozkład sprawdzianu
H1 (σ12 >σ 22 )
2
1
U n1 ,n 2 =
2
2
H1 (σ <σ )
H1 (σ12 ≠ σ 22 )
Zbiór krytyczny K
Wyznaczanie liczby
Nr testu
k1 i k2
Ŝ2n1
< k2 ; ∞ )
P(F ≥ k 2 ) = α
TP-11A
Ŝ2n 2
(0 ; k1 >
P(F ≥ k1 ) = 1 − α
TP-11B
Rozkład Snedecora z
parą (n1-1, n2 –1) stopni
swobody.
(0 ; k1 > ∪ < k 2 ; ∞)
P(F ≥ k 2 ) = α / 2
TP-11C
P(F ≥ k1 ) = 1 − α / 2
F - zmienna losowa o rozkładzie Snedecora z parą (n1-1, n2 –1) stopni swobody.
Przykład 16.11
Porównywano czas rozwiązywania pewnego testu przez członków dwóch zespołów analityków
(w minutach).
Z1
188
192
187
178
179
175
177
178
185
Z2
190
179
185
186
183
184
179
180
190
190
Chcemy sprawdzić hipotezę o równości wariancji przy załoŜeniu, Ŝe czasy rozwiązywania testu mają
rozkłady normalne i przyjmując poziom istotności 0,05.
Rozwiązanie
Z1
Z2
Średnie z prób
x = 182,7
y = 184,0
Wariancje z prób
s12 = 34, 09
s 22 = 16, 0
Sprawdzimy hipotezy
(
) (
a) H 0 σ12 = σ22 H1 σ12 > σ22
)
Do weryfikacji hipotez stosujemy test TP-11A., wartość sprawdzianu u11,10 =
34, 09
= 2,1306
16, 0
Zbiór krytyczny K = < k 2 ; ∞) , przy czym P(F ≥ k 2 ) = α , gdzie F to zmienna losowa o rozkładzie
Snedecora z parą (n1-1, n2-1) stopni swobody, w rozwiązywanym przykładzie z parą
(9, 8) stopni swobody. Zatem P(F ≥ k 2 ) = 0, 05 ⇒ k 2 = 3,39 , czyli K =< 3,39 ; ∞) .
PoniewaŜ u11,10 = 2,1306 ∉ K =< 3,13 ; ∞), więc hipotezę H0, Ŝe wariancje (a takŜe odchylenia
standardowe) są sobie równe przyjmujemy.
Wysunięte hipotezy moŜna zweryfikować korzystając z arkusza kalkulacyjnego Excel na dwa
sposoby, co ilustrują poniŜsze rysunki
1. Wykorzystując funkcję statystyczną TEST.F po wpisaniu danych w komórki a22:j22 i a23:i23.
57
STATYSTYKA MATEMATYCZNA
Wynik formuły 0,30816 jest równy jest równy granicznemu poziomowi istotności α̂ ,
wyznaczonemu na podstawie wartości wskaźnika obliczonego bez wykorzystania programu
komputerowego, co zilustrowano poniŜej.
Otrzymano dwa razy mniejszy wynik, poniewaŜ w funkcji TEST.F przyjęty jest dwustronny zbiór
krytyczny.
W przypadku testu jednostronnego α̂ =0,150 > 0,05 = α więc hipotezę zerową H0 przyjmujemy.
2. Wykorzystując narzędzie pakietu Analiza danych: Test F: z dwiema próbami dla wariancji
wpisując wcześniej dane w komórki a1:p1 i a2:p2.
58
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Otrzymane wyniki są następujące:
Test F: z dwiema próbami dla wariancji
Średnia
Wariancja
Obserwacje
df
F
Zmienna 1
182,9
37,877778
10
9
2,104321
P(F<=f) jednostronny
0,154081
Test F jednostronny
3,3881302
Komentarz
Zmienna 2
184
18
9
8
Sprawdzian
Graniczny poziom
istotności
Granica zbioru
krytycznego
Za pomocą otrzymanej tabelki weryfikujemy wysunięte hipotezy na dwa sposoby, pamiętając, Ŝe
hipoteza alternatywna jest jest jednostronna:
•
W oparciu o zbiór krytyczny.
PoniewaŜ t Stat=2,104321 ∈ ∉ K = < 3,39; ∞ ) więc hipotezę H0 przyjmujemy.
•
W oparciu o graniczny poziom istotności
PoniewaŜ α̂ =0,154081 > 0,05 = α hipotezę zerową Ho przyjmujemy.
Na zakończenie zwraca się uwagę, Ŝe otrzymaliśmy taką samą wartość sprawdzianu F ≈ 2,1, taką samą
wartość krytycznego poziomu istotności P(T<=t) jednostronny ≈0,15 oraz granicę zbioru krytycznego
Test F jednostronny ≈ 3,39 jakie otrzymano wcześniej bez programu komputerowego.
16.3.4. Testy do porównywania wskaźników struktury
Badane są dwie cechy X i Y róŜnych populacji o rozkładach zerojedynkowych,
P (X = 1) = p1 , P (X = 0) = 1 − p1 , P (Y = 1) = p 2 , P(Y = 0) = 1 − p 2 ,
Cechy X i Y są zmiennymi losowymi niezaleŜnymi.
Z populacji, której badana jest cecha X pobrano próbę n1 elementową,
z drugiej populacji pobrano próbę n 2 elementową. Obie próby są liczne n1, n2 ≥100.
Hipoteza zerowa: H 0 (p1 = p 2 )
59
natomiast
STATYSTYKA MATEMATYCZNA
Tabela 16.8. Testy do porównywania wskaźników struktury, próby liczne
Hipoteza
alternatywna
H1 (p1 >p 2 )
H1 (p1 <p 2 )
H1 (p1 ≠ p 2 )
Sprawdzian U n1n 2
Rozkład sprawdzianu
W1 − W2
Zbiór krytyczny K
< k ; ∞)
(−∞ ; − k >
n1 + n 2
n1 n 2
Rozkład asymptotycznie
normalny N(0,1)
W (1 − W ) ⋅
(−∞; −k > ∪
∪ < k; ∞)
Wyznaczanie
liczby k
Nr testu
Φ (k ) = 1 − α
TP-12A
Φ(k ) = 1 − α
TP-12B
α
2
TP-12C
Φ (k) = 1 −
W1, W2 wskaźniki struktury z obu prób, w 1 = r1 / n 1 , w 2 = r2 / n 2 ,
w próbach o liczebnościach n1 i n2
r +r
w= 1 2
n1 + n 2
Φ – dystrybuanta rozkładu normalnego N(0,1).
r1 , r2 - liczby jedynek
Przykład 16.12
Porównywano wadliwość dwu partii towaru. Z pierwszej partii pobrano próbę 200 elementową i
zanotowano w niej 10 sztuk wadliwych. Z drugiej partii pobrano próbę 150 elementową. Było w niej
12 sztuk wadliwych. Czy wadliwości obu partii są takie same, czy teŜ naleŜy przyjąć, Ŝe wadliwość
pierwszej partii jest mniejsza niŜ drugiej? Sprawdź odpowiednie hipotezy na poziomie istotności 0,06.
Rozwiązanie
X – zmienna losowa przyjmująca wartość 1, gdy z pierwszej partii wybrano sztukę wadliwą lub
wartość 0, gdy wybrano sztukę dobrą.
Y – zmienna losowa przyjmująca wartość 1, gdy z drugiej partii wybrano sztukę wadliwą lub wartość
0, gdy wybrano sztukę dobrą.
Zmienne losowe X i Y są niezaleŜne i mają rozkłady zerojedynkowe z parametrami odpowiednio
p1 , p2 Wskaźniki struktury p1 i p2 są wadliwościami partii pierwszej i drugiej.
P(X = 1) = p1 , P(X = 0) = 1 − p1 ,
P(Y=1)=p 2 , P(Y=0)=1-p2 .
Liczebności prób n1=200 n2=150. Liczby sztuk wadliwych w próbach r1=10 r2=12.
Hipotezy H0 (p1 = p2), H1 (p1 < p2). Poziom istotności α = 0,06
Stosujmy test TP-35. Wadliwości w próbach (wskaźniki struktury)
r
r
r +r
10
12
10 + 12
22
w1 = 1 =
= 0,05 , w 2 = 2 =
= 0,08 w = 1 2 =
=
= 0,063
n 1 200
n 2 150
n 1 + n 2 200 + 150 350
W1 − W2
Sprawdzian U =
n + n2
W(1 − W ) ⋅ 1
n1 n 2
Wartość sprawdzianu
w1 − w 2
0,05 − 0,08
u=
=
= −1,14
n1 + n 2
200 + 150
0,063 ⋅ 0,932 ⋅
w (1 − w ) ⋅
200 ⋅ 150
n1 n 2
Zbiór krytyczny K = (−∞ ; − k > Φ (k ) = 1 − α = 0,94 ⇒ k = 1,55 K = (-∞; -1,55>
PoniewaŜ u 10 ∉ K, więc hipotezę H0 przyjmujemy. MoŜna twierdzić, Ŝe wadliwości obu partii są
sobie równe. 60
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Uwagi: W przypadku konieczności zweryfikowania hipotez dotyczących wskaźników struktury
• przy próbach niepowiązanych o małych liczebnosciach naleŜy zastosować test dokładny
Fishera25
• przy próbach powiązanych naleŜy zastosować test Mc Nemary26.
16.4. Testy nieparametryczne dla jednej próby
16.4.1. Ocena losowości próby
Istotne znaczenie ma sprawdzenie, czy próba jest losowa, bowiem losowość jest podstawowym
załoŜeniem zdecydowanej większości metod estymacji i testów statystycznych.
Wysuwamy hipotezy H0 ( Pobrana próba jest losowa)
H1 (Pobrana próba nie jest losowa)
Hipotezy te weryfikujemy przy pomocy testu serii.
1. Wyznaczamy medianę z próby i transformujemy próbę wg zasady:
- jeśli element próby ma wartość mniejszą od mediany, to przyporządkowujemy mu liczbę 0,
- jeśli element próby ma wartość większą od mediany, to przyporządkowujemy mu liczbę 1,
- jeśli element próby ma wartość równą medianie, to odrzucamy go z próby.
2. Sprawdzian: statystyka Un oznaczająca liczbę serii w transformowanej próbie.
3. Rozkład sprawdzianu zaleŜy od liczebności n0 oraz n1 zer lub jedynek w transformowanej
próbie i jest stablicowany (pkt 8 części VII „Tablice statystyczne”). Z tablic tych moŜna odczytać
liczbę uα taką, Ŝe
P(Un ≤ uα) = α.
4. Zbiór krytyczny dwustronny K = (0; k1> ∪ (k2 ; ∞)
Liczby k1 i k2 wyznaczamy z tablicy rozkładu ilości serii
P(Un > k2) = α/2
P(Un ≤ k1) = α/2
5. Obliczamy na podstawie próby wartość un statystyki Un, czyli obliczamy liczbę serii
w próbie transformowanej.
6. Podejmujemy decyzje
- jeśli un ∈ K, to H0 przyjmujemy,
- jeśli un ∉ K, to H0 nie przyjmujemy.
Uzasadnienie
Jeśli hipoteza zerowa jest prawdziwa, to w transformowanej próbie powinna być umiarkowana liczba
serii. Gdyby bowiem serii było mało np. byłyby tylko dwie serie, to oznaczałoby, Ŝe w próbie
najpierw kolejno występują elementy o wartościach mniejszych od mediany, a następnie kolejno
elementy większe od mediany ( lub na odwrót). Próba taka z oczywistego powodu nie byłaby losowa.
Gdyby serii było duŜo np. tyle ile jest elementów próby, to oznaczałoby, Ŝe na przemian w próbie
występują elementy większe i mniejsze od mediany. Taką próbę teŜ byłoby trudno uznać za losową.
Zatem duŜa i mała liczba serii w próbie transformowanej przemawia za odrzuceniem hipotezy
zerowej, natomiast umiarkowana liczba serii przemawia za przyjęciem tej hipotezy. Dlatego zbiór
krytyczny przyjmujemy dwustronny.
Przykład 17.1
W celu zbadania struktury wieku pracowników duŜej firmy pobrano próbę 16 pracowników
i zbadano ich wiek (liczbę lat ukończonych). Otrzymano następującą próbę.
38 34 30 42 27 38 41 20 21 23 18 42 28 40 31 43
Czy próba ta jest losowa?
25
26
Zostanie opisany w II części podręcznika
Zostanie opisany w II części podręcznika
61
STATYSTYKA MATEMATYCZNA
Rozwiązanie
1. Sortujemy dane niemalejąco
18 20 21 23 27 28 30 31 34 38 38 40 41 42 42 43
Mediana wieku jest równa
31 + 34
me =
= 32,5
2
PoniŜej przedstawiono poszczególne elementy próby przed i po transformacji
38 34 30 42 27 38 41 20 21 23 18 42 28 40 31 43
1
1
0
1
0
1
1
0
0
0
0
1
0
1
0
1
2. Sprawdzian: statystyka Un oznaczająca liczbę serii w transformowanej próbie.
3. Poziom istotności α = 0,05
4. Zbiór krytyczny dwustronny K = (0; k1> ∪ (k2 ; ∞)
Liczby k1 i k2 wyznaczmy z tablicy rozkładu ilości serii (pkt 8 części VII „Tablice statystyczne”)
P(U n ≤ k1 )=0,05/2 =0,025
P(U n >k 2 )=1-α/2 =0,975
dla n0 = n1 = 8 (liczby zer i jedynek w próbie transponowanej) mamy k1 = 4, k2 =13
Zatem K = (0; 4> ∪ <13 ; ∞)
5. Liczba serii w próbie transponowanej un =11
6. PoniewaŜ un ∉ K, to hipotezę zerową H0, Ŝe próba jest losowa przyjmujemy. Uwaga
Jeśli próba jest liczna, to statystka Un – liczna serii w transponowanej próbie ma rozkład
asymptotycznie normalny o parametrach
m=
2n 0 n1
+1,
n
σ=
2n 0 n1 (2n 0 n1 -n)
n 2 (n-1)
16.4.2. Test zgodności chi kwadrat
Dana jest dystrybuanta F(x).
Hipoteza zerowa H0 (Cecha X populacji ma rozkład określony dystrybuantą F(x))
Hipoteza alternatywna H1 (Cecha X populacji nie ma rozkładu określonego dystrybuantą F(x)).
Weryfikacja powyŜszych hipotez za pomocą tzw. testu χ2 przebiega następująco:
1. Pobieramy liczną próbę (n ≥80). Prezentujemy ją w szeregu rozdzielczym przedziałowym
w r klasach, przy czym:
• Pierwsza i ostatnia klasa szeregu rozdzielczego powinny mieć postać A1 = (-∞; a1),
Ar = <ar; ∞) i do kaŜdej z nich powinno naleŜeć co najmniej 5 elementów próby.
• Do pozostałych klas powinno naleŜeć co najmniej 10 elementów próby.
• Klas nie moŜe być mniej niŜ 4.
2. Obliczamy na podstawie próby oceny parametrów wchodzących w skład dystrybuanty F(x)
uzyskane metodą największej wiarygodności.
3. Przyjmujemy, Ŝe hipoteza H0 jest prawdziwa tzn., Ŝe rozkład cechy X jest określony dystrybuantą
F(x), przy czym parametry dystrybuanty są równe ocenom uzyskanym w punkcie 2.
4. Dla kaŜdego przedziału klasowego Ai = <ai; ai+1) obliczamy prawdopodobieństwa
pi =P(X ∈ Ai )=P(a i ≤ X<a i+1 )=F(a i+1 )-F(a i ) dla i =1, ... , r
62
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
5. Obliczamy
(n i -npi ) 2
u n =∑
npi
i=1
r
gdzie ni jest liczebnością klasy Ai.
6. Wyznaczamy zbiór krytyczny prawostronny K = <k; ∞), k wyznaczamy z tablicy rozkładu χ2
z r-s-1stopniami swobody i dla prawdopodobieństwa α równemu poziomowi istotności – pkt 5
części VII „Tablice statystyczne”, s jest liczbą parametrów szacowanych na podstawie próby
metodą największej wiarygodności.
7. Podejmujemy decyzję:
• odrzucamy hipotezę H0, gdy un ∈ K
• przyjmujemy hipotezę H0, gdy un ∉ K
Test χ2 opiera się na twierdzeniu:
Statystyka
(Ni -npi )2
npi
i=1
gdzie: Ni - zmienna losowa oznaczająca liczebność klasy Ai, której wartością jest liczbą un określona
w punkcie 5
ma dla licznej próby rozkład w przybliŜeniu χ2 z r-s-1 stopniami swobody, gdzie s jest liczbą
parametrów szacowanych na podstawie próby metodą największej wiarygodności.
Uzasadnienie postępowania
ni - liczba elementów próby naleŜących do klasy Ai (liczebność empiryczna klasy Ai)
npi - oczekiwana liczba elementów naleŜących do klasy Ai, przy załoŜeniu prawdziwości hipotezy
zerowej (liczebność teoretyczna klasy Ai).
Jeśli hipoteza H0 jest prawdziwa, to róŜnica ni - npi powinna być mała dla i = 1, ... , r, zatem liczba un
powinna być takŜe mała. Dlatego zbiór krytyczny przyjmujemy prawostronny K = <k; ∞). Jeśli un ∈
K tzn. un ≥ k, to uznajemy, Ŝe un jest duŜe i H0 odrzucamy, w przeciwnym przypadku H0
przyjmujemy.
Przykład 17.3
Za pomocą arkusza kalkulacyjnego Exel wygenerowano 120 liczb losowych z rozkładu jednostajnego
z przedziału (0 ; 1). Otrzymano następujące liczby, po uporządkowaniu ich niemalejąco
(kolumnami).
r
Un =∑
0,002
0,003
0,006
0,017
0,022
0,036
0,046
0,053
0,055
0,061
0,064
0,079
0,090
0,090
0,095
0,115
0,136
0,141
0,148
0,154
0,157
0,163
0,166
0,176
0,188
0,189
0,217
0,227
0,236
0,251
0,253
0,254
0,256
0,261
0,265
0,286
0,297
0,301
0,317
0,323
0,332
0,333
0,341
0,349
0,356
0,360
0,369
0,381
0,385
0,387
0,393
0,395
0,403
0,407
0,411
0,422
0,425
0,426
0,459
0,472
0,472
0,473
0,480
0,483
0,489
0,490
0,496
0,511
0,516
0,537
0,540
0,542
0,587
0,600
0,605
0,610
0,610
0,611
0,633
0,638
0,655
0,661
0,663
0,667
0,702
0,721
0,724
0,726
0,747
0,759
0,770
0,776
0,807
0,810
0,825
0,827
0,829
0,830
0,851
0,855
0,864
0,867
0,870
0,885
0,899
0,910
0,918
0,921
0,922
0,927
0,927
0,944
0,946
0,962
0,967
0,983
0,989
0,996
0,998
0,998
Sprawdzimy, przy pomocy testu chi kwadrat, na poziomie istotności 0,05, czy rzeczywiście pochodzą
z tego rozkładu.
63
STATYSTYKA MATEMATYCZNA
Rozwiązanie
Cecha X – liczba losowa
Wysuwamy hipotezy
H0 (Cecha X ma rozkład jednostajny w przedziale ( 0;1))27
H1 (Cecha X nie ma rozkładu jednostajnego)
1. Prezentujemy dane w szeregu rozdzielczym przedziałowym w 10 klasach
Ai
ni
(-∞ ; 0,1) 15
<0,1 ; 0,2) 11
<0,2 ; 0,3) 11
<0,3 ; 0,4) 15
<0,4 ; 0,5) 15
<0,5 ; 0,6) 6
<0,6 ; 0,7) 11
<0,7 ; 0,8) 8
<0,8 ; 0,9) 13
<0,9 ; ∞) 15
Razem
120
2. Nie ma parametrów wchodzących w skład dystrybuanty rozkładu jednostajnego w przedziale (0;1)
(patrz gęstość (17.1)).
3. Przyjmujemy, Ŝe hipoteza H0 jest prawdziwa.
4. PoniewaŜ gęstość jest stała więc pi = const = 0,1 oraz npi = 12
5.
(n i − npi )2
ni
pi n pi
Ai
npi
(-∞ ; 0,1) 15 0,1 12
0,75
<0,1 ; 0,2) 11 0,1 12
0,08
<0,2 ; 0,3) 11 0,1 12
0,08
<0,3 ; 0,4) 15 0,1 12
0,75
<0,4 ; 0,5) 15 0,1 12
0,75
<0,5 ; 0,6) 6 0,1 12
3,00
<0,6 ; 0,7) 11 0,1 12
0,08
<0,7 ; 0,8) 8 0,1 12
1,33
<0,8 ; 0,9) 13 0,1 12
0,08
<0,9 ; ∞) 15 0,1 12
0,75
Razem
120 1,0 120
un =7,95
6. Wyznaczamy zbiór krytyczny prawostronny K = <k; ∞). Liczbę k wyznaczamy z tablicy rozkładu
chi kwadrat z r – s – 1 = 10 – 0 – 1 = 9 stopniami swobody i poziomu istotności 0,05.
Otrzymujemy k =16,916, zatem K =<16,016; ∞).
7. u n ∉ K ⇒ H0 przyjmujemy. 27
1 dla x ∈ (0,1)
tzn. jej gęstość wyraŜa się wzorem f (x) = 
(17.1)
 0 dla x ∉ ( 0,1)
64
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
16.4.3. Ocena normalności rozkładu
Posiadanie informacji, Ŝe rozkład cechy populacji jest normalny ma podstawowe znaczenie
w statystyce, bowiem przy tym załoŜeniu prawdziwa jest przewaŜająca liczba twierdzeń, teoria
statystyki jest najprostsza i do zastosowań praktycznych nie potrzeba zwykle pobierać licznych prób.
Podamy wersję testu zgodności χ2 dostosowaną do sprawdzania hipotezy, Ŝe cecha populacji ma
rozkład normalny. Stosujemy go, gdy próba jest liczna (n ≥ 80)28,
Hipoteza zerowa H0 (Cecha X populacji ma rozkład normalny).
Hipoteza alternatywna H1 (Cecha X populacji nie ma rozkładu normalnego).
Weryfikacja powyŜszych hipotez za pomocą testu χ2 przebiega następująco:
1. Pobieramy liczną próbę (n ≥80). Prezentujemy ją w szeregu rozdzielczym klasowym w r klasach.
2. Obliczamy: x - średnią z próby i s - odchylenie standardowe z próby według wzorów
x=
1 r
∑ n i x% i ,
n i=1
s=
1 r
∑ n i (x% i -x)2 ~x i - środek klasy Ai
n i=1
3. Przyjmujemy, Ŝe cecha X ma rozkład normalny N( x , s).
4. Dla kaŜdego przedziału klasowego Ai =< a i ;a i+1 ) obliczamy prawdopodobieństwo
a -x X-x a i+1 -x
a -x
a -x
pi =P(X ∈ Ai )=P(a i ≤ X<a i+1 )=P( i ≤
<
)=Φ( i+1 )-Φ( i )
s
s
s
s
s
r
(n i -npi ) 2
5. Obliczamy u n =∑
, gdzie ni jest liczebnością klasy Ai.
npi
i=1
6. Wyznaczamy zbiór krytyczny prawostronny K =< k; ∞) , gdzie k wyznaczamy z tablicy rozkładu
χ2 dla r – 3 stopniami swobody i dla prawdopodobieństwa α (równemu poziomowi istotności) –
pkt 5 części VII „Tablice statystyczne”.
7. Podejmujemy decyzję:
• odrzucamy hipotezę H0, gdy un ∈ K
• przyjmujemy hipotezę H0, gdy un ∉ K
Przykład 17.4
Badano wynagrodzenie (w zł) pracowników pewnego przedsiębiorstwa (cecha X populacji).
Z grupy pracowników pobrano próbę 200 elementową. Otrzymane wyniki prezentowane są
w poniŜszym szeregu rozdzielczym przedziałowym
Nr klasy
i
1
2
3
4
5
6
7
8
9
10
28
Wynagrodzenie
<ai, ai+1)
<600 ; 800)
<800 ; 1000)
<1000 ; 1200)
<1200 ; 1400)
<1400 ; 1600)
<1600 ; 1800)
<1800 ; 2000)
<2000 ; 2200)
<2200 ; 2400)
<2400 ;2600)
Suma
Liczebność
ni
2
10
20
30
56
42
21
13
5
1
200
W przypadku konieczności zweryfikowania hipotez o podleganiu cechy rozkładowi normalnemu w oparciu o próbę
o małej liczebnosci naleŜ y zastosować test Shapiro-Wilka. Zostanie on opisany w drugiej części podręcznika
65
STATYSTYKA MATEMATYCZNA
Na poziomie istotności α = 0,05 sprawdzimy hipotezy: H0 (Cecha X populacji ma rozkład normalny) i
H1 (Cecha X populacji nie ma rozkładu normalnego).
Obliczenia x i s
Środek
Nr
Wynagrodzenie Liczebność klasy
klasy
<ai; ai+1)
ni
~
xi
i
1
<600 ; 800)
2
700
2
<800 ; 1000)
10
900
3
<1000 ; 1200)
20
1100
4
<1200 ; 1400)
30
1300
5
<1400 ; 1600)
56
1500
6
<1600 ; 1800)
42
1700
7
<1800 ; 2000)
21
1900
8
<2000 ; 2200)
13
2100
9
<2200 ; 2400)
5
2300
10
<2400 ;2600)
1
2500
Suma
200
x=
~
xini
n i (~
x i − x) 2
1400
9000
22000
39000
84000
71400
39900
27300
11500
2500
308000
1411200
4096000
3872000
1728000
89600
1075200
2721600
4076800
2888000
921600
22880000
308000
22880000
= 1540 [zł], s 2 =
= 114400 [zł], s = 114400 = 338, 2 [zł]
200
200
Obliczenia u200
PoniewaŜ do kaŜdej ze skrajnych klas powinno naleŜeć co najmniej 5 elementów łączymy w jedną
klasę klasy pierwszą i drugą danego szeregu rozdzielczego - otrzymujemy pierwszą klasę nowego
szeregu, którą ze względu na wymagania, jaką postać ma mieć ta klasa zapisujemy
(-∞;1000). Z tych samych powodów łączymy klasy 8, 9 i 10 w jedną klasę i zapisujmy ją w postaci
<2000; ∞ ).
i
1
2
3
4
5
6
7
<ai; ai+1)
( − ∞ ; 1000)
<1000 ; 1200)
<1200 ; 1400)
<1400 ; 1600)
<1600 ; 1800)
<1800 ; 2000)
<2000 ; ∞ )
ni
12
20
30
56
42
21
19
− ∞ 1000
a i -x
s
−∞
1000
1200
1400
1600
1800
2000
-1,60
-1,01
-0,41
0,18
0,77
1,36
ai
ai+1
1200
1400
1600
1800
2000
∞
a i+1 -x
 a -x   a -x 
Φ  i  Φ  i+1 
s
 s   s 
-1,60
-1,01
-0,41
0,18
0,77
1,36
∞
0
0,05517
0,15737
0,33945
0,57041
0,77899
0,91311
0,0552
0,1574
0,3395
0,5704
0,779
0,9131
1
Suma
pi
npi
0,05517 11,03
0,10220 20,44
0,18208 36,42
0,23095 46,19
0,20858 41,72
0,13412 26,82
0,08689 17,38
1,00000 200,00
(n i -np1 ) 2
npi
0,084659
0,009499
1,130557
2,083142
0,001933
1,264544
0,151291
4,73
u200= 4,73. Wyznaczamy zbiór krytyczny prawostronny K = <k; ∞). Liczbę k odczytujemy z tablicy
rozkładu χ 2 dla r – 3 = 7 – 3 = 4 stopni swobody i prawdopodobieństwa α = 0,05. (pkt 5 części VII
„Tablice statystyczne”). Mamy k = 9,488, więc K = <9,488; ∞). PoniewaŜ u200= 4,73 ∉ K , więc
hipotezę, Ŝe cecha ma rozkład normalny przyjmujemy.
Hipotezę tę moŜna dopiero odrzucić na poziomie istotności 0,32, gdyŜ zbiór krytyczny
K = <4,73; ∞) otrzymujemy właśnie na tym poziomie. W powyŜszym przykładzie dane statystyczne były pogrupowane w przedziałach o jednakowej
długości (z wyjątkiem pierwszego i ostatniego). Test chi kwadrat moŜna stosować takŜe przy innych
sposobach grupowania danych, na przykład przy grupowaniu w przedziały o jednakowych
prawdopodobieństwach teoretycznych pi przyjęcia wartości z tych przedziałów. Prawdopodobieństwa
te są obliczane, przy załoŜeniu, iŜ prawdziwa jest hipoteza, Ŝe rozkład cechy jest normalny. Przy tej
metodzie grupowania liczebności npi są jednakowe dla kaŜdego przedziału.
66
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Przykład 17. 5
Padano zuŜycie surowca na jednostkę produkcji (Cecha X populacji). Pobrano próbę 100 elementową
i otrzymano wyniki:
35
43
25
65
28
72
96
51
48
80
91
35
40
76
80
23
67
63
84
20
49
73
89
21
31
12
28
45
38
90
69
38
66
49
57
52
62
25
60
40
41
17
63
48
77
23
30
84
32
56
32
81
15
69
51
74
46
34
54
49
91
51
82
38
53
12
63
49
68
48
58
43
60
41
63
68
54
74
32
51
34
50
29
55
69
16
24
34
41
31
50
18
45
63
40
38
34
67
47
24
Sprawdzimy hipotezy H0 (X ma rozkład normalny), H1 (X nie ma rozkładu normalnego), stosując test
chi-kwadrat, dla danych pogrupowanych w przedziały o równych liczebnościach teoretycznych.
Rozwiązanie
Pogrupujemy dane w r = 10 klasach, a więc teoretyczna liczebność klasy wynosi takŜe 10, gdyŜ próba
liczy 100 elementów, prawdopodobieństwo przyjęcia wartości przez X z danej klasy wynosi p = 0,1.
Na podstawie próby wyznaczamy x = 50 i s =20,5. Zakładamy, Ŝe cecha X ma rozkład normalny
X − 50
N(50;20,5), czyli zmienna losowa Y =
ma rozkład normalny N(0, 1).
20,5
Przedziały (klasy) wyznaczamy następująco:
Ai = <ai-1 ;ai)
Prawy koniec ai klasy o numerze i spełnia związek P(X < ai) = ip = 0,1i, zatem
 X-50 a i -50 
 a -50 
P(X<a i )=P 
<
=Φ  i

 =0,1i
 20,5 20,5 
 20,5 
Z tablicy dystrybuanty rozkładu normalnego (pkt 4 części VII „Tablice statystyczne”) wyznaczamy
a -50
liczbę ki, taką, Ŝe i
=k i
20,5
a stąd
ai =50 + 20,5ki
dla
i = 1, 2, ..., 9
Prawe końce klas zostały wyznaczone, a to wystarcza do wyznaczenia klas, gdyŜ lewy koniec klasy
jest równy prawemu poprzedniej klasy, zaś koniec lewy pierwszej klasy jest równy -∞.
Sortujemy próbę niemalejącą i wyznaczamy liczebności klas.
12
32
43
54
69
12
32
45
54
69
15
32
45
55
69
16
34
46
56
72
17
34
47
57
73
18
34
48
58
74
20
34
48
60
74
21
35
48
60
76
23
35
49
62
77
23
38
49
63
80
24
38
49
63
80
24
38
49
63
81
25
38
50
63
82
25
40
50
63
84
28
40
51
65
84
28
40
51
66
89
29
41
51
67
90
30
41
51
67
91
31
41
52
68
91
31
43
53
68
96
Dalej postępujemy jak w poprzednim przykładzie: obliczmy wartość sprawdzianu, który dla danych
1 r
w tym przykładzie przyjmuje postać u n = ∑ (n i -10) 2 .
10 i=1
67
STATYSTYKA MATEMATYCZNA
Otrzymane wyniki przedstawia poniŜsza tabela.
i
0,1i
ki
ai=20,5ki+50
KlasyAi
1
2
3
4
5
6
7
8
9
10
0, 1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
-1,28
-0,84
-0,52
-0,25
0,00
0,25
0,52
0,84
1,28
∞
23,7
32,7
39,2
44,8
50,0
55,2
60,8
67,5
76,3
∞
(- ∞ ; 23,7)
<23,7 ; 32,7)
<32,7 ; 39,2)
<39,2 ; 44,8)
<44,8 ; 50,0)
<50,0 ; 55,2)
<55,2 ; 60,8)
<60,8 ; 67,5)
<67,5 ; 76,3)
<76,3 ; ∞)
Suma
Liczebności
ni
10
13
10
8
11
11
5
10
10
12
100
(ni -10)2
0
9
0
4
1
1
25
0
0
4
44
44
= 4, 4 . Zbiór krytyczny prawostronny K = <k ; ∞). Liczbę k
10
wyznaczmy z tablicy rozkładu chi kwadrat dla r-3 = 10 -3 = 7 stopni swobody
i poziomu istotności 0,05. Otrzymujemy k = 14,067, zatem K = <14,067 ; ∞). PoniewaŜ un ∉ K więc
przyjmujemy hipotezę, cecha X ma rozkład normalny. Wyznaczymy jeszcze graniczny poziom
istotności, αˆ = P(Y7 ≥ 4,4) , gdzie Y7 ma rozkład chi kwadrat z 7 stopniami swobody. Na podstawie
programu komputerowego otrzymujemy αˆ = 0,73 (tablice są za mało dokładne), co świadczy o
bardzo dobrej zgodności rozkładu w próbie z rozkładem hipotetycznym. Zatem wartość sprawdzianu u n =
16.4.4. Test niezaleŜności chi kwadrat
Populację badamy ze względu na dwie cechy X i Y , czyli ze względu na zmienną losową
dwuwymiarową (X, Y). Ze względu na cechę X populację dzielimy na r grup, zaś ze względu na
cechę Y na s grup, zatem ze względu na obie cechy na r ⋅ s grup. Cechy X i Y wyraŜone są więc
w skali nominalnej. Zmienna losowa dwuwymiarowa jest skokowa o funkcji prawdopodobieństwa
P(X = i, Y = j) = pij dla i = 1, 2, … , r; j = 1, 2, … , s.
Podamy teraz test, oparty na teście chi kwadrat, do weryfikacji hipotez o niezaleŜności cech X i Y
populacji.
Jak wiemy z rachunku prawdopodobieństwa zmienne losowe skokowe są niezaleŜne wtedy
i tylko wtedy, gdy P(X = i, Y = j) = P(X = i) P(Y = j) lub w innym zapisie pij = pi.p.j
dla i = 1, 2, … , r; j = 1, 2, … , s.
Zatem hipoteza H0 (Cechy X i Y są niezaleŜne) moŜe być zastąpiona hipotezą:
H0 (Rozkład zmiennej losowej dwuwymiarowej (X, Y) jest skokowy o funkcji prawdopodobieństwa
P(X = i, Y = j) = pi. p.j dla i = 1, 2, … , r; j = 1, 2, … , s).
Pobieramy z populacji próbę i klasyfikujemy ją ze względu na obie cechy.
Oznaczenia:
nij - liczba elementów próby naleŜących do grupy o numerze i ze względu na cechę X oraz do grupy o
numerze j ze względu na cechę Y,
ni. – liczba elementów próby naleŜących do grupy o numerze i ze względu na cechę X,
n.j - liczba elementów próby naleŜących do grupy o numerze j ze względu na cechę Y,
ni., n.j - liczebności brzegowe.
n i. =n i1 +n i2 +…+n is′
n .j =n1j +n 2j +…+n rj′
n = n 1. + n 2. + K + n r. = n .1 + n .2 + K + n .s .
68
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Liczebności te moŜna przedstawić w postaci podanej poniŜej tabeli korelacyjnej
Y
X
1
2
.
r
n.j
1
2
n11
n21
…
nr1
n.1
n12
n22
…
nr2
n.2
…
s
… n1s
n2s
… …
… nrs
… n.s
ni.
n1.
n2.
…
nr.
n.
n. j
n i⋅
, zaś parametru p.j jest
.
n
n
r
(n -np ) 2
Wzór na wartość sprawdzianu w teście chi kwadrat u n =∑ i i
przybiera teraz postać
npi
i=1
r
s
n i. n.j
(n ij -nˆ ij )2
, gdzie n̂ ij =
.
u n =∑∑
n̂ ij
n
i=1 j=1
Oszacowaniem metodą największej wiarygodności parametru pi. jest
Wielkość un jest wartością statystyki Un o rozkładzie w przybliŜeniu chi kwadrat z liczbą stopni
swobody równą liczbie wszystkich grup ze względu na obie cechy minus liczba parametrów
szacowanych metodą największej wiarygodności minus jeden.
Wszystkich grup jest r·s. Parametrów pi jest r, ale naleŜy oszacować tylko r -1 parametrów, gdyŜ
r
∑ p =1
i.
i z tej równości wyznaczmy r-ty parametr, z tego samego powodu szacujemy tylko s-1
i-1
parametrów p.j. Zatem statystyka Un ma rozkład w przybliŜeniu chi kwadrat o (r-1)(s-1) stopniach
swobody, gdyŜ
r ⋅ s − (r − 1) − (s − 1) − 1 = rs − r − s − 1 = r(s − 1) − (s − 1) = (r − 1)(s − 1)
Przyjmujemy zbiór krytyczny prawostronny K = < k; ∞). Liczbę k odczytujemy z rozkładu chi
kwadrat dla (r-1)(s-1) stopni swobody. Jeśli wartość sprawdzianu un ∈ K, to odrzucamy hipotezę
zerową H0, Ŝe cechy są niezaleŜne, w przeciwnym przypadku przyjmujemy H0.
Przykład 17. 7
W trzech grupach A, B i C pewnej uczelni przeprowadzono egzamin ze statystyki. Postanowiono
zbadać, czy istnieje zaleŜność między przynaleŜnością studenta do danego wydziału, a wynikiem
egzaminu?
Wprowadzamy zmienną losową X przyjmującą wartość 1, gdy student jest z grupy A, liczbę 2, gdy z
grupy B oraz liczbę 3, gdy jest z grupy C oraz zmienną losową Y przyjmującą wartość 1, gdy student
zdał egzamin lub wartość 0, gdy nie zdał egzaminu.
Wysuwamy hipotezy
H0 (Cechy X i Y są niezaleŜne)
H1 (Cechy X i Y są zaleŜne)
Wyniki badania przedstawione są w 6 klasach. Liczebności tych klas oraz liczebności brzegowe
zawiera poniŜsza tabela.
Y
1
0
ni.
X
1
35
5
40
2
45
15
60
3
20
10
30
n.j
100 30 130
69
STATYSTYKA MATEMATYCZNA
Obliczamy:
- tabelę wartości n̂ ij
j
1
30,77
46,15
23,08
i
1
2
3
- tabelę wartości
0
9,23
13,85
6,92
(n ij -nˆ ij )2
n̂ ij
j
i
1
2
3
1
0,58
0,03
0,41
0
1,94
0,10
1,37
Wartość sprawdzianu to suma zawartości komórek powyŜszej tabeli, jest ona równa un = 4,43.
Przyjmujemy poziom istotności α = 0,01.
Zbiór krytyczny dla tego testu jest prawostronny K = < k ; ∞) . Liczbę k odczytujemy z tablicy
rozkładu chi kwadrat dla (r-1)(s-1) = (3-1)(2-1) = 2 i poziomu prawdopodobieństwa α = 0,01. Mamy
k = 9,210, zatem K = < 9,210 ; ∞). PoniewaŜ un ∉ K, więc brak jest podstaw do odrzucenia hipotezy
zerowej, co oznacza Ŝe wynik egzaminu nie zaleŜy od grupy, do której student jest zapisany.
Hipotezy moŜna zweryfikować bezpośrednio wykorzystując funkcję statystyczną TEST.CHI arkusza
Excel. Dane dotyczą liczebności klas nij oraz wartości n̂ ij , które naleŜy wcześniej obliczyć.
Wynik formuły 0,10937 jest równy jest równy granicznemu poziomowi istotności α̂ , wyznaczonemu
na podstawie wartości wskaźnika un = 4,43 obliczonego bez wykorzystania programu
komputerowego, co zilustrowano poniŜej.
PoniewaŜ α̂ =0,109 > 0,05 = α więc hipotezę zerową H0 przyjmujemy.
70
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Na zakończenie zweryfikujemy wysunięte hipotezy korzystając z pakietu IBM SPSS Statistics
wybierając po wpisaniu danych do 2 kolumn (do pierwszej oznaczenie wydziałow , a do drugiej
oznaczenie wyniku egzaminu – dane sa zapisane w 2 kolumnach i 130 wierszach) w kolejności:
Analiza → Opis statystyczny → Tabele krzyŜowe i wybierając statystykę Chi-kwadrat:
71
STATYSTYKA MATEMATYCZNA
Otrzymane wyniki są następujące:
Otrzymaliśmy taką samą wartość statystyki chi-kwadrat = 4,424 jak obliczoną bez wykorzystania
programu komputerowego i taką samą graniczną wartość poziomu istotności 0,110 jaką obliczono z
wykorzystaniem arkusza Excel.
Uwaga
KaŜda teoretyczna liczebność n̂ ij powinna wynosić co najmniej 5. Jeśli tak nie jest, to naleŜy dodać
do siebie dwa sąsiednie wiersze lub kolumny.
Sprawdzian moŜna łatwo obliczyć w przypadku r = s = 2. Wtedy dane zapisane są w tzw. tabeli
czteropolowej
Y
X
1
2
1
2
A
C
A+C
B
D
B+D
A+B
C+D
n
Wtedy sprawdzian przyjmuje postać
Un =
n(AD-BC) 2
(A+B)(A+C)(B+D)(C+D)
i ma rozkład (przy załoŜeniu prawdziwości hipotezy zerowej) asymptotycznie chi kwadrat
z jednym stopniem swobody.
Uwaga
W częśći II podręcznika opisano kolejny test do badania niezaleŜności cech populacji oparty na teorii
serii.
72
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Przykład 17.8
Badano wyniki egzaminu końcowego wśród absolwentów gimnazjów duŜych miast (powyŜej 100 tys.
mieszkańców) i małych miast (do 100 tys. mieszkańców). Wprowadzamy cechy X
i Y, X = 1, gdy absolwent zdawał egzamin w duŜym mieście, X=0, gdy zdawał w małym mieście,
natomiast Y =1, gdy absolwent zdał egzamin, Y = 0, gdy nie zdał egzaminu.
Wysuwamy hipotezy H0 (Cechy X i Y są niezaleŜne), H1 (Cechy X i Y są zaleŜne).Wyniki próby
przedstawione są w tabeli
Y
1
0
ni.
X
1
360
40
400
0
280
20
300
n.j
640
60
700
Obliczamy wartość sprawdzianu
un =
700 ⋅ (360 ⋅ 20 − 40 ⋅ 260)2
= 2, 43
400 ⋅ 640 ⋅ 60 ⋅ 300
Zbiór krytyczny K = <k ; ∞). Przyjmujemy poziom istotności 0,05. Liczbę k wyznaczamy
z tablicy rozkładu chi kwadrat dla jednego stopnia swobody i poziomu istotności 0,05, otrzymujemy k
= 3,841, zatem K = <3,841 ; ∞). PoniewaŜ un ∉ K, więc hipotezę zerową, Ŝe wynik egzaminu nie
zaleŜy od tego, czy absolwent zdawał egzamin w duŜym czy w małym mieście naleŜy przyjąć. 16.5. Testy nieparametryczne dla dwóch prób
16.5.1. Test zgodności rozkładów dla prób niepowiązanych (test Wilcoxona)
RozwaŜamy cechy X i Y dwóch populacji. Z kaŜdej populacji pobierany próbę o liczebności
odpowiednio równej n1 i n2 (liczebność mniejszej próby oznaczamy n1). Wysuwamy hipotezę zerową,
Ŝe rozkłady obu cech są jednakowe. PoniewaŜ rozkład zmiennej losowej określa jej dystrybuanta więc
hipotezę zerową moŜna zapisać w postaci
H0( FX = FY)29
gdzie: FX i FY są dystrybuantami zmiennych losowych X oraz Y, FX(u) = P(X < u), FY(u) = P(Y < u).
Równość FX =FY oznacza, Ŝe dla kaŜdej liczby rzeczywistej u mamy FX(u) = FY(u).
Hipotezę alternatywną przyjmujemy w jednej z trzech postaci:
H1( FX >FY) lub H1( FX <FY) lub H1( FX ≠FY)
Nierówność FX >FY oznacza, Ŝe dla kaŜdej liczby rzeczywistej u mamy FX(u) > FY(u), podobnie
rozumiemy nierówność FX <FY. Natomiast wyraŜenie FX ≠ FY oznacza, Ŝe istnieje liczba rzeczywista
u taka, Ŝe FX (u) ≠ FY(u).
Aby sprawdzić hipotezy zerową i alternatywną łączymy obie próby w jedną próbę o liczebności
n = n1 + n2 i porządkujemy ją niemalejąco. Następnie rangujemy elementy uporządkowanej próby,
tzn. numerujemy jej elementy kolejnymi liczbami naturalnymi, poczynając od liczby 1. Jeśli
w uporządkowanej próbie występują elementy jednakowe, to kaŜdemu z nich przypisujemy tę samą
rangę, równą średniej arytmetycznej rang tych elementów, gdyby były one róŜne np. gdyby elementy
o numerach 10, 11 i 12 były sobie równe, to kaŜdemu z nich przypisujemy rangę 11, gdyby elementy
15 i 16 były sobie równe, to kaŜdemu z nich przypisujemy rangę 15,5.
29
Patrz pkt 28.1
73
STATYSTYKA MATEMATYCZNA
Sprawdzianem testu do weryfikacji wysuniętych hipotez (testu Wilcoxona) jest statystyka
Un = suma rang elementów próby o mniejszej liczebności.
Rozkład sprawdzianu, przy załoŜeniu prawdziwości hipotezy zerowowej jest dla niewielkich
liczebności prób stablicowany (pkt 11 części VII „Tablice statystyczne”. Natomiast, gdy min(n1, n2) ≥
4 i n1 + n2 ≥ 20, to rozkład sprawdzianu jest w przybliŜeniu N(m, σ), gdzie
m=
n1 ( n1 +n 2 +1)
2
σ=
,
n1n 2 ( n1 +n 2 +1)
.
12
Przykład 16.10
Analizujemy czas wykonania pewnego zadania przez dwie grupy pracowników.
Otrzymane wyniki były następujące:
Grupa 1 – cecha X
77,0
54,6
99,9
94,1
98,6
99,9
99,9
72,0
90,2
77,6
100,0
100,0
96,0
92,9
97,2
100,0
Grupa 2 – cecha Y
60,5
86,2
66,3
100,0
Wysunięto hipotezy
H0 (Rozkłady cech X i Y mają jednakowe rozkłady), czyli H0(FX=FY).
H1 (Rozkłady cech X i Y nie mają jednakowych rozkładów), H1( FX≠FY).
Hipotezy te zweryfikujemy za pomocą testu Wilcoxona na poziomie istotności 0,05.
Wyniki obu prób oraz ich łączenie i rangowanie elementów próby połączonej przedstawione są w
poniŜszej tabeli.
Obliczamy rangi elementów obu prób.
Lp.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
I próba
II próba
wynik Ranga wynik ranga
54,6
1
60,5
2
66,3
3
72,0
4
77,0
5
77,6
6
86,2
7
90,2
8
92,2
9
94,1
10
96,0
11
97,2
12
98,6
13
99,9
15
99,9
15
99,9
15
100,0
18,5
100,0 18,5
100,0 18,5
100,0 18,5
Uwzględniając, Ŝe n1 = 4, n2 =16 wyznaczamy wartość sprawdzianu un = suma rang elementów próby
o mniejszej liczności un = 2 + 3 + 7 + 18.5 = 30.5
74
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Skorzystamy z asymptotycznej własności statystyki Un: Un ma rozkład w przybliŜeniu normalny
N(m, σ), gdzie
m=
n1 ( n1 +n 2 +1)
=42 , σ=
n1n 2 ( n1 +n 2 +1)
=10,58 .
12
2
U
42
Czyli statystyka
ma rozkład w przybliŜeniu normalny N(0,1), przy załoŜeniu
U*n = n
10,58
prawdziwości hipotezy zerowej.
Przyjmujemy zbiór krytyczny dwustronny, na poziomie istotności 0,05
K = (-∞ ; -k> ∪ <k ; ∞). Liczba k spełnia związek Φ(k) = 1 –α/2 =0,975 ⇒ k = 1,96
u -42 30,5-42
K= (-∞ ; -1,96> ∪ <1,96 ; ∞) u*n = n
=
=-1,09
10,58 10,58
PoniewaŜ un ∉ ,K, więc nie ma podstaw, by twierdzić, Ŝe cechy X i Y mają róŜne rozkłady, co
oznacza, Ŝe .przyjmujemy hipotezę zerową.
Obliczymy jeszcze krytyczny poziom istotności
αˆ
Spełnia on związek Φ (1, 09) = 1 − Stąd αˆ = 2(1 − Φ (1, 09)) = 2(1 − 0,8621) = 0, 2758 .
2
Na zakończenie zweryfikujemy wysunięte hipotezy korzystając z pakietu IBM SPSS Statistics
wybierając po wpisaniu danych do 2 kolumn (do pierwszej wyniki pomiarów , a do drugiej określenie
której grupy dotyczą) w kolejności: Analiza → Testy nieparametryczne → Próby niezaleŜne30 oraz
określając Testowane zmienne i Zmienną grupującą.
Otrzymany wynik Istotność = 0,275 jest taki sam jak wyznaczony bez wykorzystania programu
komputerowego graniczny poziom istotności.
16.5.2. Test zgodności rozkładów dla prób powiązanych (test rangowanych znaków)
Z populacji losujemy n elementów i badamy wartości cechy X w dwóch momentach początkowym
i końcowym. Niech X1 będzie cechą oznaczającą wartości cechy X w momencie początkowym,
a X2 cechą oznaczającą wartości cechy X w momencie końcowym. Otrzymujemy dwie próby
(powiązane) n elementowe, pierwsza próba (x11, x12, … , x1n), druga próba (x21, x22, … , x2n).
Obliczamy róŜnice x1i – x2i między elementami I i II próby, sortujemy je niemalejąco i rangujemy
(numerujemy) liczbami od 1 do n.
Przyjmujemy sprawdzian Un = suma rang róŜnic dodatnich
Dla liczności 3 ≤ n ≤ 20 rozkład dokładny statystyki Un jest stablicowany (pkt 12 części VII „Tablice
statystyczne”). Dla n > 20 statystyka ta ma rozkład asymptotycznie normalny N(m, σ), gdzie
m=
30
n ( n+1)
4
, σ=
n ( n+1)( 2n+1)
.
24
W pakiecie IBM SPSS Statistics test ten nosi nazwę Test U Manna-Whitney’a dla prób niezaleznych
75
STATYSTYKA MATEMATYCZNA
Przykład 16.11
Na poziomie istotności α=0,001 weryfikuje się hipotezę o równości stochastycznej czasu
wykonywania pewnego zadania przed i po szkoleniu.
Uwzględnia się, Ŝe dotychczasowe badania wykazały skrócenie czasu wykonywania zadania na
skutek szkolenia.
Zatem weryfikowane hipotezy mają postać:
H 0 FX1 = FX2
(
)
H1 (FX1 > FX2 )
X1 – czas wykonania zadania przed szkoleniem,
X2 - czas wykonania zadania po szkoleniu.
Przebieg wyznaczania rang przedstawiono w poniŜszej tabeli:
i
x1i
x2i
x1i-xi2
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
0,71
2,2
2,12
1,40
3,24
2,79
3,59
1,90
0,81
2,54
0,60
1,31
1,28
1,93
3,84
0,08
0,20
0,11
0,17
0,12
0,36
0,21
0,53
0,13
0,18
0,19
0,22
0,29
0,19
0,22
0,49
0,32
0,51
2,09
1,95
1,28
2,88
2,58
3,06
1,77
0,63
2,35
0,38
1,02
1,09
1,71
3,35
-0,24
Uporządkowane Rangi
róŜnice
róŜnic
-0,24
1
0,38
2
0,51
3
0,63
4
1,02
5
1,09
6
1,28
7
1,71
8
1,77
9
1,95
10
2,09
11
2,35
12
2,58
13
2,88
14
3,06
15
3,35
16
Z podanej tabeli otrzymuje się sumę rang dla róŜnic dodatnich Un = 135.
Przyjmujemy zbiór krytyczny prawostronny K = <k ; ∞). Z tablicy wyznaczamy k = 122, zatem
hipotezę zerową H0, Ŝe cechy mają jednakowy rozkład naleŜy odrzucić.
Na zakończenie zweryfikujemy wysunięte hipotezy korzystając z pakietu IBM SPSS Statistics
wybierając po wpisaniu danych do 2 kolumn (do pierwszej wyniki pomiarów z I okresu , a do drugiej
z II okresu) w kolejności: Analiza → Testy nieparametryczne → Testy tradycyjne → Dwie próby
zaleŜne → Test Wilcoxona31.
31
W pakiecie IBM SPSS Statistics test ten nosi nazwę Test znaków rangowanych Wilcoxona
76
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Otrzymane wyniki są następujące:
Otrzymano taką samą wartość statystyki Suma rang dodatnich = 135
16.6. Algorytmizacja obliczeń
16.6.1. Wykorzystanie arkusza Excel
Lp
Zakres analizy statystycznej
Funkcje
statystyczne
Narzędzia statystyczne
1.
Weryfikacja hipotezy o wartości
oczekiwanej przy znanej i nieznanej
wariancji
TEST.Z
-
2.
Weryfikacja hipotezy o równości wartości
oczekiwanych przy równych wariancjach
TEST.T
Test t: z dwiema próbami
zakładający równe
wariancje
3.
Weryfikacja hipotezy o równości wartości
oczekiwanych przy róŜnych wariancjach
TEST.T
Test t: z dwiema próbami
zakładający nierówne
wariancje
4.
Weryfikacja hipotezy o równości wartości
oczekiwanych przy próbach powiązanych
TEST.T
Test t: par skojarzonych
z dwiema próbami dla
średniej
5.
Weryfikacja hipotezy o równości wariancji
TEST.F
Test F: z dwiema próbami
dla wariancji
6.
Weryfikacja hipotezy o niezaleŜności cech
TEST.CHI
-
77
STATYSTYKA MATEMATYCZNA
16.6.2.Zasady wyboru testu przy dwóch próbach
Na poniŜszym rysunku przedstawiono schemat blokowy wyboru testów do oceny istotności róŜnic
rozkładu określonej cechy w dwóch warunkach.
Początek
Czy próby powiązane
NIE
TAK
Skala cechy
PRZEDZ.
PORZĄDK.
Skala cechy
NOMINALNA
NOMINALNA
PRZEDZ.
PORZĄDK.
Czy cecha ma rozkład
normalny18
Małe liczności prób
Czy cecha ma rozkład
normalny18
TAK
NIE
TAK
NIE
Test
Studenta
dla prób
powiązanych
Test
rangowanych
znaków
NIE
Czy wariancje cechy
przy 2 warunkach równe
TAK
NIE
Test
Studenta
dla prób
niepowiązanych
Test
Cochrana
- Coxa
TAK
Czy próby powiązane
Test
Wilcoxona
TAK
NIE
Test
McNemara
Test chi
kwadrat
Test
dokładny
Fishera
Koniec
Rys. 18.1. Schemat blokowy wyboru testów statystycznych do oceny istotności róŜnic rozkładu cechy
w dwóch róŜnych warunkach
Wszystkie te testy zostały opisane lub wspomniane32 w dotychczasowych rozwaŜaniach.
32
W zaleŜności od liczebności póby stosuje się test zgodności chi-kwadrat lub test Shapiro-Wilka.
Test McNemary i test dokładny Fishera, a takŜe test Shapiro-Wilka umoŜliwiający ocenę normalności rozkładu na
podstawie prób o małych liczebnościach zostały opisane w części drugiej podręcznika.
78
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
17. ANALIZA KORELACJI I REGRESJI DWÓCH ZMIENNYCH
17.1. Wprowadzenie
Badamy populację ze względu na dwie cechy, które modelujemy zmiennymi losowymi X i Y.
Mówimy wówczas, Ŝe populacja jest badana ze względu na zmienną losową dwuwymiarową
(X, Y), zaś populację nazywamy populacją dwuwymiarową.
Próba z populacji dwuwymiarowej jest to ciąg n wyrazowy zmiennych losowych dwuwymiarowych
(17.1)
(X1 ,Y1 ), (X 2 ,Y2 ), ...,(X n ,Yn )
33
niezaleŜnych (dwuwymiarowo) o jednakowym rozkładzie takim jak rozkład zmiennej losowej
dwuwymiarowej (X, Y).
KaŜdy ciąg
(x1 ,y1 ), (x 2 ,y 2 ), ...,(x n ,yn )
(17.2)
będący wartością próby (17.1) nazywamy realizacją próby z populacji dwuwymiarowej.
Przedmiotem rozwaŜań w tym rozdziale będą następujące zagadnienia oparte o próbę z populacji
dwuwymiarowej:
• Analiza korelacji, tzn. wywnioskowanie o sile związku liniowego między cechami X i Y.
• Analiza regresji (prowadzona, jeŜeli siła związku liniowego jest duŜa) aproksymowanie związku
między cechami zaleŜnością liniową.
Podstawą rozwaŜań będą statystyki z próby dwuwymiarowej (X1 ,Y1 ),(X 2 ,Y2 ), ...,(X n ,Yn )
1 n
1 n
Xi ,
Y= ∑ Yi - średnie z próby odpowiednio cechy X i cechy Y
∑
n i=1
n i=1
n
1
1 n
X 2 = ∑ X i2 ,
Y 2 = ∑ Yi2 - momenty rzędu 2 z próby odpowiednio cechy X i cechy Y
n i=1
n i=1
n
1
1 n
S2X = ∑ (X i -X)2 , S2Y = ∑ (Yi -Y)2 - wariancje z próby odpowiednio cechy X i Y
n i=1
n i=1
n
1
(XY) = ∑ X i Yi - moment rzędu 2 z próby mieszany cech X i Y
n i=1
X=
1 n
1 n
(Xi -X) 2 , SY2 =
(Yi -Y) 2 - odchylenia standardowe z próby cechy X i Y
∑
∑
n i=1
n i=1
n
1
COVXY = ∑ (X i -X)(Yi -Y) - kowariancja z próby cech X i Y
n i=1
COVXY
R=
- współczynnik korelacji Pearsona z próby cech X i Y.
SXSY
S2X =
Związki między statystykami
SX 2 =X 2 -(X) 2 ,
SY 2 =Y 2 -(Y)2
COVXY =(XY)-XY
R=
33
(XY)-XY
2
X -(X) 2 Y 2 -(Y) 2
Zmienne losowe dwuwymiarowe (X1,Y1) i (X2,Y2) są niezaleŜne (dwuwymiarowo) jeśli dystrybuanta zmiennej losowej
czterowymiarowej (X1,Y1,X2,Y2) jest równa iloczynowi dystrybuant zmiennych losowych dwuwymiarowych (X1,Y1) i
(X2,Y2).
79
STATYSTYKA MATEMATYCZNA
17.2. Analiza korelacji
17.2.1. Uwagi wstępne
Jak juŜ było powiedziane, w dziale statystyki zwanym analizą korelacji bada się czy istnieje zaleŜność
między cechami populacji i jaka jest siła tej zaleŜności. Ograniczymy się do badania istnienia i siły
związku liniowego. Jak juŜ wiemy do tego celu słuŜy współczynnik korelacji ρ badanych cech
populacji. Rzecz jednak w tym, Ŝe w zagadnieniach praktycznych wartość tego współczynnika nie jest
znana. NaleŜy zatem wnioskować o ρ na podstawie próby. Stąd nazwa działu statystyki, który podaje
reguły wnioskowania o tym parametrze.
Analiza korelacji opiera się na poniŜszych twierdzeniach, które są prawdziwe przy załoŜeniu, Ŝe
zmienna losowa dwuwymiarowa (X, Y) ze względu na którą badana jest populacja ma rozkład
normalny o współczynniku korelacji ρ .
 1-ρ 2 
Tw.17.1. Współczynnik korelacji z próby R ma rozkład asymptotycznie normalny N  ρ,
.
n 

(Zgodność rozkładu R z rozkładem normalnym jest dobra dopiero dla wielkich prób n ≥ 500).
1 1+R
Tw.17.2. Statystyka U n = ln
ma rozkład asymptotycznie normalny
2 1-R
 1 1+ρ
N  ln
,
 2 1-ρ
1 
.
n-3 
(Zgodność rozkładu Un z rozkładem normalnym jest dobra nawet dla niewielkich prób
n ≥ 20).
R
Tw.17.3. Jeśli cechy X i Y są nieskorelowane (ρ = 0), to statystyka U n =
n-2 ma rozkład
1-R 2
Studenta z n –2 stopniami swobody.
Uwaga: PoniewaŜ załoŜono, Ŝe (X,Y) ma rozkład normalny i ρ = 0, więc cechy X i Y są niezaleŜne.
17.2.2. Estymacja współczynnika korelacji cech populacji
Przyjmujemy, Ŝe estymatorem współczynnika korelacji ρ cech X i Y populacji jest współczynnik
korelacji R z próby34. Jego wartość wyznaczana na podstawie próby (x1 , y1 ),..., (x n , y n ) wynosi
r=
cov xy
sxs y
1 n
∑ (x − x)(yi − y)
n i =1 i
=
=
x⋅y−x⋅y
n
1 n
2 1
2
x 2 − (x)2 y 2 − (y)2
∑ (x i − x)
∑ (yi − y)
n i =1
n i =1
Estymator R jest estymatorem zgodnym i asymptotycznie nieobciąŜonym współczynnika ρ.
Do wyznaczania oceny r estymatora R wygodnie jest korzystać ze wzoru
r=
n
 n  n 
n ∑ x i yi -  ∑ x i   ∑ yi 
i=1
 i=1   i=1 
n
 n 
n∑ xi2 -  ∑ xi 
i=1
 i=1 
34
2
n
 n 
n ∑ yi 2 -  ∑ yi 
i=1
 i=1 
2
Współczynnik ten nazywany jest często współczynnikiem korelacji Pearsona. Jest on estymatorem uzyskanym metodą
momentów oraz przy załoŜeniu, Ŝe (X, Y) ma rozkład normalny - metodą największej wiarogodności.
80
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
A. Jeśli cechy X i Y populacji mają łączny rozkład normalny o współczynniku korelacji ρ i liczebność
próby n ≥ 20 , to przedziałem ufności dla ρ , na poziomie ufności 1− α jest przedział
e2A − 1
e
2A
+1
;
e2B − 1
e
2B
+1
, gdzie A =
uα
uα
1 1+ R
1 1+ R
, B = ln
−
+
ln
2 1− R
2 1− R
n −3
n −3
α
2
W konstrukcji tego przedziału ufności korzystamy z tw. 17.2.
u α wyznaczamy z równości Φ (u α ) = 1 −
Przykład 17.1
Przy badaniu zaleŜności cech X i Y otrzymano na podstawie próby 25 elementowej współczynnik
korelacji 0,63. Na poziomie ufności 0,98 oszacujemy przedziałem ufności współczynnik korelacji ρ
obu cech. Zakładamy, Ŝe cechy te mają łączny rozkład normalny.
Rozwiązanie
α
= 0, 99 ⇒ u α = 2,33
2
uα
1 1+ r
1 1 + 0, 63
a = ln
−
= ln
−
2 1− r
n − 3 2 1 − 0, 63
uα
1 1+ r
1 1 + 0, 63
b = ln
+
= ln
+
2 1− r
n − 3 2 1 − 0, 63
Φ (u α ) = 1 −
e2a − 1
e 2a + 1
;
e 2a − 1
e 2a + 1
=
e2⋅0,245 − 1
e2⋅0,245 + 1
;
2, 33
= 0, 245
25 − 3
2,33
= 1, 238
25 − 3
⋅
e 21,238
−1
e2⋅1238 + 1
=< 0, 24 ; 0,83 >
Odp. <0,24 ; 0,83> B. Jeśli cechy X i Y populacji mają łączny rozkład normalny o współczynniku korelacji ρ , to
przedziałem ufności dla ρ , na poziomie ufności 1 – α jest przedział
R − uα
1− R2
; R + uα
1− R2
, gdzie Φ (u α ) = 1 −
α
, dla licznej próby n ≥ 500
2
n
n
Przy konstrukcji tego przedziału ufności korzystamy z tw. 17.1.
Przykład 17.2
Badano zaleŜność między prędkością samochodu (cecha X) a jego drogą zatrzymania (cecha Y). Na
podstawie próby 900 elementowej otrzymano współczynnik korelacji 0,85. Zakładając, Ŝe (X, Y) ma
rozkład normalny, oszacuj współczynnik korelacji cech X i Y na poziomie ufności 0,96.
Rozwiązanie
n = 900 r = 0,85, 1 – α = 0,96
α
Φ (u α ) = 1 − = 1 – 0,04/2= 0,98 ⇒ u α =2,05
2
1-r 2
1-0,852
r-ε: r+ε ε = u α
=2,05
= 0,019
n
900
<0,85 – 0,019; 0,85 + 0,019> = <0,831; 0,869>
Odp. <0,831; 0,869>
81
STATYSTYKA MATEMATYCZNA
17.2.3. Weryfikacja hipotez o współczynniku korelacji
Badana jest populacja ze względu na zmienną losową dwuwymiarową (X, Y) o rozkładzie
normalnym i współczynniku korelacji ρ, którego wartość nie jest znana. O współczynniku ρ
wysuwamy hipotezy: zerową H 0 (ρ=ρ0 ) i alternatywną w postaci H1 (ρ=ρ1 ) lub H1 (ρ>ρ0 ) lub
H1 (ρ < ρ0 ) lub H1 (ρ ≠ ρ0 ) . PowyŜsze hipotezy zerową i alternatywną naleŜy zweryfikować na
poziomie istotności α.
Przyjmujemy, Ŝe sprawdzianem jest statystyka
 1 1+R 1 1+ρ0 
U n =  ln
- ln
 n-3
 2 1-R 2 1-ρ0 
Rozkład statystyki U n /ρ0 dla n ≥ 20 mało róŜni się od rozkładu normalnego N(0, 1) (tw. 17.2).
PowyŜsze informacje i sposób wyznaczenia zbioru krytycznego przedstawiamy w tabeli
Tabela 17.1. Testy do weryfikacji hipotezy o współczynniku korelacji
H1
H1 (ρ>ρ0 )
H1 (ρ < ρ0 )
H1 (ρ ≠ ρ0 )
Sprawdzian Un
Rozkład sprawdzianu
 1 1+R 1 1+ρ0 
- ln
 ln
 n-3
 2 1-R 2 1-ρ0 
W przybliŜeniu N(0,1) dla
liczebności próby n > 20
< k ;∞ )
Wyznaczanie
liczby k
Φ (k) = 1 − α
Nr
testu
KR-1
(−∞ ; − k >
Φ (k) = 1 − α
KR-2
Zbiór krytyczny K
(−∞ ; − k > ∪ < k ; ∞ ) Φ (k) = 1 − α / 2
KR-3
Przykład 17.3
Badano zaleŜność między ceną jednostkową towaru (cecha X) a popytem na ten towar (cecha Y). Na
podstawie próby 28 elementowej otrzymano współczynnik korelacji - 0,86. Na poziomie istotności
0,03 sprawdzimy hipotezy: zerową, Ŝe współczynnik korelacji w populacji jest równy -0,90
i alternatywną, Ŝe jest większy od - 0,90.
Rozwiązanie
n = 28, r = -0,86, α = 0,03, H 0 (ρ = -0,90) , H1 (ρ > -0,90)
Stosujemy test nr KR-1. Obliczamy wartość sprawdzianu
 1 1+r 1 1+ρ0 
 1 1-0,86 1 1-0,90 
un =  ln
- ln
- ln
 n-3 =  ln
 28-3=0,89
 2 1+0,86 2 1+0,90 
 2 1-r 2 1-ρ0 
Wyznaczamy zbiór krytyczny
K = < k ; ∞ ), Φ (k) = 1 − α = 1 – 0,03 = 0, 97 ⇒ k = 1,88 K = < 1,88 ; ∞ )
Podejmujemy decyzję: poniewaŜ u n ∉ K , więc hipotezę zerową przyjmujemy. Na zakończenie rozwaŜań zajmiemy się weryfikacją hipotez o istotności współczynnika korelacji.
Badana jest populacja ze względu na zmienną losową dwuwymiarową (X, Y) o rozkładzie
normalnym, o współczynniku korelacji ρ, którego wartość nie jest znana. O współczynniku ρ
wysuwamy hipotezę zerową H 0 (ρ = 0)
tzn., Ŝe wartość współczynnika korelacji jest nieistotna i jedną z poniŜszych hipotez alternatywnych
• H1 (ρ = ρ1 ) - wartość współczynnika korelacji jest istotna i równa ρ1 ,
• H1 (ρ > 0) - wartość współczynnika korelacji jest istotnie dodatnia,
• H1 (ρ < 0) - wartość współczynnika korelacji jest istotnie ujemna,
• H1 (ρ ≠ 0) - wartość współczynnika korelacji jest istotna.
PowyŜsze hipotezy zerową i alternatywną naleŜy zweryfikować na poziomie istotności α.
Uwaga: Hipoteza zerowa H 0 (ρ = 0) oznacza, Ŝe zmienne losowe są nieskorelowane, a poniewaŜ
z załoŜenia mają dwuwymiarowy rozkład normalny, więc są niezaleŜne.
82
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Przyjmujemy, Ŝe sprawdzianem jest statystyka
Un =
R
n-2
1-R 2
Rozkład statystyki U n / ρ = 0 ma rozkład Studenta z n-2 stopniami swobody (tw.17.3). PowyŜsze
informacje i sposób wyznaczenia zbioru krytycznego przedstawiamy w tabeli.
Tabela17.2. Testy do weryfikacji hipotezy o istotności współczynnika korelacji
H1
Sprawdzian Un
Rozkład sprawdzianu
H1 (ρ > 0)
H1 (ρ < 0)
H1 (ρ ≠ 0)
Un =
Zbiór krytyczny K
K = < k ;∞ )
R
n−2
K = (−∞ ; − k >
1− R2
Studenta z n – 2 stopniami K= (−∞ ; − k > ∪ < k ; ∞ )
swobody
Wyznaczanie
liczby k
P ( Tn-2 ≥ k ) = 2α
Nr
testu
KR-4
P ( Tn-2 ≥ k ) = 2α
KR-5
P ( Tn-2 ≥ k ) = α
KR-6
Tn-2 - zmienna losowa o rozkładzie Studenta z n – 2 stopniami swobody.
Przykład 17.4.
Z populacji dwuwymiarowej o rozkładzie normalnym pobrano próbę 11 elementową
i obliczono, Ŝe współczynnik korelacji z tej próby wynosi 0,2. Na poziomie istotności 0,01 sprawdź
czy współczynnik w populacji badanych cech jest istotny.
Rozwiązanie
n =11, r = 0,2, α = 0,01, H 0 (ρ = 0) , H1 (ρ ≠ 0)
Stosujemy test KR-6. Wartość sprawdzianu na podstawie próby
r
0,2
un =
n-2=
11-2=0,61
2
1-r
1-0,22
Zbiór krytyczny K = (−∞ ; − k > ∪ < k ; ∞ )
Wyznaczanie k: P ( T9 ≥ k ) = 0, 01 ⇒ k = 3,25, K = (−∞ ; − 3,25 > ∪ < 3,25 ; ∞ )
Decyzja: poniewaŜ u α ∉ K , więc hipotezę zerową H 0 (ρ = 0) przyjmujemy.
Odp. Nie ma podstaw do twierdzenia, Ŝe współczynnik korelacji jest istotny. 83
STATYSTYKA MATEMATYCZNA
Przykład 17.4a
Na zakończenie obliczymy współczynnik korelacji dla danych z przykładu 2.24 podanego w części
„Statystyka opisowa” korzystając z pakietu IBM SPSS Statistics wybierając po wpisaniu danych do 2
kolumn (do pierwszej wyniki egzaminu z matematyki, a do drugiej wyniki egzaminu ze statystyki) w
kolejności: Analiza → Korelacje parami → Współczynnik korelacji Pearsona.
Otrzymane wyniki są następujące:
Otrzymaliśmy oczywiście taki sam wynik z dodatkową oceną, Ŝe współczynnik korelacji jest istotnie
róŜny od zera na poziomie istotności 0,01.
17.2.4. Współczynnik korelacji Spearmana
Współczynnik korelacji Spearmana słuŜy do badania siły związku liniowego między cechami
niemierzalnymi w skali porządkowej. Losujemy z populacji n elementów. Porządkujemy je wg
wariantów pierwszej cechy i rangujemy, następnie porządkujemy wg wariantów drugiej cechy, takŜe
rangujemy. W ten sposób otrzymujemy ciąg n wyrazowy par liczb rzeczywistych, który jest próbą
z populacji dwuwymiarowej, badanej ze względu na zmienną losową dwuwymiarową (X, Y), gdzie X
i Y są modelami cech.
Współczynnik korelacji Spearmana cech w skali porządkowej jest to współczynnik korelacji Pearsona
rang tych cech i wyraŜa się wzorem
6su
r'=1,
n ( n 2 -1)
n
gdzie: su - suma kwadratów róŜnic pomiędzy rangami elementów próby, tzn. su= ∑ [k i -li ]2 , przy czym
i=1
(k i ,li ) - rangi elementu próby o numerze i.
PoniewaŜ współczynnik Spearmana r’ jest szczególnym przypadkiem współczynnika korelacji
(Pearsona), więc ma wszystkie jego własności i tak:
-1 ≤ r’ ≤ 1
r′ = 1 ⇔ , gdy kaŜdy element próby ma rangi obu cech jednakowe
r′ = −1 ⇔ , gdy suma rang obu cech populacji jest stała
Jeśli rangi ki i si w kaŜdej parze rang (k i ,li ) są wartościami zmiennych losowych niezaleŜnych, to
r′ = 0 .
84
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
W wypadku występowania takich samych elementów próby, czego konsekwencją jest
przyporządkowanie im takich samych rang (równych średniej arytmetycznej rang przy róŜnej
wartości elementów) nie moŜna obliczać współczynnika korelacji Spearmana, gdyŜ wzór na ten
współczynnik został wyprowadzony przy załoŜeniu, iŜ wszystkie rangi ki są róŜne i wszystkie rangi li
są róŜne. MoŜna wprawdzie w tej sytuacji wprowadzać pewne poprawki, w rezultacie czego wzór na
współczynnik ulega zmianie, wydaje się jednak, Ŝe prościej jest obliczyć wówczas współczynnik
korelacji Pearsona.
Współczynnik korelacji Spearmana moŜna takŜe stosować do badania siły korelacji liniowej cech
w skali przedziałowej, naleŜy jednak najpierw przetransformować próbę na skalę porządkową.
Przykład 17.5
Z populacji pracowników pewnej firmy pobrano próbę 16 elementową, w celu zbadania siły korelacji
liniowej między wiekiem - X, a wagą - Y.
X 28 34
30
42
27
38
41
20 21
23
18
42
28
40
31
43
Y 77 54,6 99,9 94,1 98,6 99,9 99,9 72 90,2 77,6 100 100 96.0 92,9 97,2 100
Próby posortowane wg
wieku
Wiek
Waga
18
100
20
72
21
90,2
23
77,6
27
98,6
28
77
28
96.0
30
99,9
31
97,2
34
54,6
38
99,9
40
92,9
41
99,9
42
94,1
42
100
43
100
Rangi
wieku
1
2
3
4
5
6,5
6,5
8
9
10
11
12
13
14,5
14,5
16
Próby posortowane
wg wagi
Wiek
Waga
34
54,6
20
72
28
77
23
77,6
21
90,2
40
92,9
42
94,1
28
96
31
97,2
27
98,6
30
99,9
38
99,9
41
99,9
18
100
42
100
43
100
Rangi
wieku
10
2
6,5
4
3
12
14,5
6,5
9
5
8
11
13
1
14,5
16
Rangi wagi
Kwadrat
róŜnicy rang
1
2
3
4
5
6
7
8
9
10
12
12
12
15
15
15
Suma
81
0
12,25
0
4
36
56,25
2,25
0
25
16
1
1
196
0,25
1
432
Zatem su = 432, czyli współczynnik korelacji Spearmana
6su
6 ⋅ 432
r'=1= 1−
= 0, 364706
2
26 ⋅ 255
n ( n -1)
Współczynnik korelacji rang r1 = 0,360004, współczynnik korelacji w próbie r = 0,30568.
Na zakończenie zweryfikujemy wysunięte hipotezy korzystając z pakietu IBM SPSS Statistics
wybierając po wpisaniu danych do 2 kolumn (do pierwszej wyniki pomiarów wagi , a do drugiej
wyniki pomiarów wzrostu) w kolejności: Analiza → Korelacje parami → Współczynnik korelacji
Spearman.
85
STATYSTYKA MATEMATYCZNA
Otrzymane wyniki są następujące:
Otrzymany wartość współczynnika = 0,36 jest taka sama jak wyznaczona wyznaczony. Dodatkowo
został wyznaczony graniczny poziom istotności.
86
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
17.2.5. Współczynnik korelacji Cramera
Badamy siłę zaleŜności stochastycznej dwóch cech populacji X i Y. Cechę X dzielimy na r grup, zaś
Y na s grup, zatem wszystkich grup otrzymujemy rs. Stosując oznaczenia z punktu 17.6 obliczamy
wartość sprawdzianu z testu chi kwadrat zastosowanego do badania niezaleŜności cech
r
s
(n ij -nˆ ij )2
(17.3)
u n = ∑∑
n̂ ij
i=1 j=1
n n.j
gdzie: n̂ ij = i.
n
Współczynnik korelacji Cramera jest to parametr v określony wzorem
u
v= n
w
gdzie: un - jest określone wzorem (17.3), a w = n ⋅ min (r-1,s-1) ,
Współczynnik Cramera przyjmuje wartości z przedziału <0,1>.
Interpretacja
Z rozwaŜań przeprowadzonych w punkcie 17.6 wynika, Ŝe gdy un jest równe zeru, to cechy są
niezaleŜne, natomiast, gdy ma wartość maksymalną, to moŜna wykazać iŜ zaleŜność między cechami
jest funkcyjna. Zatem współczynnik Cramera im bliŜszy jest zeru, tym bardziej zaleŜność
stochastyczna cech słabnie, im bliŜszy jest 1, tym zaleŜność ta staje się mocniejsza, aby w przypadku
v =1 stać się zaleŜnością funkcyjną. Zatem: współczynnik Cramera cech X i Y jest miarą siły
zaleŜności stochastycznej cech X i Y populacji.
Przykład 17.6
Obliczymy współczynnik Cramera cechy X - skuteczność leczenia i cechy Y - płeć pacjenta, na
podstawie danych przedstawionych w tabeli kontygencyjnej
Skuteczność leczenia
Razem
1
2
3
1
4
2
2
8
2
12
2
1
15
Razem
16
4
3
23
Płeć
Obliczenia n̂ ij
5,6
10,4
1,4
2,6
1,0
2,0
PoniewaŜ kolumny druga i trzecia są mało liczne, łączymy je w jedną kolumnę
j
i
1
2
n.j
1
2
ni.
4
12
16
4
3
7
8
15
23
PoniewaŜ dane zgrupowane są w 4 klasach, więc stosujemy wzór ( patrz punkt 17.6)
un =
n(ad-bc) 2
23 ⋅ (4 ⋅ 3 − 4 ⋅12) 2
=
= 2, 22
(a+b)(a+c)(b+d)(c+d)
8 ⋅16 ⋅15 ⋅ 7
v=
2, 22
= 0,32 23 ⋅1
87
STATYSTYKA MATEMATYCZNA
17.3. Analiza regresji
17.3.1. Uwagi wstępne
Jeśli w analizie korelacji stwierdzono, Ŝe siła zaleŜności liniowej cech populacji jest duŜa
(współczynnik korelacji ρ ma moduł bliski jedności), to zaleŜność stochastyczną cech moŜna
aproksymować zaleŜnością liniową, czyli wyznaczyć regresję linową cechy Y względem cechy X (lub
odwrotnie) i prostą regresji. Jak juŜ wiemy regresja liniowa wyraŜa się wzorem
)
Y = α Y X + β Y regresja liniowa (teoretyczna) cechy Y względem cechy X
)
y = α Y x + β Y równanie prostej regresji cechy Y względem cechy X
Współczynniki regresji α Y i β Y są wyznaczone zgodnie z zasadą najmniejszych kwadratów, tzn. tak,
by funkcja g(α,β) = E[Y – (αX + β)]2 miała w punkcie (αY , βY) wartość najmniejszą.
σY
ρ, βY = m 01 − α Y m10 (pkt 4.5)
σX
Jednak w zagadnieniach praktycznych nie są znane wartości α Y i β Y współczynników regresji.
Dlatego muszą być one oszacowane na postawie próby.
Na podstawie tej zasady obliczamy, Ŝe α Y =
17.3.2. Estymatory współczynników regresji
Wyznaczymy estymatory AY oraz BY współczynników regresji α Y i β Y .
Metoda m omentów
Jak juŜ wiemy metoda momentów estymacji parametrów polega na przyjęciu, Ŝe estymatorem
momentu populacji jest będący jego odpowiednikiem moment z próby, natomiast estymatorem
funkcji momentów w populacji jest ta sama funkcja momentów z próby. Stosując tą metodę
S
stwierdzamy, Ŝe estymatorem parametru α Y jest statystyka A Y = Y R , zaś estymatorem
SX
współczynnika βY jest statystyka BY = Y − A Y X .
Metoda największej wiarygodności
Zakładamy dodatkowo, Ŝe cecha Y ma rozkład normalny N( α Y x + βY , σ) ), dla kaŜdego x. MoŜna
s
wykazać, Ŝe estymatory współczynników regresji mają postać: α Y = Y r, βY = y − α Y x .
sY
Zatem są one są identyczne z estymatorami otrzymanymi metodą momentów.
Metoda najmniejszych kwadratów
Metoda najmniejszych kwadratów znajdowania estymatorów współczynników regresji α Y i βY
polega na wyznaczeniu takich ocen tych parametrów, by funkcja
n
K(α Y , βY ) = ∑ (yi − α Y x i − βY )2
i =1
dla tych ocen miała wartość najmniejszą. Porównując tę funkcję z funkcją S(α Y , βY ) stwierdzamy, Ŝe
funkcja K ma wartość najmniejszą w tym punkcie, w którym funkcja S ma wartość największą,
a więc oceny i estymatory współczynników regresji uzyskane metodą najmniejszych kwadratów są
identyczne, jak w metodzie największej wiarygodności.
Podsumowanie
Estymatorami współczynników regresji są
S
współczynnika α Y statystyka A Y = Y R
(17.4)
SX
współczynnika βY statystyka BY = Y − A Y X
88
(17.5)
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Regresja liniowa z próby
Zmienną losową
)
Y = a YX + bY
nazywamy regresją liniową z próby (empiryczną) cechy Y względem cechy X, zaś równanie
)
y = a Y x + bY
równaniem prostej regresji z próby cechy Y względem cechy X,
gdzie aY i bY są wartościami (obliczonymi na podstawie próby) statystyk (17.4) i (17.5).
W poniŜszej tabeli w pierwszej kolumnie podane są wzory na współczynniki regresji liniowej oraz na
niektóre parametry związane z tą regresją, druga kolumna zawiera estymatory parametrów
z pierwszej kolumny, natomiast trzecia kolumna zawiera oceny tych parametrów.
Tabela 17.3. Podstawowe wzory w analizie regresji liniowej
Nazwa parametru z populacji
Wzór na parametr
Współczynnik regresji α Y cechy Y
względem cechy X
σ
αY = Y ρ
σX
Nazwa parametru z próby
Wzór na parametr
Wzór na realizację parametru
Współczynnik regresji A Y
z próby cechy Y względem
cechy X
AY =
n
n
n
i =1
i =1
i =1
2
n ∑ x i yi − ∑ x i ⋅ ∑ yi
SY
R
SX
=
n
n 
n ∑ xi2 −  ∑ xi 
i =1
 i =1 
Współczynnik regresji BY
z próby cechy Y względem
cechy X
Współczynnik regresji βY
cechy Y względem cechy X
βY = m01 − α Y m10
sY
cov XY
r=
=
sX
s 2X
aY =
bY = y − a Y x
BY = Y − A Y X
Wariancja resztowa cechy
Y względem cechy X
)
)
σ2r = D 2 (Y − Y) = E(Y − Y)2 =
= σY 2 (1 − ρ2 )
Odchylenie standardowe resztowe
cechyY względem cechy X
)
σr = D(Y − Y) = σY 1 − ρ2
Wariancja resztowa z próby
cechy Y względem cechy X
S2r =
) 2
1 n
∑ (Yi − Yi ) 35
n − 2 i =1
s 2r =
) 2
1 n
∑ (Yi − Yi )
n − 2 i=1
Sr =
n
2
2
(1 − r 2 )s Y
≈ (1 − r 2 )s Y
n−2
=
Odchylenie standardowe
resztowe z próby cechy Y
względem cechy X
1 n
) 2
∑ (yi − yi ) =
n − 2 i =1
sr =
1 n
)
( yi − yi ) 2 =
∑
n − 2 i =1
n
(1 − r 2 )s Y ≈ 1 − r 2 s Y
n−2
=
Współczynnik
2
2
Współczynnik determinacji ν cechy
Y względem cechy X
2
υ =
σY) 2
σY 2
=1 −
σr 2
σY 2
=r
2
V determinacji z próby
cechy Y względem cechy X
n
∑ (yˆ i − y)
2
v 2 = i =n1
= r2
2
∑ (yi − y)
n
∑ (yˆ i − y)
2
n
) 2
∑ (yi − yi )
v 2 = i =n1
= 1 − i =n1
= r2
2
2
∑ (yi − y)
∑ (yi − y)
i =1
i =1
i =1
35
Podzielenie sumy
n
) 2
∑ (Yi − Yi )
i =1
przez n-2, a nie przez n powoduje, Ŝe statystyka
wariancji resztowej σ2r w populacji
89
S2r
jest estymatorem nieobciąŜonym
STATYSTYKA MATEMATYCZNA
Przykład 17.7
Chcemy zbadać, czy zysk pewnej firmy zalezy od wielkości produkcji na podstawie danych
przedstawionych w poniŜszej tabeli.
Produkcja xi
Zysk yi
19,2 19,0 19,5
21,4
19,6
21,6
23,7
24,2
26,5
28,3
73,1 86,2 104,7 121,2 161,5 142,5 172,2 196,0 207,1 227,5
Rozwiązanie
Z wykorzystaniem arkusza Excel wykonujemy obliczenia pomocnicze
Lp
xi
yi
(x i )2
(yi )2
x i ⋅ yi
1
19,2
73,1
368,64
5343,61
1403,52
2
19
86,2
361
7430,44
1637,8
3
19,5
104,7
380,25
10962,09
2041,65
4
21,4
121,2
457,96
14689,44
2593,68
5
19,6
161,5
384,16
26082,25
3165,4
6
21,6
142,5
466,56
20306,25
3078
7
23,7
172,2
561,69
29652,84
4081,14
8
24,2
196
585,64
38416
4743,2
9
26,5
207,1
702,25
42890,41
5488,15
10
28,3
227,5
800,89
51756,25
6438,25
Suma
223
1492
5069,04
247529,6
34670,79
Parametry próby wynosza więc
Produkcja
Zysk
10
10
∑ xi
Średnia
223
x=
=
= 22,3
10
10
i =1
s 2x =
Wariancja
1 10
2
2
∑ (x i ) − (x) =
10 i =1
= 506,904 − (22, 3)2 = 506,904 − 497, 29 = 9, 614
y=
∑ yi
i =1
= 24752,96 − (149, 2)2 =
= 24752,96 − 22260, 64 = 2492,32
1
34670, 79 − 22, 3 ⋅149, 2 = 3467, 079 − 3327,16 = 139,919
10
Współczynniki regresji
cov XY 139,919
aY =
=
= 14,554
9, 614
s 2X
b Y = y − a Y x = 149, 2 − 14,554 ⋅ 22,3 = 149, 2 − 324,55 = −175,35
Współczynnik korelacji
90
1492
= 149, 2
10
10
1 10
2
2
s 2y =
∑ (yi ) − (y) =
10 i =1
Kowariancja
cov XY =x ⋅ y − x ⋅ y=
=
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
r=
cov XY
s 2x s 2y
=
139,919
139, 919
139, 919
=
=
= 0,904
9, 614 2492,32 3,1 ⋅ 49, 931 154, 76
Wariancja resztowa cechy Y względem cechy X
n
10
10
s 2r =
(1 − r 2 )s 2Y = (1 − 0, 9042 ) ⋅ 2492,32 = ⋅ 0,183 ⋅ 2492,32 = 570,12
n−2
8
8
n
(1 − r 2 )s Y = 23,88
Odchylenie standardowe resztowe cechyY względem cechy X s r =
n−2
Współczynnik determinacji ν 2 cechy Y względem cechy X
v 2 = r 2 = 0, 9042 = 0,817
PowyŜsze wynki moŜna otrzymać z wykorzystaniem narzędzia Regresja pakietu Analiza danych
arkusza Excel.
Wyniki składają się z kilku części. PoniŜej zamieszczono część zawierającą wyniki obliczone
w niniejszym przykładzie.
Współczynniki
-175,3468796
14,55367173
Przecięcie
Zmienna X1
Statystyki regresji
Wielokrotność R
R kwadrat
Dopasowany R kwadrat
Błąd standardowy
Obserwacje
0,903905245
0,817044693
0,794175279
23,87422264
10
Narzędzie oblicza takŜe wartości funkcji regresji oraz róznice pomiędzy uzyskanymi i obliczonymi
wartościami zmiennej zaleŜnej. Podano je poniŜej uzupełniając o wartości uzyskane oraz o sumy w/w
róŜnic – patrz uzupełnienie podane na końcu części „Statystyka opisowa”.
.
91
STATYSTYKA MATEMATYCZNA
yi
ŷi
yi - ŷi
73,1
86,2
104,7
121,2
161,5
142,5
172,2
196
207,1
227,5
104,08
101,17
108,45
136,10
109,91
139,01
169,58
176,85
210,33
236,52
Razem
yi - ŷi >0 yi - ŷi <0
-30,98
-14,97
-3,75
-14,90
51,59
3,49
2,62
19,15
-3,23
-9,02
0,0
0
0
0
0
51,59
3,49
2,62
19,15
0
0
76,85
-30,98
-14,97
-3,75
-14,90
0
0
0
0
-3,23
-9,02
-76,85
17.3.3. Rozkłady estymatorów współczynników regresji
Analiza regresji opiera się na poniŜszych twierdzeniach, które są prawdziwe przy załoŜeniu, Ŝe
zmienna losowa dwuwymiarowa (X,Y) ze względu na którą badana jest populacja ma rozkład
normalny o współczynniku korelacji ρ.
Tw. 17.4. Estymatory A Y i BY współczynników regresji liniowej α Y i βY mają rozkłady normalne
A Y : N(α Y , σ1 ) oraz
BY : N(βY , σ2 ) , są więc estymatorami nieobciąŜonymi
parametrów. (MoŜna wykazać, Ŝe są takŜe estymatorami zgodnymi tych parametrów)
Tw. 17.5.
S1 =
Estymatorem
Sr
n
∑ Xi2
i =1
− nX
odchylenia
standardowego
σ1
estymatora
AY
jest
tych
statystyka
(tzw. błąd standardowy oceny α Y ), zaś estymatorem odchylenia standardowego
2
n
Sr ∑ Xi 2
σ2 estymatora BY jest statystyka S2 =
Tw. 17.6. Statystyki U n =
AY − αY
S1
i =1
(tzw. błąd standardowy oceny βY ).
n 2

n  ∑ Xi − nX 2 
 i =1

BY − β Y
oraz U n =
mają rozkłady Studenta z n – 2 stopniami
S2
swobody.
17.3.4. Estymacja przedziałowa współczynników regresji
Zajmiemy się teraz wyznaczeniem przedziałów ufności dla współczynników regresji. Mamy:
yˆ = α Y x + β y - prosta regresji z populacji cechy Y względem cechy X
ŷ = a Y x + b Y - prosta regresji z próby,
aY
- jest oceną na podstawie próby α Y
bY
- jest oceną na podstawie próby współczynnika βY
ŷ = a Y x + b Y - prosta regresji z próby jest oceną prostej regresji populacji ŷ = a Y x + βY .
92
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Przedział ufności dla współczynnika α Y na poziomie ufności 1 − α
A Y − u α S1 ; A Y + u α S1
Przedział ufności dla współczynnika βY na poziomie ufności 1− α
B Y − u αS2 ; B Y + u αS2
Liczba u α spełnia w obu przypadkach związek P( Tn −2 ≥ u α ) = α
gdzie: Tn −2 - zmienna losowa o rozkładzie Studenta z n –2 stopniami swobody.
PowyŜsze przedziały konstruujemy w typowy sposób na podstawie twierdzenia 17.4 – 17.6.
Przykład 17.8
Na poziomie ufności 1− α wyznaczymy przedziały ufności dla współczynników regresji obliczonych
w przykładzie 17.7.
Korzystając z wyników obliczonych w przykładzie otrzymujemy wartości statystyk S1 i S2
s1 =
sr
=
n
∑ x i2 − nx 2
23,88
5069, 04 − 10 ⋅ 22,32
=
23,88
23,88
23,88
=
=
= 2, 44
9,8
5069, 04 − 4972, 9
96,14
i =1
n
s r ∑ x i2
s2 =
i =1
n
=
23,88 5069, 04 23,88 ⋅ 71,197 1700,19
=
=
= 54,83
31, 01
10 ⋅ 96,14
961, 4


n  ∑ x i2 − nx 2 
 i =1

Wyznaczamy liczbe u 0,05 z warunku P( T8 ≥ u 0,05 ) = 0, 05 otrzymując u 0,05 =2,306
Zatem połowy przedziałow ufności są równe
u α s1 = 2,306 ⋅ 2, 44 = 5, 62
u α s 2 = 2, 306 ⋅ 54,83 = 126, 43
Wykorzystując powyŜsze wyniki częściowe otrzymujemy przedziały ufności w postaci:
Współczynnik α Y aY − uα s1 ; aY + uα s1 = < 14, 55 − 5, 62;14, 55 + 5, 62 >=< 8,83; 20,17 >
Współczynnik βY
bY − uα s 2 ; bY + uα s 2 = < −175,35 − 126, 43; − 175, 35 + 126, 43 >=< −301, 78; − 48,92 >
Korzystając z narzędzia Regresja pakietu Analiza danych arkusza Excel – patrz przykład 5.17,
otrzymujemy bezpośrednio granice przedziałów ufności:
Dolne 95%
Górne 95%
Przecięcie
-301,76232
-48,931439
Zmienna X 1
8,93883332
20,1685101
93
STATYSTYKA MATEMATYCZNA
17.3.5. Weryfikacja hipotez o współczynnikach regresji
Wysuwamy hipotezy o współczynniku regresji α Y z populacji. Hipoteza zerowa: H 0 (α Y = α 0 )
i hipoteza alternatywna w jednej z trzech postaci przedstawionej w poniŜszej tabeli.
Tabela 17.4. Testy do weryfikacji hipotezy o współczynniku regresji αY
H1
Sprawdzian U n
Rozkład sprawdzianu
H1 (α Y > α0 )
A Y − α0
S1
H1 (α Y < α 0 )
Studenta z n-2 stopniami
H1 (α Y ≠ α 0 )
swobody
Un =
Zbiór krytyczny K
Wyznaczanie
liczby k
Nr
testu
K = < k ;∞ )
P ( Tn − 2 ≥ k ) = 2α
KR-7
K = (−∞ ; − k >
P ( Tn − 2 ≥ k ) = 2α
KR-8
K=
= (−∞ ; − k > ∪ < k ; ∞ )
P ( Tn −2 ≥ k ) = α
KR-9
Tn − 2 oznacza zmienną losową o rozkładzie Studenta z n-2 stopniami swobody.
σY
ρ
σY
Wysuwamy hipotezy o współczynniku regresji βY z populacji. Hipoteza zerowa: H 0 (βY = β0 )
i hipoteza alternatywna w jednej z trzech postaci przedstawionej w poniŜszej tabeli.
Uwaga. Hipoteza H 0 (α Y = 0) jest równowaŜna hipotezie H 0 (ρ = 0) , bo α Y =
Tabela 17.5. Testy do weryfikacji hipotezy o współczynniku regresji βY
H1
Sprawdzian U n
Rozkład sprawdzianu
H1 (βY > β0 )
B Y − β0
S2
H1 (βY < β0 )
Studenta z n-2 stopniami
H1 (βY ≠ β0 )
swobody
Un =
Zbiór krytyczny K
Wyznaczanie
liczby k
Nr
testu
K = < k ;∞ )
P ( Tn − 2 ≥ k ) = 2α KR-10
K = (−∞ ; − k >
P ( Tn − 2 ≥ k ) = 2α KR-11
K=
= (−∞ ; − k > ∪ < k ; ∞ )
P ( Tn −2 ≥ k ) = α
KR-12
Tn − 2 oznacza zmienną losową o rozkładzie Studenta z n-2 stopniami swobody.
Informacje zawarte w powyŜszych dwóch tabelach wynikają z ogólnej zasady weryfikacji hipotez
i z tw. 17.6.
Przykład 17.9
Na poziomie istotności α=0,05 zweryfikujemy hipotezy dotyczące zerowej wartości współczynników
regresji obliczonych w przykładzie 17.7., względem hipotez alternatywnych bedących zaprzeczeniem
hipotezy zerowej.
Współczynnik regresji α Y
Hipotezy
H 0 (α Y = 0)
H1 (α Y ≠ 0)
Sprawdzian
u10 =
aY
s1
Zbiór krytyczny
K= = (−∞ ; − k > ∪ < k ; ∞ )
P ( T8 ≥ k ) = 0, 05
Wykorzystując wyniki z przykładów 17.7 i 17.8 otrzymujemy
a
14,554
Wartość sprawdzianu u10 = Y =
= 5,96
s1
2, 44
Zbiór krytyczny K= = (−∞ ; − k > ∪ < k ; ∞ ) = <-∞;-2,306> ∪ <2,306; ,306>
PoniewaŜ u10 ∈ K hipotezę zerową naleŜy odrzucić co dowodzi istotności współczynnika regresji α Y
94
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Współczynnik regresji βY
Hipotezy
H0 (α Y = 0)
H1 (α Y ≠ 0)
Sprawdzian
u10 =
Zbiór krytyczny
K= = (−∞ ; − k > ∪ < k ; ∞ )
bY
s2
P ( T8 ≥ k ) = 0, 05
Wykorzystując wyniki z przykładów 17.7 i 17.8 otrzymujemy
b
−175, 35
= −3,198
Wartość sprawdzianu u10 = u10 = Y =
s2
54,83
Zbiór krytyczny K= = (−∞ ; − k > ∪ < k ; ∞ ) = <-∞;-2,306> ∪ <2,306; ,306>
PoniewaŜ u10 ∉ K brak jest podstaw do odrzucenia hipotezy zerowej.
Korzystając z narzędzia Regresja pakietu Analiza danych arkusza Excel – patrz przykład 5.17,
otrzymujemy bezpośrednio wartości sprawdzianów:
t Stat
Przecięcie
-3,198585777
Zmienna X 1
5,977167056
95
STATYSTYKA MATEMATYCZNA
18. WPROWADZENIE DO ZAAWANSOWANYCH METOD
STATYSTYCZNYCH
18.1. Charakterystyka zaawansowanych metod statystycznych
Zaawansowane metody statystyczne są metodami wielowymiarowymi, tzn. analizują próby
wielowymiarowe, składające się z wyników pomiaru określonej liczby zmiennych.
Pojęcie próby wielowymiarowej jest uogólnieniem pojęcia próby dwuwymiarowej.
Model I
Populacja jest badana ze względu na k cech X1, X2, …,Xk, czyli ze względu na zmienną losową
k-wymiarową (X1, X2, …,Xk). Taką populację nazywamy populacją k-wymiarową.
Próba z populacji k-wymiarowej jest to macierz
 X11 X12 . . . X1k 
X

 21 X 22 . . . X 2k 
 .
.
. 
X=
(20.1)

.
. 
 .
 .
.
. 


 X n1 X n2 . . . X nk 
gdzie zmienne losowe k-wymiarowe występujące
niezaleŜne. 36
KaŜdą macierz
 x11 x12 .
x
 21 x 22 .
 .
.
x=
.
 .
 .
.

 x n1 x n2 .
w poszczególnych wierszach są k-wymiarowo
.
.
.
.
.
.
x1k 
x 2k 
. 

. 
. 

x nk 
(20.2)
będącą wartością próby (20.1) nazywa się realizacją próby z populacji k-wymiarowej albo macierzą
danych (wyników).
Wiersze macierzy (20.2) są wartością cechy (X1, X2, …,Xk) kolejnych elementów populacji
wybranych do próby, natomiast kolumny są realizacjami prób jednowymiarowych ze względu na
kolejne zmienne Xj, j=1,2,…,k. Element xij oznacza wartość cechy Xj elementu próby o numerze i.
Przyjmujemy oznaczenia:
 x1j 


 x 2j 
 . 

- realizacja próby jednowymiarowej ze względu na cechę Xj
(20.3)
x.j = 
 . 


 . 
xn j 
 j
xi. = [ x i1, x i2 ,K , x ik ] - realizacja próby wielowymiarowej dla elementu próby o numerze i,
36
(20.4)
Pojęcie to jest prostym uogólnieniem pojęcia niezaleŜności dwuwymiarowej – patrz odnośnik 12 z punktu 18.1.
96
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
Wektor x.j określony wzorem (20.3) jest realizacją próby jednowymiarowej ze względu na cechę Xj.
Wektor xi. określony wzorem (20.4) nazywamy obserwacją.
Wprowadzone pojęcia obrazuje rysunek 20.1.
Cechy
X1 X2
1
2
Numery
elementu
próby
…
i
P
… Xj … Xk
Obserwacja
r
ó
xij
… b
n
a
Rys. 18.1. Ilustracja macierzy danych
Macierz danych moŜna przedstawić jako tabelę z liczbą wierszy równą liczbie elementów oraz liczbą
kolumn równą liczbie cech.
W ramach obserwacji mogą występować wszystkie badane cechy lub określony ich podzbiór. Mogą
być takŜe utworzone nowe cechy jako zadane funkcje cech mierzonych.
Macierz danych moŜe zostać określona przez podanie jej obiektów składowych lub określona
warunkami nałoŜonymi na wybrane cechy obserwacji. W tym wypadku liczba obiektów w grupie
danych nie jest ustalona a priori.
Macierz danych moŜe być przedstawiona w postaci:
 x1. 
x 
x =  2.  = [x.1, x.2 ,..., x.k ]
(20.5)
 M 
 
 x n. 
Przedstawiony model moŜe dotyczyć takŜe jednej cechy X rozpatrywanej w k momentach
lub w k warunkach, czyli analogicznie jak poprzednio zmiennej losowej k-wymiarowej
(X1, X2, …,Xk). Analizie podlegają wartości tej zmiennej uzyskane u uzyskane kolejnych elementów
populacji wybranych do próby.
MoŜe występować takŜe przypadek mieszany w którym występują zarówno cechy rozpatrywane tylko
w jednym momencie lub w jednym warunku, jak i te same cechy rozpatrywane w róŜnych
momentach, jak i w róŜnych warunkach.
W kaŜdym z opisanych przypadków analizowane próby nazywane są próbami powiązanymi.
97
STATYSTYKA MATEMATYCZNA
Model II
Model II jest rozszerzeniem modelu I. Badanych jest J populacji ze względu na k cech
X1, X2, …,Xk, czyli ze względu na zmienną losową k-wymiarową (X1, X2, …,Xk). Przedmiotem
analizy jest J macierzy danych, kaŜdą z których tworzą próby nj elementowe. Przykładowo przy
dwóch populacjach macierze te mają postać:
 a11 a12
a
 21 a 22
 .
.
a=
.
 .
 .
.

 a n11 a n1 2
.
.
.
.
.
.
.
.
.
a1k 
a 2k 
. 

. 
. 

a n1k 
b12
 b11
b
 21 b 22
 .
.
b=
.
 .
 .
.

 b n 21 b n 2 2
.
.
.
.
.
.
.
.
.
b1k 
b 2k 
. 

. 
. 

b n 2k 
Przykładowo a11 to wartość cechy X1 uzyskana u 1 elementu pierwszej populacji, b11 to wartość tej
samej cechy X1 uzyskana u pierwszego elementu drugiej populacji.
W tym przypadku moŜna wprowadzić wszystkie analogiczne pojęcia jak w modelu I.
W modelu II analizowane próby dotyczące tej samej zmiennej losowej, pochodzące z róŜnych
populacji, nazywane są próbami niepowiązanymi. Tylko przypadkowo próby te mają takie same
liczebności.
PoniŜej krótko scharakteryzowano opisane w niniejszej części podręcznika zaawansowane
metody statystyczne.
Ocena istotności róŜnic rozkładu w więcej niŜ dwóch warunkach. Dla rozwiązania tego problemu
przeznaczonych jest szereg metod. Jedną z nich jest analiza wariancji, stanowiąca rozszerzenie testu
Studenta.
Analiza regresji wykorzystywana jest do szukania związku funkcyjnego pomiędzy tzw. zmienną
zaleŜną i określoną liczbą tzw. zmiennych niezaleŜnych. Najczęściej przyjmuje się związek liniowy.
W przypadku małej liczby zmiennych niezaleŜnych szuka się teŜ związku w postaci wielomianu.
MoŜliwe jest ustalenie a priori zmiennych niezaleŜnych, które ujmowane są
w równaniu regresji lub teŜ określenie tylko ich zbioru. W tym przypadku do równania wprowadzane
są tylko te zmienne, które charakteryzuje określony współczynnik korelacji cząstkowej ze zmienną
zaleŜną.
Analiza czynnikowa pozwala na podział analizowanych zmiennych na określoną liczbę grup,
z których kaŜda kształtowana jest samoistnie przez oddzielny czynnik.
Analiza korelacji kanonicznej wykorzystywana jest do wyznaczania związku liniowego pomiędzy
dwoma grupami zmiennych. MoŜna traktować ją więc jako uogólnienie analizy regresji.
Analiza skupień wykorzystywana jest do podziału zbioru określonych elementów na grupy, których
obiekty są podobne do siebie w określonym sensie. Obiektami mogą być zarówno dowolne elementy
materialne, opisane wybranymi cechami, jak i cechy opisujące rozpatrywane elementy materialne.
Wielowymiarowa analiza wariancji (MANOVA) wykorzystywana jest do weryfikacji hipotez
o równości kilku wektorów wartości oczekiwanych. Jest ona rozszerzeniem analizy wariancji
(ANOVA) albowiem rozpatruje ona powyŜszą hipotezę dla kilku wartości oczekiwanych. MANOVA
stosowana jest w powiązaniu z analizą dyskryminacji, której waŜnym krokiem jest zastąpienie wielu
cech naturalnych małą liczbą zmiennych abstrakcyjnych bez zmniejszenia zróŜnicowania grup.
MoŜliwe jest teŜ wybranie cech najbardziej róŜnicujących. W ramach tej analizy prowadzona jest
klasyfikacja na podstawie cech abstrakcyjnych. Stopień jej zgodności z podziałem a priori świadczy
poglądowo o występującym zróŜnicowaniu grup.
NaleŜy podkreślić wyjątkowo duŜe znaczenie analiz wielowymiarowych, wykorzystujących naturalne
powiązania pomiędzy poszczególnymi cechami. Właśnie to stanowi o ich bardzo istotnym znaczeniu.
MoŜna zilustrować ten fakt następującymi przykładami:
98
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
− Wartości współczynników korelacji cząstkowej róŜnią się na ogół w znacznym stopniu od
wartości współczynników korelacji Pearsona;
− Cechy róŜniące dwie populacje wielowymiarowe nie muszą podlegać istotnie zróŜnicowanym
rozkładom przy ocenie wyizolowanej;
− Postać związku pomiędzy dwoma zbiorami cech w wielu przypadkach jest sprzeczna
z wartościami współczynników korelacji pomiędzy parami cech uwzględnianych zbiorów.
W ramach tych analiz moŜna dokonywać porównania rozkładów cech, oceniać korelacje oraz
budować i weryfikować modele matematyczne analizowanych zjawisk.
Poszczególne metody umoŜliwiają przeprowadzenie analiz z róŜnych punktów widzenia.
W wielu przypadkach dopiero łączne ich zastosowanie powoduje otrzymanie wartościowych
wniosków. Przykładowo:
− Łączne zastosowanie analizy regresji i analizy korelacji kanonicznej pozwala na identyfikację
nieznanych zaleŜności pomiędzy rozpatrywanymi cechami;
− W analizie dyskryminacji przedmiotem obliczeń są zbiory danych dotyczące grup określonych
elementów wyróŜnionych a priori. Analiza skupień prowadzona dla tych elementów moŜe być
wykorzystana do zweryfikowania takiego podziału;
− W analizie czynnikowej uzyskuje się podział rozpatrywanych cech na podzbiory kształtowane
oddzielnie przez poszczególne czynniki. Analiza skupień prowadzona dla tych cech moŜe być
wykorzystana do weryfikacji otrzymanego podziału.
Dwuwymiarowe i wielowymiarowe analizy statystyczne umoŜliwiają rozwiązywanie 3 rodzajów
problemów:
1. Ocena istotności zaleŜności statystycznej pomiędzy cechami;
2. Skupianie elementów (obiektów lub cech);
3. Ocena istotności róŜnic rozkładu cechy.
W pierwszej z poniŜszych tabel podano metody statystyczne i klasy testów statystycznych
umoŜliwiające rozwiązywanie powyŜszych problemów.
Podane w tabeli metody oznaczone numerami 1, 9 i 10 dotyczą klas testów statystycznych.
Tabela 18.1.Metody statystyczne i klasy testów statystycznych
Ocena istotności zaleŜności
statystycznej pomiędzy cechami
Skupianie elementów
(obiektów i cech)
Ocena istotności róŜnic
rozkładu cechy
1.
Ocena istotności korelacji
dwóch cech
6.
Analiza skupień dla obiektów
9.
Ocena istotności róŜnic
rozkładu cechy w dwóch
warunkach
2.
Regresja wielomianowa jednej
cechy
7.
Analiza czynnikowa
10. Ocena istotności róŜnic
rozkładu cechy w wielu
warunkach
3.
Regresja liniowa kilku cech
8.
Analiza skupień dla cech
11. Wielowymiarowa analiza
wariancji i analiza
dyskryminacji
4.
Regresja wielomianowa kilku
cech
5.
Korelacja kanoniczna
Wszystkie wskaźniki i metody statystyczne przedstawiono w kolejnej tabeli.
99
STATYSTYKA MATEMATYCZNA
Tabela 18.2. Wskaźniki i metody statystyczne
Liczba
macierzy
danych
Liczba cech
1
2
≥2
1
ANALIZA
JEDNOWYMIAROWA
Błędy grube
Centyle
Estymacja parametrów
rozkładu
Ocena normalności
Ocena losowości
ANALIZA
DWYWYMIAROWA
Test niezaleŜności
Współczynnik Pearsona
Współczynnik Spearmana
Współczynnik Cramera
ANALIZA
WIELOWYMIAROWA
Regresja liniowa,
wielomianowa i potęgowa
Analiza czynnikowa
Analiza skupień dla cech i
obiektów
Korelacja kanoniczna
2
ANALIZA
DWUWYMIAROWA
Testy Studenta
Test Cochrana-Coxa
Test rangowanych znaków
Test Wilcoxona
Test dokładny Fishera
Test McNemara
Test chi kwadrat
≥2
ANALIZA
WIELOWYMIAROWA
Analiza wariancji
Test qx
Test Kruskala-Wallisa
Test Friedmana
Test Góralskiego
Test Cochrana
ANALIZA WIELOWYMIAROWA
Wielowymiarowa analiza wariancji
i analiza dyskryminacji
18.2. Algorytmizacja wyboru metod statystycznych
Na poniŜszym rysunku przedstawiono algorytm wyboru metod statystycznych z zakresu określanego
na podstawie charakterystyk analizowanych danych.
100
PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE
ZAUTOMATYZOWANY WYBÓR ZAKRESU, PRZEDMIOTU I RODZAJU ANALIZY STATYSTYCZNEJ
POCZĄTEK
LICZBA CECH
M=1
TAK
A
LICZBA MACIERZY
DANYCH
K=2
NIE
TAK
CZY OBLICZAĆ CENTYLE
TAK
NIE
NIE
PODAJ PRZEDMIOT
ANALIZY
L1 - liczba macierzy danych
L2 - liczba cech
B
LICZBA MACIERZY
DANYCH K=1
TAK
NIE
LICZBA MACIERZY
DANYCH
DO ANALIZY L1=2
NIE
TAK
LICZBA CECH
M=1
TAK
LICZBA MACIERZY
DANYCH
DO ANALIZY L1=2
TAK
NIE
PODAJ PRZEDMIOT
ANALIZY
L1 - liczba grup danych
LICZBA CECH DANYCH
DO ANALIZY L2=1
TAK
LICZBA CECH DANYCH
DO ANALIZY L2=1
NIE
NIE
TAK
NIE
M
C
C
M
N
M
PODAJ ZAKRES ANALIZY
1 - ocena zaleŜności
2 - skupianie elementów
1
KONIEC OCENY
ISTOTNOŚCI
2
TAK
NIE
LICZBA CECH
M≥3
LICZBA CECH
M=2
TAK
NIE
TAK
NIE
LICZEBNOŚĆ PRÓB
N≥3
PODAJ PRZEDMIOT
ANALIZY
L1 - liczba cech I zbioru
L2 - liczba cech II zbioru
NIE
TAK
TAK
NIE
PODAJ PRZEDMIOT
ANALIZY
1 - obiekty
2 - cechy
LICZBA CECH I ZBIORU
L1=1
TAK
LICZEBNOŚĆ PRÓB
N≥3
NIE
1
2
L
LICZBA CECH II ZBIORU
L2=1
TAK
NIE
2
D
G
TAK
PODAJ RODZAJ ANALIZY
1 - analiza skupień
2 - analiza czynnikowa
NIE
PODAJ RODZAJ ANALIZY
1 - regresja liniowa dla poanych cech
2 - regresja liniowa z wyborem cech
3 - regresja wielomianowa
0 - koniec analizy regresji
PODAJ RODZAJ ANALIZY
1 - korelacje
2 - regresja potęgowa
3 - koniec analizy
1
LICZBA CECH II ZBIORU
L2=1
0
0
1
2
3
E
F
H
1
2
K
I
KONIEC SKUPIANIA
CECH
TAK
NIE
J
KONIEC SKUPIANIA
ELEMENTÓW
TAK
KONIEC OCENY
ZALEśNOŚCI
NIE
NIE
TAK
KONIEC ANALIZY
STATYSTYCZNEJ
NIE
OZNACZENIA:
Metody statystyczne, oznaczone zgodnie
A
z poniŜszym wykazem:
A - Wyznaczanie parametrów rozkładu
B - Wyznaczanie centyli
C - Ocena istotności róŜnic rozkładu w 2 warunkach
D - Ocena istotoności korelacji dwóch cech
E - Regresja liniowa dla podanych cech
F - Regresja liniowa z wyborem cech
G - Regresja potęgowa
H - Regresja wielomianowa
I - Analiza czynnikowa
J - Analiza korelacji kanonicznej
K - Analiza skupień dla cech
L - Analiza skupień dla obiektów
M - Ocena istotności róŜnic rozkładu w wielu warunkach
N - Manova i analiza dyskryminacji
TAK
KONIEC
Rysunek 20.2. Algorytm wyboru zakresu, przedmiotu i rodzaju analizy statystycznej
101