Estymacja parametrów populacji

Estymacja
parametrów
populacji
Populacja generalna, populacja próbna,
estymacja punktowa i przedziałowa
Populacja generalna
Zbiór wartości interesującej badacza cechy (lub cech) u
wszystkich jednostek populacji fizycznej tworzy tzw.
populację generalną.
Jeżeli zbiór elementów populacji generalnej jest
skończony, to będziemy ją określać jako populację
skończoną. Przykładem może być np. zbiór
pracowników pewnego zakładu produkcyjnego.
W przypadku, gdy zbiór elementów populacji jest
nieskończony,
to
populację
określamy
jako
nieskończoną. Przykładem niech będzie zbiór
możliwych relacji złotego do euro (czy innej waluty).
2
Populacja generalna (c.d.)
W populacji mogą nas interesować cechy ilościowe,
które będziemy nazywać mierzalnymi jak i cechy
jakościowe, czyli niemierzalne.
Przykładowo koszt produkcji pewnego detalu jest cechą
mierzalną, a jego kolor cechą jakościową.
Formalnie, populację generalną będziemy traktować
jako zbiór niezależnych realizacji pewnej zmiennej
losowej jedno lub wielowymiarowej.
3
Badanie statystyczne
Celem badania statystycznego będzie najczęściej poznanie
rozkładu danej cechy jak i oszacowanie charakterystyk
tego rozkładu.
Jeżeli zmienna losowa X jest modelem probabilistycznym dla pewnej cechy w populacji generalnej, to
rozkład częstości występowania różnych wartości tej
cechy jest opisany rozkładem prawdopodobieństwa
zmiennej modelowej, a parametry rozkładu tej zmiennej
są jednocześnie parametrami populacji.
4
Badanie statystyczne (c.d.)
Badanie statystyczne może być badaniem
.pełnym - jeżeli obejmuje wszystkie elementy
populacji generalnej;
częściowym - jeżeli ograniczone jest do pewnej
części populacji generalnej.
Tę część populacji generalnej, na której wykonywane
jest badanie statystyczne nazywamy populacją próbną
lub krótko próbą.
Statystyka matematyczna zajmuje się tylko badaniami
częściowymi, przy czym muszą być jeszcze spełnione
określone warunki doboru próby.
5
Losowy dobór próby
Podstawowym warunkiem, jaki musi być spełniony w
badaniach częściowych jest losowy dobór próby. Tak
otrzymaną próbę nazywamy próbą losową.
Jeżeli elementy próby zostały pobrane w taki sposób,
aby:
 każdy element populacji generalnej miał tę samą
szansę znalezienia się w próbie;
 losowanie elementów próby było niezależne;
to możemy oczekiwać, że prawidłowości występujące w
populacji znajdą swoje odbicie w próbie.
6
Rozkład empiryczny cechy
Podstawą analizy statystycznej dowolnej cechy jest określenie
jej empirycznego rozkładu. Badając czas obsługi przy kasie
sklepowej 100 losowo wybranych klientów uzyskano
następujące wyniki (w sekundach):
( x1 j  x2 j 
nj
< 20
20 – 40
40 – 60
60 – 80
80 – 100
100 – 120
> 120

5
9
18
31
21
13
3
100
wj 
nj
n
0.05
0.09
0.18
0.31
0.21
0.13
0.03
1
7
Rozkład empiryczny cechy (c.d.)
Dane empiryczne w naszym przykładzie zostały
zestawione w szereg rozdzielczy. Analizowana cecha
(czas obsługi klienta przy kasie) jest cechą ciągłą, stąd
częstości (prawdopodobieństwa empiryczne) zostały
przyporządkowane odpowiednim przedziałom wartości
cechy.
Przedziały te nazywamy przedziałami klasowymi, a
różnicę między krańcami przedziału nazywamy
rozpiętością przedziału.
8
Graficzna prezentacja rozkładu
Histogram for Czas
35
frequency
30
25
20
15
10
5
0
0
20
40
60
80
100
120
140
Czas
9
Rozkład z próby
Jak wcześniej powiedzieliśmy, próba ma dostarczyć informacji
o analizowanej zmiennej w populacji, między innymi na
podstawie elementów próby będziemy szacować (oceniać,
estymować) nieznane parametry populacji.
Estymatorem (statystyką) będziemy nazywać określoną
funkcję wyników próby. Przykładowo estymatorem średniej z
próby jest funkcja:
1 n
x   xi
n i 1
Estymator (statystyka) dla konkretnych prób będzie przyjmował
na ogół różne wartości, ponieważ jako funkcja zmiennych
losowych sam jest zmienną losową. Tym samym ma pewien
rozkład, który będziemy nazywać rozkładem z próby.
10
Rozkład z próby, estymator nieobciążony
W zastosowaniach praktycznych najczęściej korzystamy z
estymatorów nieobciążonych.
Rozważmy w populacji generalnej pewną zmienną losową
X charakteryzowaną parametrem  . Niech statystyka:
  f ( x , ..., x )

1
n
będzie oceną nieznanego parametru  . Jeżeli estymator
ten spełnia warunek:

E  
to nazywamy go estymatorem nieobciążonym.
11
Estymatory punktowe
X ~ N (m,  ) oraz niech
Niech X ma rozkład normalny
xi (i = 1, 2, ..., n) oznacza n-elementową próbę losową.
Ocenami niebciążonymi średniej i wariancji w populacji
generalnej są odpowiednio:
n
1 n
m  x   xi  2  s2 
n i 1
2
(
x

x
)
 i
i 1
n 1
Estymatorem odchylenia standardowego w populacji jest
odchylenie standardowe w próbie:
2

 s s
12
Rozkład średniej arytmetycznej
Niech zmienna losowa
X ~ N (m,  ) oraz niech
mˆ  x 
1
n
x
i
i
będzie oceną nieobciążoną średniej w populacji.
Średnia arytmetyczna jest oczywiście także zmienną losową
normalną o parametrach:
X ~ N (m,

)
n
Oznacza to, że wartość oczekiwana średniej jest taka sama
jak cechy X w populacji, a wariancja jest n-krotnie mniejsza.
13
Rozkład średniej arytmetycznej (c.d)
Oszacowaniem odchylenia standardowego średniej jest
wyrażenie:
 x  sx 
s2
n
które będziemy nazywać błędem średniej arytmetycznej.
Parametr ten można zinterpretować następująco:
przyjmując za ocenę nieznanej średniej generalnej m jej
ocenę nieobciążoną z próby popełniamy błąd rzędu  S x
14
Przykład estymacji punktowej danych z przykładu o czasie obsługi klientów
(dane z szeregu)
Summary Statistics for Czas
Liczebność
Count = 100
średnia
Average = 71.39
Wariancja w próbie
Variance = 812.18
Standard deviation = 28.4988
Odchylenie
standardowe
Minimum = 7.0
Maximum = 132.0
Dwie miary
Stnd. skewness = -0.830001
Stnd. kurtosis = -0.86128asymetrii
Sum = 7139.0
The StatAdvisor
---------------
15
Wykres typu “pudełko z wąsami” dla danych dotyczących czasu
obsługi
Box-and-Whisker Plot
0
30
60
90
120
150
Czas
16
Wpływ wielkości próby na dokładność oceny m
Dla zademonstrowania znaczenia wielkości próby można
zrealizować mały eksperyment symulacyjny. Ze sztucznie
utworzonej normalnej populacji generalnej o zadanych
parametrach (m=28,45 i =8) będziemy kolejno pobierać
serie 100 prób losowych o liczebnościach kolejno n=10,
n=20 i n=100.
Dla każdej z serii wyznaczymy estymatory nieobciążone
średniej generalnej m.
Uzyskane wyniki przedstawimy graficznie na kolejnych
wykresach.
17
Symulacja, n=10
I seria, n=10,
29,2
29,0
28,8
28,6
28,4
28,2
0
20
40
60
80
100
120
28,0
27,8
18
Symulacja, n=20
II seria, n=20
29,2
29,0
28,8
28,6
28,4
28,2
0
20
40
60
80
100
120
28,0
27,8
19
Symulacja, n=100
III seria, n=100
29,2
29,0
28,8
28,6
28,4
28,2
0
20
40
60
80
100
120
28,0
27,8
20
Symulacja, n=10 i n=100
29,2
29,0
28,8
28,6
28,4
28,2
0
20
40
60
80
100
120
0
20
40
60
80
100
120
28,0
27,8
29,2
29,0
28,8
28,6
28,4
28,2
28,0
27,8
21
Estymacja przedziałowa parametrów populacji
Prawdopodobieństwo tego, że estymator punktowy
przyjmie wartość szacowanego parametru, jest zawsze
równe zero (dla populacji ciągłych). Oznacza to, że przy
estymacji punktowej zawsze popełniamy błąd. Jest to
jeden z powodów, dla którego wprowadza się tzw.
estymację przedziałową.
Pojęcie przedziału ufności zostało wprowadzone do
statystyki przez Jerzego Spławę-Neymana.
22
Przedział ufności
Niech cecha X ma w populacji rozkład określony nieznanym
parametrem . Jeżeli dla ustalonego z góry prawdopodobieństwa 1- wyznaczymy takie dwie funkcje wyników
próby a = f(x1, x2, ..., xn) i b = f(x1, x2, ..., xn), że spełniony
będzie warunek:
P(a <  < b) = 1 - 
to uzyskany przedział (a,b) będziemy nazywać przedziałem ufności parametru . Ustalone z góry
prawdopodobieństwo 1-, z jakim wyznaczony przedział
pokrywa nieznany parametr  nazywamy poziomem
ufności.
23
Przedział ufności (c.d.)
Granice przedziału ufności są losowe, a więc dla konkretnych
prób będziemy uzyskiwać różne wartości. Uzyskany konkretny
przedział będziemy interpretować następująco:
w 1- procentach przypadków przedział (a, b) pokrywa
nieznaną wartość parametru .
Oznacza to jednocześnie, że średnio w  procentach
przypadków wyznaczony przedział nie pokrywa
szacowanego parametru.
Prawdopodobieństwo  jest ryzykiem takiego błędu,
najczęściej prawdopodobieństwo to będziemy nazywać
poziomem istotności.
24
Przedział ufności (c.d.)
Dokładność estymacji parametru określa rozpiętość
przedziału ufności będąca różnicą między jego górną i dolną
granicą: d = b - a.
Rozpiętość przedziału ufności zależy między innymi od
przyjętego poziomu ufności 1-: im to prawdopodobieństwo jest bliższe jedności, tym rozpiętość przedziału
jest większa (a precyzja oceny mniejsza).
W zastosowaniach praktycznych najczęściej stosujemy
poziomy ufności rzędu 0.90, 0.95 czy 0.99 ( odpowiednio
0.10, 0.05 czy 0.01)
25
Przedział ufności dla średniej m
Niech zmienna losowa X ~ N (m,  ) oraz niech
xi (i = 1, 2, ..., n) oznacza n-elementową próbę losową.
Statystyka:
x m
x m
t
n
s
sx
ma rozkład t-Studenta z liczbą stopni swobody v = n - 1.
26
Przedział ufności dla średniej m (cd)
Dla ustalonego  znajdziemy zawsze taką wartość t,v dla
której spełniona będzie równość:
P( |t| < t,v) = 1-
Po niezbędnych przekształceniach otrzymujemy przedział
ufności dla średniej generalnej m:
P( x  t ,v sx  m  x  t ,v sx )  1  
27
Wpływ wielkości próby na rozpiętość przedziału
ufności dla średniej generalnej m
Dla zademonstrowania znaczenia wielkości próby można
zrealizować mały eksperyment symulacyjny. Ze sztucznie
utworzonej normalnej populacji generalnej o zadanych
parametrach (m=28,45 i =8) będziemy kolejno pobierać
serie 100 prób losowych o liczebnościach n=10, n=20 i
n=100.
Dla każdej z serii zbudujemy 95% przedziały ufności dla
każdej ze 100 prób losowych.
Uzyskane wyniki przedstawimy graficznie na kolejnych
wykresach.
28
Symulacja, n=10, =0,05
91
81
71
61
51
41
31
21
11
1
27,0
27,5
28,0
28,5
29,0
29,5
30,0
29
Symulacja, n=20, =0,05
91
81
71
61
51
41
31
21
11
1
27,0
27,5
28,0
28,5
29,0
29,5
30,0
30
Symulacja, n=100, =0,05
91
81
71
61
51
41
31
21
11
1
27,0
27,5
28,0
28,5
29,0
29,5
30,0
31
Symulacja, n=10 i n=100, =0,05
91
91
81
81
71
71
61
61
51
51
41
41
31
31
21
21
11
11
1
27,0
27,5
28,0
28,5
N=10
29,0
29,5
30,0
1
27,0
27,5
28,0
28,5
29,0
29,5
30,0
N=100
32
Przedział ufności dla
wariancji 2 w populacji normalnej
Niech zmienna losowa X ~ N (m,  ) oraz niech
xi (i = 1, 2, ..., n) oznacza n-elementową próbę losową.
Statystyka
2 
(n  1) s2
2
ma rozkład 2 z liczbą stopni swobody v = n - 1.
Dla ustalonego  można można określić takie dwie wartości
 2 ,n1 i  12  ,n 1 , dla których spełnione są równości:
2
2
P(     ,n 1 ) 
2
2
2

2
P (  2   12  ,n 1 )  1 
2

2
33
Przedział ufności dla wariancji
2 w populacji normalnej (c.d.)
Z obu wzorów wynika, że
P(  12  ,n 1   2   2 ,n 1 )  1  
2
2
Po odpowiednich przekształceniach otrzymujemy przedział ufności dla
wariancji:
P(
(n  1) s
  ,n 1
2
2
2
 
2
(n  1) s

2
2
1 2 ,n 1
)  1 
34
Przedział ufności dla odchylenia standardowego  w
populacji normalnej.
Pierwiastkując krańce przedziału ufności dla wariancji otrzymujemy
poszukiwany przedział dla odchylenia standardowego:
P(
(n  1) s
  ,n 1
2
2
2
 
(n  1) s

2
2
1 2 ,n 1
)  1 
35
Przedział ufności dla parametru
p w rozkładzie dwumianowym.
Niech zmienna losowa X ma rozkład dwumianowy z
nieznanym parametrem p. Estymatorem tego parametru jest
częstość sukcesów obserwowana w n-elementowej próbie
określona wzorem:
p 
k
n
W przypadku dużej próby można przyjąć, że statystyka ta
ma w przybliżeniu rozkład normalny o parametrach:

p(1 p) 
N  p,

n


rozkład N(0, 1).
, a statystyka
z
p  p
p(1  p)
n
36
Przedział ufności dla parametru
p w rozkładzie dwumianowym (c.d.)
Tym samym dla ustalonego  mamy:
P (  z 
p  p
 z )  1  
p (1  p )
n
i dalej po odpowiednich przekształceniach:
P( p  z
p (1  p )
 p  p  z
n
p (1  p )
)  1 
n
37
Minimalna wielkość próby
Rozpiętość przedziału ufności dla średniej populacji
wynosi odpowiednio:
2t ,v sx  2t ,v
s2
n
Widzimy więc, że rozpiętość przedziału ufności dla
średniej generalnej m zależy od:
poziomu istotności 
liczebności próby n
od rozproszenia cechy w populacji
38
Minimalna wielkość próby (c.d.)
Przez maksymalny błąd szacunku rozumiemy połowę
rozpiętości przedziału. Możemy więc tak dobrać
liczebność próby, aby wielkość ta nie przekroczyła
pewnej, ustalonej przez eksperymentatora, dokładności d.
Mamy odpowiednio:
2
2
t
s
s
 ,v
d  n 2
n
d
2
t , v
39
Rozkład różnicy średnich
z prób dla dwóch populacji
Załóżmy, że obserwujemy dwie zmienne normalne o tej
samej wariancji:
X1 ~ N (m1;  )
2
X 2 ~ N (m2 ;  2 )
Można wykazać, że statystyka:
( x1  x2 )  (m1  m2 ) ( x1  x2 )  (m1  m2 )
t

sr
1
2 1
se   
 n1 n2 
ma rozkład t-Studenta z liczbą stopni swobody:
v  n1  n2  2
40
Rozkład różnicy średnich
z prób dla dwóch populacji (c.d.)
Wyrażenie
 1 1
sr  s   
 n1 n2 
2
e
nazywamy błędem różnicy średnich, a
wariancją dla obu prób:
se2
jest wspólną
(n1  1) s  (n2  1) s
s 
n1  n2  2
2
e
2
1
2
2
41
Przedziały ufności dla różnicy średnich
Korzystamy z faktu, że statystyka
( x1  x2 )  ( m1  m2 )
t
sr
ma rozkład t-Studenta z liczbą stopni swobody
v  n1 .n2  2
Dla ustalonego  istnieje taka wartość t ,v , dla której spełniona jest
równość:
P ( t  t , v )  
Po odpowiednich przekształceniach otrzymujemy:
P( x1  x2 )  t ,v sr  m1  m2  ( x1  x2 )  t ,v sr   1  
42