Metoda największej wiarogodności

3. Metody estymacji.
3.1 Populacja generalna ma rozkład normalny N (  ,  ). Wyznacz estymatory parametrów
momentów wykorzystując pierwszy moment zwykły i drugi moment centralny z próbki.
2
 i  2 metodą
 : P ( X  k )   (1   ) k ,
Wyznacz metodą momentów (należy wykorzystać średnią z próby) estymator parametru  .
3.2 Zmienna losowa X ma rozkład geometryczny z parametrem
3.3 Populacja generalna ma rozkład o funkcji
dla k = 0, 1, 2, ...
f ( x)   2 xe  x dla x  0. Wylosowano n-
gęstości
elementową próbę prostą i otrzymano średnią z próby równą 0,5. Znaleźć punktową ocenę parametru
pomocą metody momentów.
3.4 Niech
 za
X1 ,... X n będzie próbą prostą z rozkładu wykładniczego z parametrem . Mediana z próby wynosi
100ln 2. Znaleźć estymator parametru  metodą kwantyli.
 x 1 x  [0,1]
3.5 Niech X 1 ,... X n będzie próbą prostą z rozkładu o gęstości f ( x)  
, gdzie   0 .
x  [0,1]
0
a) wyznacz metodą momentów estymator parametru  wykorzystując pierwszy moment zwykły;
b) wyznacz metodą największej wiarogodności estymator parametru  i policz jego wartość oczekiwaną.
Czy uzyskany estymator jest nieobciążony?
( X1 ,... X n ) będzie próbą losową z rozkładu Poissona z parametrem . Wyznacz estymator
największej wiarogodności parametru . Czy jest on estymatorem nieobciążonym? Jaka jest wariancja tego
3.6 Niech
estymatora?
3.7 Niech
X1 ,... X n będą niezależnymi zmiennymi losowymi z tego samego rozkładu o gęstości
f ( x)  241 5 x4e
 x
dla x  (0, ). Wyznaczyć estymator największej wiarogodności parametru
,
wyznacz jego wartość oczekiwaną oraz wariancję.
X1 ,... X n będą niezależnymi zmiennymi losowymi o tym samym rozkładzie jednostajnym na
przedziale [0,  ], gdzie  jest nieznanym parametrem i   (0, ).
3.8 Niech
a) Wyznacz stałą a tak aby estymator T ( X 1 ,... X n ) 
n
a
n
X
i 1
Wyznacz wariancję tego estymatora.
b) Wyznacz estymator największej wiarogodności parametru
i
był estymatorem nieobciążonym parametru
.
 . Czy jest to estymator nieobciążony?
X 1 ,..., X n oraz Y1 ,..., Ym , które są niezależnymi zmiennymi losowymi.
Każda ze zmiennych X i ma rozkład wykładniczy z parametrem  , natomiast każda ze zmiennych Yi ma
rozkład wykładniczy z parametrem 2. Wyznacz estymator największej wiarogodności parametru  oparty na
3.9 Dysponujemy obserwacjami
wszystkich obserwacjach.
3.10 Panuje przekonanie, że liczba T (całych) lat bezawaryjnej pracy sprzedanej pralki ma rozkład
geometryczny: P(T  t )  
wyniki były następujące:
t
(1   ), gdzie t = 0, 1, 2.... Obserwowano przez dwa lata próbkę 400 pralek i
Czas bezawaryjnej pracy
0 lat
1 rok
2 lub więcej
Liczba pralek
320
40
40
1
Oblicz estymator największej wiarogodności parametru
3.11 Niech
.
X1 , X 2 ,..., X n będą niezależnymi zmiennymi losowymi z rozkładu N (0, 22 ). Niech Fˆ (t )
oznacza dystrybuantę empiryczną.
a)
Obliczyć wartość oczekiwaną i wariancję Fˆ (0).
b) Wyznaczyć rozkład graniczny dla
2 n ( Fˆ (0)  12 ).
3.12 Populacja generalna ma rozkład normalny N (  ,  ). Wyznacz estymatory parametrów
największej wiarogodności. Czy uzyskane estymatory są nieobciążone?
2
 i  2 metodą
X1 ,... X n będą niezależnymi zmiennymi losowymi o tym samym rozkładzie jednostajnym na
przedziale [  12 ,  12 ], gdzie  jest nieznanym parametrem. Wyznacz estymator największej
wiarogodności parametru  .
3.13 Niech
3.14 Niech X1 ,... X n będzie próbą prostą z rozkładu wykładniczego z parametrem
.
Zaproponuj nieobciążony

estymator wyrażenia e .
Praca domowa:
X1 ,... X n będzie próbą prostą z rozkładu beta B ( ,  ) o gęstości f ( x)  (() () ) x 1 (1  x)  1
dla x  [0,1]. Wyznacz estymatory parametrów  i  metodą momentów, korzystając z dwóch pierwszych
3.1 Niech
momentów zwykłych w rozkładzie beta.
X1 ,... X n będzie próbą prostą z rozkładu gamma ( ,  ). Wyznacz estymatory metodą momentów
parametrów  i  , wykorzystując średniej i wariancji tego rozkładu.
3.2 Niech
X1 ,... X n będzie próbą prostą z rozkładu Poissona z nieznanym parametrem . Wyznacz estymatory
metodą momentów parametrów . Czy istnieje tylko jeden taki estymator?
3.3 Niech
X1 ,... X n będzie próbą prostą z rozkładu gęstości f ( x)   2 xe  x dla x  0. Wyznacz estymator
największej wiarogodności parametru  , policz jego wartość oczekiwaną oraz wariancję.
3.4 Niech
3.5 Niech
X1 ,... X n będą niezależnymi zmiennymi losowymi z tego samego rozkładu o gęstości
f ( x)  61 3 x2e
 x
dla x  (0, ). Wyznaczyć estymator największej wiarogodności parametru
 , wyznacz
jego wartość oczekiwaną oraz wariancję.
X1 , X 2 ,..., X n będą niezależnymi zmiennymi losowymi o tym samym rozkładzie jednostajnym na
przedziale [0,1]. Niech Fˆ (t ) oznacza dystrybuantę empiryczną. Obliczyć wartość oczekiwaną i wariancję
Fˆ ( 1 ).
3.6 Niech
4
3.7 Wykonujemy niezależnie doświadczenia, z prawdopodobieństwem sukcesu  w każdym doświadczeniu,
dopóki nie zaobserwujemy k sukcesów ( k  1 jest ustaloną liczbą). Wyznacz estymator największej
wiarogodności parametru  .
3.8 Niech X1 ,... X n będzie próbą prostą z rozkładu wykładniczego z parametrem
jest nieobciążonym estymatorem wyrażenia
. Czy statystyka T  ( X )2
 2 ?
2
3.9 Niech X1 ,... X n będzie próbą prostą z rozkładu Poissona z parametrem
estymator wyrażenia
3.10* Niech
a)
.
Zaproponuj nieobciążony

e .
X1 ,... X n będzie próbą prostą z rozkładu o dystrybuancie F.
Pokazać, że
b) Pokazać,
n
P( Fˆ (t )  kn )    ( F (t )) k (1  F (t )) n k dla k  0,1, 2,..., n.
k 
że dystrybuanta i gęstość zmiennej losowej
X k:n wynoszą
odpowiednio
 n  1
n n
k 1
nk
P( X k:n  t )   i k   ( F (t ))i (1 F (t )) n i i f X k:n (t )  n 
 f (t )( F (t )) (1  F (t ))
i 
 k  1
c) Załóżmy, że X 1 ,... X n są niezależnymi zmiennymi losowymi z rozkładu jednostajnego na przedziale
[0,1]. Na podstawie wyniku z podpunktu b) pokazać, że X k:n ~ Beta(k , n  k  1).
3.11* Niech
X 1 ,..., X 9 będzie próbą losową z rozkładu
S 2  18 i 1 ( X i  X )2 oraz S  S 2 . Czy statystyka T 
9
wyrażenia


X
S
N (  ,  2 ). Niech
X  19 i 1 X i ,
9
jest estymatorem nieobciążonym dla
?
  (a, b) ( a, b  R;
w szczególności może to być nieskończoność). Ponadto zakładamy, że lim L ( ) i lim L ( ) są skończone oraz
3.12* Niech L ( ) będzie funkcją ciągła, która ma pierwszą i drugą pochodną ciągłą dla
 a
 b
L( )  0 dla każdego   (a, b). Pokazać, że ˆ  ( a, b) jest maksimum dla L ( ), wtedy i tylko wtedy,
gdy jest maksimum dla ln L( ).
3.13* Zmienna losowa X ma rozkład geometryczny z parametrem
 : P ( X  k )   (1   ) k ,
dla
k = 0, 1, 2,... . Oblicz wartość oczekiwaną zmiennej losowej X.
Przydatne fakty i definicje.
Def 1 (dystrybuanta empiryczna)
Niech
n
X1 ,... X n będzie próbą prostą z rozkładu o dystrybuancie F. Statystykę Fˆ (t )  1n i 1 ( X i  t )
nazywamy dystrybuantą empiryczną.
Def 2 (statystyka i estymator)
Niech X 1 ,... X n będzie próbą z rozkładu o dystrybuancie
F , gdzie  . Statystyką nazywamy dowolną
funkcję wektora losowego ( X1 ,... X n ), która nie jest funkcją  , czyli T  T ( X 1 ,..., X n ). Estymatorem
nieznanego parametru  nazywamy dowolną statystykę T ( X1 ,..., X n ) o wartościach w , czyli
T ( X 1 ,..., X n ) : R n  .
Def 3 (Estymator nieobciążony)
Niech
ˆ  ˆ( X1,..., X n )
Powiemy, że estymator
ˆ
będzie estymatorem parametru
jest nieobciążony, jeśli

uzyskanym na podstawie próby
X1 ,... X n .
Eˆ( X1 ,..., X n )   .
Metoda momentów
Metoda momentów polega na przyrównaniu momentów rozkładu teoretycznego (które zależą od nieznanych
parametrów) do odpowiednich momentów empirycznych. Powstałe w ten sposób równania rozwiązujemy ze
względu na nieznane parametry. Oczywiście należy ułożyć tyle równań, ile jest szacowanych parametrów.
3
Przykład
Niech X 1 ,... X n będzie próbą z rozkładu wykładniczego o nieznanym parametrze
.
Ponieważ jest tylko jeden
nieznany parametr więc wystarczy nam tylko jedno równanie. Posłużymy się pierwszym momentem zwykłym.
Nasze równanie przyjmuje więc postać
uzyskany metodą momentów wynosi
X  EY , gdzie Y ~ Exp( ). Ponieważ EY  1 , to estymator
ˆ  X1 .
Metoda kwantyli
Metoda kwantyli jest analogiczna do metody momentów – polega na przyrównaniu kwantyli empirycznych
(wyznaczone na podstawie próbki) do teoretycznych.
Metoda największej wiarogodności
Niech X 1 ,... X n będzie próbą z rozkładu zmiennej losowej X zależącego od parametru
  R. Przez p
oznaczamy gęstość zmiennej losowej X, w przypadku, gdy jest ona ciągłą zmienną losową lub funkcję
prawdopodobieństwa, jeśli X jest dyskretną zmienną losową. Funkcję wiarogodności definiujemy w następujący
sposób: L( )  f ( X1 ,..., X n ), gdzie f ( X 1 ,..., X n ) jest łączną gęstością wektora losowego ( X 1 ,... X n ).
Estymator największej wiarogodności parametru

X1 ,... X n , to takie
ˆ  ˆ( X1,..., X n ) dla którego funkcja wiarogodności przyjmuje maksimum, czyli: L(ˆ)  sup L( ). W
na podstawie próby losowej
 
praktyce ˆ jest wyznaczane w oparciu o następujący fakt, który znacznie upraszcza obliczenia rachunkowe:
funkcja L ( ) osiąga maksimum w tych samych punktach co funkcja ln L( ).
Przykład
Niech X 1 ,... X n będzie próbą prostą z rozkładu wykładniczego o nieznanym parametrze
Metodą największej wiarogodności wyznaczymy estymator parametru
wiarogodności:
.
 , gdzie   0.
Zaczynamy od zdefiniowania funkcji
n

X
L( )  f  ( X1 ,..., X n )  f  ( X 1 )... f  ( X n )  i 1 (e  X i )   ne i1 i
n
Skorzystaliśmy z założenia, że zmienne losowe
X1 ,... X n są niezależne – rozkład łączny równa się iloczynowi
rozkładów brzegowych. Następnie skorzystamy z faktu, że L ( ) osiąga maksimum w tym samym punkcie co
ln L( ). Czyli zadanie sprowadza się do znalezienia maksimum funkcji:
n

X
l( )  ln L( )  ln[ n e  i1 i ]  n ln     i 1 X i
n
W tym celu liczymy pochodną funkcji l ( ) i przyrównujemy ją do zera:
n
l( )  n 1  i 1 X i  0  ˆ 
1
X
Pozostaje uzasadnić, iż rzeczywiście jest to maksimum. Można to zrobić na dwa sposoby. Pierwszy polega na
policzeniu drugiej pochodnej i sprawdzeniu, że l (ˆ )  0.
l( )  n 12  l( )  n( X ) 2  0, bo X  0 jako średnia arytmetyczna z liczb dodatnich ( X i
pochodzą z rozkładu wykładniczego, który jest określony na
R ). Ponadto L( ) jest funkcją ciągła,
L(0)  0, lim L( )  0, co oznacza, że znalezione maksimum lokalne jest maksimum globalnym.
 
Można też prościej: L ( ) jest funkcją ciągła, L(0)  0, lim L( )  0 oraz L( )  0 dla
 
musi istnieć taki punkt
  R ,
  R .
Czyli
w którym funkcja L ( ) przyjmuje maksimum globalne. Punkty podejrzane to
punkty w których zeruje się pierwsza pochodna funkcji l ( ), a ponieważ w naszym zadaniu jest tylko jeden
taki punkt, to musi być on maksimum globalnym!
Warto podkreślić, że metoda największej wiarogodności bardzo łatwo uogólnia się na przypadek
wielowymiarowy (tzn. szacujemy wektor nieznanych parametrów -
  R k ).
Rozwiązanie tego typu zadania
4
sprowadza się do przyrównania do zera pochodnych cząstkowych logarytmu funkcji wiarogodności:

j  1, 2,..., k .
 l ( )  0 dla
j
Jeżeli celem naszej analizy jest wyznaczenie estymatora największej wiarogodności (ENW) dla g ( ), gdzie g
jest pewną znaną funkcją, to ENW ( g ( ))  g (ˆ), gdzie ˆ  ENW ( ).
5