Metoda momentów i kwantyli próbkowych

Metoda momentów i kwantyli próbkowych
Wrocław, 7 listopada 2014
Metoda momentów
Momenty zmiennych losowych
X1 , X2 , . . . , Xn - próba losowa.
Momenty zmiennych losowych
X1 , X2 , . . . , Xn - próba losowa.
Momenty teoretyczne:
µ1 = EX1 ,
µ2 = EX12 ,
µ3 = EX13 , . . . , µk = EX1k
Momenty zmiennych losowych
X1 , X2 , . . . , Xn - próba losowa.
Momenty teoretyczne:
µ1 = EX1 ,
µ2 = EX12 ,
µ3 = EX13 , . . . , µk = EX1k
Momenty empiryczne:
m1 =
n
n
n
n
1X
1X
1X
1X
Xi , m2 =
Xi2 , m3 =
Xi3 , . . . , mk =
Xk
n i=1
n i=1
n i=1
n i=1 i
Momenty zmiennych losowych
Momenty empiryczne są nieobciążonymi estymatorami momentów
teoretycznych
E (m1 ) = E
n
1X
Xi
n i=1
E (m2 ) = E
n
1X
X2
n i=1 i
!
= EX1 = µ1
!
= EX12 = µ2
..
.
E (mk ) = E
n
1X
Xk
n i=1 i
!
= EX1k = µk .
Momenty zmiennych losowych
Niech X1 , X2 , . . . , Xn oznacza próbę losową z rozkładu o gęstości
fθ (x), gdzie θ = (θ1 , θ2 , . . . , θn )0 jest wektorem nieznanych
parametrów rozkładu.
Momenty zmiennych losowych
Niech X1 , X2 , . . . , Xn oznacza próbę losową z rozkładu o gęstości
fθ (x), gdzie θ = (θ1 , θ2 , . . . , θn )0 jest wektorem nieznanych
parametrów rozkładu.
Momenty µj - funkcje nieznanych parametrów θ1 , θ2 , . . . , θn
postaci µj = gj (θ1 , θ2 , . . . , θn ).
Momenty zmiennych losowych
Przykład 1
Niech X1 , X2 , . . . , Xn , będzie próbą losową z rozkładu normalnego
ze średnią θ1 i wariacją θ22 , wówczas momenty teoretyczne µ1 i µ2
są funkcjami tych parametrów postaci:
µ1 = EX1 = θ1
µ2 = EX12 = θ12 + θ22
Momenty zmiennych losowych
Przykład 1
Niech X1 , X2 , . . . , Xn , będzie próbą losową z rozkładu normalnego
ze średnią θ1 i wariacją θ22 , wówczas momenty teoretyczne µ1 i µ2
są funkcjami tych parametrów postaci:
µ1 = EX1 = θ1
µ2 = EX12 = θ12 + θ22
Drugą z równości otrzymaliśmy korzystając z tego, że
EX12 = (EX1 )2 + Var (X1 ).
Metoda Momentów
Estymatorem (θˆ1 , θˆ2 , . . . , θˆn )0 wektora parametrów
θ = (θ1 , θ2 , . . . , θn )0 nazywamy rozwiązanie układu równań:


m1



 m2




 m
k
= g1 (θ1 , θ2 , . . . , θn ) = µ1
= g2 (θ1 , θ2 , . . . , θn ) = µ2
..
.
= gk (θ1 , θ2 , . . . , θn ) = µk .
Metoda Momentów - przykłady
Przykład 2
Niech X1 , X2 , . . . , Xn bedzie próbą z rozkładu Normalnego
N(µ, σ 2 ). Szukamy estymatorów wektora (θ1 , θ2 ) = (µ, σ 2 ).
Momenty teoretyczne są postaci:
µ1 = g1 (θ1 , θ2 ) = g1 (µ, σ 2 ) = µ,
µ2 = g2 (θ1 , θ2 ) = g2 (µ, σ 2 ) = µ2 + σ 2 .
Momenty otrzymane z próby są postaci:
m1 =
m2 =
1
n
1
n
Pn
Xi
Pi=1
n
2
i=1 Xi
Metoda Momentów - przykłady
Przykład 2 - cd
A zatem przyrównując do siebie odpowiednie momenty
otrzymujemy układ równań postaci:
(
m1 =
m2 =
1
n
1
n
Pn
Xi
Pi=1
n
2
i=1 Xi
= µ
= µ1
= µ2 + σ 2 = µ 2
Rozwiązując powyższy układ równań ze względu na µ i σ 2
otrzymujemy:

 µ̂

σ̂ 2
=
=
1
n
1
n
Pn
i=1 Xi = X̄
h
2− 1
X
i=1 i
n
Pn
Pn
i=1 Xi
i2
=
1
n
Pn
i=1 (Xi
− X̄ )2
gdzie µ̂ i σ̂ 2 oznaczają odpowiednio estymatory średniej µ i
wariancji σ 2 .
,
Metoda Momentów - przykłady
Przykład 2 - cd
Widzimy zatem, że estymatorem średniej w rozkładzie normalnym
otrzymanym MM jest średnia z próby, natomiast estymatorem
wariancji obciążona wariancja próbkowa.
Metoda Momentów
Uwaga
Estymatory wyznaczone metodą momentów w ogólności nie są
wyznaczone jednoznacznie.
Metoda Momentów - przykłady
Przykład 3
Niech X1 , X2 , . . . , Xn bedzie próbą z rozkładu Poissona Poi(λ).
Metoda Momentów - przykłady
Przykład 3
Niech X1 , X2 , . . . , Xn bedzie próbą z rozkładu Poissona Poi(λ).
I. Wyznaczamy estymator parametru λ w oparciu o pierwszy
moment. Ponieważ µ1 = EX1 = λ otrzymujemy:
λ̂ =
n
1X
Xi = X̄ .
n i=1
Metoda Momentów - przykłady
Przykład 3 - cd
II. Wyznaczamy estymator parametru λ w oparciu o pierwsze dwa
momenty. Ponieważ µ2 = EX12 = (EX1 )2 + Var (X1 ) = λ2 + λ
otrzymujemy:
( P
n
1
n Pi=1 Xi = λ
n
1
2
2
i=1 Xi = λ + λ,
n
Metoda Momentów - przykłady
Przykład 3 - cd
II. Wyznaczamy estymator parametru λ w oparciu o pierwsze dwa
momenty. Ponieważ µ2 = EX12 = (EX1 )2 + Var (X1 ) = λ2 + λ
otrzymujemy:
( P
n
1
n Pi=1 Xi = λ
n
1
2
2
i=1 Xi = λ + λ,
n
a stąd otrzymujemy estymatory
λˆ1 = X̄ q
λˆ2 = 12 ( 1 + 4X¯2 − 1)
Metoda Momentów - przykłady
Przykład 3 - cd
II. Wyznaczamy estymator parametru λ w oparciu o pierwsze dwa
momenty. Ponieważ µ2 = EX12 = (EX1 )2 + Var (X1 ) = λ2 + λ
otrzymujemy:
( P
n
1
n Pi=1 Xi = λ
n
1
2
2
i=1 Xi = λ + λ,
n
a stąd otrzymujemy estymatory
λˆ1 = X̄ q
λˆ2 = 12 ( 1 + 4X¯2 − 1)
Estymator λˆ1 jest najlepszym estymatorem nieobciążonym,
estymator λˆ2 jest obciążony.
Metoda Momentów - przykłady
Przykład 3 - cd
II. Wyznaczamy estymator parametru λ w oparciu o pierwsze dwa
momenty. Ponieważ µ2 = EX12 = (EX1 )2 + Var (X1 ) = λ2 + λ
otrzymujemy:
( P
n
1
n Pi=1 Xi = λ
n
1
2
2
i=1 Xi = λ + λ,
n
a stąd otrzymujemy estymatory
λˆ1 = X̄ q
λˆ2 = 12 ( 1 + 4X¯2 − 1)
Estymator λˆ1 jest najlepszym estymatorem nieobciążonym,
estymator λˆ2 jest obciążony.
Przykład ten pokazuje, że MM może prowadzić do bezsensownych
estymatorów.
Metoda Momentów - przykłady
Przykład 4
Niech X1 , X2 , . . . , Xn bedzie próbą z rozkładu jednostajnego na
przedziale (a, b), U(a, b). Wyznaczymy estymaroty MM
parametrów a i b.
Metoda Momentów - przykłady
Przykład 4
Niech X1 , X2 , . . . , Xn bedzie próbą z rozkładu jednostajnego na
przedziale (a, b), U(a, b). Wyznaczymy estymaroty MM
parametrów a i b.
Momenty teoretyczne z rozkładu jednostajnego są postaci:
µ1 = EX1 =
a+b
2
µ2 = Var (X1 ) + (EX1 )2 =
(b−a)2
12
+
a+b
2
2
=
a2 +ab+b 2
3
Metoda Momentów - przykłady
Przykład 4
Niech X1 , X2 , . . . , Xn bedzie próbą z rozkładu jednostajnego na
przedziale (a, b), U(a, b). Wyznaczymy estymaroty MM
parametrów a i b.
Momenty teoretyczne z rozkładu jednostajnego są postaci:
µ1 = EX1 =
a+b
2
µ2 = Var (X1 ) + (EX1 )2 =
(b−a)2
12
+
a+b
2
2
=
a2 +ab+b 2
3
Przyrównując do siebie odpowiednie momenty dostajemy układ
równań postaci:

1 Pn

 m1 = n i=1 Xi


m2 =
1
n
Pn
2
i=1 Xi
=
a+b
2
= µ1
=
a2 +ab+b 2
3
= µ2
Metoda Momentów - przykłady
Przykład 4 - cd
Co dalej prowadzi do:
(
a = 2X̄ − b
b 2 − 2X̄ b + 4(X̄ )2 − 3X¯2 = 0
Metoda Momentów - przykłady
Przykład 4 - cd
Co dalej prowadzi do:
(
a = 2X̄ − b
b 2 − 2X̄ b + 4(X̄ )2 − 3X¯2 = 0
Dla równania drugiego wyznaczamy deltę
∆ = 4(X̄ )2 − 16(X̄ )2 + 12X¯2 = 12(X¯2 − (X̄ )2 ),
a następnie pierwiastki równania.
Metoda Momentów - przykłady
Przykład 4 - cd
Co dalej prowadzi do:
(
a = 2X̄ − b
b 2 − 2X̄ b + 4(X̄ )2 − 3X¯2 = 0
Dla równania drugiego wyznaczamy deltę
∆ = 4(X̄ )2 − 16(X̄ )2 + 12X¯2 = 12(X¯2 − (X̄ )2 ),
a następnie pierwiastki równania.
Ostatecznie otrzymujemy estymatory MM parametrów a i b
postaci:
q
â = X̄ + 3(X¯2 − (x̄)2 )
b̂ = X̄ −
q
3(X¯2 − (x̄)2 )
Metoda kwantyli
Metoda Kwantyli
Estymatorem (θˆ1 , θˆ2 , . . . , θˆk )0 wektora parametrów
θ = (θ1 , θ2 , . . . , θk )0 nazywamy rozwiązanie układu równań:
 −1

Fθ (p1 )



 F −1 (p2 )
θ





= Zp1 ,n
= Zp2 ,n
..
.
Fθ−1 (pk ) = Zpk ,n ,
gdzie Fθ−1 (p) oznacza kwantyl teoretyczny rzędu p, natomiast
Zp,n = X[np]+1 : n , p ∈ (0, 1) jest kwantylem z próby.
Metoda Kwantyli - przykłady
Przykład 5
Niech X1 , X2 , . . . , Xn bedzie próbą z rozkładu normalnego
N(µ, σ 2 ), µ ∈ R, σ > 0 i niech Fθ−1 (p) bedzie kwantylem rzędu p,
p ∈ (0, 1), θ = (µ, σ 2 ).
Metoda Kwantyli - przykłady
Przykład 5
Niech X1 , X2 , . . . , Xn bedzie próbą z rozkładu normalnego
N(µ, σ 2 ), µ ∈ R, σ > 0 i niech Fθ−1 (p) bedzie kwantylem rzędu p,
p ∈ (0, 1), θ = (µ, σ 2 ).
Oznaczmy przez up kwantyl rzędu p ze standardowego rozkładu
normalnego N(0, 1), wówczas
√
Fθ−1 (p) = up σ 2 + µ.
Metoda Kwantyli - przykłady
Przykład 5
Niech X1 , X2 , . . . , Xn bedzie próbą z rozkładu normalnego
N(µ, σ 2 ), µ ∈ R, σ > 0 i niech Fθ−1 (p) bedzie kwantylem rzędu p,
p ∈ (0, 1), θ = (µ, σ 2 ).
Oznaczmy przez up kwantyl rzędu p ze standardowego rozkładu
normalnego N(0, 1), wówczas
√
Fθ−1 (p) = up σ 2 + µ.
Niech p 6= q oraz Zp,n i Zq,n oznaczają odpowiednie kwantyle
próbkowe rzedu p i q. W calu znalezienia estymatorów MK wektora
parametrów θ = (µ, σ 2 ) należy rozwiązac układ równań:
(
√
Fθ−1 (p) = up √σ 2 + µ = Zp,n
Fθ−1 (q) = uq σ 2 + µ = Zq,n
Metoda Kwantyli - przykłady
Przykład 5 - cd
Rozwiązując układ równań ze względu na µ i σ 2 dostajemy
estymatory MK postaci:
Z
u −Z
u
µ̂ = p,n uqq −upq,n p
2
Z −Z
σˆ2 = p,n q,n .
up −uq