Wykład 6 Estymatory efektywne. Własnosci asymptotyczne

Wykład 6
Estymatory efektywne. Własności asymptotyczne
estymatorów
Magdalena Frąszczak
Wrocław, 30 listopada 2016r
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Powtórzenie z rachunku prawdopodobieństwa
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Zbieżność
Definicja 6.1
Niech ciąg {X }n ma rozkład o dystrybuancie Fn (t), a zmienna
losowa X ma rozkład o dystrybuancie F (t). Ciąg zmiennych
losowych X1 , X2 , . . . jest zbieżny według rozkładu (słabo zbieżny)
do zmiennej losowej X , jeżeli
P
lim Fn (t) = F (t),
n→∞
dla każdego t, w którym funkcja F (t) jest ciągła.
Uwaga
Zbieżność według rozkładu oznaczamy przez P (równoważnie d).
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Zbieżność
Definicja 6.2
Ciąg zmiennych losowych X1 , X2 , . . . jest zbieżny z
prawdopodobieństwem 1 (prawie na pewno) do zmiennej losowej
X , jeżeli
P1
P(ω : lim Xn (ω) = X (ω)) = 1.
n→∞
Uwaga
Zbieżność z prawdopodobieństwem jeden oznaczamy przez P1
(równoważnie p.n.).
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Estymatory zgodne
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Estymatory zgodne
Definicja 6.3
Ciąg estymatorów θ̂n parametru θ nazywamy zgodnym, gdy
P
lim θ̂n = θ,
n→∞
dla każdego θ ∈ Θ.
Definicja 6.4
Ciąg estymatorów θ̂n parametru θ nazywamy mocno zgodnym, gdy
P1
lim θ̂n = θ,
n→∞
dla każdego θ ∈ Θ.
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Estymatory zgodne - Przykład 6.1
Niech X1 , X2 , · · · , Xn będzie próbą z rozkładu o dystrybuancie F .
Dystrybuanta empiryczna postaci:
Fn (t, X) =
n
1X
I
(Xi )
n i=1 (−∞,t]
jest estymatorem nieobciążonym, mocno zgodnym wartości F (t)
dla każdego t.
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Estymatory efektywne
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Estymatory efektywne
Definicja 6.5 (Warunki regularności Cramera - Rao)
1
{x : f (x, θ) > 0} nie zależy od θ.
2
Istnieją pochodne
∂ 2 f (x, θ)
;
∂θ2
∂f (x, θ)
;
∂θ
∂ 3 f (x, θ)
∂θ3
dla każdego θ i µ p.w. i ponadto można obliczać te pochodne
pod znakiem całki, tzn.:
d
dθ
Z
X
Z
f (x, θ)dµ(x) =
d2
dθ2
X
∂
∂ log f (x, θ)
f (x, θ)dµ(x) = Eθ
=0
∂θ
∂θ
Z
X
Z
f (x, θ)dµ(x) =
Magdalena Frąszczak
X
∂2
f (x, θ)dµ(x) = 0
∂θ2
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Estymatory efektywne
Definicja (Warunki regularności Cramera - Rao)
3. Istnieje i jest dodatnia całka
Z
I (θ) =
X
∂ log f (x, θ)
∂θ
2
f (x, θ)dµ(x) = Eθ
∂ log f (x, θ)
∂θ
2
,
dla każdego θ ∈ Θ.
Całkę tą będziemy nazywać Informacją Fishera
4. Dla każdego θ ∈ Θ i µ - p.w. x
"
#
∂ 3 log f (x, θ)
¬ M(x),
∂θ3
przy czym Eθ [M(x)] < M0 , gdzie M0 nie zależy od θ.
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Estymatory efektywne
Twierdzenie 6.1 (Cramér - Rao - Frechát - Nierówność
informacyjna)
Niech X = (X1 , X2 , · · · , Xn )0 będzie próbą z rozkładu o gęstości
f (x, θ), θ ∈ Θ spełniającą warunki regularności Craméra - Rao.
Niech T (X) będzie estymatorem różniczkowalnej funkcji g (θ), a
b(θ) = Eθ (T (X)) − g (θ). Wówczas:
Eθ [T (X) − g (θ)]2 ­
[g 0 (θ) + b 0 (θ)]2
nI (θ)
W szczególności gdy T jest estymatorem nieobciążonym oraz
g (θ) = θ:
1
Varθ [T (X)] ­
nI (θ)
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Estymatory efektywne
Definicja 6.6
Nieobciążony estymator T funkcji parametrycznej g (θ), którego
wariancja równa jest dolnemu ograniczeniu Craméra - Rao dla
każdego θ ∈ Θ nazywamy estymatorem efektywnym w sensie
Craméra - Rao.
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Estymatory efektywne - Przykład 6.2
Niech X1 , X2 , . . . , Xn będzie próbą z rozkładu normalnego
N(µ, σ 2 ), σ 2 - znane.
Gęstość zmiennej losowej w tym rozkładzie jest:
f (x; µ, σ 2 ) = √
1
2
1
e − 2σ2 (x−µ) .
2πσ
Wiemy, że X̄ - nieobciążony estymator parametru µ.
E (X̄ ) = µ
2
Var (X̄ ) = σn
Niech teraz g (µ) = µ. Obliczmy
∂
log f (x; µ, σ 2 )
∂µ
p
∂ − log( (2π)σ) −
=
Magdalena Frąszczak
∂µ
1
(x
2σ 2
− µ)2
=
x −µ
σ2
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Estymatory efektywne - Przykład 6.2 cd.
Wyznaczmy teraz Informację Fishera:
I (µ) = E
X −µ
σ2
2 !
=
1
1
σ2
1
2
E
[X
−EX
]
=
Var
(X
)
=
= 2
4
4
4
σ
σ
σ
σ
Z Twierdzenia Cramér - Rao - Frechát:
Var (X̄ ) ­
1
n σ12
=
σ2
.
n
Wariancja osiąga dolne ograniczenie Craméra - Rao.
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Estymatory efektywne - Przykład 6.3
Niech X1 , X2 , . . . , Xn będzie próbą z rozkładu Poisona Poi(λ).
Gęstość zmiennej losowej w tym rozkładzie jest postaci
f (x; λ) =
λx −λ
e
x!
Wiemy, że X̄ - nieobciążony estymator parametru λ.
E (X̄ ) = λ
Var (X̄ ) = λn
Obliczmy
∂ log f (x; λ)
∂(x log λ − log(x!) − λ)
x
=
= −1
∂λ
∂λ
λ
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Estymatory efektywne - Przykład 6.3 cd.
Wyznaczmy teraz Informację Fishera:
I (λ) = E
X −λ
λ
2 !
=
1
1
1
E [X − EX ]2 = 2 λ =
2
λ
λ
λ
Następnie:
Var (X̄ ) =
1
λ
=
n
nI (λ)
Wariancja osiąga dolne ograniczenie Craméra - Rao.
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Własności asymptotyczne estymatorów
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Asymptotyczna nieobciążoność
Definicja 6.7
Estymator T (X) nazywamy asymptotycznie nieobciążonym
estymatorem parametru θ , gdy
lim bT (θ) = 0
n→∞
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Asymptotyczna nieobciążoność - Przykład 6.4
Niech X1 , X2 , . . . , Xn będzie daną próbą losową. Funkcja
S02 =
n
1X
(Xi − X̄ )2 ,
n i=1
jest obciążonym estymatorem wariancji σ 2 .
2
Obciążenie tego estymatora jest równe b(σ 2 ) = − σn .
Dla każdego σ > 0
!
σ2
lim −
= 0.
n→∞
n
Stąd S02 jest astymptotycznie nieobciążonym estymatorem
wariancji.
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Asymptotyczna normalność
Definicja 6.8
Ciąg estymatorów (Tn ), n = 1, 2, . . . , jest asymptotycznie
normalny AN (µn , σn2 ), jeżeli istnieją ciągi liczbowe (µn ), (σn ),
n = 1, 2, . . . , takie, że
Tn − µn
→ N (0, 1),
σn
tzn. rozkład statystyki Tn jest rozkładem asymptotycznie
normalnym AN (µn , σn2 )
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Asymptotyczna normalność - Przykład 6.5
Dystrybuanta empiryczna postaci:
n
1X
I
(Xi )
Fn (t, X) =
n i=1 (−∞,t]
jest asymptotycznie normalnym estymatorem wartości F (t) dla
każdego t, ponieważ
√
n(Fn (t) − F (t)) → N (0, F (t)(1 − F (t)))
według rozkładu.
Dowód : na ćwiczeniach.
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Asymptotyczna efektywność
Niech X1 , X2 , . . . , Xn będzie daną próbą i niech Tn = T (X) będzie
estymatorem funkcji parametrycznej g (θ). Załóżmy, że ciąg
estymatorów (Tn ), n = 1, 2, . . . jest asymptotycznie normalny ze
średnią g (θ) i wariancją asymptotyczną ν(θ)/n, tj.:
AN (g (θ), ν(θ)/n), ν(θ) > 0.
Definicja 6.8
Ciąg estymatorów (Tn ), n = 1, 2, . . . parametru g (θ) nazywamy
astmptotycznie efektywnym, jeżeli jest asymptotycznie normalny
AN
[g 0 (θ)]2
g (θ),
nI (θ)
!
,
tzn. jego wariancja asymptotyczna jest równa dolnemu
ogramiczeniu Cramára-Rao.
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Asymptotyczna efektywność
Definicja 6.9
Estymator (Tn ), n = 1, 2, . . . parametru θ nazywamy
nadefektywnym, jeżeli jest asymptotycznie normalny dla wszystkich
θ ∈ Θ, z wariancją asymptotyczną nie przekraczającą dla żadnej
wartości parametru θ dolnego ograniczenia Cramára - Rao i
mniejszą od tej wartości dla co najmniej jednej wartości parametru.
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym
Literatura:
Bartoszewicz J.,Wykłady ze statystyki matematycznej, PWN,
Warszawa 1989.
Gajek L., Kałuszka M.,Wnioskowanie statystyczne, WNT,
Warszawa 2000, wyd. IV.
Krysicki W., Bartos J., Dyczka W., Krówlikowska K.,
Wasilewski M., Rachunek Prawdopodobieństwa i Statystyka
Matematyczna w Zadaniach, część II, PWN, 2012
Magiera M, Modele i metody statystyki matematycznej, część
II, wnioskowanie statystyczne, Wrocław, 2007
Magdalena Frąszczak
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym