Asymptotyczna normalność, asymptotyczna efektywność – teoria

Asymptotyczna normalność, asymptotyczna efektywność – teoria
Niech X = (X1 , . . . , Xn ) będzie próbą losową na przestrzeni X n oraz {Pθ , θ ∈ Θ}, gdzie Θ jest
przestrzenią parametrów, będzie rodziną rozkładów na X n .
Definicja 1 Statystyką nazywamy funkcję mierzalną T : X n → R.
Definicja 2 Estymatorem funkcji g : Θ → R nazywamy dowolną statystykę ĝ : X n → R,
tzn. estymatorem g(θ) jest ĝ(X) = ĝ(X1 , . . . , Xn ).
Definicja 3 Estymator ĝ(X) funkcji g(θ) jest asymptotycznie normalny, jeśli
∀θ∈Θ
∃σ2 (θ)
√
d
n ĝ(X) − g(θ) −−−→ N (0, σ 2 (θ)),
n→∞
2
tzn. rozkład statystyki ĝ(X) jest, dla dużych n, zbliżony do rozkładu N g(θ), σ n(θ) .
σ 2 (θ)
Oznaczenie: ĝ(X) jest AN g(θ), n .
Wielkość
σ 2 (θ)
n
nazywamy asymptotyczną wariancją estymatora ĝ(X).
Twierdzenie 4 (Metoda delta) Jeśli ciąg zmiennych losowych Tn jest AN (µ, σn2 ), σn → 0,
oraz h : R → R jest funkcją różniczkowalną w punkcie µ i h0 (µ) 6= 0, to
h(Tn ) jest AN h(µ), σn2 · (h0 (µ))2 .
Twierdzenie 5 Jeśli ciąg zmiennych losowych Tn jest AN (µ, σn2 ), σn → 0, oraz h : R → R jest
funkcją m-krotnie różniczkowalną w punkcie µ i h(m) (µ) 6= 0, h(i) (µ) = 0 dla i < m, to
h(Tn ) − h(µ) d
−−→ N (0, 1)m .
(m)
m
h (µ) · σn
1
m!
Fakt 6 Jeśli ciąg zmiennych losowych Tn jest AN (µn , σn2 ) oraz
σ̄n
→ 1,
σn
µ̄n − µn
→ 0,
σn
to Tn jest AN (µ̄n , σ̄n2 ).
Fakt 7 Jeśli ciąg zmiennych losowych Tn jest AN (µn , σn2 ) oraz
an → 1,
µn (an − 1) + bn
→ 0,
σn
to an Tn + bn jest także AN (µn , σn2 ).
Definicja 8 Niech ĝ(X) będzie asymptotycznie normalnym estymatorem funkcji g(θ). Asymptotyczną efektywnością estymatora nazywamy
2
2
g 0 (θ) n
g 0 (θ)
as.ef(ĝ)(θ) = 2
= 2
,
σ (θ) In (θ)
σ (θ) I1 (θ)
gdzie
σ 2 (θ)
n
jest asymptotyczną wariancją estymatora.
Definicja 9 Estymator ĝ(X) funkcji g(θ) nazywamy asymptotycznie efektywnym, jeśli
∀θ∈Θ
as.ef(ĝ)(θ) = 1.
1
Definicja 10 Informacją Fishera zmiennej losowej X nazywamy funkcję
2
2
∂
∂
I(θ) = Eθ ∂θ ln fθ (X) = −Eθ ∂θ2 ln fθ (X) .
Przydatne fakty
Twierdzenie 11 (CTG) Niech X1 , X2 , . . . będzie ciągiem niezależnych zmiennych losowych o
jednakowym rozkładzie takim, że 0 < Var X < ∞. Wówczas
X1 + · · · + Xn − nEX d
√
−−−→ N (0, 1)
n→∞
nVar X
lub, równoważnie,
√
d
n(X̄ − EX) −−−→ N (0, Var X).
n→∞
Twierdzenie 12 Jeśli funkcja h : R → R jest ciągła z prawdopodobieństwem 1, to
p.w.
p.w.
1. Xn −−→ X ⇒ h(Xn ) −−→ h(X),
P
P
d
d
2. Xn −
→ X ⇒ h(Xn ) −
→ h(X),
3. Xn −
→ X ⇒ h(Xn ) −
→ h(X),
Twierdzenie 13 Zależności między różnymi rodzajami zbieżności zmiennych losowych.
p.w.
P
1. Xn −−→ X ⇒ Xn −
→ X.
d
P
→ X.
→ X ⇒ Xn −
2. Xn −
d
P
Twierdzenie 14 (Słuckiego) Niech Xn −
→ X, Yn −
→ c, gdzie c jest stałą. Wówczas
d
1. Xn + Yn −
→ X + c.
d
2. Xn Yn −
→ cX.
Wniosek 15 Zbieżność do stałej według prawdopodobieństwa jest równoważna ze zbieżnością
do tej stałej według rozkładu.
2