Wykład 4 Statystyki dostateczne, zupełne, swobodne

Wykład 4
Statystyki dostateczne, zupełne, swobodne
Magdalena Frąszczak
Wrocław, 26 października 2016r
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Statystyki dostateczne
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Rozkłady warunkowe - przypomnienie
Definicja 4.1
Niech X i Y oznaczają zmienne losowe typu dyskretnego, oraz
niech P(Y = yj ) > 0, dla każdego j = 1, 2, . . . , i. Rozkład
warunkowy zmiennej losowej X pod warunkiem, że Y = yj
określamy wzorem:
P(X = xi |Y = yj ) =
P(X = xi , Y = yj )
,
P(Y = yj )
Magdalena Frąszczak
i = 1, 2, . . . .
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Rozkłady warunkowe - przypomnienie
Jeżeli (X1 , X2 ) jest wektorem ciągłych zmiennych losowych, to
gęstością brzegową zmiennej losowej X1 nazywamy funkcję:
Z ∞
fX1 (x1 ) =
−∞
fX1 ,X2 (x1 , t)dt.
Definicja 4.2
Niech X i Y oznaczają ciągłe zmienne losowe. Przez f (x, y )
oznaczamy gęstość łączną wektora losowego (X , Y ). Gęstością
rozkładu warunkowego zmiennej losowej X pod warunkiem, że
Y = y nazywamy funkcję zdefiniowaną następująco:
fX |y (x) =
Magdalena Frąszczak
fX ,Y (x, y )
fY (y )
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Statystki dostateczne
Definicja 4.3
Statystyka T nazywa się statystyką dostateczną dla parametru θ
(statystyką dostateczną dla P), jeżeli dla każdej wartości t tej
statystyki rozkład warunkowy P(·|T = t) nie zależy od θ.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Statystki dostateczne. Przykład 4.1
Niech X = (X1 , X2 , . . . , Xn )0 będzie próbą z rozkładu
dwumianowego, P(Xi = 1) = p, P(Xi = 0) = q = 1 − p.
P
Niech T = ni=1 Xi .
Dla 0 ¬ t ¬ n.
P[X = x|T (X) = t] = P[(X1 , X2 , . . . , Xn )0 = (x1 , x2 , . . . , xn )0 |T (X) = t] =
=
P[X=x,T (X)=t]
P[T (X)=t]
Qn−1
=
i=1
Pn−1 =
P X1 =x1 ,X2 =x2 ,...,Xn−1 =xn−1 ,Xn =t−
Pn
P[
Pn−1
t−
x
x =t ]
i=1 i
1−t+
i=1 i (1−p)
{pxi (1−p)1−xi }·p
n
t
( t )p (1−p)n−t
Pn−1
i=1
xi
=
i=1
xi
=
1
(nt)
oraz P[X = x|T (X) = t] = 0 w przeciwnym wypadku. Zatem
Pn
i=1 Xi jest statystyką dostateczną.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Kryterium faktoryzacji
Twierdzenie 4.2 (kryterium faktoryzacji)
Statystyka T jest dostateczna wtedy i tylko wtedy, gdy gęstość
rozkładu prawdopodobieństwa próby X1 , X2 , . . . , Xn można
przedstawić w postaci
fθ (x1 , x2 , · · · , xn ) = gθ (T (x1 , x2 , . . . , xn ))h(x1 , x2 , · · · , xn ),
gdzie funkcja h nie zależy od θ, a funkcja gθ , zależna od θ, zależy
od x1 , x2 , · · · , xn tylko poprzez wartość statystyki T.
Uwaga
Cała próba jest statystyką dostateczną, jest to tzn. trywialna
statystyka dostateczna.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Statystki dostateczne. Przykład 4.2
Niech X = (X1 , X2 , . . . , Xn )0 będzie próbą z rozkładu jednostajnego
na odcinku (0, θ), U(0, θ); θ > 0.
f (xi ; θ) = 1θ I[0,θ] (xi ).
Gęstość łączna jest postaci:
n
Y
i=1
f (xi ; θ) =
n
1
1 Y
I[0,θ] (xi ) = n I[0,∞] (x1:n )I[0,θ] (xn:n ).
n
θ i=1
θ
Tutaj
gθ (T (x)) = θ1n I[0,θ] (xn:n );
h(x) = I[0,∞] (x1:n )
Zatem z kryterium faktoryzacji, statystyka T (X) = Xn:n jest
statystyką dostateczną dla θ.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Minimalne statystyki dostateczne
Definicja 4.4
Statystykę dostateczną S nazywamy minimalną statystyką
dostateczną dla rodziny rozkładów P jeżeli dla każdej statystyki
dostatecznej T dla rodziny P istnieje funkcja h, taka że
S(x) = h(T (x))
dla prawie wszystkich x.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Wykładnicze rodziny rozkładów
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Wykładnicze rodziny rozkładów
Definicja 4.5
Rodzina rozkładów prawdopodobieństwa {Pθ , θ ∈ Θ} nazywa się
wykładniczą rodziną rozkładów, gdy gęstości tych rozkładów są
postaci:


n
X
f (x; θ) = C (θ) exp  Qj (θ)Tj (x) · h(x),
j=1
gdzie Qj , Tj , j = 1, 2, . . . , k, C i h są pewnymi funkcjami.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Wykładnicze rodziny rozkładów. Przykład 4.3
{b(n, p), p ∈ (0, 1)}
!
f (x; p) =
Zatem:
n x
p
p (1 − p)n−x = (1 − p)n exp x log
x
1−p
!
n
.
x
C (p) = (1 − p)n h(x) = xn
p
T (x) = x
Q(p) = log 1−p
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Wykładnicze rodziny rozkładów
Twierdzenie 4.3
Jeżeli {Pθ , θ ∈ Θ} jest wykładniczą rodziną rozkładów z
gęstościami:
f (x; θ) = exp

k
X

j=1
θj Tj (x) − b(θ)



to (T1 (X ), T2 (X ), ..., Tk (X )) jest (k-wymiarową) minimalną
statystyką dostateczną.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Statystyki zupełne i swobodne
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Statystyki zupełne
Definicja 4.6
Mówimy, że rodzina rozkładów P jest zupełna (ograniczenie
zupełna), jeżeli każda rzeczywista mierzalna funkcja ψ spełniająca
warunek:
Eθ (ψ(X )) = 0, dla każdego θ ∈ Θ
jest równa zero prawie wszędzie P.
Definicja 4.7
Statystyka nazywa się zupełna, jeżeli rodzina jej rozkładów jest
zupełna.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Statystyki zupełne - Przykład 4.4
P = {b(n, p), p ∈ (0, 1)}
Dla dowolnej funkcji ψ określonej na X = {0, 1, 2, . . . , n} i takiej,
że:
n
X
!
n
X
!
n x
Ep [ψ(X )] =
ψ(x)
p (1−p)n−x = 0
x
x=0
dla każdego p ∈ (0, 1)
mamy dalej
n
Ep [ψ(X )] =
ψ(x)
x
x=0
p
1−p
Magdalena Frąszczak
x
=0
dla każdego p ∈ (0, 1)
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Statystyki zupełne. Przykład 4.4 - c.d.
oznaczając ρ =
p
1−p
> 0 otrzymujemy:
n
X
!
n x
Ep [ψ(X )] =
ψ(x)
ρ =0
x
x=0
ρ>0
stąd dla każdego x = 0, 1, 2, . . . , n ψ(x) = 0, a stąd rodzina
rozkładów bernoulliego jest zupełna.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Statystyki zupełne. Przykład 4.5
P = {N(µ, σ 2 ); µ ∈ R, σ > 0}
1
Eµ,σ [ψ(X )] = √
2πσ
Z ∞
2
1 (x−µ)
σ2
ψ(x)e − 2
dx = 0
dla każdego µ, σ > 0.
−∞
Mamy
Z ∞
Eµ,σ [ψ(X )] =
1 x2
mx
ψ(x)e − 2 σ2 e σ2 dx = 0
dla każdego µ, σ > 0.
−∞
Oznaczmy, przez θ =
Z ∞
Eµ,σ [ψ(X )] =
µ
.
σ2
Wówczas:
1 x2
e θx ψ(x)e − 2 σ2 = 0
−∞
Magdalena Frąszczak
dla każdego θ ∈ R.
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Statystyki zupełne. Przykład 4.5 - c.d.
∞
Znanym faktem jest, że przekształcenie postaci: −∞
e θx · f (x)dx
nazywa się dwustronnym przekształceniem Laplace’a funkcji f .
Wiadomo, że jeśli przekształcenie Laplace’a funkcji całkowalnej jest
równa zeru, to funkcja ta jest równa zeru prawie wszędzie.
Przenosząc tą wiedzę na nasz przypadek otrzymujemy:
R
1 x2
f (x) = ψ(x)e − 2 σ2 = 0,
czyli ψ(x) = 0. Zatem rodzina rozkładów normalnych jest rodziną
zupełną.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Statystyki zupełne. Przykład 4.6
P = {N(1, σ 2 ); σ > 0}
1
Eσ [ψ(X )] = √
2πσ
Z ∞
2
1 (x−1)
σ2
ψ(x)e − 2
dx
−∞
Przyjmijmy ψ(x) = x − 1, czyli ψ(x) 6= 0 dla każdego x. Wówczas
Z ∞
Eσ [ψ(X )] =
xe
− 12
(x−1)2
σ2
dx −
−∞
Z ∞
2
1 (x−1)
σ2
e− 2
dx = 1 − 1 = 0
−∞
dla każdego σ > 0. Stąd rodzina ta nie jest zupełna.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Statystyki zupełne
Twierdzenie 4.4
Jeżeli T jest statystyką dostateczną zupełną, to jest minimalną
statystyką dostateczną.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Statystyki swobodne
Definicja 4.8
Statystykę V nazywamy statystyką swobodną, gdy jej rozkład nie
zależy od parametru.
Statystykę V nazywamy statystyką swobodną pierwszego rzędu,
gdy E [V ] nie zależy od parametru.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Statystyki swobodne. Przykład 4.7
Niech będzie dana próba (X1 , X2 , . . . , Xn ) z rozkładu normalnego
N(µ, σ 2 ).
Rozpatrzmy funkcję niezmienniczą na przesunięcia, czyli
spełniającą warunek:
ϕ(x1 , x2 , . . . , xn ) = ϕ(x1 + a, x2 + a, . . . , xn + a), dla każdego
a ∈ R i każdego wektora (x1 , x2 , . . . , xn ) ∈ Rn .
Niech teraz:
V = ϕ(X1 , X2 , . . . , Xn )0 .
Znanym faktem jest, że zmienne losowe:
Xi − µ ∼ N(0, σ 2 ),
a stąd rozkład statystyki V nie zależy od parametru µ.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Statystyki swobodne. Przykład 4.7 - c.d.
Przykładowo każda funkcja statystyki
(X1 − X̄ , X2 − X̄ , . . . , Xn − X̄ ) jest statystyką swobodną dla µ.
Np.:
V =
n
X
(Xi − X̄ )2
i=1
jest statystką swobodną dla µ.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Twierdzenie Basu
Twierdzenie 4.5
Jeżeli T jest statystyką dostateczną zupełną w rodzinie rozkładów
{Pθ } i jeżeli V jest statystyką swobodną, to statystyki T i V są
niezależne.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Twierdzenie Basu. Przykład 4.8
Niech X = (X1 , X2 , . . . , Xn )0 będzie próbą z rozkładu normalnego
N(µ, σ 2 ), µ ∈ R, σ > 0.
Statystyką dostateczną dla parametru µ jest X̄ . Dodatkowo
rodzina rozkładów statystyki X̄ jest zupełna (przykład 4.5).
Z przykładu 4.7 statystyka V = ϕ(X1 , X2 , . . . , Xn )0 , gdzie ϕ jak w
przykładzie 4.7, jest statystyką swobodną dla parametru µ.
Zatem z Twierdzenia Basu statystyki X̄ i V są niezależne
stochastycznie.
1 Pn
2
W szczególnym przypadku statystyki X̄ i S 2 = n−1
i=1 (Xi − X̄ )
są niezależne stochastycznie.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne
Literatura:
Bartoszewicz J.,Wykłady ze statystyki matematycznej, PWN,
Warszawa 1989.
M. Krzyśko,Statystyka matematyczna, Wyd. UAM, Poznań
2004.
R. Zieliński,Siedem wykładów wprowadzających do statystyki
matematycznej, PWN, Warszawa 1990.
Magdalena Frąszczak
Wykład 4 Statystyki dostateczne, zupełne, swobodne