Wykład 13: Zbieżność według rozkładu. Central

Rachunek prawdopodobieństwa MAP1064
Wydział Elektroniki, rok akad. 2008/09, sem. letni
Wykładowca: dr hab. A. Jurlewicz
Wykład 13: Zbieżność według rozkładu. Centralne twierdzenie graniczne.
Zbieżności ciągu zmiennych losowych według rozkładu.
Definicja.
Niech Xn ma rozkład o dystrybuancie Fn (x), a X - rozkład o dystrybuancie F (x).
Ciąg zmiennych losowych X1 , X2 , . . . jest zbieżny według rozkładu
(in. słabo zbieżny) do zmiennej losowej X, jeżeli
Fn (x) −→
n→∞ F (x)
dla każdego takiego x, w którym F (x) jest ciągła.
d
d
−→
Oznaczenie: Xn −→
n→∞ X, Fn n→∞ F .
Fakt.
P
d
−→
(a) Jeżeli Xn −→
n→∞ X, to Xn n→∞ X.
d
P
−→
(b) Gdy Xn −→
n→∞ X, gdzie P (X = a) = 1 dla pewnej stałej a, to Xn n→∞ X.
z pr.1
d
−→
(c) Jeżeli Xn −→
n→∞ X, to Xn n→∞ X.
Twierdzenie Lévy’ego.
1. Niech zmienne losowe Xn , X mają rozkłady o funkcjach charakterystycznych
odpowiednio ϕn (t), ϕ(t).
d
−→
Jeżeli Xn −→
n→∞ X, to ϕn (t) n→∞ ϕ(t) dla każdego t.
2. Niech Xn ma rozkład o funkcji charakterystycznej ϕn (t).
Jeżeli ϕn (t) −→
n→∞ ϕ(t) dla każdego t i graniczna funkcja ϕ(t) jest ciągła w t = 0,
d
to ϕ(t) jest funkcją charakterystyczną pewnej zmiennej losowej X oraz Xn −→
n→∞ X.
Uwaga:
W zbieżnościach z prawdopodobieństwem 1, stochastycznej, w przestrzeni Lr graniczna
zmienna losowa X jest określona z prawdopodobieństwem 1, tzn. jeżeli X 0 i X 00 są granicami ciągu Xn , to P (X 0 = X 00 ) = 1.
W zbieżności słabej określony jest tylko rozkład graniczny danego ciagu i każda zmienna
losowa X o takim rozkładzie może reprezentować słabą granicę tego ciągu.
1
Przykład 1.
Niech P (X1 = 1) = P (X1 = −1) = 0.5 oraz niech Xn+1 = −Xn .


gdy x ¬ −1,
 0,
Mamy Fn (x) = F (x) = 0.5, gdy −1 < x ¬ 1, −→
n→∞ F (x) dla każdego x.


1,
gdy x > 1.
d
−→
Zatem Xn n→∞X, gdzie X ma taki rozkład jak X1 .
Jednocześnie ciąg (Xn ) nie jest zbieżny z prawdopodobieństwem 1, bo przy ustalonym ω
ciąg Xn (ω) albo ma postać (−1)n albo (−1)n+1 , a są to ciągi rozbieżne.
P
Ciąg (Xn ) nie jest też zbieżny stochastycznie. Jeżeli bowiem założymy, że Xn −→
n→∞ X, to
granica X musi mieć rozkład taki jak X1 . Wtedy dla < 2 mamy
an = P (|Xn − X| ­ ) = P (Xn = −1, X = 1) + P (Xn = 1, X = −1)
oraz
an+1 = P (|Xn+1 − X| ­ ) = P (Xn+1 = −1, X = 1) + P (Xn+1 = 1, X = −1) =
= P (Xn = 1, X = 1) + P (Xn = −1, X = −1) = 1 − an ,
tak że ciąg an spełniając równanie rekurencyjne an+1 = 1−an , o ile ma granicę, to granicę
równą 1/2. W konsekwencji, P (|Xn − X| ­ ) nie może zbiegać do 0, co sprzeczne jest z
założeniem.
Przykład 2.
Niech zmienna losowa Yn ma rozkład Poissona P(an ) dla pewnego an > 0, an → ∞.
Y n − an
. Jaka jest granica według rozkładu ciągu (Xn )?
Zdefiniujmy Xn = √
an
Zastosujemy tw.Lévy’ego.
it
Mamy ϕYn (t) = ean (e −1) , a stąd
√
ϕXn (t) = Eeit(Yn −an )/
Ponieważ
an (e
√
it/ an
an

it
1
√
− 1) − it an = an 1 + √ +
an 2
o
1
= − t2 +
2
1
an
1
an
it/
= ean (e
it
√
an
!2
√
an −1)−it√a
n
.

1
it
+o
−1− √ =
an
an
1 2
−→
t.
n→∞ −
2
1
− 2 t2
Stąd ϕXn (t) −→
.
n→∞ϕ(t) = e
Granica ϕ(t) jest ciągła w 0 i jest to funkcja charakterystyczna zmiennej losowej X o
rozkładzie normalnym N (0, 1).
d
Z tw. Lévy’ego otrzymujemy zatem, że Xn −→
n→∞ X, gdzie X ma rozkład normalny N (0, 1).
2
Twierdzenie de Moivre’a-Laplace’a. Centralne twierdzenie graniczne.
Sn
Z PWL Bernoulliego wiemy, że P − p > −→
n→∞0 dla dowolnego > 0,
n
gdzie Sn to ilość sukcesów w n próbach Bernoulliego z prawdopodobieństwem sukcesu p.
Pytanie:
Jaka jest szybkość zbieżności, tzn. dla jakiego n mamy P
Sn
− p
> < δ, gdzie δ > 0
n
jest ustalone? Innymi słowy, dla jakiego n prawdopodobieństwo, że popełnimy błąd rzędu
przyjmując częstość otrzymaną z n prób jako prawdopodobieństwo sukcesu p, było małe
rzędu δ?
Twierdzenie de Moivre’a-Laplace’a. (XVIII w.)
Niech Sn będzie liczbą sukcesów w n próbach Bernoulliego z prawdopodobieństwem sukcesu p. Wtedy
Sn − ESn d
Sn − np
−→
q
= √ 2
n→∞ Y
D Sn
np(1 − p)
gdzie Y ma standardowy rozkład normalny N (0, 1).
Inaczej mówiąc, dla dowolnego x ∈ R


Sn − np
P q
< x −→
n→∞ Φ(x)
np(1 − p)
gdzie Φ(x) =
Zx
√
−∞
1 − t2
e 2 dt to dystrybuanta standardowego rozkładu normalnego N (0, 1).
2π
Uwaga:
Twierdzenie de Moivre’a-Laplace’a mówi o tym, że liczba sukcesów w n próbach Bernoulliego z prawdopodobieństwem sukcesu p po standardyzacji (tzn. unormowaniu do zmiennej
losowej o średniej 0 i wariancji 1) dąży według rozkładu do standardowego rozkładu normalnego, gdy n → ∞.
Zatem dla dużych n liczba sukcesów w n próbach Bernoulliego
z prawdopodobieństwem
q
sukcesu p ma asymptotycznie rozkład normalny N (np, np(1 − p)). Równoważnie, czę q
Sn
stość występowania sukcesów
ma asymptotycznie rozkład normalny N p, p(1−p)
.
n
n
Oszacowanie dokładności przybliżenia w twierdzeniu de Moivre’a-Laplace’a:

Sn − np
sup P  q
x∈R np(1 − p)
dla pewnej stałej
√1
2π

x − Φ(x)

<
¬ C < 0, 8.
3
p2 + (1 − p)2
¬C· q
np(1 − p)
Zastosowanie twierdzenia de Moivre’a-Laplace’a
1. Oszacowanie prawdopodobieństwa błędu w PWL Bernoulliego:
P
Sn
n
− p
> =P

Sn − np  q
np(1 − p) >q

n
np(1 − p)


√
n



≈ 2 1 − Φ  q
p(1 − p)
dla n dostatecznie dużych.
p2 + (1 − p)2
Błąd oszacowania nie przekracza 1, 6 q
.
np(1 − p)
2. Przybliżony sposób obliczania P (Sn < k)
Z twierdzenia de Moivre’a-Laplace’a można w przybliżony sposób szybko obliczyć prawdopodobieństwa wystąpienia k sukcesów w n próbach Bernoulliego dla dużych n i p z
wnętrza przedziału (0, 1), odległych od 0 i od 1.


P (Sn < k) = P (Sn < k − 0, 5) ≈ Φ
k − 0, 5 − np 

q
np(1 − p)

P (Sn ¬ k) = P (Sn < k + 0, 5) ≈ Φ

k + 0, 5 − np 

q
np(1 − p)

P (Sn ­ k) = P (Sn > k − 0, 5) ≈ 1 − Φ

k − 0, 5 − np 

q
np(1 − p)

P (Sn > k) = P (Sn > k + 0, 5) ≈ 1 − Φ
z błędem, który nie przekracza
0, 8(p2 + (1 − p)2 )
q
np(1 − p)

k + 0, 5 − np 

q
np(1 − p)
.

P (Sn = k) = P (k − 0, 5 < Sn < k + 0, 5) ≈ Φ
z błędem, który nie przekracza
1, 6(p2 + (1 − p)2 )
q
np(1 − p)
Przykłady do zad. 12.1
4

k + 0, 5 − np 

q
.
np(1 − p)

−Φ

k − 0, 5 − np 

q
np(1 − p)
Centralne Twierdzenie Graniczne
PWL Bernoulliego (tw. Borela) to szczególny przypadek PWL dla ciągu niezależnych
zmiennych losowych o jednakowym rozkładzie o skończonej średniej (gdy rozkład ten jest
zerojedynkowy B(1, p)). Podobnie, twierdzenie de Moivre’a-Laplace’a jest szczególnym
przypadkiem ogólniejszego Centralnego Twierdzenia Granicznego (CTG)
Lindeberga-Lévy’ego:
Centralne Twierdzenie Graniczne Lindeberga-Lévy’ego.
Niech (Xn ) będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie,
przy czym 0 < D2 Xn = σ 2 < ∞. Oznaczmy m = EXn (ta wartość oczekiwana istnieje na
mocy założenia, że istnieje wariancja). Wówczas
Sn − nm d
−→
√
n→∞ Y,
σ n
gdzie Y ma standardowy rozkład normalny N (0, 1).
Inaczej mówiąc, dla dowolnego x ∈ R
!
P
gdzie Φ(x) =
Zx
−∞
√
Sn − nm
√
<x
σ n
−→
n→∞ Φ(x)
1 − t2
e 2 dt to dystrybuanta standardowego rozkładu normalnego N (0, 1).
2π
Oszacowanie dokładności przybliżenia
w CTG Lindeberga-Lévy’ego:
Nierówność Berry-Essena
Niech (Xn ) będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie,
przy czym E|Xn |3 < ∞. Ponadto niech m = EXn , σ 2 = D2 Xn > 0 (ta wartość oczekiwana
i wariancja istnieją na mocy założenia o rozkładzie). Wówczas
sup P
x∈R !
E|X1 − m|3
Sn − nm
√
√
< x − Φ(x) ¬ C
,
σ n
σ3 n
dla pewnej stałej C, która spełnia nierówność
5
√1
2π
¬ C < 0, 8.
Uwagi:
1. Jeżeli zmienne losowe Xn maja niezerową skończoną wariancję, to do szacowania szybkości zbieżności w PWL Kołmogorowa można stosować metody analogiczne do tych dotyczacych PWL Bernoulliego, opartych na twierdzeniu de Moivre’aLaplace’a.
2. Twierdzenie de Moivre’a-Laplace’a, CTG Lindeberga-Lévy’ego to przykłady centralnych twierdzeń granicznych. CTG dla zmiennych o różnych rozkładach to np. twierdzenie Lindeberga-Fellera, twierdzenie Lapunowa.
3. CTG Lindeberga-Lévy’ego to wynikanie:
istnieje niezerowa wariancja =⇒ zbieżność unormowanych sum do standardowego
rozkładu normalnego.
Interpretacja CTG Lindeberga-Lévy’ego:
Jeżeli wielkość fizyczna jest opisana zmienną losową i jest wynikiem sumowania wielu
niezależnych jednakowych statystycznie efektów, przy czym rozkład efektu ma skończoną
wariancję, to wielkość ta ma asymptotycznie rozkład normalny.
Przykłady do zad. 12.2
6