Wykład 8: Zbieżność według rozkładu. Centralne twierdzenie

Rachunek prawdopodobieństwa MAP1151
Wydział Elektroniki, rok akad. 2011/12, sem. letni
Wykładowca: dr hab. A. Jurlewicz
Wykład 8: Zbieżność według rozkładu. Centralne
twierdzenie graniczne.
Zbieżności ciągu zmiennych losowych według rozkładu.
Definicja.
Niech Xn ma rozkład o dystrybuancie Fn (x), a X - rozkład o dystrybuancie F (x).
Ciąg zmiennych losowych X1 , X2 , . . . jest zbieżny według rozkładu
(in. słabo zbieżny) do zmiennej losowej X, jeżeli
Fn (x) −→
n→∞ F (x)
dla każdego takiego x, w którym F (x) jest ciągła.
d
d
−→
Oznaczenie: Xn −→
n→∞ X, Fn n→∞ F .
Fakt.
P
d
−→
(a) Jeżeli Xn −→
n→∞ X, to Xn n→∞ X.
d
P
−→
(b) Gdy Xn −→
n→∞ X, gdzie P (X = a) = 1 dla pewnej stałej a, to Xn n→∞ X.
z pr.1
d
−→
(c) Jeżeli Xn −→
n→∞ X, to Xn n→∞ X.
Uwaga:
W zbieżnościach z prawdopodobieństwem 1, stochastycznej, w przestrzeni Lr graniczna
zmienna losowa X jest określona z prawdopodobieństwem 1, tzn. jeżeli X 0 i X 00 są granicami ciągu Xn , to P (X 0 = X 00 ) = 1.
W zbieżności słabej określony jest tylko rozkład graniczny danego ciagu i każda zmienna
losowa X o takim rozkładzie może reprezentować słabą granicę tego ciągu.
1
Twierdzenie de Moivre’a-Laplace’a. Centralne twierdzenie graniczne.
Sn
Z PWL Bernoulliego wiemy, że P − p > −→
n→∞0 dla dowolnego > 0,
n
gdzie Sn to ilość sukcesów w n próbach Bernoulliego z prawdopodobieństwem sukcesu p.
Pytanie:
Jaka jest szybkość zbieżności, tzn. dla jakiego n mamy P
Sn
− p
> < δ, gdzie δ > 0
n
jest ustalone? Innymi słowy, dla jakiego n prawdopodobieństwo, że popełnimy błąd rzędu
przyjmując częstość otrzymaną z n prób jako prawdopodobieństwo sukcesu p, było małe
rzędu δ?
Twierdzenie de Moivre’a-Laplace’a. (XVIII w.)
Niech Sn będzie liczbą sukcesów w n próbach Bernoulliego z prawdopodobieństwem sukcesu p. Wtedy
Sn − ESn d
Sn − np
−→
q
= √ 2
n→∞ Y
D Sn
np(1 − p)
gdzie Y ma standardowy rozkład normalny N (0, 1).
Inaczej mówiąc, dla dowolnego x ∈ R


Sn − np
P q
< x −→
n→∞ Φ(x)
np(1 − p)
gdzie Φ(x) =
Zx
√
−∞
1 − t2
e 2 dt to dystrybuanta standardowego rozkładu normalnego N (0, 1).
2π
Uwaga:
Twierdzenie de Moivre’a-Laplace’a mówi o tym, że liczba sukcesów w n próbach Bernoulliego z prawdopodobieństwem sukcesu p po standardyzacji (tzn. unormowaniu do zmiennej
losowej o średniej 0 i wariancji 1) dąży według rozkładu do standardowego rozkładu normalnego, gdy n → ∞.
Zatem dla dużych n liczba sukcesów w n próbach Bernoulliego
z prawdopodobieństwem
q
sukcesu p ma asymptotycznie rozkład normalny N (np, np(1 − p)). Równoważnie, czę q
Sn
stość występowania sukcesów
ma asymptotycznie rozkład normalny N p, p(1−p)
.
n
n
Oszacowanie dokładności przybliżenia w twierdzeniu de Moivre’a-Laplace’a:

Sn − np
sup P  q
x∈R np(1 − p)
dla pewnej stałej
√1
2π

x − Φ(x)

<
¬ C < 0, 8.
2
p2 + (1 − p)2
¬C· q
np(1 − p)
Zastosowanie twierdzenia de Moivre’a-Laplace’a
1. Oszacowanie prawdopodobieństwa błędu w PWL Bernoulliego:
P
Sn
n
− p
> =P

Sn − np  q
np(1 − p) >q

n
np(1 − p)


√
n



≈ 2 1 − Φ  q
p(1 − p)
dla n dostatecznie dużych.
p2 + (1 − p)2
Błąd oszacowania nie przekracza 1, 6 q
.
np(1 − p)
2. Przybliżony sposób obliczania P (Sn < k)
Z twierdzenia de Moivre’a-Laplace’a można w przybliżony sposób szybko obliczyć prawdopodobieństwa wystąpienia k sukcesów w n próbach Bernoulliego dla dużych n i p z
wnętrza przedziału (0, 1), odległych od 0 i od 1.


P (Sn < k) = P (Sn < k − 0, 5) ≈ Φ
k − 0, 5 − np 

q
np(1 − p)

P (Sn ¬ k) = P (Sn < k + 0, 5) ≈ Φ

k + 0, 5 − np 

q
np(1 − p)

P (Sn ­ k) = P (Sn > k − 0, 5) ≈ 1 − Φ

k − 0, 5 − np 

q
np(1 − p)

P (Sn > k) = P (Sn > k + 0, 5) ≈ 1 − Φ
z błędem, który nie przekracza
0, 8(p2 + (1 − p)2 )
q
np(1 − p)

k + 0, 5 − np 

q
np(1 − p)
.

P (Sn = k) = P (k − 0, 5 < Sn < k + 0, 5) ≈ Φ
z błędem, który nie przekracza
1, 6(p2 + (1 − p)2 )
q
np(1 − p)
Przykłady do zad. 6.1
3

k + 0, 5 − np 

q
.
np(1 − p)

−Φ

k − 0, 5 − np 

q
np(1 − p)
Centralne Twierdzenie Graniczne
PWL Bernoulliego (tw. Borela) to szczególny przypadek PWL dla ciągu niezależnych
zmiennych losowych o jednakowym rozkładzie o skończonej średniej (gdy rozkład ten jest
zerojedynkowy B(1, p)). Podobnie, twierdzenie de Moivre’a-Laplace’a jest szczególnym
przypadkiem ogólniejszego Centralnego Twierdzenia Granicznego (CTG)
Lindeberga-Lévy’ego:
Centralne Twierdzenie Graniczne Lindeberga-Lévy’ego.
Niech (Xn ) będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie,
przy czym 0 < D2 Xn = σ 2 < ∞. Oznaczmy m = EXn (ta wartość oczekiwana istnieje na
mocy założenia, że istnieje wariancja). Wówczas
Sn − nm d
−→
√
n→∞ Y,
σ n
gdzie Y ma standardowy rozkład normalny N (0, 1).
Inaczej mówiąc, dla dowolnego x ∈ R
!
P
gdzie Φ(x) =
Zx
−∞
√
Sn − nm
√
<x
σ n
−→
n→∞ Φ(x)
1 − t2
e 2 dt to dystrybuanta standardowego rozkładu normalnego N (0, 1).
2π
Oszacowanie dokładności przybliżenia
w CTG Lindeberga-Lévy’ego:
Nierówność Berry-Essena
Niech (Xn ) będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie,
przy czym E|Xn |3 < ∞. Ponadto niech m = EXn , σ 2 = D2 Xn > 0 (ta wartość oczekiwana
i wariancja istnieją na mocy założenia o rozkładzie). Wówczas
sup P
x∈R !
E|X1 − m|3
Sn − nm
√
√
< x − Φ(x) ¬ C
,
σ n
σ3 n
dla pewnej stałej C, która spełnia nierówność
4
√1
2π
¬ C < 0, 8.
Uwagi:
1. Jeżeli zmienne losowe Xn maja niezerową skończoną wariancję, to do szacowania szybkości zbieżności w PWL Kołmogorowa można stosować metody analogiczne do tych dotyczacych PWL Bernoulliego, opartych na twierdzeniu de Moivre’aLaplace’a.
2. Twierdzenie de Moivre’a-Laplace’a, CTG Lindeberga-Lévy’ego to przykłady centralnych twierdzeń granicznych. CTG dla zmiennych o różnych rozkładach to np. twierdzenie Lindeberga-Fellera, twierdzenie Lapunowa.
3. CTG Lindeberga-Lévy’ego to wynikanie:
istnieje niezerowa wariancja =⇒ zbieżność unormowanych sum do standardowego
rozkładu normalnego.
Interpretacja CTG Lindeberga-Lévy’ego:
Jeżeli wielkość fizyczna jest opisana zmienną losową i jest wynikiem sumowania wielu
niezależnych jednakowych statystycznie efektów, przy czym rozkład efektu ma skończoną
wariancję, to wielkość ta ma asymptotycznie rozkład normalny.
Przykłady do zad. 6.2
5