Prawdopodobienstwo i statystyka

Prosta metoda Monte Carlo
O jakości przybliżenia
Symulacje rozkładów zmiennych losowych
Metoda odwracania dystrybuanty
Prawdopodobieństwo i statystyka
Wykład VI:
Metoda Monte Carlo
17 listopada 2014
Prawdopodobieństwo i statystyka
Wykład VI: Metoda Monte Carlo
Prosta metoda Monte Carlo
O jakości przybliżenia
Symulacje rozkładów zmiennych losowych
Metoda odwracania dystrybuanty
Zastosowanie: przybliżone całkowanie
Prosta metoda Monte Carlo
Przybliżone obliczanie całki oznaczonej
Rozważmy całkowalną funkcję f : [0, 1] → R. Chcemy znaleźć
przybliżoną wartość liczbową całki
Z 1
f (x) dx.
0
Jeden ze sposobów może wyglądać następująco. Niech
U1 , U2 , U3 , . . . będzie ciągiem niezależnych zmiennych losowych o
jednakowym rozkładzie U(0, 1) (jednostajnym na odcinku [0, 1]).
Rozważmy ciąg średnich
f (U1 ) + . . . + f (Un )
.
(1)
n
Z mocnego prawa wielkich liczb wynika, że P-prawie wszędzie,
f (U1 ) + . . . + f (Un )
−→ Ef (U1 ) =
n
Prawdopodobieństwo i statystyka
Z 1
f (x) dx.
0
Wykład VI: Metoda Monte Carlo
Prosta metoda Monte Carlo
O jakości przybliżenia
Symulacje rozkładów zmiennych losowych
Metoda odwracania dystrybuanty
Zastosowanie: przybliżone całkowanie
Prosta metoda Monte Carlo
Prosta metoda Monte Carlo
Twierdzenie
Niech f : [0, 1]k → R1 będzie funkcja całkowalną. Niech
U1 , . . . , Uk , Uk+1 , . . . , U2k , U2k+1 , . . . , U3k , U3k+1 , . . . , Unk , . . . ,
będą niezależnymi zmiennymi losowymi o jednakowym rozkładzie
U(0, 1). Wtedy
f (U1 , . . . , Uk ) + f (Uk+1 , . . . , U2k ) + . . . + f (U(n−1)k+1 , . . . , Unk )
Zn
−→
[0,1]k
f (x̄) d x̄ P-prawie wszędzie.
Uwaga: W powyższym wzorze
Z 1
Z
f (x̄) d x̄ =
[0,1]k
Z 1
dx1
0
Z 1
dx2 . . .
0
Prawdopodobieństwo i statystyka
0
dxk f (x1 , x2 , . . . , xk ).
Wykład VI: Metoda Monte Carlo
Prosta metoda Monte Carlo
O jakości przybliżenia
Symulacje rozkładów zmiennych losowych
Metoda odwracania dystrybuanty
Prawo iterowanego logarytmu
Centralne twierdzenie graniczne
Dwa ważne pytania
PYTANIE 1: Jak duże należy wybrać n, aby uzyskać
odpowiednią dokładność przybliżenia. Innymi słowy: Jakie jest
tempo zbieżności w prawie wielkich liczb?
W praktyce metod Monte Carlo, do obliczeń wykorzystujemy
ciąg liczbowy u1 , u2 , . . . , un , . . . uzyskany z generatora liczb
losowych, który na ogół funkcjonuje w oparciu o algorytm
deterministyczny.
Taki ciąg jedynie naśladuje konkretną realizację
X1 (ω), X2 (ω), . . . , Xn (ω), . . . ciągu niezależnych zmiennych
losowych.
Prawdopodobieństwo i statystyka
Wykład VI: Metoda Monte Carlo
Prosta metoda Monte Carlo
O jakości przybliżenia
Symulacje rozkładów zmiennych losowych
Metoda odwracania dystrybuanty
Prawo iterowanego logarytmu
Centralne twierdzenie graniczne
Dwa ważne pytania
PYTANIE 2: Jakie własności powinien mieć generowany ciąg,
aby można było uznać, że dobrze naśladuje ciąg niezależnych
zmiennych losowych?
Podamy dwie takie własności, stosunkowo często niespełniane
przez generatory liczb losowych:
Prawo iterowanego logarytmu.
Centralne twierdzenie graniczne.
Prawdopodobieństwo i statystyka
Wykład VI: Metoda Monte Carlo
Prosta metoda Monte Carlo
O jakości przybliżenia
Symulacje rozkładów zmiennych losowych
Metoda odwracania dystrybuanty
Prawo iterowanego logarytmu
Centralne twierdzenie graniczne
Prawo iterowanego logarytmu
Twierdzenie (Hartman-Wintner)
Niech X1 , X2 , . . . , będzie ciągiem niezależnych zmiennych losowych o
jednakowym rozkładzie.
Jeśli EX12 < +∞, to
X1 + X2 + . . . + Xn − nEX1
√
=D(X1 ), P-prawie wszędzie,
2n log log n
X1 + X2 + . . . + Xn − nEX1
√
lim inf
= − D(X1 ), P-prawie wszędzie.
2n log log n
n→∞
lim sup
n→∞
Innymi słowy, P-prawie wszędzie,
X + X + . . . + X
n
1
2
n
− EX1 =D(X1 ),
2 log log n
n
n→∞
r
X + X + . . . + X
n
1
2
n
lim inf
− EX1 = − D(X1 ).
2 log log n
n
n→∞
r
lim sup
Prawdopodobieństwo i statystyka
Wykład VI: Metoda Monte Carlo
Prosta metoda Monte Carlo
O jakości przybliżenia
Symulacje rozkładów zmiennych losowych
Metoda odwracania dystrybuanty
Prawo iterowanego logarytmu
Centralne twierdzenie graniczne
Centralne twierdzenie graniczne
Twierdzenie (P. Lévy)
Niech X1 , X2 , . . . , będzie ciągiem niezależnych zmiennych losowych
o jednakowym rozkładzie.
Jeśli EX12 < +∞ oraz D2 (X1 ) > 0, to dla wszystkich a < b
P a<
X1 + X2 + . . . + Xn − nEX1
q
< b −→ Φ(b) − Φ(a).
nD2 (X1 )
W szczególności, dla każdego b > 0
X + X + . . . + X − nEX 2
n
1
1
q
< b −→ 2 Φ(b) − 1/2 .
P nD2 (X1 )
Prawdopodobieństwo i statystyka
Wykład VI: Metoda Monte Carlo
Prosta metoda Monte Carlo
O jakości przybliżenia
Symulacje rozkładów zmiennych losowych
Metoda odwracania dystrybuanty
Prawo iterowanego logarytmu
Centralne twierdzenie graniczne
Centralne twierdzenie graniczne
Uwaga
Zauważmy, że na mocy centralnego twierdzenia granicznego
prawdopodobieństwo zdarzenia
o
n X + X + . . . + X − nEX 2
n
1
1
q
<b =
nD2 (X1 )
n X + X + . . . + X
2
n
1
= − EX1 < b
s
n
D2 (X1 ) o
n
ma dla dużych n wartość bliską 2 Φ(b) − 1/2 .
Prawdopodobieństwo i statystyka
Wykład VI: Metoda Monte Carlo
Prosta metoda Monte Carlo
O jakości przybliżenia
Symulacje rozkładów zmiennych losowych
Metoda odwracania dystrybuanty
Motywacje
Rozkład wykładniczy
Odwracanie ciągłych dystrybuant
Postawienie zagadnienia
Motywacja
Znamy rozkład ν zmiennej losowej X , ale nie potrafimy analitycznie
obliczyć Ef (X ) dla pewnej funkcji f . Wtedy symulujemy ciąg
X1 , X2 , . . . , niezależnych zmiennych losowych o rozkładzie ν i badamy
asymptotykę ciągu
f (X1 ) + f (X2 ) + . . . + f (Xn )
,
n
o którym wiemy, z mocnego prawa wielkich liczb, że zmierza do
Ef (X1 ).
Motywacja
Budujemy model systemu obsługi masowej. Aby ocenić wybraną
charakterystykę liczbową modelu potrzebny jest „strumień danych” o
zadanym rozkładzie.
Prawdopodobieństwo i statystyka
Wykład VI: Metoda Monte Carlo
Prosta metoda Monte Carlo
O jakości przybliżenia
Symulacje rozkładów zmiennych losowych
Metoda odwracania dystrybuanty
Motywacje
Rozkład wykładniczy
Odwracanie ciągłych dystrybuant
Przykład - rozkład wykładniczy
Niech F (x) = 1 − e −x , x > 0 (dystrybuanta rozkładu
wykładniczego).
Jest to funkcja ciągła i ściśle rosnąca na R+ . Istnieje więc
F −1 : [0, 1) → R+ .
Z relacji F F −1 (t) = t otrzymujemy
1 − t = e −F
−1 (t)
,
a więc
F −1 (t) = − log(1 − t).
Jaki jest rozkład funkcji F −1 : [0, 1], B[0,1) , ` → R1 ?
Mamy {t ∈ [0, 1) ; F −1 (t) ¬ x = t ∈ [0, 1) ; t ¬ F (x) .
Stąd
` t ∈ [0, 1) ; F −1 (t) ¬ x = F (x), x > 0.
Prawdopodobieństwo i statystyka
Wykład VI: Metoda Monte Carlo
Prosta metoda Monte Carlo
O jakości przybliżenia
Symulacje rozkładów zmiennych losowych
Metoda odwracania dystrybuanty
Motywacje
Rozkład wykładniczy
Odwracanie ciągłych dystrybuant
Ciągłe dystrybuanty
Uwaga: Jeśli więc U ∼ U(0, 1), to F −1 (U) = − log(1 − U) ma
rozkład wykładniczy. Zauważmy, że log(1 − U) ∼ log(U), a więc
również − log U ma rozkład wykładniczy.
Wniosek
Jeżeli U1 , U2 , . . . jest ciągiem zmiennych z generatora U(0, 1), to
− log U1 , − log U2 , − log U3 , . . .
jest ciągiem z generatora Ex(1).
Wniosek
Jeżeli dystrybuanta F : R1 → [0, 1] jest ściśle rosnąca i ciągła na
R1 , to ciąg F −1 (U1 ), F −1 (U2 ), . . . jest z generatora rozkładu o
dystrybuancie F .
Prawdopodobieństwo i statystyka
Wykład VI: Metoda Monte Carlo
Prosta metoda Monte Carlo
O jakości przybliżenia
Symulacje rozkładów zmiennych losowych
Metoda odwracania dystrybuanty
Motywacje
Rozkład wykładniczy
Odwracanie ciągłych dystrybuant
Komentarze
Jak pokazuje przykład rozkładu wykładniczego, wzór F −1 (U)
zadaje zmienną losową o rozkładzie F , jeśli tylko dystrybuanta
F jest ściśle rosnąca i ciągła na zbiorze (F∗ , F ∗ ), gdzie
F∗ = inf{x ∈ R1 ; F (x) > 0},
F ∗ = sup{x ∈ R1 ; F (x) < 1}.
W oparciu o tę metodę łatwo generujemy zmienne losowe z
rozkładów Pareto, logistycznego itp.
Nie potrafimy podać zwartego wzoru na funkcję odwrotną do
Φ (dystrybuanty rozkładu normalnego). W tej sytuacji
zaskakująco użyteczne bywają aproksymacje za pomocą
funkcji wymiernych (ilorazów wielomianów).
Dobrym źródłem wiedzy w tym zakresie jest książka R.
Wieczorkowski i R. Zieliński, „Komputerowe generatory liczb
losowych”, Wydawnictwo Naukowo- Techniczne, Warszawa
1997
Prawdopodobieństwo i statystyka
Wykład VI: Metoda Monte Carlo
Prosta metoda Monte Carlo
O jakości przybliżenia
Symulacje rozkładów zmiennych losowych
Metoda odwracania dystrybuanty
Metoda odwrócenia dystrybuanty
Symulacja rozkładów dyskretnych
Metoda odwrócenia dystrybuanty
Twierdzenie
Niech X ma rozkład o dystrybuancie F . Definiujemy lewostronnie
ciągłą odwrotną do F wzorem
F ← (u) = inf{x ; F (x) ­ u}.
Jeżeli U1 , U2 , U3 , . . . jest ciągiem zmiennych z generatora rozkładu
U(0, 1), to
F ← (U1 ), F ← (U2 ), F ← (U3 ), . . .
jest ciągiem z generatora rozkładu o dystrybuancie F .
Prawdopodobieństwo i statystyka
Wykład VI: Metoda Monte Carlo
Prosta metoda Monte Carlo
O jakości przybliżenia
Symulacje rozkładów zmiennych losowych
Metoda odwracania dystrybuanty
Metoda odwrócenia dystrybuanty
Symulacja rozkładów dyskretnych
Przykład - symulacja rozkładów dyskretnych
Niech X ma rozkład dyskretny skończony, tzn. istnieją liczby
P
pi > 0, xi ∈ R1 , i = 1, 2, . . . , m, takie, że m
i=1 pi = 1, xi 6= xj
dla i 6= j, oraz
P X = xi = pi ,
i = 1, 2, . . . , m.
Załóżmy dla ustalenia uwagi, że
−∞ = x0 < x1 < x2 < . . . < xm < xm+1 = +∞.
Wtedy
F (x) =
X
pi =
k
X
pi , jeśli xk ¬ x < xk+1 .
i=1
{i ; xi ¬x}
Dlatego
F ← (u) =
m−1
X
xk+1 1I Ak+1 (u),
k=0
Pk
gdzie Ak+1 = (
i=1 pi ,
Pk+1
i=1
pi ].
Prawdopodobieństwo i statystyka
Wykład VI: Metoda Monte Carlo
Prosta metoda Monte Carlo
O jakości przybliżenia
Symulacje rozkładów zmiennych losowych
Metoda odwracania dystrybuanty
Metoda odwrócenia dystrybuanty
Symulacja rozkładów dyskretnych
Symulacja rozkładów dyskretnych
Komentarz
Powyższa metoda symulacji rozkładów dyskretnych jest „naiwna”.
Można ją stosować w przypadku niewielkich m, rzędu kilkuset kilkunastu tysięcy. W przypadku m rzędu 10100 taka metoda jest
praktycznie niewykonalna.
Prawdopodobieństwo i statystyka
Wykład VI: Metoda Monte Carlo