Procesy stochastyczne

Projekt pn. „Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych”
realizowany w ramach Poddziałania 4.1.1 Programu Operacyjnego Kapitał Ludzki
Procesy stochastyczne
Treść wykładów
Adam Jakubowski
UMK Toruń 2012
Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego
Spis treści
Wstęp
1
1 Istnienie procesów stochastycznych
Nieskończone ciągi zmiennych losowych . . . . . . .
Procesy stochastyczne . . . . . . . . . . . . . . . . . .
Rozkłady skończenie wymiarowe . . . . . . . . . . . .
Zgodność rozkładów skończenie wymiarowych . .
Twierdzenie Kołmogorowa . . . . . . . . . . . . . . . .
Istnienie ciągów niezależnych zmiennych losowych
Istnienie procesów gaussowskich . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3
3
3
4
4
5
5
6
2 Jednorodne łańcuchy Markowa
Definicja łańcucha Markowa .
Istnienie łańcuchów Markowa
Podstawowe wnioski z definicji
Własność Markowa . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
7
7
8
9
9
3 Rozkłady stacjonarne dla łańcuchów Markowa
Rozkłady brzegowe łańcuchów Markowa . .
Rozkłady stacjonarne . . . . . . . . . . . . . . .
Istnienie rozkładów stacjonarnych . . . . . .
Równanie równowagi szczegółowej . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
11
11
12
12
13
4 Twierdzenie ergodyczne dla łańcuchów Markowa
Kiedy rozkład stacjonarny jest jedyny? . . . .
Klasyfikacja stanów . . . . . . . . . . . . . . . .
Nieprzywiedlny łańcuch Markowa . . . . . . . .
Twierdzenie ergodyczne . . . . . . . . . . . . . .
Algorytm Metropolisa . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
15
15
15
16
17
17
5 Twierdzenia o powracaniu dla łańcuchów Markowa
Powracalność a prawo wielkich liczb . . . . . . . . . . . . . . . . . .
Powroty łańcucha Markowa do ustalonego stanu I . . . . . . . . .
Stany powracające . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19
19
19
20
.
.
.
.
i
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
ii
Spis treści
Symetryczne błądzenie po płaszczyźnie i w przestrzeni . . . . . . . 21
6 Twierdzenia graniczne dla łańcuchów Markowa
23
Prawo wielkich liczb dla łańcuchów Markowa . . . . . . . . . . . . 23
Schemat dowodu prawa wielkich liczb dla łańcuchów Markowa . 23
Centralne twierdzenie graniczne dla łańcuchów Markowa . . . . 25
7 Procesy stacjonarne
Definicja procesu stacjonarnego . . . . . . . . .
Przekształcenie zachowujące miarę . . . . . . . .
Zbiory i funkcje T -niezmiennicze . . . . . . . . . .
Przykłady przekształceń zachowujących miarę
Ułamki łańcuchowe . . . . . . . . . . . . . . . . . .
.
.
.
.
.
27
27
28
29
30
30
8 Indywidualne twierdzenie ergodyczne
Indywidualne twierdzenie ergodyczne . . . . . . . . . . . . . . . . . .
Maksymalne twierdzenie ergodyczne . . . . . . . . . . . . . . . . . . .
Przekształcenia i procesy ergodyczne . . . . . . . . . . . . . . . . . .
31
31
32
32
9 Kompletna losowość - proces punktowy Poissona
Punktowy proces Poissona . . . . . . . . . . . .
Proces Poissona . . . . . . . . . . . . . . . . . . .
Momenty skoku procesu Poissona . . . . . . . .
Alternatywna konstrukcja procesu Poissona
10 Systemy kolejkowe i inne modele oparte
System obsługi masowej . . . . . . . .
Systemy kolejkowe . . . . . . . . . . . .
O systemie M/G/1 . . . . . . . . . . . .
Model Cramera- Lundberga . . . . . .
na
. .
. .
. .
. .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
procesie
. . . . . .
. . . . . .
. . . . . .
. . . . . .
11 L2 procesy
L2 procesy i ich charakterystyki . . . . .
Funkcja kowariancji L2 procesu . . . . . .
Przykłady procesów gaussowskich . . . .
L2 procesy stacjonarne w szerokim sensie
Miara i gęstość spektralna L2 procesu .
12 Wstęp do teorii martyngałów
Pojęcie filtracji . . . . . . . . . . .
Momenty zatrzymania . . . . . . . .
Gra sprawiedliwa . . . . . . . . . . .
Martyngał jako gra sprawiedliwa
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
35
35
36
38
38
Poissona
. . . . . .
. . . . . .
. . . . . .
. . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
39
39
40
40
41
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
43
43
43
44
45
46
.
.
.
.
47
47
48
49
49
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Spis treści
iii
13 Zbieżność martyngałów
51
Nierówność maksymalna dla podmartyngałów . . . . . . . . . . . . . 51
Nierówność Dooba . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Wnioski z twierdzenia Dooba . . . . . . . . . . . . . . . . . . . . . . . . 53
14 Proces Wienera
Definicja procesu Wienera . . . . . . . . . . . . . .
Własności trajektorii procesu Wienera . . . . . .
Martyngałowe własności procesu Wienera . . . .
Proces Wienera jako granica błądzeń losowych
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
55
55
56
57
57
Dodatek
Wektory losowe . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Rozkłady łączne a rozkłady brzegowe . . . . . . . . . . . . . . .
Niezależność . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Kryteria niezależności . . . . . . . . . . . . . . . . . . . . . . . . .
Niezależność zdarzeń . . . . . . . . . . . . . . . . . . . . . . . . . .
Całka iloczynu niezależnych zmiennych losowych . . . . . . .
Wielowymiarowe rozkłady normalne . . . . . . . . . . . . . . . .
Przestrzenie funkcji całkowalnych . . . . . . . . . . . . . . . . .
Rodzaje zbieżności funkcji mierzalnych i relacje między nimi
Warunkowa wartość oczekiwana zmiennej losowej . . . . . . .
Transformata Laplace’a . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
59
59
60
60
60
61
61
62
63
66
66
67
Literatura
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
69
iv
Spis treści
Wstęp
Przedmiot „Procesy stochastyczne” jest przedmiotem do wyboru dla wszystkich specjalności studiów II stopnia na kierunku matematyka. Jednak szczególna rola przypada
mu na specjalności „Zastosowania matematyki w ekonomii i finansach”, ze względu na
powszechność stosowania metod stochastycznych w tych dziedzinach nauki i gospodarki.
Celem wykładu jest zapoznanie słuchaczy z podstawowymi klasami procesów stochastycznych. Podczas omawiana poszczególnych klas dyskutowane są zagadnienia istnienia/konstrukcji procesów oraz podstawowe własności i najważniejsze twierdzenia związane z daną klasą.. Po zaliczeniu wykładu i ćwiczeń słuchacz błędzie posiadał aparat
matematyczny umożliwiający modelowanie zjawisk losowych za pomocą procesów stochastycznych.
Przedmiot „Procesy stochastyczne” prowadzony jest w semestrze letnim, w wymiarze
30 godzin wykładu i 30 godzin ćwiczeń rachunkowych.
Zaliczenie przedmiotu polega na uzyskaniu zaliczenia ćwiczeń rachunkowych oraz
zdaniu egzaminu ustnego z teorii.
Ćwiczenia dydaktyczne prowadzone są w oparciu o materiały dydaktyczne Adam
Jakubowski „Procesy stochastyczne. Materiały do ćwiczeń”, Toruń 2012.
Niniejsze opracowanie zawiera treści przekazywane w trakcie wykładów. Najważniejsze definicje i twierdzenia przedstawiane są w postaci zrzutu ekranowego odpowiedniej
transparencji. Podstawowy materiał uzupełniany jest komentarzami i przykładami. Zagadnienia omawiane na wykładach, wraz z ewentualnymi uzupełnieniami, są dostępne
na:
https://plas.mat.umk.pl/moodle/
w kategorii Studia stacjonarne/Procesy stochastyczne.
Całość materiału podzielono na 14 jednostek, z grubsza odpowiadających dwugodzinnemu wykładowi.
Literatura podstawowa przedmiotu zawiera książki:
J. Jakubowski i R. Sztencel „Wstęp do teorii prawdopodobieństwa”, Script, Warszawa
2004,
S. I. Resnick, Adventures in Stochastic Processes, Birkhäuser, 1994.
1
2
Wstęp
Jako literatura uzupełniająca zalecane są książki:
A.A. Borowkow, Rachunek prawdopodobieństwa, PWN, Warszawa 1975.
O. Häggström, Finite Markov chains and algorithmic applications, Cambridge University Press, Cambridge 2008.
Adam Jakubowski
1. Istnienie procesów stochastycznych
Nieskończone ciągi zmiennych losowych
1.1 Przykład (Skończony schemat Bernoullego) Ω = {0, 1}N , F = 2Ω , P(A) = #A
#ω ,
Xk (ω1 , ω2 , . . . , ωN ) = ωk , k = 1, 2, . . . , N . Zmienne {Xk ; k = 1, 2, . . . , N } tworzą
skończony schemat Bernoullego z prawdopodobieństwem sukcesu p = 1/2. Czy istnieje
ciąg nieskończony takich zmiennych?
1.2 Przykład
(Funkcje Rademachera) Ω = [0, 1], F = B 1 , P = ` |[0,1] , fn (x) =
sign sin 2πx , n = 1, 2, . . .. Rozwijając wzór otrzymujemy
(
fn (x) =
(−1)i−1
−1
jeśli i−1
2n ¬ x <
jeśli x = 1.
Rysunek przekonuje o niezależności!
Procesy stochastyczne
3
i
2n , i
= 1, 2, . . . , 2n ,
4
1. Istnienie procesów stochastycznych
Rozkłady skończenie wymiarowe
Zgodność rozkładów skończenie wymiarowych
Niech {Xt ; t ∈ T} będzie procesem stochastycznym i niech S1 ⊂ S2 ⊂ T. Jeżeli przez
ΠSS21 oznaczymy naturalny „rzut po współrzędnych”
RS2 3 {ts }s∈S2 7→ {ts }s∈S1 ∈ RS1 ,
to mamy również
PXS1 = PXS2 ◦ ΠSS21
−1
.
(1.1)
1.5 Definicja Własność (1.1) rozkładów skończenie wymiarowych procesu stochastycznego nazywamy „zgodnością”.
1.6 Wniosek Zgodność w sensie (1.1) jest warunkiem koniecznym dla istnienia procesu
stochastycznego o zadanych własnościach rozkładów skończenie wymiarowych.
Twierdzenie Kołmogorowa o istnieniu procesu stochastycznego
Twierdzenie Kołmogorowa
Istnienie ciągów niezależnych zmiennych losowych
5
6
1. Istnienie procesów stochastycznych
Istnienie procesów gaussowskich
~ = X1 , X2 , . . . , Xn
Niech X
T
będzie wektorem losowym.
~ jest wektorem wartości oczekiwanych współrzędnych X:
~
• EX
~ = EX1 , EX2 , . . . , EXn
EX
T
.
~ jest symetryczną i nieujemnie określoną macierzą o współczynnikach
• Cov X
Cov Xi , Xj = E Xi − EXi Xj − EXj ,
i, j = 1, 2, . . . , n.
1.10 Twierdzenie
~ istnieje wtedy, i tylko wtedy, gdy EkXk
~ < +∞.
• EX
~ istnieje wtedy, i tylko wtedy, gdy EkXk
~ 2 < +∞.
• Cov X
2. Jednorodne łańcuchy Markowa
Definicja łańcucha Markowa
7
8
2. Jednorodne łańcuchy Markowa
Istnienie łańcuchów Markowa
2.2 Twierdzenie Jeżeli P jest macierzą stochastyczną na E, a π̄ jest rozkładem prawdopodobieństwa na E, to istnieje jednorodny łańcuch Markowa X0 , X1 , X2 , . . . o rozkładzie początkowym π̄ i macierzy prawdopodobieństw przejścia P.
Dowód: Utożsamiamy elementy przestrzeni E z podzbiorem N i sprawdzamy zgodność rozkładów skończenie wymiarowych indeksowanych podzbiorami N i zadanych wzorami
µ0,1,2,...,m (i0 , i1 , i2 , . . . , im−1 , im ) = πi0 · pi0 ,i1 · pi1 ,i2 · . . . · pim−1 ,im ,
gdzie µ0,1,2,...,m jest rozkładem na
Nm = {(i0 , i1 , i2 , . . . , im−1 , im ) ; i0 , i1 , . . . im ∈ N}.
Podstawowe wnioski z definicji
Podstawowe wnioski z definicji
Własność Markowa
9
10
2. Jednorodne łańcuchy Markowa
Jak formalnie wyrazić
własność Markowa?
Definiujemy P B X0 , X1 , . . . , Xn jako
X
P B X0 = io , X1 = i1 , . . . , Xn = in 1I {X0 =i0 ,X1 =i1 ,...,Xn =in } ,
(i0 ,i1 ,...,in )∈En+1
i podobnie
P B Xn =
X
P B Xn = i 1I {Xn =i} .
i∈En+1
2.3 Twierdzenie Dla dowolnych n, m ∈ N oraz dowolnego zbioru A ⊂ Em ma miejsce
równość:
P (Xn+1 , Xn+2 , . . . , Xn+m ) ∈ AX0 , X1 , . . . , Xn =
= P (Xn+1 , Xn+2 , . . . , Xn+m ) ∈ AXn .
3. Rozkłady stacjonarne dla łańcuchów
Markowa
Rozkłady brzegowe łańcuchów Markowa
Przypomnijmy podstawowe elementy definicji łańcuchów Markowa.
• E - przeliczalny zbiór stanów.
• P = {pij }i,j∈E - macierz prawdopodobieństw przejścia, tzn. pij ­ 0, i, j ∈ E oraz
X
pij = 1, i ∈ E.
j∈E
• π̄ = {πj }j∈E - rozkład początkowy.
• Jednorodny łańcuch Markowa - proces stochastyczny X0 , X1 , X2 , . . . o rozkładach
skończenie wymiarowych danych wzorem
Pπ̄ X0 = i0 , X1 = i1 , X2 = i2 , . . . , Xm−1 = im−1 , Xm = im =
= πi0 · pi0 ,i1 · pi1 ,i2 · . . . · pim−1 ,im .
11
12
3. Rozkłady stacjonarne dla łańcuchów Markowa
Rozkłady stacjonarne
Istnienie rozkładów stacjonarnych
3.4 Uwaga Znaleźć rozkład stacjonarny dla P, to rozwiązać układ równań liniowych
X
πi · pij = πj , j ∈ E,
i∈E
przy dodatkowym warunku
X
πi = 1.
i∈E
Nie zawsze jest to możliwe.
3.5 Przykład Błądzenie symetryczne po kracie Z. Kładziemy: E = Z,
pij =

1


2
1
2

0
gdy j = i + 1,
gdy j = i − 1,
gdy |j − i| =
6 1.
Równanie równowagi szczegółowej
Równanie równowagi szczegółowej
13
14
3. Rozkłady stacjonarne dla łańcuchów Markowa
4. Twierdzenie ergodyczne dla łańcuchów
Markowa
Kiedy rozkład stacjonarny jest jedyny?
4.1 Przykład Macierz jednostkowa I wymiaru #E jest macierzą stochastyczną. Dla
tej macierzy każdy rozkład jest stacjonarny i każdy rozkład spełnia równanie równowagi
szczegółowej.
4.2 Problem Kiedy istnieje dokładnie jeden rozkład stacjonarny?
Odpowiedź: gdy wszystkie wiersze macierzy Q są identyczne, tzn.
δij + pij + pij (2) + . . . + pij (n − 1)
→ πj , dla wszystkich i, j ∈ E.
n
W szczególności tak będzie, gdy
pij (n) → πj ,
dla wszystkich i, j ∈ E.
Klasyfikacja stanów
15
16
4. Twierdzenie ergodyczne dla łańcuchów Markowa
Nieprzywiedlny łańcuch Markowa
Twierdzenie ergodyczne
17
Twierdzenie ergodyczne
Najważniejsze kroki w dowodzie
4.11 Lemat Niech a1 , a2 , . . . , am ∈ N będą takie, że
NWD {a1 , a2 , . . . , am } = 1.
Wówczas istnieje liczba N0 taka, że każdą liczbę n ­ N0 można przedstawić w postaci
n = l1 a+ l2 a2 + . . . + lm am ,
gdzie l1 , l2 , . . . , lm ∈ N.
4.12 Wniosek Jeśli łańcuch jest nieprzywiedlny i nieokresowy, to istnieje N0 takie, że
dla n ­ N0 wszystkie elementy macierzy Pn są dodatnie.
Algorytm Metropolisa
4.13 Problem Na E (zwykle bardzo licznym) mamy mamy rozkład π̄. Szukamy P o
własnościach:
(i) π̄ jest rozkładem stacjonarnym dla P.
(ii) Pn „szybko” zmierzają do π̄ (jak w tw. ergod.).
18
4. Twierdzenie ergodyczne dla łańcuchów Markowa
4.14 Uwaga Sposób osiągnięcia powyższych celów wymyślony został przez fizyków blisko 60 lat temu. W najprostszej sytuacji można go opisać w postaci algorytmu Metropolisa. Ten i inne podobne algorytmy stanowią podstawę dynamicznych metod Monte
Carlo (ang. „Markov Chain Monte Carlo”).
5. Twierdzenia o powracaniu dla łańcuchów
Markowa
Powracalność a prawo wielkich liczb
5.1 Przykład Rozważmy błądzenie losowe po liczbach całkowitych:
pij =



p
1 − p =: q


0
jeśli j = i + 1,
jeśli j = i − 1,
jeśli |j − i| =
6 1.
Załóżmy, że rozpoczynamy błądzenie z i = 0. Jakie wnioski można wyciągnąć na podstawie prawa wielkich liczb nt. liczby powrotów trajektorii do stanu i = 0 ?
Powroty łańcucha Markowa do ustalonego stanu I
19
20
Stany powracające
5. Twierdzenia o powracaniu dla łańcuchów Markowa
Symetryczne błądzenie po płaszczyźnie i w przestrzeni
Symetryczne błądzenie po płaszczyźnie i w przestrzeni
21
22
5. Twierdzenia o powracaniu dla łańcuchów Markowa
6. Twierdzenia graniczne dla łańcuchów
Markowa
Prawo wielkich liczb dla łańcuchów Markowa
6.1 Problem Łańcuchy Markowa są przykładami ciągów zależnych zmiennych losowych. W badaniu ich własności statystycznych nie można więc stosować zwykłych praw
wielkich liczb i centralnego twierdzenia granicznego. Jak wyglądają ich odpowiedniki?
6.2 Umowa Przypomnienie: przez Eµ̄ f (X0 , X1 , . . .) rozumiemy wartość oczekiwaną przy
rozkładzie początkowym µ̄.
Schemat dowodu prawa wielkich liczb dla łańcuchów Markowa
• Krok 1. Ma miejsce zbieżność:
Eµ̄ f (Xn ) −→ Eπ̄ f (X0 ).
23
24
6. Twierdzenia graniczne dla łańcuchów Markowa
Stąd
Eµ̄ f (X0 ) + Eµ̄ f (X1 ) + . . . + Eµ̄ f (Xn−1 )
−→ Eπ̄ f (X0 ).
n
• Krok 2. Oznaczmy
Sn (µ̄, f ) = f (X0 ) − Eµ̄ (f (X0 )) + f (X1 ) − Eµ̄ (f (X1 ))+
+ . . . + f (Xn−1 ) − Eµ̄ (f (Xn−1 )).
Wystarczy pokazać, że
S (µ̄, f ) n
> ε −→ 0, ε > 0.
Pµ̄ n
• Krok 3. Pokażemy, że
Varµ̄ Sn (µ̄, f )
n2
−→ 0.
W tym celu wystarczy pokazać, że
Varµ̄ Sn (µ̄, f )
n
−→ σ 2 π̄, f ,
gdzie szereg
2
π̄
σ π̄, f = Var f (X0 ) + 2
∞
X
Covπ̄ f (X0 ), f (Xk )
Covπ̄ f (X0 ), f (Xk )
k=1
jest zbieżny.
• Krok 4. Szereg
σ 2 π̄, f = Varπ̄ f (X0 ) + 2
∞
X
k=1
jest bezwzględnie zbieżny.
• Krok 5.
Varµ̄ f (Xn ) −→ Varπ̄ f (X0 ) .
• Krok 6.
Covµ̄ f (Xn−j ), f (Xn ) −→ Covπ̄ f (X0 ), f (Xj ) .
• Krok 6.
Varµ̄ Sn+1 (µ̄, f ) − Varµ̄ Sn (µ̄, f ) =
= Varπ̄ f (Xn ) + 2
n−1
X
k=0
Covπ̄ f (Xk ), f (Xn ) −→ σ 2 π̄, f .
Centralne twierdzenie graniczne dla łańcuchów Markowa
25
Centralne twierdzenie graniczne dla łańcuchów Markowa
26
6. Twierdzenia graniczne dla łańcuchów Markowa
7. Procesy stacjonarne
Definicja procesu stacjonarnego
27
28
Przekształcenie zachowujące miarę
7. Procesy stacjonarne
Zbiory i funkcje T -niezmiennicze
Zbiory i funkcje T -niezmiennicze
29
30
7. Procesy stacjonarne
Przykłady przekształceń zachowujących miarę
7.11 Przykład Obrót o kąt 2πα Tα : S1 → S1 , Tα (s) = s · e2πiα , zachowuje miarę
Lebesgue’a na S1 .
7.12 Przykład Przekształcenie piekarza T : [0, 1) × [0, 1) → [0, 1) × [0, 1),
(
T (x, y) =
(2x, y/2)
dla 0 ¬ x < 21
(2 − 2x, 1 − y/2) dla 21 ¬ x < 1.
T zachowuje miarę Lebesgue’a na [0, 1)2 .
Ułamki łańcuchowe
7.13 Przykład Część ułamkowa odwrotności i miara Gaussa Niech X = [0, 1]\Q
(liczby niewymierne z odcinka [0, 1]). Określamy T : X → X jako część ułamkową
odwrotności:
1 j1k n1o
=
.
T (x) = −
x
x
x
T zachowuje miarę Gaussa o gęstości pT (x) = (ln 2)−1 /(1 + x).
Niech f : X → N będzie określone wzorem
f (x) =
j1k
x
=
1
− T (x).
x
Wtedy
x=
1
=
f (x) + T (x)
1
1
f (x) +
f (T (x)) + T (T (x))
= ...
Tak więc wartości trajektorii procesu stacjonarnego f (x), f (T (x)), f (T 2 (x)), . . . to
kolejne redukty rozwinięcia liczby niewymiernej x w ułamek łańcuchowy
1
x=
1
a1 (x) +
1
a2 (x) +
a3 (x) +
1
a4 (x) + · · ·
Często zapisujemy powyższy związek w postaci
x = [0; a1 (x), a2 (x), a3 (x), . . .],
lub, w notacji Pringsheima,
x=0+
1|
1|
1|
+
+
+ ··· .
| a1 (x) | a2 (x) | a3 (x)
8. Indywidualne twierdzenie ergodyczne
Indywidualne twierdzenie ergodyczne
Komentarze i uzupełnienia do tw. ergodycznego
• I dla procesu stacjonarnego X0 , X1 , X2 , . . . składa się ze zbiorów A ∈ F , które są
−1
równe P-p.w. zbiorowi postaci X (B), gdzie B jest podzbiorem R∞ niezmienniczym dla przesunięcia w lewo.
• Pokażemy później, że
dla ciągu niezależnych zmiennych losowych o jednakowych
rozkładach, E X0 I = EX0 . Stąd wynika, że prawo wielkich liczb Kołmogorowa
wynika z tw. ergodycznego.
1
1
• Przypomnijmy, że dla całkowalnej zmiennej losowej X
: (ω, FP) → (R , B ) i σalgebry G ⊂ F, warunkowa wartość oczekiwana E X G zmiennej X względem G
jest jedyną (z dokładnością do równości P-p.w.) zmienną losową Y , która spełnia
następujące warunki:
– Y jest G-mierzalna.
– EY 1I G = EX1I G dla każdego G ∈ G.
31
32
8. Indywidualne twierdzenie ergodyczne
Maksymalne twierdzenie ergodyczne
Przekształcenia i procesy ergodyczne
Przekształcenia i procesy ergodyczne
33
34
8. Indywidualne twierdzenie ergodyczne
9. Kompletna losowość - proces punktowy
Poissona
Punktowy proces Poissona
35
36
9. Kompletna losowość - proces punktowy Poissona
Proces Poissona
9.3 Przykład Rozważmy następujące obiekty:
• G = [0, T ] ⊂ R+ .
• U1 , U2 , U3 , . . . - zmienne niezależne o rozkładzie jednostajnym na [0, T ].
• ν - niezależną od {Uj } zmienną losową o rozkładzie Poissona Po(λ·T ), gdzie λ > 0.
Wtedy wzór R+ ⊃ A 7→ N (A) = νk=1 1I A (Uk ) zadaje punktowy proces Poissona na
[0, T ]. Określamy
Nt := N ([0, t]), t ∈ [0, T ]
P
. Proces stochastyczny {Nt }t∈[0,T ] ma następujące własności:
• Dla dowolnych 0 ¬ s < t ¬ T Nt − Ns ∼ Po(λ(t − s)).
• Dla dowolnych 0 ¬ t1 < t2 ¬ t3 < t4 ¬ . . . ¬ t2n−1 < t2n ¬ T zmienne losowe
Nt2 − Nt1 , Nt4 − Nt3 , . . . , Nt2n − Nt2n−1
są niezależne (czyli {Nt } jest procesem o przyrostach niezależnych).
• Trajektorie [0, T ] 3 t 7→ Nt (ω) ∈ N są niemalejące i prawostronnie ciągłe.
Proces Poissona
37
9.5 Twierdzenie Proces Poissona istnieje.
k
Idea dowodu: Dla każdego k ∈ N niech N będzie procesem punktowym Poissona zbudowanym na zbiorze Gk = [k−1, k) ⊂ R+ , i niech procesy N k , k = 1, 2, . . . będą niezależne.
Kładziemy:
Nt =
∞
X
k
N [0, t] .
k=1
Wymagane własności dostajemy wprost z definicji. Stwierdzamy również, że:
9.6 Twierdzenie Prawie wszystkie trajektorie procesu Poissona startują z wartości 0,
rosną „skokami” i ich skoki ∆Nt = Nt − Nt− są równe zero lub jeden.
38
9. Kompletna losowość - proces punktowy Poissona
Momenty skoku procesu Poissona
9.9 Uwaga Można pokazać, że rozkłady skończenie wymiarowe ciągu T1 , T2 , T3 , . . . są
identyczne z rozkładami skończenie wymiarowymi ciągu W1 , W1 +W2 , W1 +W2 +W3 , . . .,
gdzie W1 , W2 , W3 , . . . są niezależne i mają rozkład wykładniczy Ex(λ). Wynika stąd w
szczególności, że w procesie Poissona czasy oczekiwania T1 , T2 − T1 , T3 − T2 , . . . są niezależne i mają rozkład wykładniczy Ex(λ).
Alternatywna konstrukcja procesu Poissona
9.10 Twierdzenie Niech W1 , W2 , . . . , Wr . . . . ∼ Ex(λ) będą niezależne. Definiujemy
Nt (ω) = 0 na zbiorze {ω ; 0 ¬ t < W1 } oraz Nt (ω) = k na zbiorze
{ω ; W1 (ω) + . . . + Wk (ω) ¬ t < W1 (ω) + . . . + Wk (ω) + Wk+1 (ω)}.
Wtedy proces {Nt }t∈R+ jest procesem Poissona.
10. Systemy kolejkowe i inne modele oparte
na procesie Poissona
System obsługi masowej
10.1 Motywacja Dany jest system obsługi masowej (serwer sieciowy, kasa w supermarkecie itp.), do którego w chwilach T1 , T1 + T2 , T1 + T2 + T3 , . . . napływają zadania do
realizacji (programy do uruchomienia, klienci itp.). Realizacja k-tego zadania wymaga
czasu Sk . Uzasadnione jest założenie, że zmienne S1 , S2 , S3 są niezależne o jednakowych
rozkładach ν, i że proces {Sk } jest niezależny od procesu „na wejściu”. Badane są m.in.
• Liczba zadań Qt znajdujących się w systemie (czyli długość kolejki) w chwili t
(łącznie z realizowanym zadaniem).
• Średnia długość kolejki
Qt =
1
t
Z t
1
t→∞ t
Qs ds,
Q∞ = lim
0
Z t
Qs ds.
0
• Średni czas oczekiwania na realizację zadania (średni czas spędzany przez klienta
w kolejce).
• Średni czas między dwoma okresami, gdy nie ma kolejki.
39
40
10. Systemy kolejkowe i inne modele
Systemy kolejkowe
O systemie M/G/1
Niech Lν (θ) - transformata Laplace’a rozkładu czasu obsługi ν.
Dla każdego n ­ 0, niech Xn będzie liczbą klientów pozostających w systemie w
chwili, gdy zakończono obsługę n-tego klienta. Mamy:
Xn+1 = Xn + Yn+1 − 1I {Xn >0} , n ­ 0,
gdzie Yn jest liczbą klientów, którzy przybyli podczas obsługi n-tego klienta.
10.4 Lemat Zmienne losowe Y1 , Y2 , Y3 , . . . , są niezależne i mają jednakowe rozkłady o
funkcji generującej momenty
A(z) = Ez Yj = Lν λ(1 − z) ,
i wartości oczekiwanej EYj = λ · 0∞ x dν(x)=: ρ. Co więcej, dla każdego n ­ 0, zmienne
Yn+1 , Yn+2 , Yn+3 , . . . są niezależne od X0 , X1 , . . . , Xn .
R
Model Cramera-Lundberga
41
Model Cramera- Lundberga
• Żądania odszkodowań pojawiają się w momentach T1 , T1 + T2 , T1 + T2 + T3 , . . .,
gdzie Tj ∼ Ex(λ), j = 1, 2, 3, . . . i są niezależne.
• Wysokość odszkodowania w chwili T1 + T2 + . . . + Tj wynosi Xj , gdzie {Xj } jest
ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie, o skończonych
E(Xj ) = µ i D2 (Xj ) = σ 2 , który jest niezależny od od {Tj }.
• N (t) = sup{n ­ 1 ; T1 + T2 + . . . + Tn ¬ t} jest procesem Poissona opisującym
liczbę żądań odszkodowań do momentu t,
•
(PN (t)
S(t) =
i=1
0,
Xi ,
jeśli N (t) > 0,
jeśli N (t) = 0,
oznacza skumulowane kwoty wypłat towarzystwa ubezpieczeniowego do momentu
t,
• U (t) = u + ct − S(t) jest procesem ryzyka (niepewności), gdzie u jest kapitałem
początkowym towarzystwa ubezpieczeniowego, a c tempem zbierania składek.
• Prawdopodobieństwo ruiny w czasie T (może być T = ∞) wyraża się wzorem
Ψ(u, T ) = P ω ; ∃t∈(0,T ] U (t, ω) < 0 .
42
10. Systemy kolejkowe i inne modele
• Zadanie:Chcemy oszacować Ψ(u, T ) w zależności od c i parametrów modelu oraz
zminimalizować Ψ(u, T ) przy rozsądnym c.
10.6 Lemat
EU (t) = u + ct − µλt = u + (c − µλ)t.
10.7 Wniosek Rozsądnym wyborem ubezpieczyciela jest
c ­ µλ.
Niech teraz T = ∞. Wtedy
Ψ(u, ∞) = P ω ; ∃t>0 U (t, ω) < 0
= P ω ; ∃n∈N u + c T1 (ω) + . . . + Tn (ω) −
n
X
Xi (ω) < 0
i=1
= P ω ; ∃n∈N u +
n
X
cTi (ω) − Xi (ω) < 0
i=1
Takie prawdopodobieństwa można przybliżać stosując metodę Monte Carlo.
11. L2 procesy
L2 procesy i ich charakterystyki
Przypomnijmy, że proces stochastyczny {Xt }t∈T nazywamy gaussowskim, jeśli każda
skończona liniowa kombinacja
α1 Xt1 + α2 Xt2 + . . . + αm Xtm
ma rozkład normalny na R1 (może to być rozkład zdegenerowany do punktu).
Z własności rozkładów normalnych wynika, że:
• Każdy proces gaussowski jest L2 procesem.
• Funkcje mt i K(s, t) procesu gaussowskiego {Xt } w pełni określają jego rozkłady
skończenie wymiarowe.
Funkcja kowariancji L2 procesu
11.2 Twierdzenie Funkcja kowariancji L2 procesu jest nieujemnie określona na T×T,
tzn. dla każdego wyboru chwil t1 , t2 , . . . , tm ∈ T i dowolnych liczb zespolonych z1 , z2 , . . . , zm ∈
43
11. L2 procesy
44
C1
X
K(tj , tk )zj z̄k ­ 0.
1¬j,k¬m
11.3 Przykład Funkcja R+ ×R+ 7→ K(s, t) = σ 2 ·(s∧t) ∈ R jest nieujemnie określona,
bo K(s, t) = hes , et iH w pewnej przestrzeni Hilberta H.
Przykłady procesów gaussowskich
11.5 Definicja Procesem Wienera (niesłusznie czasami nazywanym ruchem Browna)
nazywamy scentrowany (EWt = 0) proces gaussowski o funkcji kowariancji
EWs Wt = σ 2 · (s ∧ t).
11.6 Wniosek Proces Wienera ma niezależne przyrosty, tzn. dla dowolnych liczb 0 <
t1 < t2 < t3 < . . . < tm niezależne są zmienne losowe
Wt1 , Wt2 − Wt1 , Wt3 − Wt2 , . . . , Wtm − Wtm−1 .
11.7 Uwaga Funkcja kowariancji procesu Wienera jest identyczna z funkcją kowariancji
scentrowanego procesu Poissona Xt = Nt − t, t ∈ R+ .
L2 procesy stacjonarne w szerokim sensie
45
11.8 Definicja Ułamkowym ruchem Browna z parametrem Hursta H ∈ (0, 1) nazywamy scentrowany proces gaussowski {BtH }t∈R+ o funkcji kowariancji
(∗)
EBsH BtH =
1 2H
|t| + |s|2H − |t − s|2H .
2
11.9 Uwaga Nie jest łatwo sprawdzić, że (∗) zadaje funkcję nieujemnie określoną.
11.10 Wniosek
Wienera.
• Ułamkowy ruch Browna z parametrem H = 1/2 jest procesem
• Dla H > 1/2 przyrosty {BtH } są dodatnio skorelowane.
• Dla H < 1/2 przyrosty {BtH } są ujemnie skorelowane.
L2 procesy stacjonarne w szerokim sensie
46
Miara i gęstość spektralna L2 procesu
11. L2 procesy
12. Wstęp do teorii martyngałów
Pojęcie filtracji
47
48
Momenty zatrzymania
12. Wstęp do teorii martyngałów
Gra sprawiedliwa
Gra sprawiedliwa
Martyngał jako gra sprawiedliwa
49
50
12. Wstęp do teorii martyngałów
12.8 Przykład Niech Z0 , Z1 , . . . będzie ciągiem całkowalnych i niezależnych zmiennych
losowych. Kładziemy
Xj = Z0 + Z1 + . . . + Zj , Fj = σ{Xi ; i ¬ j} = σ{Zi ; i ¬ j} .
12.9 Przykład Niech X ∈ 1 (P) i niech {Fj } będzie filtracją. Kładziemy
Xj = E(X|Fj ), j ∈ N.
Martyngał, który można w taki sposób przedstawić, nazywamy regularnym.
12.10 Definicja Niech {Xj } będzie procesem stochastycznym, a τ momentem zatrzymania. Procesem zatrzymanym w momencie τ nazywamy proces {Xjτ = Xτ ∧j }, czyli
Xjτ (ω) = Xτ (ω)∧j (ω).
12.11 Twierdzenie
• Jeżeli {Xj } jest adaptowany do filtracji {Fj }, a τ jest momentem zatrzymania
względem tej filtracji, to proces zatrzymany {Xjτ } też jest adaptowany do {Fj }.
• Jeżeli {Xj } jest {Fj }-martyngałem, a τ momentem zatrzymania względem {Fj },
to proces zatrzymany {Xjτ } też jest {Fj }-martyngałem.
12.12 Wniosek Dla martyngału zatrzymanego w dowolnym momencie zatrzymania τ ¬
N mamy
τ
EXτ = EXτ ∧N = EXN
= EX0τ = EXτ ∧0 = EX0 .
12.13 Twierdzenie Proces stochastyczny {Xj } jest grą sprawiedliwą dokładnie wtedy,
gdy jest martyngałem.
13. Zbieżność martyngałów
Nierówność maksymalna dla podmartyngałów
13.2 Przykład Jeśli {Yj } jest martyngałem, to {Xj = |Yj |} jest podmartyngałem.
13.3 Przykład Jeśli {Yj } jest martyngałem, to {Xj = Yj2 } jest podmartyngałem.
51
52
Nierówność Dooba
13. Zbieżność martyngałów
Wnioski z twierdzenia Dooba
53
Wnioski z twierdzenia Dooba
13.7 Wniosek (Kołmogorow, Chińczyn) Jeżeli Z1 , Z2 , . . . są niezależnymi zmiennymi losowymi, EZj = 0, j = 1, 2, . . ., to warunek
∞
X
EXj2 < +∞
j=1
pociąga zbieżność P-p.w. i w L2 (P) szeregu
P∞
j=1 Zj .
13.8 Lemat (Kronecker) Jeśli szereg liczbowy
P∞
an
n=1 n
jest zbieżny, to
a1 + a2 + . . . + an
→ 0.
n
13.9 Twierdzenie (Kołmogorow) Jeżeli Z1 , Z2 , . . . są niezależnymi zmiennymi losowymi i jeśli
∞
X
D2 (Zn )
< +∞,
n2
n=1
to P-p.w.
(Z1 − EZ1 ) + (Z2 − EZ2 ) + . . . + (Zn − EZn )
→ 0.
n
54
13. Zbieżność martyngałów
14. Proces Wienera
Definicja procesu Wienera
Przypomnijmy, że zdefiniowaliśmy proces Wienera jako scentrowany proces gaussowski {Wt }t∈R+ o funkcji kowariancji
EWs Wt = σ 2 · (s ∧ t).
Z tej definicji wynika, że:
• W0 = 0 P-p.w.
• Przyrosty procesu Wienera
Wt1 , Wt2 − Wt1 , Wt3 − Wt2 , . . . , Wtm − Wtm−1 ,
są niezależne.
• Przyrosty są również stacjonarne:
Wt − Ws ∼ Wt−s ∼ N (0, σ 2 (t − s)).
• Proces Wienera jest martyngałem względem filtracji naturalnej {Ft }
14.1 Twierdzenie Niech {Wt }t∈R+ będzie procesem Wienera. Istnieje ciągła modyfikacja {Wt0 }t∈R+ procesu {Wt }. Innymi słowy,
• Dla każdego t ∈ R+ zmienna losowa Wt0 jest modyfikacją Wt , tzn.
P(Wt = Wt0 ) = 1,
• Prawie wszystkie trajektorie
Ω 3 ω 7→ {Wt0 (ω) ; t ∈ R+ } ∈ (R1 )
R+
są ciągłe jako funkcje od t ∈ R+ .
14.2 Uwagi
• Wt0 jest mierzalna względem uzupełnionej σ-algebry Ft .
• {Wt0 } zadaje odwzorowanie z Ω do przestrzeni C R+ : R1 .
55
56
14. Proces Wienera
14.3 Twierdzenie Jeżeli proces stochastyczny {Xt }, ma przyrosty niezależne i stacjonarne oraz ciągłe trajektorie, to {Xt } jest procesem Wienera dla pewnego σ 2 ­ 0.
Powyższe twierdzenia pozwalają podać następującą, często bardziej przydatną, definicję procesu Wienera.
Własności trajektorii procesu Wienera
Martyngałowe własności procesu Wienera
57
Martyngałowe własności procesu Wienera
Proces Wienera jako granica błądzeń losowych
Niech Z1 , Z2 , . . . , będzie ciągiem niezależnych zmiennych losowych o jednakowym
rozkładzie,
EZj = 0, EZj2 = σ 2 .
Określamy procesy sum częściowych ciągu {Zj }
[nt]
1 X
Sn (t) = √
Zj , t ∈ R+ ,
n j=1
oraz procesy łamanych losowych
Sen (t) = Sn (
k − 1 k k − 1 1
k−1
√ Zk , t ∈
)+n t−
, , k = 1, 2, . . . .
n
n
n
n
n
14.7 Twierdzenie Rozkłady skończenie wymiarowe procesów {Sn (t)} i {Sen (t)} zmierzają do rozkładów skończenie wymiarowych procesu {σ 2 Wt }, gdzie {Wt } jest standardowym procesem Wienera.
W istocie można pokazać znacznie więcej.
58
14. Proces Wienera
Dodatek
Wektory losowe
15.1 Definicja Wektorem losowym nazywamy odwzorowanie
~ = (X1 , X2 , . . . , Xd )T : (Ω, F, P ) → Rd ,
X
którego składowe X1 , X2 , . . . , Xd są zmiennymi losowymi.
~ to prawdopodobieństwo na Rd zadane
15.2 Definicja Rozkład PX~ wektora losowego X,
wzorem
PX~ ((a1 , b1 ] × (a2 , b2 ] × . . . × (ad , bd ]) =
= P (a1 < X1 ¬ b1 , a2 < X2 ¬ b2 , . . . , ad < Xd ¬ bd ).
15.3 Uwaga Podobnie jak w przypadku jednowymiarowym, znajomość rozkładu wek~
tora losowego pozwala obliczać wartości oczekiwane funkcji od wektora losowego Ef (X).
15.4 Definicja
~ ma rozkład dyskretny, jeśli istnieją x1 , x2 , . . . ∈ Rd i prawdopo1. Wektor losowy X
P
~
dobieństwa p1 , p2 , . . . ­ 0, ∞
j=1 pj = 1, takie, że P (X = xj ) = pj , j = 1, 2, . . ..
~ ma rozkład absolutnie ciągły o gęstości p(x), jeśli dla każdego
2. Wektor losowy X
A postaci (a1 , b1 ] × (a2 , b2 ] × . . . × (ad , bd ]
~ ∈ A) =
P (X
Z
p(x) dx.
A
(Wtedy p(x) ­ 0 `d -prawie wszędzie i
R
59
p(x) dx = 1).
60
Dodatek
Rozkłady łączne a rozkłady brzegowe
~ = (X1 , X2 , . . . , Xd )T nazywamy roz15.5 Definicja Rozkład PX~ wektora losowego X
kładem łącznym zmiennych losowych X1 , X2 , . . . , Xd . Rozkłady (jednowymiarowe) PX1 ,
PX2 , . . . , PXd składowych wektora losowego nazywamy rozkładami brzegowymi rozkładu
PX~ .
15.6 Uwaga Na ogół rozkłady brzegowe nie determinują rozkładu łącznego, tzn. istnieje
wiele rozkładów na Rd o tych samych rozkładach brzegowych (przykład!).
Niezależność
15.7 Definicja Zmienne losowe X1 , X2 , . . . , Xd są niezależne (lub stochastycznie niezależne), jeśli
Ef1 (X1 )f2 (X2 ) · · · fd (Xd ) = Ef1 (X1 ) · Ef2 (X2 ) · · · · Efd (Xd ).
dla dowolnego układu f1 , f2 , . . . , fd funkcji ograniczonych na R1 i takich, że f1 (X1 ),
f2 (X2 ), . . . , fd (Xd ) są zmiennymi losowymi.
Rodzina zmiennych losowych {Xi }i∈I jest niezależna, jeśli każda jej skończona podrodzina składa się ze zmiennych losowych niezależnych.
15.8 Twierdzenie Niech X1 , X2 , . . . , Xd będą zmiennymi losowymi określonymi na tej
samej przestrzeni probabilistycznej (Ω, F, P ). Następujące warunki są równoważne:
(i) Zmienne X1 , X2 , . . . , Xd są niezależne.
(ii) Dla dowolnych liczb x1 , x2 , . . . , xd ma miejsce równość
P (X1 ¬ x1 , X2 ¬ x2 , . . . , Xd ¬ xd )
= P (X1 ¬ x1 )P (X2 ¬ x2 ) · · · P (Xd ¬ xd ).
Kryteria niezależności
~ nazywamy funkcję
15.9 Definicja Dystrybuantą wektora losowego X
Rd 3 x = (x1 , x2 , . . . , xd )T 7→ FX~ (x) = P (X1 ¬ x1 , X2 ¬ x2 , . . . , Xd ¬ xd ).
15.10 Uwaga Na mocy warunku (ii) twierdzenia 15.8, zmienne losowe są niezależne
dokładnie wtedy, gdy dystrybuanta ich rozkładu łącznego jest iloczynem dystrybuant
rozkładów brzegowych. W dalszym ciągu nie będziemy jednak zajmować się dystrybuantami rozkładów na Rd , gdyż są one znacznie mniej wygodnym narzędziem niż dystrybuanty na R1 .
Niezależność zdarzeń
61
15.11 Fakt Jeżeli zmienne losowe X1 , X2 , . . . , Xd są niezależne, to dla (prawie) dowolnych funkcji g1 , g2 , . . . , gd , zmienne losowe
g1 (X1 ), g2 (X2 ), . . . , gd (Xd )
też są niezależne.
15.12 Twierdzenie Niech rozkłady zmiennych X1 , X2 , . . . , Xd będą dyskretne.
Zmienne losowe X1 , X2 , . . . , Xd są niezależne dokładnie wtedy, gdy dla dowolnych
x1 , x2 , . . . , xd ∈ R1 ma miejsce związek
P (X1 = x1 , X2 = x2 , . . . , Xd = xd )
= P (X1 = x1 )P (X2 = x2 ) · · · P (Xd = xd ).
15.13 Twierdzenie Niech rozkłady zmiennych X1 , X2 , . . . , Xd będą absolutnie ciągłe z
gęstościami p1 (x), p2 (x), . . . , pd (x).
Zmienne losowe X1 , X2 , . . . , Xd są niezależne dokładnie wtedy, gdy rozkład łączny
tych zmiennych jest absolutnie ciągły i jego gęstość ma postać
pX~ (x1 , x2 , . . . , xd ) = p1 (x1 )p2 (x2 ) · · · pd (xd ).
Niezależność zdarzeń
15.14 Definicja Rodzina zdarzeń {Ai }i∈I jest niezależna, jeśli funkcje charakterystyczne {IAi }i∈I tych zdarzeń są niezależne.
15.15 Twierdzenie Zdarzenia {Ai }i∈I są niezależne dokładnie wtedy, gdy dla dowolnego skończonego podzbioru I0 ⊂ I
P
\
Ai = Πi∈I0 P (Ai ).
i∈I0
15.16 Definicja Zmienne losowe {Xi }i∈I są niezależne parami, jeśli dla każdych i, j ∈ I,
i 6= j, zmienne Xi i Xj są niezależne. Podobnie, zdarzenia {Ai }i∈I sa niezależne parami,
jeśli każde dwa zdarzenia Ai i Aj , i 6= j są niezależne.
15.17 Przykład Istnieją zdarzenia niezależne parami, ale zależne zespołowo (mówi o
tym np. przykład Bernsteina).
Całka iloczynu niezależnych zmiennych losowych
15.18 Twierdzenie (O mnożeniu wartości oczekiwanych) Jeżeli zmienne losowe
X i Y są niezależne i całkowalne, to iloczyn XY jest całkowalną zmienną losową i
EXY = EX · EY.
62
Dodatek
15.19 Uwaga Bez założenia o niezależności warunek dostateczny dla całkowalności iloczynu XY odwołuje się do tzw. nierówności Höldera.
15.20 Wniosek Niech X1 , X2 , . . . , Xd będą niezależne. Jeżeli funkcje fi sa takie, że
E|fi (Xi )| < +∞,
i = 1, 2, . . . , d,
to
Ef1 (X1 )f2 (X2 ) · · · fd (Xd ) = Ef1 (X1 ) · Ef2 (X2 ) · · · · Efd (Xd ).
Wielowymiarowe rozkłady normalne
15.21 Definicja Niech X1 , X2 , . . . , Xd będą zmiennymi losowymi określonymi na wspólnej przestrzeni probabilistycznej (Ω, F, P ). Mówimy, że rozkład łączny zmiennych X1 , X2 ,
~ = (X1 , X2 , . . . , Xd )T ma d-wymiarowy roz. . . , Xd jest normalny, albo że wektor X
kład normalny, jeśli dowolna kombinacja liniowa α1 X1 + α2 X2 + · · · + αd Xd zmiennych
X1 , X2 , . . . , Xd ma jednowymiarowy rozkład normalny, tzn.
α1 X1 + α2 X2 + · · · + αd Xd ∼ N (mα~ , σα~2 ),
gdzie α
~ = (α1 , α2 , . . . , αd )T .
15.22 Uwaga Dopuszczamy przypadek σα~2 = 0. Z definicji N (m, 0) = δm .
15.23 Definicja Rodzinę zmiennych losowych {Xi }i∈I nazywamy gaussowską, jeśli dla
każdego skończonego podzbioru {i1 , i2 , . . . , im } ⊂ I zmienne Xi1 , Xi2 , . . . , Xid mają łączny rozkład normalny.
15.24 Uwaga Biorąc α
~ = (0, . . . , 0, 1, 0, . . . , 0)T , otrzymujemy, że składowe Xk mają
2
rozkład N (mk , σk ). W ogólności,
~ = h~
~
mα~ = E(α1 X1 + α2 X2 + · · · + αd Xd ) = Eh~
α, Xi
α, E Xi.
Podobnie
~ = h~
~ α
σα~2 = Var (h~
α, Xi)
α, Cov (X)
~ i.
15.25 Twierdzenie Jeżeli m ∈ Rd i Σ jest odwzorowaniem liniowym na Rd , syme~ o rozkładzie normalnym,
trycznym i nieujemnie określonym, to istnieje wektor losowy X
który spełnia związki
~ = m, Cov (X)
~ = Σ.
EX
15.26 Uwaga Niech µ będzie rozkładem na Rd . Funkcja charakterystyczna µ określona
jest wzorem
Z
Rd 3 y 7→ φµ (y) :=
eihy,xi dµ(x).
Rd
Funkcje charakterystyczne na Rd mają własności podobne jak w przypadku jednowymiarowym. W szczególności, identyfikują rozkłady, tj. φµ = φν pociąga µ = ν
Przestrzenie funkcji całkowalnych
63
~ jest normalny wtedy i tylko wtedy,
15.27 Twierdzenie Rozkład wektora losowego X
d
gdy istnieje m ∈ R i odwzorowanie liniowe Σ : Rd → Rd , symetryczne i nieujemnie
określone, takie że
~
Eeihy,Xi = eihy,mi−(1/2)hy,Σ yi .
~ = m, Cov (X)
~ = Σ.
W takim przypadku, E X
15.28 Uwaga Na mocy powyższego twierdzenia wielowymiarowy rozkład normalny wyznaczony jest przez wartość oczekiwaną i operator kowariancji. Dlatego uprawnione jest
~ ∼ N (m, Σ).
oznaczenie X
15.29 Twierdzenie Wielowymiarowy rozkład normalny N (m, Σ) jest absolutnie ciągły
dokładnie wtedy, gdy det Σ 6= 0 (tj. odwzorowanie Σ jest nieosobliwe). W takim przypadku
jego gęstość wyraża się wzorem
1
1
pm,Σ (x) = √ d √
exp
( 2π) det Σ
1
− hx − m, Σ−1 (x − mi .
2
15.30 Twierdzenie Niech zmienne losowe X1 , X2 , . . . , Xd maja łączny rozkład normalny. Wówczas X1 , X2 , . . . , Xd są niezależne wtedy i tylko wtedy, gdy są nieskorelowane
(czyli macierz Σ jest diagonalna).
Przestrzenie funkcji całkowalnych
15.31 Definicja Niech (Ω, F, µ) będzie przestrzenią z miarą. Określamy przestrzeń
funkcji całkowalnych.
L1 (Ω, F, µ) = L1 (µ) = {f : (Ω, F) → (R1 , B 1 ) ;
Z
|f | dµ < +∞}.
Niech f ∼ g oznacza, że f = g µ-prawie wszędzie. Relacja ∼ jest relacją równoważności
w L1 (µ). Określamy przestrzeń L1 (µ) jako przestrzeń ilorazową L1 (µ)/ ∼.
R
15.32 Lemat Niech kf k1 = |f | dµ. Nieujemna funkcja k · k1 jest półnormą na przestrzeni L1 (µ), tzn. spełnia następujące dwa warunki.
1. kf + gk1 ¬ kf k1 + kgk1 , f, g ∈ L1 (µ).
2. ka · f k1 = |a|kf k1 , f ∈ L1 (µ), a ∈ R1 .
Funkcja k · k1 nie jest na ogół normą, gdyż kf k1 = 0 pociąga jedynie f = 0 µ-prawie
wszędzie. Stąd jednak wynika, że określając funkcję k·k1 : L1 (µ) → R+ wzorem k[f ]∼ k1 =
kf k1 , definiujemy normę na L1 (µ).
15.33 Twierdzenie Przestrzeń (L1 (µ), k · k1 ) jest zupełna (tzn. każdy ciąg Cauchy’ego
w normie k · k1 jest zbieżny). Przestrzeń ta jest więc tzw. przestrzenią Banacha.
64
Dodatek
15.34 Definicja Niech (Ω, F, µ) będzie przestrzenią z miarą. Określamy przestrzeń
funkcji całkowalnych z kwadratem.
L2 (Ω, F, µ) = L2 (µ) = {f : (Ω, F) → (R1 , B 1 ) ;
Z
|f |2 dµ < +∞}.
Podobnie jak w przypadku przestrzeni L1 , określamy L2 (µ) jako przestrzeń ilorazową
L2 (µ)/ ∼, gdzie f ∼ g dokładnie wtedy, gdy f = g µ-prawie wszędzie.
qR
R
15.35 Lemat Niech hf, gi = f · g dµ i kf k2 =
|f |2 dµ. Funkcja hf, gi jest formą
dwuliniową i symetryczną, a k·k2 jest półnormą na przestrzeni L2 (µ). Tak więc określając
h[f ]∼ , [g]∼ i = hf, gi otrzymujemy iloczyn skalarny na przestrzeni L2 (µ).
15.36 Uwaga Dla funkcji całkowalnych z kwadratem o wartościach zespolonych iloczyn
skalarny w L2 (µ) zadajemy wzorem
hf, gi =
Z
f g dµ.
15.37 Twierdzenie Przestrzeń (L2 (µ), k · k2 ) jest zupełna (jest więc przestrzenią Hilberta).
15.38 Przykład Jeżeli µ jest miarą Lebesgue’a na Rd , to odpowiednie przestrzenie
funkcyjne oznaczamy symbolami L1 (Rd ) i L2 (Rd ). Podobnie, jeśli rozważamy miarę
Lebesgue’a na podzbiorze A ⊂ Rd , piszemy L2 (A), np. L2 (0, 1), L2 (0, 2π) itp.
15.39 Uwaga L1 (R1 ) 6⊂ L2 (R1 ) i L2 (R1 ) 6⊂ L1 (R1 ).
15.40 Przykład Niech Λ będzie miarą liczącą na N. Przestrzeń L1 (Λ) = {f : N →
P
|f (j)| < +∞} oznaczamy przez l1 . Podobnie, przestrzeń L2 (Λ) = {f : N →
R1 ; ∞
Pj=1
∞
1
R ; j=1 |f (j)|2 < +∞} oznaczamy przez l2 .
15.41 Fakt l1 ⊂ l2 , ale l2 6⊂ l1 .
15.42 Fakt Jeśli µ jest miarą skończoną, to L2 (µ) ⊂ L1 (µ).
15.43 Definicja Przestrzeń Lp (µ), 0 < p < +∞, dla przestrzeni z miarą (Ω, F, µ)
określamy jako
L (µ) = {f : (Ω, F) →
p
(R1 , B 1 ) ;
Z
|f |p dµ < +∞}.
Podobnie jak w przypadku przestrzeni L1 i L2 , określamy Lp (µ) jako przestrzeń ilorazową
Lp (µ)/ ∼, gdzie f ∼ g wtedy, gdy f = g µ-prawie wszędzie.
15.44 Uwagi
Przestrzenie funkcji całkowalnych
65
1. Dla 0 < p < 1, przestrzenie
Lp (µ) są zupełnymi przestrzeniami metrycznymi z
R
p
metryką dp (f, g) = |f − g| dµ.
2. Dla 1 ¬ p < +∞, przestrzenie Lp (µ) są zupełnymi przestrzeniami unormowanymi
(przestrzeniami Banacha) z normą określoną wzorem
Z
kf kp =
|f |p dµ
1/p
.
Fakt, że tak określona funkcja spełnia nierówność trójkąta nie jest oczywisty.
15.45 Fakt (Nierówność
kf kp , kgkp < +∞, to
Minkowskiego)
Niech
∈
p
[1, ∞).
Jeżeli
kf + gkp ¬ kf kp + kgkp .
Nierówność Minkowskiego wynika z kolei z
15.46 Fakt (Nierówność Höldera) Niech p, q > 1 będą takie, że
1 1
+ = 1.
p q
Dla dowolnych funkcji numerycznych na (Ω, F, µ)
Z
Z
|f | · |g| dµ ¬
|f |p dµ
1/p Z
|g|q dµ
1/q
.
15.47 Wniosek Jeżeli f ∈ Lp (µ) i g ∈ Lq (µ), gdzie 1/p + 1/q = 1, to f · g ∈ L1 (µ).
15.48 Uwaga Można pokazać, że nierówność Höldera wynika z nierówności Jensena.
15.49 Fakt (Nierówność Jensena) Niech φ : R1 → R1 będzie funkcją wypukłą. Niech
µ będzie miarą probabilistyczną na (R1 , B 1 ) taką, że
Z
|x| dµ(x) < +∞.
Wówczas
Z
φ(
x dµ(x)) ¬
Z
φ(x) dµ(x).
15.50 Wniosek Jeżeli µ jest miarą probabilistyczną na R1 i 1 ¬ p ¬ r < +∞, to
Z
|x|p dµ(x) ¬
Z
|x|r dµ(x).
66
Dodatek
Rodzaje zbieżności funkcji mierzalnych i relacje między
nimi
Ciągi funkcji mierzalnych rozważane w niniejszym paragrafie są określone na wspólnej
przestrzeni z miarą (Ω, F, µ).
15.51 Definicja Mówimy, że fn → f0 µ-prawie wszędzie, jeśli istnieje zbiór Ω0 ∈ F
taki, że µ(Ωc0 ) = 0 i dla każdego ω ∈ Ω0 , fn (ω) → f0 (ω).
15.52 Definicja Ciąg fn jest zbieżny do f0 według miary, jeśli dla każdego ε > 0
µ{ω ; |fn (ω) − f0 (ω)| > ε} → 0,
gdy n → +∞.
Zapisujemy: fn −→µ f0 .
15.53 Definicja Zbieżność w Lp , 0 < p < +∞, to zbieżność w przestrzeni Lp (µ). Tak
więc fn −→Lp f0 wtedy i tylko wtedy, gdy
Z
|fn − f0 |p dµ → 0,
gdy n → +∞.
15.54 Fakt Jeżeli µ jest miarą skończoną, to zbieżność w Lr , r > 0 pociąga zbieżność
w Lp , 0 < p ¬ r.
15.55 Fakt Zbieżność w Lp pociąga zbieżność według miary.
15.56 Uwaga Zbieżność według miary nie pociąga zbieżności w L1 ani zbieżności prawie wszędzie.
15.57 Fakt Jeżeli miara µ jest skończona, to zbieżność µ-prawie wszędzie pociąga zbieżność według miary µ. Jeśli miara µ jest nieskończona, zbieżność prawie wszędzie nie
pociąga w ogólności zbieżności według miary.
15.58 Twierdzenie (Riesza-Fischera) Ciąg zbieżny według miary zawiera podciąg
zbieżny prawie wszędzie.
15.59 Wniosek Niech µ będzie miarą skończoną. Wówczas ciąg {fn } jest zbieżny według miary do f0 wtedy i tylko wtedy, gdy w każdym podciągu {fnk } ciągu {fn } można
znaleźć podciąg {fnkl } zbieżny do f0 prawie wszędzie.
Warunkowa wartość oczekiwana zmiennej losowej
15.60 Definicja Niech (Ω, F,
będzie przestrzenią probabilistyczną i niech G ⊂ F.
P)
Jeżeli E|X|2 < +∞, to E X G jest rzutem zmiennej X na podprzestrzeń L2 (Ω, G, P)
zmiennych losowych G–mierzalnych i całkowalnych z kwadratem.
Transformata Laplace’a
67
15.61 Uwaga Z definicji wynika, że dla dowolnego Y ∈ L2 (Ω, G, P) X − E X G ⊥Y ,
tzn.
hX − E X G , Y i = E X − E X G Y = 0.
lub równoważnie
EXY = EE X G Y.
Dla spełnienia powyższej równości wystarczy, aby była ona prawdziwa tylko dla Y postaci Y = 1I C , gdzie C ∈ G.
15.62 Definicja Warunkową wartość oczekiwaną zmiennej losowej Y ∈ L1 (Ω, F, P)
względem G ⊂ F określamy jako jedyną (P -p.w.) G–mierzalną zmienną losową Z taką,
że dla dowolnego C ∈ G
EX1I C = EZ1I C .
15.63 Wniosek Niech G ⊂ H ⊂ F. Wtedy
E E X H G = E X G .
15.64 Wniosek Jeżeli Y jest G–mierzalna, |Y | ¬ K dla pewnej stałej K > 0 oraz X
jest całkowalna, to wtedy
E Y · X G = Y · E X G .
Transformata Laplace’a
15.65 Definicja Jeżeli X ­ 0, to transformatą Laplace’a zmiennej losowej X (w istocie
jej rozkładu) nazywamy funkcję
−θX
+
R 3 θ 7→ LX (θ) = Ee
Z +∞
=
0
e−θx dPX (x) ∈ R+ .
15.66 Twierdzenie Jeżeli LX = LY , to PX = PY (tzn. transformata Laplace’a identyfikuje rozkłady).
15.67 Twierdzenie Jeżeli X i Y są niezależnymi zmiennymi losowymi, to
LX+Y (θ) = LX (θ) · LY (θ).
15.68 Fakt Niech zmienna losowa X ma rozkład gamma Γ(α, λ) o gęstości
gα,λ (s) =
λα α−1 −λs
s
e 1I (0,∞) (s).
Γ(α)
Wtedy transformata Laplace’a X ma postać
LX (θ) =
λ
θ+λ
α
.
68
Dodatek
Literatura
Literatura podstawowa
1. J. Jakubowski i R. Sztencel „Wstęp do teorii prawdopodobieństwa”, Script, Warszawa 2004.
2. S. I. Resnick, Adventures in Stochastic Processes, Birkhäuser, 1994.
Literatura uzupełniająca
1. A.A. Borowkow, Rachunek prawdopodobieństwa, PWN, Warszawa 1975.
2. O. Häggström, Finite Markov chains and algorithmic applications, Cambridge University Press, Cambridge 2008.
69