Rachunek prawdopodobieństwa II

Leszek Słomiński
Rachunek prawdopodobieństwa II
Materiały dydaktyczne dla studentów matematyki przygotowane w ramach projektu
„IKS - Inwestycja w Kierunki Strategiczne na Wydziale Matematyki i Informatyki UMK"
Wydział Matematyki i Informatyki
Uniwersytet Mikołaja Kopernika
Toruń 2011
Projekt współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
Spis treści
Wstęp
5
1. Zmienne losowe i wektory losowe
1.1. Podstawowe definicje i fakty . . . . . . . . . .
1.2. Rozkłady zmiennych losowych i ich parametry
1.3. Wektory losowe i ich rozkłady . . . . . . . . .
1.4. Niezależność zmiennych losowych . . . . . . .
1.5. Zadania . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
7
7
10
16
19
23
2. Warunkowa wartość oczekiwana i rozkłady warunkowe
2.1. Warunkowa wartość oczekiwana względem zdarzenia . . .
2.2. Warunkowa wartość oczekiwana względem σ-algebry . .
2.3. Rozkłady warunkowe . . . . . . . . . . . . . . . . . . . .
2.4. Zadania . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
25
25
26
29
31
rozkładach zgodnych
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
33
33
36
39
43
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3. Ciągi niezależnych zmiennych losowych
3.1. Przestrzenie produktowe i twierdzenie Kołmogorowa o
3.2. Zbieżność szeregów niezależnych zmiennych losowych
3.3. Prawa wielkich liczb . . . . . . . . . . . . . . . . . .
3.4. Zadania . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
4. Zbieżność według rozkładu zmiennych losowych
4.1. Definicja słabej zbieżności i jej podstawowe charakteryzacje . . . . . . . .
4.2. Funkcje charakterystyczne . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3. Twierdzenia graniczne o zbieżności do rozkładu Poissona . . . . . . . . .
4.4. Centralne twierdzenia graniczne . . . . . . . . . . . . . . . . . . . . . . .
4.5. Wielowymiarowy rozkład normalny i wielowymiarowe centralne twierdzenie
graniczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.6. Zadania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5. Dodatek
5.1. Własności generatorów . . . . . . . . . . . . . .
5.2. Całka względem miary probabilistycznej . . . .
5.3. Zbieżność zmiennych losowych . . . . . . . . . .
5.4. Przestrzenie produktowe. Twierdzenie Fubiniego
Bibliografia
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
45
45
49
54
56
. 60
. 63
.
.
.
.
65
65
65
67
69
71
3
4
Indeks
Spis treści
71
Wstęp
Skrypt Rachunek prawdopodobieństwa II powstał na potrzeby studentów matematyki
II stopnia. Zakłada się w nim znajomość przez studentów materiału z podstawowego
(najczęściej 30 godzinnego) kursu z rachunku prawdopodobieństwa ze studiów licencjackich. Wykład Rachunek prawdopodobieństwa II prowadziłem na WMiI UMK w Toruniu w
roku akademickim 2011-2012 w semestrze zimowym. Miał na celu zapoznanie studentów
z bardziej zaawansowanymi zagadnieniami rachunku prawdopodobieństwa. Oparty był
głównie na książce J. Jakubowskiego i R. Sztencla Wstęp do teorii prawdopodobieństwa.
Pomocne okazały się również inne podręczniki wyszczególnione w Bibliografii. W skrypcie znalazły się także elementy wcześniejszych wykładów z rachunku prawdopodobieństwa
prowadzonych przez jego autora.
Skrypt składa się z czterech rozdziałów i dodatku.
W pierwszym z nich zebrane zostały podstawowe fakty dotyczące zmiennych losowych
i wektorów losowych. W szczególności wprowadzone zostały podstawowe definicje i oznaczenia przydatne w dalszej części skryptu. Kolejne rozdziały obejmują zagadnienia
dotyczące zarówno warunkowej wartości oczekiwanej i rozkładów warunkowych, jak i
różnorodne zagadnienia asymptotyczne w tym słabe i mocne prawa wielkich liczb oraz
twierdzenia graniczne o zbieżności do rozkładu Poissona i rozkładu normalnego. W skrypcie opuszczone zostały niektóre dłuższe i bardziej techniczne dowody twierdzeń. Kompletne dowody można znaleźć w podręczniku J, Jakubowskiego i R. Sztencla.
Do skryptu dołączone są materiały dotyczące zadań związanych z tematyką skryptu
zatytułowane Rachunek prawdopodobieństwa II. Zadania. Zawierają one kompletne rozwiązania zadań ze skryptu oraz szereg dodatkowych zadań przeznaczonych do samodzielnego
rozwiązania.
W skrypcie stosujemy następujące standardowe oznaczenia: N oznacza zbiór liczb naturalnych, R zbiór liczb rzeczywistych, Rd d-krotny produkt liczb rzeczywistych, a AT
oznacza macierz transponowaną do macierzy A.
5
Rozdział 1.
Zmienne losowe i wektory losowe
1.1. Podstawowe definicje i fakty
Niech (Ω, F, P ) będzie przestrzenią probabilistyczną.
Definicja 1.1. Mówimy, że odwzorowanie X : Ω → R jest zmienną losową na (Ω, F, P )
jeżeli dla każdego zbioru borelowskiego B ∈ B zbiór X −1 (B) = {ω : X(ω) ∈ B} ∈ F.
Ponieważ σ-algebra podzbiorów borelowskich R jest generowana przez półproste postaci
(−∞, a], a ∈ R tzn. B = σ((−∞, a] : a ∈ R), więc korzystając z twierdzenia 5.1 z Dodatku
X jest zmienną losową dokładnie wtedy, gdy X −1 ((−∞, a]) ∈ F, a ∈ R. Jeżeli symbolem
σ(X) oznaczymy σ-algebrę zbiorów generowanych przez X tzn.
σ(X) = σ(X −1 (B) : B ∈ B) = σ(X −1 ((−∞, a]) : a ∈ R),
to odwzorowanie X : Ω → R jest zmienną losową na (Ω, F, P ) jeżeli σ(X) ⊂ F.
Definicja 1.2. (i) Rozkładem prawdopodobieństwa na (R, B) nazywamy każdą miarę
probabilistyczną µ na (R, B).
(ii) Rozkładem zmiennej losowej X nazywamy rozkład prawdopodobieństwa PX na
(R, B) określony wzorem
PX (B) = P (X −1 (B)),
B ∈ B.
Przykład 1.1. Jeżeli µ jest rozkładem prawdopodobieństwa na (R, B), to istnieje przestrzeń probabilistyczna (Ω, F, P ) i określona na niej zmienna losowa X taka, że PX = µ.
W tym celu należy przyjąć Ω = R, F = B, P = µ oraz X(ω) = ω dla wszystkich ω ∈ R.
Definicja 1.3. (i) Dystrybuantą rozkładu prawdopodobieństwa µ na (R, B) nazywamy
funkcję Fµ : R → [0, 1] określoną wzorem
Fµ (a) = µ((−∞, a]),
a ∈ R.
(ii) Dystrybuantą zmiennej losowej X nazywamy dystrybuantę jej rozkładu PX i oznaczamy ją symbolem FX tzn.
FX (a) = FPX (a) = P (ω : X(ω) 6 a),
7
a ∈ R.
8
Rozdział 1. Zmienne losowe i wektory losowe
Twierdzenie 1.1. Przypuśćmy, że Fµ jest dystrybuantą rozkładu µ. Wtedy
(i) Fµ jest funkcją niemalejącą,
(ii) Fµ jest prawostronnie ciągła,
(iii) lim Fµ (x) = 0 oraz lim Fµ (a) = 1.
a→−∞
a→∞
Dowód. (i) wynika z monotoniczności µ. (ii), (iii) wynikają
T∞z kolei z ciągłości Pµ .
Istotnie, jeżeli an ↓ a, to (−∞, an ] ⊃ (−∞, an+1 ] dla n ∈ N oraz n=1 (−∞, an ] = (−∞, a].
Dlatego
lim Fµ (an ) =
n→∞
=
lim µ((−∞, an ])
n→∞
lim µ(
n→∞
∞
\
(−∞, an ]) = µ((−∞, x]) = Fµ (a),
n=1
gdyż µ jest ciągła z góry. Dowodzi to (ii). Przypuśćmy teraz, że an ↓ −∞. Wtedy, korzystając raz jeszcze z ciągłości z góry µ, dostajemy
lim Fµ (an ) = lim µ((−∞, an ]) = lim µ(
n→∞
n→∞
n→∞
∞
\
(−∞, an ]) = µ(∅) = 0.
n=1
Podobnie, jeżeli an ↑ ∞, to wykorzystując ciągłość z dołu µ otrzymujemy
lim Fµ (an ) = lim µ((−∞, an ]) = lim µ(
n→∞
n→∞
n→∞
∞
[
(−∞, an ]) = µ(R) = 1,
n=1
co kończy dowód twierdzenia. Twierdzenie 1.2. Jeżeli µ, ν są rozkładami na (R, B) oraz Fµ (a) = Fν (a) dla każdego
a ∈ R, to µ(B) = ν(B) dla każdego B ∈ B.
Dowód. W dowodzie wykorzystuje się fakt, że bezpośrednio z założenia
µ((−∞, a]) = ν((−∞, a]),
a ∈ R.
Stąd rozkłady są równe na klasie zbiorów zamkniętej ze względu na skończone przekroje
i generującej B i teza wynika z twierdzenia 5.2 z Dodatku. Wiadomo, że każda funkcja F : R → R spełniająca warunki (i)–(iii) z twierdzenia
1.1 jest dystrybuantą pewnego rozkładu µ wyznaczonego dzięki twierdzeniu 1.2 w sposób
jednoznaczny.
Przypomnijmy, że wartością oczekiwaną zmiennej losowej X na (Ω, F, P ) nazywamy
całkę z X względem prawdopodobieństwa P (patrz Dodatek) tzn.
Z
EX =
X dP.
Ω
Wartość oczekiwana istnieje jeżeli E|X| =
R
Ω
|X| dP < +∞.
Rozdział 1. Zmienne losowe i wektory losowe
9
Twierdzenie 1.3. (O zmianie miary) Niech X będzie zmienną losową na (Ω, F, P ), a
f : R → R niech będzie zadaną
funkcją borelowską. Całka Ef (X) istnieje wtedy i tylko
R
wtedy, gdy istnieje całka R f (x) PX (dx). Jeżeli całki te istnieją, to są równe tzn.
Z
Ef (X) =
f (x) PX (dx).
R
Dowód. W dowodzie wykorzystuje się indukcję mierzalną. Niech najpierw f = 1B dla
pewnego zbioru B ∈ F. Wtedy
Z
Z
1B (x) PX (dx) =
f (x) PX (dx).
Ef (X) = E1B = E1(X∈B) = P (X ∈ B) =
R
R
P
Jeżeli f jest funkcją prostą tzn. f = ni=1 bi 1Bi , gdzie b1 , ....bn ∈ R, B1 , ..., Bn ∈ F, to
wykorzystując liniowość całek i udowodnioną przed chwilą równość dla f = 1B mamy
Ef (X) = E
n
X
bi 1Bi =
i=1
n
X
bi E1(X∈Bi ) =
i=1
n
X
i=1
Z
Z
bi
1Bi (x) PX (dx) =
R
f (x) PX (dx).
R
Jeżeli f jest funkcją nieujemną, to wiadomo (patrz np. wniosek 5.2 z Dodatku), że istnieje
ciąg niemalejący funkcji nieujemnych {fn } taki, że 0 6 fn % f . Wtedy wykorzystując
twierdzenie Lebesgue’a o zbieżności monotonicznej
Z
Z
Ef (X) = lim Efn (X) = lim
fn (x) PX (dx =
f (x) PX (dx).
n→∞
n→∞
R
R
W przypadku, gdy f jest dowolną funkcją borelowską, to przedstawiamy ją w postaci
f = f + − f − , gdzie f + = max(f, 0), f − = max(−f, 0) są już fukcjami nieujemnymi.
Ponieważ |f | = f + + f − otrzymujemy stąd najpierw, że zmienna losowa f (X) jest
całkowalna dokładnie wtedy, gdy jest całkowalne względem rozkładu PX funkcja f . W
końcu z liniowości obu całek
Z
Z
Z
+
−
+
−
Ef (X) = Ef (X) − Ef (X) =
f (x) PX (dx) − f (x) PX (dx) =
f (x) PX (dx),
R
R
R
co kończy dowód twierdzenia.
Zauważmy, że wykorzystując twierdzenie o zmianie
miary w przypadku, gdy wartość
R
oczekiwana zmiennej losowej X istnieje tzn. gdy R |x| PX (dx) < +∞ zachodzi równość
Z
EX =
x PX (dx).
R
R
Podobnie zakładając istnienie wariancji , co jest równoważne faktowi, że R x2 PX (dx) <
+∞ możemy zauważyć, że
Z
Z
2
2
2
2
2
D (X) = E(X − EX) = EX − (EX) =
x PX (dx) − ( xPX (dx))2 .
R
R
10
Rozdział 1. Zmienne losowe i wektory losowe
1.2. Rozkłady zmiennych losowych i ich parametry
Rozważać będziemy głównie rozkłady dyskretne i absolutnie ciągłe i ich najprostsze
parametry jakimi są wartość oczekiwana i wariancja. Niech X będzie zmienną losową
na (Ω, F, P ). Przypomnijmy, że zmienna losowa X ma rozkład dyskretny lub że PX jest
rozkładem dyskretnym, jeżeli istnieją liczby x1 , x2 , ... ∈ R oraz p1 , p2 , ... ∈ R+ takie, że
P
∞
k=1 pk = 1 oraz
P (X = xk ) = pk , k = 1, 2, ....
(1.1)
Mówimy wtedy, że rozkład zmiennej losowej X jest skupiony na zbiorze {x1 , x2 , ...}, który
może być skończony lub nieskończony. Zauważmy, że dla takiego rozkładu dla dowolnej
funkcji borelowskiej f : RP
→ R, dla której wartość oczekiwana z f (X) istnieje, co jest
równoważne z warunkiem ∞
k=1 |f (xk )|pk < ∞, mamy
Ef (X) =
∞
X
f (xk )pk .
(1.2)
k=1
Jeżeli X ma rozkład absolutnie ciągły o gęstości p(x) tzn. taki, że dla każdego zbioru
borelowskiego B ∈ B
Z
P (X ∈ B) =
p(x) dx,
(1.3)
B
to jej wartością oczekiwaną jest liczba
Z
Ef (X) =
f (x)p(x) dx
(1.4)
R
R
przy założeniu, że R |f (x)|p(x) dx < ∞.
Kolejnym typem rozkładu jest rozkład osobliwy. Przypomnijmy, że X ma rozkład
osobliwy jeżeli dla wszystkich x ∈ R P (X = x) = 0 oraz istnieje zbiór borelowski B o
mierze Lebesgue’a równej zero taki, że P (X ∈ B) = 1. Rozkłady osobliwe nie pojawiają
się w praktycznych zastosowaniach rachunku prawdopodobieństwa i dlatego nie będziemy
się nimi zajmowali.
Twierdzenie 1.4. (Lebesgue’a o rozkładzie) Jeżeli µ jest rozkładem na (R, B) to istnieją
liczby nieujemne a, b, c, a + b + c = 1 oraz rozkłady µ1 , µ2 , µ3 odpowiednio dyskretny,
absolutnie ciągły i osobliwy takie, że
µ = aµ1 + bµ2 + cµ3 .
Twierdzenie 1.5. Jeżeli X ma rozkład absolutnie ciągły o gęstości p(x) oraz wartości
zmiennej losowej X należą do przedziału (a, b) (gdzie a, b mogą przyjmować wartości
nieskończone) oraz f : (a, b) → R jest funkcją klasy C 1 oraz f 0 (x) 6= 0, x ∈ (a, b), to
zmienna losowa Y = f (X) ma rozkład absolutnie ciągły o gęstości
g(y) = p(h(y))|h0 (y)|1f ((a,b)) (y),
gdzie h(y) = f −1 (y),a f ((a, b)) jest obrazem odwzorowania f .
Rozdział 1. Zmienne losowe i wektory losowe
11
Dowód. Funkcja f jest albo ściśle rosnąca albo malejąca. Załóżmy, że jest rosnąca.
Wtedy korzystając z twierdzenia o całkowaniu przez podstawienie dla dowolnych y1 , y2
takich , że f (a) 6 y1 < y2 6 f (b) mamy
−1
−1
FY (y2 ) − FY (y1 ) = P (y1 < Y 6 y2 ) = P (f (y1 ) < X 6 f (y2 )) =
Z y2
Z y2
−1
−1
0
p(h(y))h0 (y)dy.
p(f (y))(f (y)) dy =
=
Z
f −1 (y2 )
p(x) dx
f −1 (y1 )
y1
y1
Ponieważ przedziały (y1 , y2 ) są generatorami σ-algebry zbiorów borelowskich powyższą
równość można rozszerzyć do dowolnego zbioru borelowskiego B ∈ B.
Uwaga 1.1. Jeżeli zmienna losowa X ma rozkład absolutnie ciągły oraz f : R → R jest
funkcją borelowską, to złożenie f (X) nie musi mieć w ogólnym przypadku rozkładu absolutnie ciągłego. Jeżeli np. f (x) = a, x ∈ R, to zawsze f (X) = a ma rozkład zdegenerowany
w a.
Przykładowe rozkłady dyskretne
Niech X będzie zmienną losową na (Ω, F, P ) o rozkładzie (1.1). Wtedy zgodnie z (1.2)
jej wartość oczekiwana i wariancja są odpowiednio postaci
EX =
∞
X
xk p k ,
(1.5)
k=1
o ile
P∞
k=1
|xk |pk < +∞ oraz
2
2
2
D (X) = EX − (EX) =
∞
X
x2k pk
∞
X
−(
xk pk )2 ,
k=1
o ile
P∞
k=1
k=1
x2k pk < +∞.
Wśród rozkładów dyskretnych wyróżniamy rozkłady:
• Zdegenerowany lub jednopunktowy
Parametry: a ∈ R.
P (X = a) = 1.
Momenty: EX = a, D2 (X) = 0.
• Dwupunktowy
Parametry: a, b ∈ R, p ∈ (0, 1)
P (X = a) = p,
P (X = b) = 1 − p.
Momenty: EX = pa + (1 − p)b, D2 (X) = (a − b)2 p(1 − p).
(1.6)
12
Rozdział 1. Zmienne losowe i wektory losowe
• Bernoullego
Parametry: n ∈ N, p ∈ (0, 1).
n k n−k
P (X = k) =
p q ,
k
k = 0, 1, ..., n, gdzie q = 1 − p.
Momenty: EX = np, D2 (X) = npq.
• Ujemny dwumianowy
Parametry: r > 0, p ∈ (0, 1).
r+k−1 r k
P (X = k) =
pq ,
k
k ∈ N ∪ {0}, gdzie q = 1 − p.
Przypomnijmy, że jeżeli r nie jest liczbą naturalną, to symbol Newtona jest rozumiany jako
r+k−1
Γ(r + k)
=
,
k
Γ(r)k!
R∞
gdzie Γ(α) = 0 xα−1 e−x dx1 .
rq
rq
Momenty: EX = , D2 (X) = 2 .
p
p
• Geometryczny
Parametry: p ∈ (0, 1).
P (X = k) = pq k−1 ,
k ∈ N, gdzie q = 1 − p.
q
1
Momenty: EX = , D2 (X) = 2 .
p
p
• Przesunięty geometryczny
Parametry: p ∈ (0, 1).
P (X = k) = pq k , k ∈ N ∪ {0}, gdzie q = 1 − p.
q
q
Momenty: EX = , D2 (X) = 2 .
p
p
Jeżeli X ma rozkład geometryczny, to X − 1 ma rozkład przesunięty geometryczny.
• Poissona
Parametry: λ > 0.
P (X = k) = e−λ
λk
,
k!
k ∈ N ∪ {0}.
Momenty: EX = λ, D2 (X) = λ.
Rozkład Poissona z parametrem λ > 0 będziemy oznaczali symbolem P(λ).
1
funkcja Γ uważana jest za rozszerzenie funkcji silnia, gdyż Γ(n) = (n − 1)!, n ∈ N
Rozdział 1. Zmienne losowe i wektory losowe
13
Przykład 1.2. (Rozkład Bernoullego) Niech X ma rozkład Bernoullego z parametrami
n ∈ N i p ∈ (0, 1). Wtedy
n
n
X
X
n k
n!
n−k
EX =
pk (1 − p)n−k
k
p (1 − p)
=
k
k!(n
−
k)!
k
k=0
k=1
= np
= np
n
X
(n − 1)!
pk−1 (1 − p)n−1−(k−1)
(k − 1)!(n − 1 − (k − 1))!
k=1
n−1
X
(n − 1)!
pl (1 − p)n−1−l = np,
l!(n − 1 − l)!
l=0
ponieważ suma po prawej stronie przedostatniej równości jest równa (p + 1 − p)n−1 = 1.
Podobnie
n
n
X
X
n!
2
2 n
k
n−k
pk (1 − p)n−k
EX =
k
p (1 − p)
=
k
(k − 1)!(n − k)!
k
k=0
k=1
= n(n − 1)p2
n
X
k=2
(n − 2)!
pk−2 (1 − p)n−2−(k−2)
(k − 2)!(n − 2 − (k − 2))!
n
X
(n − 1)!
pk−1 (1 − p)n−1−(k−1)
(k
−
1)!(n
−
1
−
(k
−
1))!
k=1
n−2 n−1 X
X
n−2 l
n−1 l
2
n−2−l
= n(n − 1)p
p (1 − p)
+ np
p (1 − p)n−1−l
l
l
l=0
l=0
+np
= n(n − 1)p2 + np.
Dlatego EX 2 = n(n − 1)p2 + np. Uwzględniając, że EX = np otrzymujemy
D2 (X) = EX 2 − (EX)2 = n(n − 1)p2 + np − (np)2 = np(1 − p).
Przykład 1.3. (Rozkład Poissona) Niech X ma rozkład Poissona z parametrem λ > 0.
Najpierw zauważmy, że
∞
∞
∞
X
X
X
λk −λ
λk−1
λl
−λ
−λ
EX =
k e = λe
= λe
= λ,
k!
(k − 1)!
l!
k=1
l=0
k=0
gdyż
P∞
l=0
λl /! = eλ . Ponieważ
EX
2
=
∞
X
k=0
k
2λ
k
k!
−λ
e
=
∞
X
(k − 1 + 1)
k=1
λk
e−λ
(k − 1)!
∞
∞
X
X
λk−2
λk−1
2 −λ
−λ
= λe
+ λe
(k − 2)!
(k − 1)!
k=1
k=2
= (λ2 + λ)e−λ
∞
X
λl
l=0
l!
= λ2 + λ,
więc D2 (X) = EX 2 − (EX)2 = λ2 + λ − λ2 = λ.
14
Rozdział 1. Zmienne losowe i wektory losowe
Przykładowe rozkłady absolutnie ciągłe
Załóżmy teraz, że X ma rozkład absolutnie ciągły z gęstością p(x). Wtedy zgodnie z
(1.4)
Z
xp(x) dx,
(1.7)
EX =
R
o ile
R
R
|x|p(x) dx < +∞ oraz
2
2
2
Z
D (X) = EX − (EX) =
Z
x p(x) dx − ( xp(x) dx)2
2
R
jeżeli
R
R
(1.8)
R
x2 p(x) dx < +∞.
Wśród rozkładów absolutnie ciągłych wyróżniamy rozkłady:
• Jednostajny
Parametry: a, b ∈ R a < b.
Gęstość:
1
1(a,b) (x).
b−a
(b − a)2
b+a
, D2 (X) =
.
Momenty: EX =
2
12
p(x) =
• Normalny
Parametry: m ∈ R, σ > 0.
Gęstość:
1
(x − m)2
p(x) = √ exp {−
}.
2σ 2
σ 2π
Momenty: EX = m, D2 (X) = σ 2 . Rozkład normalny z parametrami m ∈ R, σ > 0
oznaczać będziemy dalej symbolem N (m, σ 2 ).
• Wykładniczy
Parametry: λ > 0.
Gęstość:
p(x) = λe−λx 1(0,+∞) (x).
Momenty: EX =
1
1
, D2 (X) = 2 .
λ
λ
• Gamma
Parametry: β > 0, α > 0.
Gęstość:
p(x) =
R∞
β α α−1 βx
x e 1(0,+∞) (x),
Γ(α)
xα−1 e−x dx.
α
α
Momenty: EX = , D2 (X) = 2 .
β
β
gdzie Γ(α) =
0
Rozdział 1. Zmienne losowe i wektory losowe
15
• Pareto
Parametry: α > 0, x0 > 0.
Gęstość:
αxα0
1(x ,+∞) (x).
xα+1 0
αx20
αx0
Momenty: EX =
, dla α > 1, D2 (X) =
, dla α > 2.
α−1
(α − 2)(α − 1)
p(x) =
• Lognormalny
Parametry: m ∈ R, σ > 0.
Gęstość:
p(x) =
m+σ 2 /2
Momenty: EX = e
1
√
xσ 2π
exp {−
(ln x − m)2
}1(0,+∞) (x).
2σ 2
2
2
, D2 (X) = (eσ − 1)e2m+σ .
Przykład 1.4. (Rozkład jednostajny) Niech X ma rozkład jednostajny na (a, b). Wtedy
b
Z b
Z ∞
1
1 x2 1
1(a,b) (x) dx =
x dx =
EX =
x
b−a a
b − a 2 a
−∞ b − a
b 2 − a2
a+b
=
=
.
2(b − a)
2
oraz
EX
2
Z
∞
1
1
1(a,b) (x) dx =
=
x
b−a
b−a
−∞
3
3
2
2
b −a
a + ab + b
=
=
,
3(b − a)
3
2
Z
a
b
b
1 x3 x dx =
b − a 3 a
2
co pociąga, iż
D2 (X) = EX 2 − (EX)2 =
a2 + ab + b2 (a + b)2
(a − b)2
−
=
.
3
4
12
Uwaga 1.2. Niech c, d ∈ R, c 6= 0. Jeżeli X ma rozkład normalny N (m, σ 2 ), to Y = cX+d
ma rozkład normalny N (cm + d, c2 σ 2 ). Wystarczy zastosować twierdzenie 1.5 dla funkcji
f (x) = cx + d. Rzeczywiście w tym przypadku f −1 (y) = (y − d)/c i stąd gęstość rozkładu
Y jest postaci
g(y) = p(f −1 (y))|(f −1 )0 (y)| = p(
y−d 1
1
(y − d − cm)2
√ exp {−
) =
},
c |c|
2c2 σ 2
|c|σ 2π
y ∈ R.
Przykład 1.5. (Rozkład normalny) Niech X ma rozkład normalny z parametrami m ∈ R
i σ > 0. Rozważmy najpierw zmienną losową Z = (X − m)/σ. Ponieważ Z ma rozkład
normalny N (0, 1), więc
Z
1
x2
EZ =
x √ exp(− ) dx = 0,
2
2π
R
16
Rozdział 1. Zmienne losowe i wektory losowe
gdyż funkcja podcałkowa jest antysymetryczna. Ponadto
Z
x2
2
2
2 1
√
D (Z) = EZ =
x
exp(− ) dx
2
2π
R
i korzystając z wzoru na całkowanie przez części dostajemy
+∞ Z
1
x2 1
x2
2
√ exp(− ) dx = 1.
D (Z) = −x √ exp(− )
+
2 −∞
2
2π
2π
R
Stąd EX = E(σZ + m) = σEZ + m = m oraz D2 (X) = D2 (σZ + m) = σ 2 D2 (Z) = σ 2 .
1.3. Wektory losowe i ich rozkłady
Niech B d oznacza σ-algebrę podzbiorów borelowskich Rd , d ∈ N.
Definicja 1.4. d-wymiarowym wektorem losowym na (Ω, F, P ) nazywamy odwzorowanie
X̄ = (X1 , ..., Xd )T : Ω → Rd takie, że dla każdego B ∈ B d X̄ −1 (B) ∈ F.
Ponieważ B d jest generowana przez zbiory postaci ×di=1 (∞, ai ], ai ∈ R, więc z twierdzenia
5.1 z Dodatku wynika, że X̄ : Ω → Rd jest wektorem losowym wtedy i tylko wtedy, gdy
X̄ −1 (×di=1 (−∞, ai ]) ∈ F,
ai ∈ R, i = 1, ..., d.
Ponieważ
X̄
−1
(×di=1 (−∞, ai ])
=
d
\
Xi−1 ((−∞, ai ])
i=1
oznacza to, że X̄ jest wektorem losowym na (Ω, F, P ) dokładnie wtedy, gdy jego współrzędne
tzn. odwzorowania Xi : Ω → R są zmiennymi losowymi na (Ω, F, P ).
Definicja 1.5. (i) Rozkładem prawdopodobieństwa na (Rd , B d ) nazywamy każdą miarę
probabilistyczną µ na (Rd , B d ).
(ii) Rozkładem wektora losowego X̄ nazywamy rozkład prawdopodobieństwa PX̄ na
(Rd , B d ) określony wzorem
PX̄ (B) = P (X̄ −1 (B)),
B ∈ Bd .
Definicja 1.6. (i) Dystrybuantą rozkładu prawdopodobieństwa µ na (Rd , B d ) nazywamy funkcję Fµ : Rd → [0, 1] określoną wzorem
Fµ (ā) = Fµ (a1 , ..., ad ) = µ(×di=1 (−∞, ai ]),
ā = (a1 , ..., ad )T ∈ Rd .
(ii) Dystrybuantą wektora losowego X̄ nazywamy dystrybuantę jej rozkładu PX̄ i oznaczamy ją symbolem FX̄ lub F(X1 ,...,Xd ) tzn.
FX̄ (ā) = FX̄ (a1 , ..., ad ) = P (X̄ ∈ ×di=1 (−∞, ai ]) = P (X1 6 a1 , ..., Xd 6 ad ).
Rozdział 1. Zmienne losowe i wektory losowe
17
Uwaga 1.3. (a) Dystrybuanta rozkładu na (Rd , B d ) ma podobne własności i znaczenie jak dystrybuanta rozkładu jednowymiarowego. W szczególności jeżeli µ, ν są
rozkładami (Rd , B d ) oraz Fµ = Fν , to µ = ν.
(b) W przypadku wielowymiarowym bardzo podobnie jak w jednowymiarowym definiujemy rozkłady dyskretne, absolutnie ciągłe i osobliwe. W tym przypadku prawdziwa
jest też wersja twierdzenia Lebesgue’a o rozkładzie.
Definicja 1.7. (i) Wartością oczekiwaną wektora losowego X̄ = (X1 , ..., Xd )T nazywamy wektor
E X̄ = (EX1 , ..., EXd )T ,
o ile wszystkie współrzędne mają wartość oczekiwaną.
(ii) Macierzą kowariancji wektora losowego X̄ nazywamy macierz
Cov(X̄) = [cov(Xi , Xj )]i,j=1,...,d
tzn. Cov(X̄)ij = cov(Xi , Xj ) = E(Xi − EXi )(Xj − EXj ) dla i, j = 1, ..., d, o ile
wszystkie kowariancje cov(Xi , Xj ) są dobrze określone. Wariancją wektora X̄ nazywamy ślad macierzy Cov(X̄) tzn,
d
X
D (X̄) = E
(Xi − EXi )2 = E||X̄ − E X̄||2 ,
2
i=1
gdzie ||ā|| =
qP
d
i=1
a2i , ā = (a1 , ..., ad )T ∈ Rd .
Nietrudno zauważyć, że wartość oczekiwana wektorów losowych posiada własność liniowości czyli dla dowolnych stałych a, b ∈ R i dowolnych całkowalnych wektorów X̄, Ȳ
(tzn. takich, że E||X||, E||Y || < +∞) zachodzi równość
E(aX̄ + bȲ ) = aE X̄ + bE Ȳ .
Macierz kowariancji jest symetryczna i nieujemnie określona. Rzeczywiście
Cov(X̄)ij = E(Xi − EXi )(Xj − EXj ) = E(Xj − EXj )(Xi − EXi ) = Cov(X̄)ji
oraz dla każdego ā = (a1 , ..., ad )T ∈ Rd
< ā, Cov(X̄)ā > =
d
X
i=1
= E
ai
d
X
cov(Xi , Xj )aj
j=1
d X
d
X
(Xi − EXi )ai (Xj − EXj )aj = E|
i=1 j=1
d
X
(Xi − EXi )|2 > 0,
i=1
Pd
d
gdzie < ā, b̄ >=
i=1 ai bi jest iloczynem skalarnym w R . Dla wektorów losowych
prawdziwe jest również twierdzenie o zmianie miary. Jeżeli f : RRd → R jest odwzorowaniem
borelowskim, to Ef (X̄) istnieje dokładnie wtedy, gdy istnieje Rd f (x̄) PX̄ (dx̄). Jeżeli istnieją, to są równe tzn.
Z
Ef (X̄) =
f (x̄) PX̄ (dx̄).
Rd
18
Rozdział 1. Zmienne losowe i wektory losowe
Twierdzenie 1.6. Jeżeli X̄ jest d-wymiarowym wektorem losowym z wartością oczekiwaną E X̄ i macierzą kowariancji Cov(X̄), C jest macierzą d × m wymiarową, a ā ∈ Rm ,
to Ȳ = C X̄ + ā jest wektorem losowym m-wymiarowym, dla którego
(i) E Ȳ = CE X̄ + ā,
(ii) Cov(Ȳ ) = C ◦ Cov(X̄) ◦ C T .
Dowód. Zauważmy najpierw, że dla dowolnych x̄, ȳ ∈ Rd zachodzą równości
< ȳ, E X̄ >= E < ȳ, X̄ >,
(1.9)
< x̄, Cov(X̄)ȳ >= cov(< x̄, X̄ >, < ȳ, X̄ >).
(1.10)
Pierwsza z nich wynika w prosty sposób z definicji iloczynu skalarnego i liniowości wartości
oczekiwanej. W celu uzasadnienia drugiej zauważmy, że
< x̄, Cov(X̄)ȳ > = E
d X
d
X
xi (Xi − EXi )yj (Xj − EXj )
i=1 j=1
= E < x̄, X̄ − E X̄ >< ȳ, X̄ − E X̄ >
= E(< x̄, X̄ > − < x̄, E X̄ >)(< ȳ, X̄ > − < ȳ, E X̄ >)
= cov(< x̄, X̄ >, < ȳ, X̄ >).
Wykorzystując wielokrotnie (1.9) i (1.10) dla dowolnych x̄, ȳ ∈ Rn mamy
< x̄, EC X̄ > = E < x̄, C X̄ >= E < C T x̄, X̄ >
= < C T x̄, E X̄ >=< x̄, CE X̄ >
oraz
< x̄, Cov(C X̄)ȳ > =
=
=
=
cov(< x̄, C X̄ >, < ȳ, C X̄ >)
cov(< C T x̄, X̄ >, < C T ȳ, X̄ >)
< C T x̄, Cov(X̄)C T ȳ >
< x̄, C ◦ Cov(X̄) ◦ C T ȳ > .
Z dowolności x̄, ȳ wnioskujemy tezę twierdzenia dla ā = 0. Aby uzyskać przypadek ogólny
wystarczy zauważyć, że dla dowolnego wektora losowego Z̄ zachodzą równości E(Z̄ + ā) =
E Z̄ + ā i Cov(Z̄ + ā) = Cov(Z̄). Twierdzenie 1.7. Jeżeli wektor losowy X̄ ma rozkład absolutnie ciągły o gęstości p(x̄) i
zbór wartości X̄ zawiera się w pewnym zbiorze otwartym U ⊂ Rd . Jeżeli T : U → V =
T (U ) jest dyfeomorfizmem zbiorów otwartych (tzn. T jest klasy C 1 , różnowartościowe,
det DT (x) 6= 0 dla x ∈ U ), to wektor losowy Ȳ = T (X̄) ma rozkład absolutnie ciągły o
gęstości
g(ȳ) = p(H(ȳ))| det DH(ȳ)1T (U )) (ȳ),
gdzie H(ȳ) = T −1 (ȳ).
Przypomnijmy, że DH jest macierzą Jacobiego tzn. macierzą postaci
DH(ȳ) = [
∂Hi
(ȳ)]i,j=1,...,d .
∂yj
Rozdział 1. Zmienne losowe i wektory losowe
19
1.4. Niezależność zmiennych losowych
Niech (Ω, F, P ) będzie przestrzenią probabilistyczną, d ∈ N.
Definicja 1.8. (i) Zmienne losowe X1 , ..., Xd określone na (Ω, F, P ) nazywamy niezależnymi , jeżeli dla dowolnych zbiorów borelowskich B1 , ..., Bd
P (X1 ∈ B1 , ..., Xd ∈ Bd ) = P (X1 ∈ B1 ) · ... · P (Xd ∈ Bd ).
(1.11)
(ii) Zmienne losowe {Xi }i∈I tworzą rodzinę zmiennych losowych niezależnych jeżeli ich
każdy skończony podzbiór składa się ze zmiennych losowych niezależnych.
Uwaga 1.4. Jeżeli {Xi }i∈I tworzy rodzinę zmiennych losowych niezależnych oraz I0 ⊂ I,
to {Xi }i∈I0 też tworzy rodzinę niezależnych zmiennych losowych.
Definicja 1.9. (i) Rozkładem łącznym zmiennych losowych X1 , ..., Xd nazywamy rozkład
wektora losowego X̄ = (X1 , ..., Xd )T . Oznaczamy go symbolem P(X1 ,...,Xd ) .
(ii) Rozkładami brzegowymi P(X1 ,...,Xd ) nazywamy rozkłady jego poszczególnych współrzędnych PX1 ,..., PXd .
Uwaga 1.5. Jeżeli X1 , ..., Xd są niezależnymi zmiennymi losowymi, to ich rozkład łączny
jest wyznaczony przez rozkłady brzegowe. W istocie można pokazać ogólniejszy fakt.
Twierdzenie 1.8. Dla zmiennych losowych X1 , ..., Xd na (Ω, F, P ) następujące warunki
są równoważne:
(i) zmienne losowe są niezależne,
(ii) P(X1 ,...,Xd ) = PX1 × ... × PXd ,
(iii) dla wszystkich a1 , ..., ad ∈ R
F(X1 ,...,Xd ) (a1 , ..., ad ) = FX1 (a1 ) · ... · FXd (ad ).
Dowód. (i)⇒(ii) Wykorzystując (1.11) dla dowolnych zbiorów borelowskich B1 , ..., Bd
P(X1 ,...,Xd ) (B1 × ... × Bd ) =
=
=
=
P (X1 ∈ B1 , ..., Xd ∈ Bd )
P (X1 ∈ B1 ) · ... · P (Xd ∈ Bd )
PX1 (B1 ) · ... · PXd (Bd )
PX1 × ... × PXd (B1 × ... × Bd ).
Ponieważ klasa prostokątów mierzalnych generuje B d i jest zamknięta ze względu na skończone przekroje więc wykorzystując twierdzenie 5.2 z Dodatku P(X1 ,...,Xd ) = PX1 ×...×PXd .
(ii)⇒(i) Wykorzystując (ii) dla dowolnych zbiorów borelowskich B1 , ..., Bd
P (X1 ∈ B1 , ..., Xd ∈ Bd ) = P(X1 ,...,Xd ) (B1 × ... × Bd )
= PX1 (B1 ) · ... · PXd (Bd )
= P (X1 ∈ B1 ) · ... · P (Xd ∈ Bd ),
20
Rozdział 1. Zmienne losowe i wektory losowe
co oznacza niezależność X1 , ..., Xd .
(i)⇒(iii) W (1.11) podstawiamy Bi = (−∞, ai ], i = 1, ..., d.
(iii)⇒(ii) Powtarzamy rozumowanie z uzasadnienia pierwszej implikacji. Dla dowolnych a1 , ..., ad ∈ R
P(X1 ,...,Xd ) (×di=1 (−∞, ai ]) =
=
=
=
F(X1 ,...,Xd ) (a1 , ..., ad )
FX1 (a1 ) · ... · FXd (ad )
P (X1 6 a1 , ..., Xd 6 ad )
PX1 × ... × PXd (×di=1 (−∞, ai ]).
Ponieważ klasa zbiorów postaci ×di=1 (−∞, ai ], a1 , ..., ad ∈ R także generuje B d i jest
zamknięta ze względu na skończone przekroje więc ponownie wykorzystując twierdzenie
5.2 dowód jest zakończony. Wniosek 1.1. Jeżeli zmienne losowe X1 , ..., Xd mają rozkłady dyskretne, to są one niezależne wtedy i tylko wtedy, gdy dla dowolnych x1 , ..., xd ∈ R takich, że P (Xi = xi ) > 0,
i = 1, 2..., d
P (X1 = x1 , ..., Xd = xd ) = P (X1 = x1 ) · ... · P (Xd = xd ).
(1.12)
Dowód. Aby pokazać, że z niezależności wynika (1.12) wystarczy w (1.11) podstawić
Bi = {xi }, i = 1, 2, ..., d. W celu dowodu odwrotnej tezy oznaczmy
Ji (a) = {x : P (Xi = x) > 0, x 6 a},
i = 1, 2, ..., d, a ∈ R
i zauważmy, że korzystając z (1.12) dla dowolnych a1 , ..., ad ∈ R
F(X1 ,...,Xd ) (a1 , ..., ad ) =
X
P (X1 = x1 , ..., Xd = xd )
xi ∈Ji (ai ), i=1,...,d
=
X
P (X1 = x1 ) · ... · P (Xd = xd )
xi ∈Ji (ai ), i=1,...,d
=
X
X
P (X1 = x1 ) · ... ·
x1 ∈J1 (a1 )
P (Xd = xd )
xd ∈Jd (ad )
= FX1 (a1 ) · ... · FXd (ad ),
a więc spełniony jest warunek (iii) z twierdzenia 1.8. Wniosek 1.2. Jeżeli zmienne losowe X1 , ..., Xd mają rozkłady absolutnie ciągłe z gęstościami odpowiednio p1 (x1 ),...,pd (xd ), to są one niezależne wtedy i tylko wtedy, gdy P(X1 ,...,Xd )
jest rozkładem absolutnie ciągłym z gęstością
p(x1 , ..., xd ) = p1 (x1 ) · ... · pd (xd ),
(1.13)
gdzie powyższa równość zachodzi prawie wszędzie względem d-wymiarowej miary Lebesgue’a
Rozdział 1. Zmienne losowe i wektory losowe
21
Dowód. Kluczowym elementem dowodu jest spostrzeżenie, że dzięki (1.13) i twierdzeniu Fubiniego dla dowolnych a1 , ..., ad ∈ R
Z
Z
F(X1 ,...,Xd ) (a1 , ..., ad ) =
...
p(x1 , ..., xd )dx1 ...dxd
(−∞,ai ]
(−∞,ad ]
Z
Z
...
p1 (x1 ) · .. · pd (xd )dx1 ...dxd
=
(−∞,ai ]
(−∞,ad ]
Z
Z
p1 (x1 )dx1 · .. ·
pd (xd )dxd
=
(−∞,ai ]
(−∞,ad ]
= FX1 (a1 ) · ... · FXd (ad ).
Przypomnijmy, że zdarzenia A1 , ..., Ad na (Ω, F, P ) nazywamy niezależnymi jeżeli dla
dowolnych podzbiorów {i1 , ..., in } ⊂ {1, ..., d}, n 6 d spełniony jest warunek
P (Ai1 ∩ ... ∩ Ain ) = P (Ai1 ) · ... · P (Ain ).
Wniosek 1.3. Zdarzenia A1 , ..., Ad są niezależne wtedy i tylko wtedy, gdy niezależne są
zmienne losowe 1A1 , ..., 1Ad .
Dowód. Wynika z definicji niezależności zdarzeń i kryterium niezależności dla dyskretnych zmiennych losowych. Definicja 1.10. (i) σ-algebry F1 , ..., Fd na (Ω, F, P ) nazywamy niezależnymi , jeżeli
dla dowolnych zdarzeń A1 ∈ F1 ,..., Ad ∈ Fd
P (A1 ∩ ... ∩ Ad ) = P (A1 ) · ... · P (Ad ).
(1.14)
(ii) σ-algebry {Fi }i∈I tworzą rodzinę niezależnych σ-algebr jeżeli ich każdy skończony
podzbiór składa się z σ-algebr niezależnych.
Z wykorzystaniem pojęcia niezależności σ-algebr można udowodnić następującą charakteryzację niezależności zmiennych losowych.
Twierdzenie 1.9. Dla zmiennych losowych X1 , ..., Xd na (Ω, F, P ) następujące warunki
są równoważne:
(i) zmienne losowe są niezależne,
(ii) σ-algebry σ(X1 ),...,σ(Xd ) są niezależne,
(iii) dla wszystkich funkcji borelowskich f1 , ..., fd : R → R zmienne losowe f1 (X1 ),...,fd (Xd )
są niezależne.
Twierdzenie 1.10. Jeżeli X, Y są niezależnymi, całkowalnymi zmiennymi losowymi, to
(i) ich iloczyn XY jest całkowalną zmienną losową,
22
Rozdział 1. Zmienne losowe i wektory losowe
(ii) EXY = EX EY .
Dowód. Ad. (i) W dowodzie wykorzystamy twierdzenie o zmianie miary i twierdzenie Fubiniego dla zmiennych losowych nieujemnych. Zauważmy, że dzięki charakteryzacji
niezależności z części (ii) twierdzenia 1.3 oraz dzięki wymienionym dwóm twierdzeniom
Z
Z
E|XY | =
|xy| P(X,Y ) (dx, dy) =
|x| |y| PX × PY (dx, dy)
2
R2
ZR
Z
=
|x| PX (dx) |y| PY (dy) = E|X| E|Y | < +∞.
R
R
Ad. (ii) Wystarczy powtórzyć argumenty z (i) stosując twierdzenie Fubiniego dla zmiennych losowych całkowalnych. Wtedy
Z
Z
EXY =
xy P(X,Y ) (dx, dy) =
x y PX × PY (dx, dy)
2
2
R
R
Z
Z
x PX (dx) y PY (dy) = EX EY,
=
R
R
co kończy dowód. Bezpośrednio z powyższego twierdzenia i twierdzenia 1.9 wynika następujący fakt.
Wniosek 1.4. Jeżeli X1 , ..., Xd są niezależnymi zmiennymi losowymi, a f1 , ..., fd : R → R
są funkcjami borelowskimi, dla których zmienne losowe fi (Xi ) są całkowalne, i = 1, ..., d,
to
Ef1 (X1 ) · ... · fd (Xd ) = Ef1 (X1 ) · ... · Efd (Xd ).
Definicja 1.11. (i) Mówimy, że zdarzenia {Ai }i∈I są niezależne parami jeżeli dla wszystkich i, j ∈ I, i 6= j zdarzenia Ai i Aj są niezależne.
(ii) Mówimy, że zmienne losowe {Xi }i∈I są niezależne parami jeżeli dla wszystkich i, j ∈
I, i 6= j zmienne losowe Xi i Xj są niezależne.
Przykład 1.6. (Przykład Bernsteina) Niezależność parami nie implikuje niezależności
łącznej. Weźmy Ω = {ω1 , ω2 , ω3 , ω4 } z prawdopodobieństwem klasycznym P ({ωi }) = 1/4.
Niech A = {ω1 , ω2 }, B = {ω1 , ω3 }, a C = {ω1 , ω4 }. Ponieważ P (A) = P (B) = P (C) = 1/2
oraz P (A∩B) = P (A∩C) = P (B∩C) = 1/4, więc zdarzenia A, B, C są niezależne parami.
Z drugiej strony
1
1
P (A ∩ B ∩ C) = 6= = P (A)P (B)P (C),
4
8
co pociąga iż A, B, C nie są niezależne.
Definicja 1.12. Mówimy, że zmienne losowe {Xi }i∈I są nieskorelowane, jeżeli dla wszystkich i, j ∈ I, i 6= j, cov(Xi , Xj ) = 0.
Zauważmy, że z twierdzenia 1.10 wynika, iż zmienne losowe niezależne posiadające
kowariancję są nieskorelowane. Rzeczywiście w tym przypadku
cov(Xi , Xj ) = E(Xi − EXi )(Xj − EXj ) = EXi Xj − EXi EXj = 0.
Rozdział 1. Zmienne losowe i wektory losowe
23
Twierdzenie 1.11. Jeżeli X1 , ..., Xd są nieskorelowanymi zmiennymi losowymi o skończonej wariancji, to
d
d
X
X
2
D (
Xi ) =
D2 (Xi ).
i=1
i=1
Dowód. Nietrudno zauważyć, że
d
d
d
d
X
X
X
X
2
D (
Xi ) = E(
Xi − E(
Xi )) = E( (Xi − EXi ))2
2
i=1
= E{
i=1
d
X
i=1
(Xi − EXi )2 + 2
i=1
=
i=1
d
X
X
(Xi − EXi )(Xj − EXj )}
16i<j6d
2
D (Xi ) + 2
i=1
X
cov(Xi , Xj ) =
16i<j6d
d
X
D2 (Xi ).
i=1
Definicja 1.13. Współczynnikiem korelacji zmiennych losowych X, Y o skończonej wariancji nazywamy liczbę
(
√ 2cov(X,Y
√ )2
jeżeli D2 (X)D2 (Y ) 6= 0
D
(X)
D
(Y
)
ρX,Y =
0
w przeciwnym razie.
Współczynnik korelacji ρX,Y jest miarą zależności pomiędzy X i Y . Jeżeli X, Y są
niezależne, to cov(X, Y ) = 0 i ρX,Y = 0. Z drugiej strony ρX,X = 1, a ρX,−X = −1.
Ogólnie prawdziwy jest następujący fakt.
Twierdzenie 1.12.
(i) |ρX,Y | 6 1,
(ii) |ρX,Y | = 1 wtedy i tylko wtedy, gdy istnieją stałe a, b ∈ R, a 6= 0 takie, że X = aY +b
lub Y = aX + b.
1.5. Zadania
Zad. 1.1. Niech X będzie zmienną losową o rozkładzie absolutnie ciągłym z gęstością
p(x). Jaki rozkład ma zmienna losowa Y = cX + d dla c, d ∈ R, c 6= 0.
Zad. 1.2. Pokazać, że jeżeli X jest zmienną losową o rozkładzie normalnym N (0, 1), to
Y = X 2 ma rozkład o gęstości
g(y) = √
1
y
exp(− )1(0,∞) (y),
2
2πy
y ∈ R+ .
Zad. 1.3. Podaj przykład zmiennych losowych nieskorelowamych, ale zależnych.
24
Rozdział 1. Zmienne losowe i wektory losowe
Zad. 1.4. Niech X1 , ..., Xn będą niezależnymi zmiennymi losowymi o tym samym rozkładzie
dwupunktowym takim, że dla ustalonego p ∈ (0, 1)
P (Xi = 0) = 1 − p, i = 1, ..., n.
P
Pokazać, że zmienna losowa Sn = ni=1 Xi ma rozkład Bernoullego z parametrami
n oraz p tzn.
n k
P (Sn = k) =
p (1 − p)n−k , k = 0, 1, ..., n.
k
P (Xi = 1) = p,
Zad. 1.5. Rozkład łączny zmiennych losowych X, Y dany jest wzorem
P ((X, Y ) = (m, n)) =
c
3m+1 2n
,
m, n ∈ N ∪ {0}
dla pewnego c > 0. (a) Wyznacz c. Znajdź rozkłady brzegowe X i Y . Czy są to
zmienne losowe niezależne? Czy są one nieskorelowane? (b)Wyznacz P (X = Y ),
wartość oczekiwaną i macierz kowariancji wektora (X, Y )T . (c) Wyznacz rozkład
zmiennej Z = X + Y .
Zad. 1.6. Przedmiot można zaliczyć do pierwszego gatunku z prawdopodobieństwem p1 ,
do drugiego gatunku z prawdopodobieństwem p2 lub uznać za wadliwy z prawdopodobieństwem p3 = 1 − p1 − p2 . Przetestowano n przedmiotów. Wyznaczyć rozkład
prawdopodobieństwa różnych liczb przedmiotów pierwszego i drugiego gatunku, ich
wartości oczekiwane i kowariancję.
Zad. 1.7. Dana jest funkcja
(
cxy
p(x, y) =
0
1 6 x 6 2, 2 6 y 6 4
w przeciwnym razie.
Wyznacz stała c tak, aby funkcja ta była gęstością rozkładu. Wyznacz w tym przypadku gęstości rozkładów brzegowych.
Zad. 1.8. Wektor (X, Y )T ma rozkład o gęstości
5
p(x, y) = 1(0,2x] (y)1(0,∞) (x)e−x−2y .
2
Znajdź gęstości brzegowe zmiennych X i Y oraz sprawdź, czy zmienne te są niezależne.
Zad. 1.9. Zmienne losowe X1 i X2 są niezależne i mają rozkłady absolutnie ciągłe o
gestościach odpowiednio równych p1 (x1 ), p2 (x2 ). Wyznacz gęstość zmiennej losowej
Z = aX1 + bX2 .
Zad. 1.10. Niech X1 i X2 będą niezależnymi zmiennymi losowymi o jednakowym rozkładzie
X1
jednostajnym na odcinku (0, 1). Znajdź gęstość zmiennej losowej Z = X
.
2
Rozdział 2.
Warunkowa wartość oczekiwana i
rozkłady warunkowe
2.1. Warunkowa wartość oczekiwana względem zdarzenia
Niech (Ω, F, P ) będzie przestrzenią probabilistyczną i niech A ∈ F będzie zdarzeniem
takim, ze P (A) > 0. Wiadomo, że odwzorowanie PA : F → [0, 1] zadane wzorem
PA (B) = P (B|A) =
P (A ∩ B)
,
P (A)
B∈F
jest prawdopodobieństwem na (Ω, F) i nazywamy je prawdopodobieństwem warunkowym.
Niech X będzie całkowalną zmienną losową na (Ω, F, P ).
Definicja 2.1. Warunkową wartością oczekiwaną zmiennej losowej X względem zdarzenia
A nazywamy liczbę
Z
X dPA .
E(X|A) =
Ω
Nietrudno zauważyć, że
1
E(X|A) =
P (A)
Z
X dP.
A
Aby to formalnie uzasadnić należy wykorzystać indukcję mierzalną. Dla X = 1B , B ∈ F
oczywistym jest, że
Z
Z
1
P (A ∩ B)
=
1B dP.
1B dPA = P (B|A) =
P (B)
P (A) A
Ω
Kolejne kroki indukcji mierzalnej w których X jest zmienną losową prostą, nieujemną i
całkowalną łatwo wynikają z liniowości całki i twierdzenia Lebesgue’a o zbieżności całki.
Twierdzenie 2.1. (Odpowiednik wzoru na Sprawdopodobieństwo całkowite) Jeżeli
{A1 , A2 , ...} stanowi rozbicie przestrzeni Ω tzn. ∞
i=1 Ai = Ω, gdzie Ai ∈ F, P (Ai ) > 0,
Ai ∩ Aj = ∅, j 6= i, i, j ∈ N, to
EX =
∞
X
E(X|Ai )P (Ai ).
i=1
25
26
Rozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe
Dowód. Wynika z ciągu równości
∞ Z
X
Z
EX =
X dP =
Ω
i=1
∞
X
=
X dP =
Ai
∞
X
i=1
1
P (Ai )
P (Ai )
Z
X dP
Ai
P (Ai )E(X|Ai ).
i=1
Definicja 2.2. Jeżeli {A1 , A2 , ...} stanowi rozbicie przestrzeni Ω oraz G = σ(Ai : i ∈ N),
to warunkową wartością oczekiwaną zmiennej losowej X względem G nazywamy zmiennę
losową E(X|G) równą
∞
X
E(X|G) =
E(X|Ai )1Ai .
i=1
Zauważmy, że tak określona zmienna losowa jest G-mierzalna oraz dla każdego zbioru
B ∈ G zachodzi równość
Z
Z
X dP =
E(X|G) dP.
B
B
S
Istotnie, jeżeli B ∈ G, to jest postaci B = k∈K Aik , gdzie K jest skończony lub przeliczalny.
Stąd
Z
X
XZ
E(X|Aik )P (Aik )
=
X dP =
B
k∈K
=
Aik
k∈K
XZ
E(X|Aik )dP =
Z X
B k∈K
Aik
k∈K
Z
E(X|G) dP.
=
E(X|Aik )1Aik dP
B
2.2. Warunkowa wartość oczekiwana względem σ-algebry
Definicja 2.3. Niech G ⊂ F będzie σ-algebrą zbiorów, a X całkowalną zmienną losową
na (Ω, F, P ). Warunkową wartością oczekiwaną X względem G nazywamy zmiennę losową
E(X|G) spełniającą warunki
(i) E(X|G) jest G-mierzalna,
(ii) dla każdego zbioru B ∈ G
Z
Z
X dP =
B
E(X|G) dP.
B
Twierdzenie 2.2. Dla dowolnej σ-algebry G ⊂ F i całkowalnej zmiennej losowej X
istnieje wyznaczona jednoznacznie (P -p.w.) warunkowa wartość oczekiwana.
Rozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe
27
Zauważmy, że jeżeli G = {∅, Ω}, to warunkowa wartość oczekiwana pokrywa się z klasyczną wartością oczekiwaną tzn. E(X|G) = EX. Z kolei w przypadku, gdy X jest zmienną
losową G-mierzalną to E(X|G) = X. Bezpośrednio z definicji wynikają też następujące
własności warunkowej wartości oczekiwanej.
Twierdzenie 2.3. (Podstawowe własności warunkowej wartości oczekiwanej) Niech X, Y
będą całkowalnymi zmiennymi losowymi, a G ⊂ F niech będzie zadaną σ-algebrą zbiorów.
(i) Dla dowolnych a, b ∈ R
E(aX + bY |G) = aE(X|G) + bE(Y |G).
(ii) Jeżeli X 6 Y , to E(X|G) 6 E(Y |G).
(iii) |E(X|G)| 6 E(|X| |G).
Nietrudno zauważyć, że jeżeli zmienna losowa X jest niezależna od σ-algebry G, to
E(X|G) = EX. Istotnie, ponieważ EX jako stała jest mierzalna względem każdej σalgebry, wystarczy w tym celu pokazać, że dla każdego A ∈ G
Z
Z
X dP =
EX dP.
A
A
Niech A ∈ G. Ponieważ X jest niezależna od G więc zmienne losowe 1A , X są niezależne.
Stąd i z twierdzenia 1.10
Z
Z
Z
Z
X dP
1A dP
1A X dP =
X dP =
Ω
Ω
Ω
A
Z
= P (A)EX =
EX dP.
A
P
Jeżeli {Xn } jest ciągiem zmiennych losowych na (Ω, F, P ) takim, że Xn −
→ X oraz
istnieje całkowalna zmienna losowa Y , dla której |Xn | 6 Y , n ∈ N, to
P
E(Xn |G) −−−→ E(X|G).
(2.1)
Wynika to w istocie z mocniejszej zbieżności E|Xn − X| → 0 gdyż bezpośrednio z
twierdzenia 2.3(iii) i wniosku 5.1
E|E(Xn |G) − E(X|G)| = E|E(Xn − X|G)| 6 EE(|Xn − X| |G) = E|Xn − X| → 0.
Z drugiej strony dla każdego > 0
P (|E(Xn |G) − E(X|G)| > ) 6 −1 E|E(Xn |G) − E(X|G)|,
co pociąga (2.1). Aby uzyskać zbieżność warunkowych wartości oczekiwanych P -p.w.
musimy zakładać zbieżność w tym samym sensie wyjściowego ciągu zmiennych losowych.
Dowód w tym przypadku jest dużo trudniejszy dlatego go opuszczamy.
28
Rozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe
Twierdzenie 2.4. Jeżeli {Xn } jest ciągiem zmiennych losowych na (Ω, F, P ) takim, że
Xn → X P -p.w. oraz istnieje całkowalna zmienna losowa Y dla, której |Xn | 6 Y , n ∈ N,
to
E(Xn |G) → E(X|G) P -p.w.
Twierdzenie 2.5. Jeżeli zmienna losowa X jest G-mierzalna oraz zmienne losowe Y i
XY są całkowalne, to
E(XY |G) = X E(X|G).
Twierdzenie 2.6. Jeżeli zmienna losowa X jest całkowalna i są dane dwie σ-algebry G1 ,
G2 takie, że G1 ⊂ G2 ⊂ F, to
E(E(X|G2 )|G1 ) = E(X|G1 ).
Na zakończenie tego podrozdziału podamy przykłady praktycznego wyliczenia warunkowych wartości oczekiwanych. Przyjmiemy wygodną konwencję, że w przypadku gdy σalgebra G jest generowana przez zmienną losową Y tzn. G = σ(Y ), to warunkową wartość
oczekiwaną E(X|G) = E(X|σ(Y )) będziemy oznaczali symbolem E(X|Y ).
Przykład 2.1. Niech {Xn } będzie ciągiem niezależnych zmiennych losowych o tym
samym rozkładzie, a N niech będzie zmienną losową o wartościach w N ∪ {0} niezależną
od {Xn }. Będziemy rozważali losowe sumy
SN = X1 + X2 + ... + XN .
(2.2)
Sumy takiej postaci mają praktyczne zastosowania w modelach teorii ryzyka. Jeżeli E|X1 | <
+∞ oraz EN < +∞, to
E(SN |N ) = N E(X1 ).
(2.3)
Aby to uzyskać zauważmy, że bezpośrednio z definicji warunkowej wartości oczekiwanej
w przypadku σ-algebry generowanej przez rozbicie
E(SN |N ) =
=
∞
X
i=0
∞
X
E(SN |N = i)1{N =i} =
∞
X
E(Si |N = i)1{N =i}
i=0
E(Si )1{N =i} =
i=0
∞
X
iE(X1 )1{N =i}
i=0
= E(X1 )N.
Całkując (2.3) otrzymujemy równość
E(SN ) = E(X1 )E(N ))
nazywaną często tożsamością Walda.
Rozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe
29
2.3. Rozkłady warunkowe
Niech X, Y będą zmiennymi losowymi na (Ω, F, P ). Załóżmy dodatkowo, że X jest
całkowalna.
Twierdzenie 2.7. Istnieje funkcja borelowska h : R → R taka, że
E(X|Y ) = h(Y ).
Dowód. W dowodzie wykorzystuje się fakt, że jeżeli dowolna zmienna losowa Z jest
σ(Y ) mierzalna, to istnieje funkcja borelowska h : R → R taka, że Z = h(Y ). Uzasadnimy
dokładnie powyższy
fakt w przypadku, gdy Z jest prostą zmienną losową. Niech
Pn
Sn Z będzie
postaci Z + i=1 ai 1Ai , gdzie Ai ∈ F, Ai ∩ Aj = ∅ dla j 6= i, i, j = 1, 2, ..., n, i=1 Ai = Ω.
−1
(Bi ).
Z założenia Ai ∈ σ(Y ). Stąd istnieją zbiory borelowskie B1 , ..., Bn takie, że AS
i = Y
i−1
Ponieważ zbiory B1 , ..., Bn nie muszą być rozłączne definiujemy Ci = Bi \ j=1 Bj , i =
1, 2, ..., n. Zauważmy, że
Y
−1
(Ci ) = Y
−1
(Bi ) ∩
i−1
\
Y −1 (Bjc )
j=1
= Ai ∩
i−1
\
Acj = Ai .
j=1
Pozwala to na zdefiniowanie funkcji h wzorem
ai jeżeli y ∈ Ci , i = 1, ..., n
h(y) =
0 w przeciwnym razie.
Ponieważ dla ω ∈ Ai zachodzi Y (ω) ∈ Ci , więc oznacza to, iż h(Y (ω)) = ai dla i =
1, 2, ..., n i stąd Z = h(Y ).
Definicja 2.4. Niech y ∈ R. Warunkową wartością oczekiwaną zmiennej losowej X pod
warunkiem {Y = y} nazywamy liczbę h(y), gdzie h jest funkcją otrzymaną w poprzednim
twierdzeniu. Oznaczamy ją symbolem E(X|Y = y).
Jeżeli zmienna losowa Y ma rozkład dyskretny i P (Y = y) > 0, to z definicji warunkowej wartości oczekiwanej względem zdarzenia {Y = y}
Z
1
X dP.
E(X|Y = y) =
P (Y = y) {Y =y}
Wartość ta jest równa wartości h(y) gdyż z definicji warunkowej wartości oczekiwanej
względem σ-algebry generowanej przez rozbicia dla ω ∈ {Y = y} również
Z
1
E(X|Y )(ω) =
X dP.
P (Y = y) {Y =y}
Uwaga 2.1. Wykorzystując definicję 2.4 dla y ∈ R przyjmujemy, że:
30
Rozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe
(a) dla wszystkich A ∈ F
P (A|Y = y) = E(1A |Y = y),
(b) dla wszystkich B ∈ B
P (X ∈ B|Y = y) = E(1{X∈B} |Y = y).
Definicja 2.5. Niech y ∈ R. Rozkładem warunkowym zmiennej losowej X pod warunkiem
{Y = y} nazywamy rozkład prawdopodobieństwa PX|Y =y na (R, B) taki, że dla każdego
zbioru borelowskiego B ∈ B
PX|Y =y (B) = P (X ∈ B|Y = y).
Znając rozkład zmiennej losowej Y i rozkłady warunkowe PX|Y =y , y ∈ R możemy w
prosty sposób wyznaczyć rozkład łączny (X, Y ) i w konsekwencji rozkład X. Ich postać
wynika z następujących twierdzeń.
Twierdzenie 2.8. Niech PY oznacza rozkład zmiennej losowej Y , a PX|Y =y , y ∈ R rodzinę
odpowiednich rozkładów warunkowych. Rozkład łączny P(X,Y ) jest postaci
Z
P(X,Y ) (B × C) =
PX|Y =y (B) dPY (y) B, C ∈ B.
C
Twierdzenie 2.9. Jeżeli PY jest rozkładem absolutnie ciągłym o gęstości pY (y) i dla
każdego y ∈ R PX|Y =y jest absolutnie ciągły z gęstością pX|Y (x|y), to rozkład łączny
P(X,Y ) jest również absolutnie ciągły. Jego gęstość jest postaci
p(x, y) = pX|Y (x|y) pY (y).
Można też postępować odwrotnie. Posiadając informacje na temat rozkładu łącznego
możemy wyznaczać rozkłady brzegowe. Podane poniżej dwa twierdzenia opisują dokładnie
przypadek dyskretny i absolutnie ciągły.
Twierdzenie 2.10. Niech X, Y będą zmiennymi losowymi dyskretnymi o rozkładzie łącznym
P (X = xi , Y = yj ) = pij
i, j ∈ N.
Rozkłady warunkowe PX|Y =yj , j ∈ N są rozkładami dyskretnymi takimi, że dla każdego
zbioru borelowskiego B ∈ B
X
PX|Y =yj (B) =
pi|j ,
{i:xi ∈B}
gdzie pi|j = P (X = xi |Y = yj ) =
pij
P∞
i=1
pij
, i, j ∈ N.
Dowód. Wynika z ciągu oczywistych równości
PX|Y =yj (B) = P (X ∈ B|Y = yj )
X
X
=
P (X = xi |Y = yj ) =
pi|j .
{i:xi ∈B}
{i:xi ∈B}
Rozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe
31
Twierdzenie 2.11. Niech X, Y będą zmiennymi losowymi dyskretnymi o rozkładzie łącznym
absolutnie ciągłym z gęstością p(x, y). Rozkłady warunkowe PX|Y =y , y ∈ R są również
rozkładami absolutnie ciągłymi o gęstościach
p(x, y)
p(x, y)
=
,
pY (y)
p(x, y)dx
R
pX|Y (x|y) = R
gdzie przyjmujemy, że prawa strona jest równa 0 w przypadku, gdy równy jest 0 jej
mianownik.
2.4. Zadania
Zad. 2.1. Niech X = 1A będzie zmienną losową na (Ω, F, P ), niech też B ∈ F. Oznaczmy
G = σ(B). Wyznacz E(X|G).
Zad. 2.2. Niech rozkład wektora (X, Y ) będzie dany tabelką:
X\Y
-1
1
0
1
2
1/4 1/4 0
0 1/4 1/4
Jaka jest E(X|Y )?.
Zad. 2.3. Niech {Xn } będzie ciągiem niezależnych zmiennych losowych o tym samym
rozkładzie, a N niech będzie zmienną losową o wartościach w N ∪ {0} niezależną od
{Xn }. Niech też
SN = X1 + X2 + ... + XN .
Pokazać, że jeżeli EX12 < +∞ oraz EN 2 < +∞, to
D2 (SN |N ) = N D2 (X1 ).
Zad. 2.4. Niech zmienna losowa Y ma rozkład Poissona z parametrem λ > 0, a PX|Y =n ,
n ∈ N∪{0} mają rozkłady Bernoullego dla n prób ze stałym prawdopodobieństwem
sukcesu p ∈ (0, 1). Wyliczyć rozkład zmiennej losowej X oraz E(X|Y ).
Zad. 2.5. Niech X1 , ..., Xn będą niezależnymi zmiennymi losowymi o tym samym rozkładzie
dwupunktowym takim, że dla ustalonego p ∈ (0, 1)
P (Xi = 1) = p,
Niech też Sn =
Pn
i=1
P (Xi = 0) = 1 − p,
i = 1, ..., n.
Xi . Pokazać, że
E(X1 |Sn = k) =
k
,
n
k = 0, 1, ..., n.
32
Rozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe
Zad. 2.6. Wektor (X, Y )T ma rozkład absolutnie ciągły z gęstością
p(x, y) = (x2 + 2y 2 )1(0,1) (x)1(0,1) (y).
Wyznacz gęstość warunkową fX|Y (x|y) oraz E(X|Y ).
Zad. 2.7. Niech gęstości rozkładu zmiennej losowej X i rozkładu warunkowego będą
postaci pX (x) = 1(0,1) (x), pY |X (y|x) = x1 1(0,x) (y) dla x ∈ (0, 1). Wyliczyć: (a)
E(Y |X), (b) E(X|Y ).
Zad. 2.8. Niech X, Y będą niezależnymi całkowalnymi zmiennymi losowymi o tym samym
rozkładzie. Uzasadnić, że
E(X|X + Y ) = E(Y |X + Y ) =
X +Y
.
2
Rozdział 3.
Ciągi niezależnych zmiennych losowych
3.1. Przestrzenie produktowe i twierdzenie Kołmogorowa
o rozkładach zgodnych
Niech (Ωi , Fi , Pi ), i = 1, ..., n będą przestrzeniami probabilistycznymi. Wykorzystując
twierdzenie 5.8 możemy skonstruować przestrzeń produktową
(Ω, F, P ) = ×ni=1 (Ωi , Fi , Pi ).
Przestrzenie produktowe stanowią wygodne narzędzie pozwalające na konstrukcję niezależnych zdarzeń i zmiennych losowych. Jeżeli weźmiemy zdarzenia Ci ∈ Fi , i = 1, ..., n i
rozszerzymy je na (Ω, F, P ) kładąc
Ai = Ω1 × ....Ωi−1 × Ci × Ωi+1 × .... × Ωn ,
i = 1, ..., n.
to można zauważyć, że A1 , ..., An są niezależnymi zmiennymi losowymi. Podobnie jeżeli
weźmiemy zmienne losowe Yi , określone na wyjściowych przestrzeniach (Ωi , Fi , Pi ), i =
1, ..., n i rozszerzymy je na Ω przyjmując, że
Xi (ω) = Yi (ωi ) i = 1, ..., n, ω = (ω1 , ..., ωn ) ∈ Ω,
to
(a) X1 , ..., Xn są niezależnymi zmiennymi losowymi na przestrzeni produktowej,
(b) dla każdego i = 1, ..., n rozkłady zmiennych losowych Xi i Yi są takie same.
Przykład 3.1. (Schemat Bernoullego) Niech (Ω∗ , F ∗ , P ∗ ) będzie przestrzenią proba∗
bilistyczną taką, że Ω∗ = {0, 1}, F ∗ = 2Ω = {∅, Ω∗ , {0}, {1}} i P ∗ ({1}) = p, P ∗ ({0}) =
1 − p, gdzie p jest pewną liczbą rzeczywistą z przedziału (0, 1). Przestrzeń produktowa
(Ω, F, P ) = ×ni=1 (Ω∗ , F ∗ , P ∗ )
będąca n-krotnym produktem przestrzeni (Ω∗ , F ∗ , P ∗ ) modeluje schemat n prób Bernoullego z prawdopodobieństwem sukcesu p w pojedynczej próbie. W szczególności zmienne
losowe X1 , ..., Xn na (Ω, F, P ) zdefiniowane dla każdego ω = (ω1 , ..., ωn ) ∈ Ω wzorem
Xi (ω) = ωi ,
33
i = 1, ..., n
34
Rozdział 3. Ciągi niezależnych zmiennych losowych
są niezależnymi zmiennymi losowymi o tym samym rozkładzie dwupunktowym
P (Xi = 1) = p P (Xi = 0) = 1 − p i = 1, ..., n.
Niech ν1 , ..., νn będzie zadanym ciągiem rozkładów na (R, B). Postępując w podobny
sposób nietrudno skonstruować przestrzeń probabilistyczną (Ω, F, P ) i określone na niej
niezależne zmienne losowe X1 , ..., Xn takie, że PXi = νi , i = 1, ...n. W tym celu wystarczy
przyjąć
Ω = Rn ,
F = Bn ,
P = ×ni=1 νi
oraz
Xi (x) = xi
x = (x1 , ..., xn ) ∈ Rn .
Wtedy dla dowolnego zbioru borelowskiego B ∈ B oraz i = 1, ..., n
PXi (B) =
=
=
=
P (Xi ∈ B) = P (X1 , ..., Xi−1 ∈ R, Xi ∈ B, Xi+1 ∈ R, ..., Xn ∈ R)
×ni=1 νi (x ∈ Rn : x1 ∈ R, ..., xi−1 ∈ R, xi ∈ B, xi+1 ∈ R, ..., xn ∈ R)
×ni=1 νi (R × ... × R × B × R × ... × R)
ν1 (R) · ... · νi−1 (R)νi (B)νi+1 (R) · ... · νn (R) = νi (B).
Aby pokazać niezależność zmiennych losowych X1 , ..., Xn wystarczy zauważyć, że dla
dowolnych zbiorów borelowskich B1 , ..., Bn ∈ B
P (X1 ∈ B1 , ..., Xn ∈ Bn ) =
=
=
=
×ni=1 νi (x ∈ Rn : x1 ∈ B1 , ..., xn ∈ Bn )
×ni=1 νi (B1 × ... × Bn )
ν1 (B1 ) · ... · νn (Bn )
P (X1 ∈ B1 ) · ... · P (Xn ∈ Bn ).
W celu skonstruowania ciągu niezależnych zmiennych losowych o zadanych rozkładach
potrzebować będziemy nieskończonej przestrzeni probabilistycznej. Niech
R∞ = R × R × ......,
tzn. x ∈ R∞ wtedy i tylko wtedy, gdy x = (x1 , x2 , ...), gdzie xi ∈ R, i ∈ N. Niech π1,...,n :
R∞ → Rn oznacza rzut na pierwszych n współrzędnych tzn. π1,...,n (x) = (x1 , ..., xn ) ∈ Rn ,
x ∈ R∞ , n ∈ N.
Definicja 3.1.
(i) Zbiorami cylindrycznymi nazywamy zbiory postaci
−1
(B),
π1,...,n
gdzie B ∈ B n , n ∈ N. Klasę zbiorów cylindrycznych oznaczamy symbolem A.
(ii) σ-algebrą produktową na R∞ nazywamy σ-algebrę generowaną przez A. Oznaczamy
ją symbolem B ∞ tzn. B ∞ = σ(A).
Uwaga 3.1.
(a) Dla B ∈ B n , n ∈ N
−1
π1,...,n
(B) = B × R × R....
Rozdział 3. Ciągi niezależnych zmiennych losowych
35
(b) A jest algebrą zbiorów.
(c) Jeżeli dla x, y ∈ R∞ przyjmiemy, że
ρ(x, y) =
∞
X
n=1
|xn − yn |
,
+ |xn − yn |)
2n (1
to (R∞ , ρ) jest przestrzenią metryczną i można pokazać, że
B ∞ = σ(U : U otwarte w (R∞ , ρ)).
Niech µ będzie miarą probabilistyczną na (R∞ , B ∞ ). Jeżeli zdefiniujemy
−1
µn (B) = µ(π1,...,n
(B)),
B ∈ B n , n ∈ N,
to dla każdego n ∈ N jest miarą probabilistyczną na (Rn , B n ). Ponadto ciąg miar probabilistycznych µ1 , µ2 , ... określonych odpowiednio na (R, B), (R2 , B 2 ), ... spełnia następujący
warunek zgodności
µn+1 (B × R) = µn (B), B ∈ B n , n ∈ N.
(3.1)
Okazuje się, że prawdziwy jest również fakt odwrotny.
Twierdzenie 3.1. (Kołmogorowa o rozkładach zgodnych) Niech µ1 , µ2 , ... będzie ciągiem
miar probabilistycznych określonych odpowiednio na przestrzeniach (R, B), (R2 , B 2 ), ... spełniających warunek zgodności (3.1). Istnieje dokładnie jedna miara probabilistyczna µ na
(R∞ , B ∞ ) taka, że
−1
µ(π1,...,n
(B)) = µn (B), B ∈ B n , n ∈ N.
Wniosek 3.1. Niech ν1 , ν2 , ... będzie zadanym ciągiem rozkładów na (R, B). Istnieje przestrzeń probabilistyczna (Ω, F, P ) i określony na niej ciąg zmiennych losowych X1 , X2 , ...
o własnościach
(i) PXn = νn , n ∈ N,
(ii) X1 , X2 , ... jest ciągiem niezależnych zmiennych losowych.
Dowód. Definiujemy µn = ×ni=1 νi , n ∈ N. Ciąg µ1 , µ2 , ... spełnia warunek zgodności,
gdyż
n
n
µn+1 (B × R) = ×n+1
i=1 νi (B × R) = ×i=1 νi (B) · νn+1 (R) = ×i=1 νi (B).
Na mocy twierdzenia Kołmogorowa o rozkładach zgodnych istnieje jednoznacznie wyznaczona miara probabilistyczna µ na (R∞ , B ∞ ). Przyjmujemy, że (Ω, F, P ) = (R∞ , B ∞ , µ).
Ponadto definiujemy ciąg zmiennych losowych X1 , X2 , ... kładąc
Xn (x) = xn ,
x ∈ R∞ , n ∈ N.
36
Rozdział 3. Ciągi niezależnych zmiennych losowych
Wtedy dla każdego zbioru borelowskiego B ∈ B i n ∈ N
PXn (B) =
=
=
=
=
P (Xn ∈ B) = P (X1 ∈ R, ..., Xn−1 ∈ R, Xn ∈ B)
µ(x : x1 ∈ R, ..., xn−1 ∈ R, xn ∈ B)
−1
(R × ... × R × B)) = µn (R × ... × R × B)
µ(π1,...,n
n
×i=1 νi (R × ... × R × B)
ν1 (R) · ... · νn−1 (R)νn (B) = νn (B),
co dowodzi (i). W celu pokazania (ii) wystarczy zauważyć, że dla dowolnych zbiorów
borelowskich B1 , ..., Bn ∈ B
P (X1 ∈ B1 , ..., Xn ∈ Bn ) =
=
=
=
=
µ(x ∈ Rn : x1 ∈ B1 , ..., xn ∈ Bn )
−1
µ(π1,...,n
(B1 × ... × Bn ))
µn (B1 × ... × Bn ) = ×ni=1 νi (B1 × ... × Bn )
ν1 (B1 ) · ... · νn (Bn )
P (X1 ∈ B1 ) · ... · P (Xn ∈ Bn ).
Twierdzenie 3.2. (0 − 1 Kołmogorowa) Niech
T∞X1 , X2 , ... będzie ciągiem niezależnych
∞
zmiennych losowych na (Ω, F, P ), a F = k=1 σ(Xk , Xk+1 , ...). Jeżeli A ∈ F ∞ , to
P (A) = 0 lub P (A) = 1.
3.2. Zbieżność szeregów niezależnych zmiennych losowych
Niech X1 , X2 , ... będzie ciągiem niezależnych zmiennych losowych określonych na tej
samej przestrzeni probabilistycznej (Ω, F, P ). Rozważać będziemy problem zbieżności szeregu
∞
X
Xn
n=1
w sensie zbieżności prawie wszędzie.
Twierdzenie 3.3. (Nierówność Kołmogorowa) Niech X1 , ..., Xn będą niezależnymi zmiennymi losowymi o skończonych wariancjach. Dla każdego > 0
Pn
k
X
D2 (Xk )
P ( max |
(Xi − EXi )| > ) 6 k=1 2
.
16k6n
i=1
Dowód. Bez
P ograniczenia ogólności możemy założyć, że EXk = 0, k = 1, ..., n. Oznaczmy Sk = ki=1 Xi oraz
Ak = {|Si | < dla i = 1, ..., k , |Sk | > },
A = { max |Sk | > }.
16k6n
Rozdział 3. Ciągi niezależnych zmiennych losowych
37
S
Oczywiście A = nk=1 Ak , gdzie sumowane zbiory są rozłączne. Ponieważ z niezależności
zmiennych losowych Sk 1Ak i Sn − Sk
ESk (Sn − Sk )1Ak = ESk 1Ak E(Sn − Sk ) = 0,
więc
ESn2 1Ak = E(Sn − Sk + Sk )2 1Ak
= ESk2 1Ak + 2ESk (Sn − Sk )1Ak + E(Sn − Sk )2 1Ak
= ESk2 1Ak + E(Sn − Sk )2 1Ak > ESk2 1Ak > 2 P (Ak ).
Stąd
n
X
n
1 X 2
P (A) =
P (Ak ) = 2
P (Ak )
k=1
k=1
n
1 X
ESn2 1Ak
2 k=1
Pn
2
1
2
k=1 D (Xk )
,
= 2 ESn =
2
6
co kończy dowód twierdzenia. Wniosek
3.2. Niech X1 , X2 , ... będzie ciągiem niezależnych zmiennych losowych takim,
P∞
że n=1 D2 (Xn ) < +∞. Dla każdego > 0
P∞
k
X
D2 (Xk )
P (sup |
(Xi − EXi )| > ) 6 k=1 2
.
k>1 i=1
Dowód. Oznaczmy
A = {sup |
k>1
k
X
(Xi − EXi )| > },
An = { max |
i=1
16k6n
k
X
(Xi − EXi )| > },
n ∈ N.
i=1
Ponieważ An % A, więc P (An ) % P (A). Z nierówności Kołmogorowa
P∞
Pn
2
2
k=1 D (Xk )
k=1 D (Xk )
P (An ) 6
6
2
2
i przechodząc z n → ∞ otrzymujemy tezę. Twierdzenie 3.4. (O dwóch szeregach) Niech X1 , X2 , ... będzie ciągiem niezależnych zmiennych losowych. Jeżeli szeregi liczbowe
∞
X
n=1
są zbieżne, to szereg
P∞
n=1
EXn ,
∞
X
n=1
Xn jest zbieżny P -p.w.
D2 (Xn )
38
Rozdział 3. Ciągi niezależnych zmiennych losowych
Dowód. W dowodzie w istocie pokażemy mocniejszą implikację
∞
X
2
D (Xn ) < +∞ ⇒
n=1
∞
X
(Xn − EXn ) jest zbieżny P -p.w.
(3.2)
n=1
Oznaczmy
Am
n
k
X
1
= {sup |
(Xi − EXi )| > } n, m ∈ N.
m
k>n i=n
Przy ustalonym
m zbiory te tworzą ciąg zstępujący. Ponadto na mocy ostatniej nierówności
P∞
m
2
2
P (An ) 6 m
i=n D (Xi ). Stąd dla każdego m ∈ N
P(
∞
\
n=1
Am
n)
= lim
n→∞
P (Am
n)
2
6 m lim
n→∞
∞
X
D2 (Xi ) = 0,
i=n
S
T∞
S
T∞
m
m
/ ∞
co pociąga, iż również P ( ∞
m=1
n=1 An ,
m=1
n=1 An ) = 0. Zauważmy, że jeżeli ω ∈
to dla każdego m istnieje n takie, że dla wszystkich k > n
|
k
X
(Xi (ω) − EXi )| 6
i=n
1
,
m
co oznacza, że ciąg sum częściowych szeregu liczbowego
warunek Cauchy’ego, a więc jest zbieżny. P∞
n=1 (Xn (ω)
− EXn ) spełnia
Przykład 3.2. Niech Y1 , Y2 , ... będzie ciągiem niezależnych zmiennych losowych o tym
samym rozkładzie dwupunktowym
1
P (Yn = −1) = P (Yn = 1) = , n ∈ N.
2
P
P∞ 1
2 Yn
Wtedy EYn = 0 oraz ∞
n=1 D ( n ) =
n=1 n2 < +∞. Dlatego z poprzedniego twierdzenia
wynika, że szereg
∞
X
Yn
n
n=1
jest zbieżny P -p.w.
Twierdzenie 3.5. (Kołmogorowa o trzech
P∞ szeregach) Niech X1 , X2 , ... będzie ciągiem
niezależnych zmiennych losowych. Szereg n=1 Xn jest zbieżny P -p.w. wtedy i tylko wtedy,
gdy istnieje c > 0 takie, że trzy szeregi liczbowe
∞
X
n=1
P (|Xn | > c),
∞
X
n=1
EXnc ,
∞
X
D2 (Xnc )
n=1
są zbieżne, gdzie Xnc = Xn 1{|Xn |6c} , n ∈ N.
Rozdział 3. Ciągi niezależnych zmiennych losowych
39
3.3. Prawa wielkich liczb
Niech X1 , X2 , ... będą zmiennymi losowymi na (Ω, F, P ). Mówimy, że X1 , X2 , ... spełnia
słabe prawo wielkich liczb jeżeli istnieje stała C taka, że dla każdego > 0
n
1X
P (|
Xk − C| > ) → 0.
n k=1
(3.3)
Ciąg X1 , X2 , ... spełnia mocne prawo wielkich liczb jeżeli istnieje stała C taka, że
n
1X
Xk = C) = 1.
n→∞ n
k=1
P ( lim
(3.4)
n
1X
P
Xk −
→ C. Z
Zbieżność (3.3) oznacza w istocie zbieżność wg prawdopodobieństwa
n k=1
n
1X
kolei (3.4) mówi, że
Xk → C P -p.w.
n k=1
Twierdzenie 3.6. Niech X1 , X2 , ... będzie ciągiem nieskorelowanych zmiennych losowych
o ograniczonych wspólnie wariancjach (tzn. istnieje stała M > 0 taka, że D2 (Xn ) 6 M ,
n ∈ N). Wtedy ciąg X1 − EX1 , X2 − EX2 , ... spełnia słabe prawo wielkich liczb ze stałą
C = 0.
Dowód. W dowodzie skorzystamy z nierówności Czebyszewa.
Lemat 3.1. (Nierówność Czebyszewa) Jeżeli zmienna losowa Y ma skończoną wariancję,
to dla każdego > 0
D2 (Y )
.
P (|Y − EY | > ) 6
2
Niech > 0. Wykorzystując nierówność Czebyszewa oraz twierdzenie 1.10
P
n
D2 ( nk=1 Xk )
1X
(Xk − EXk )| > ) 6
P (|
n k=1
n2 2
Pn
2
1 M
k=1 D (Xk )
=
6 · 2.
2
2
n
n Przechodząc z n → ∞ otrzymujemy łatwo (3.3). Twierdzenie 3.7. (Kołmogorowa) Niech X1 , X2 , ... będzie ciągiem niezależnych zmiennych losowych takich, że
∞
X
D2 (Xn )
< +∞.
n2
n=1
Wtedy ciąg X1 − EX1 , X2 − EX2 , ... spełnia mocne prawo wielkich liczb z C = 0.
40
Rozdział 3. Ciągi niezależnych zmiennych losowych
Dowód. Ponieważ z założenia
∞
X
∞
X D2 (Xn )
Xn
D ( )=
< +∞,
n
n2
n=1
n=1
2
więc z (3.2)
∞
X
(Xn − EXn )
n
n=1
jest zbieżny P -p.w.
Skorzystamy teraz z następującego lematu Kroneckera
Lemat
P∞ an3.2. (Kroneckera) Niech a1 , a2 , ... będzie ciągiem liczbowym. Jeżeli szereg liczbowy
n=1 n jest zbieżny, to
a1 + a2 + ... + an
→ 0.
n
Podstawiając w lemacie Kroneckera dla P -p.w. ω ∈ Ω
an = Xn (ω) − EXn ,
n∈N
otrzymujemy tezę twierdzenia. Twierdzenie 3.8. (Mocne prawo wielkich liczb Kołmogorowa) Niech X1 , X2 , ... będzie
ciągiem niezależnych zmiennych losowych o tym samym rozkładzie. Jeżeli E|X1 | < +∞,
to
X1 + X2 + ... + Xn
→ EX1 , P -p.w.
n
Dowód. Niech Yn = Xn 1{|Xn |6n} , n ∈ N. Zauważmy, że
∞
X
P (Xn 6= Yn ) =
n=1
=
∞
X
n=1
∞
X
P (|Xn | > n) =
∞
X
P (|X1 | > n)
n=1
nP (n < |Xn | 6 n + 1) 6 E|X1 | < +∞.
n=0
Wykorzystamy teraz lemat Borela-Cantellego.
LematP3.3. (Borela-Cantellego) Niech A1 , A2 , ... będzie ciągiem zdarzeń na (Ω, F, P ).
Jeżeli ∞
n=1 P (An ) < +∞, to P (lim supn→∞ An ) = 0.
Podstawiając w nim An = {Xn 6= Yn } otrzymujemy, że P (lim supn→∞ {Xn 6= Yn }) = 0
lub równoważnie, że P (lim inf n→∞ {Xn = Yn }) = 1. Ponieważ z definicji granicy dolnej
ciągu zbiorów dla każdego ω ∈ lim inf n→∞ {Xn = Yn } istnieje indeks N (ω) taki, że dla
wszystkich n > N (ω) Xn (ω) = Yn (ω), więc
X1 + X2 + ... + Xn
→ EX1 ,
n
P -p.w. ⇔
Y1 + Y2 + ... + Yn
→ EX1 ,
n
P -p.w.
Rozdział 3. Ciągi niezależnych zmiennych losowych
41
Ponadto
|EYn − EX1 | = |EX1 1{|X1 |6n} | 6 E|X1 |1{|X1 |>n} → 0,
co implikuje, iż także
EY1 + EY2 + ... + EYn
→ EX1 .
n
Dowód będzie więc zakończony, gdy pokażemy, że
(Y1 − EY1 ) + (Y2 − EY2 ) + ... + (Yn − EYn )
→ EX1 ,
n
Na mocy poprzedniego twierdzenia wystarczy więc tylko pokazać, że
W tym celu zauważmy, że
∞
X
D2 (Yn )
n=1
n2
P -p.w.
P∞
n=1
D2 (Yn )
n2
(3.5)
< +∞.
∞
∞
X
X
1
1
2
6
EXn 1{|Xn |6n} =
EX12 1{|X1 |6n}
2
2
n
n
n=1
n=1
∞
n
∞
∞
X
X
X
1 X
1
2
2
=
EX1 1{k−1<|X1 |6k} =
EX1 1{k−1<|X1 |6k}
2
n k=1
n2
n=1
k=1
n=k
6
∞
X
1
k=1
k
EX12 1{k−1<|X1 |6k} 6 2
∞
X
E|X1 |1{k−1<|X1 |6k}
k=1
= 2E|X1 | < +∞,
gdzie wykorzystaliśmy oszacowanie
∞
∞
X
X
1
1
1
1
1
2
= 2+
6 2+ 6 .
2
n
k
n(n − 1)
k
k
k
n=k
n=k
Przed sformułowaniem twierdzenia odwrotnego udowodnimy tzw. II lemat BorelaCantellego, w którym w odróżnieniu od klasycznego zakłada się niezależność rozważanych
zdarzeń.
Lemat 3.4. (II lemat Borela-Cantellego) Niech A1 , A2 , ... będzie ciągiem niezależnych
zdarzeń na (Ω, F, P ). Wtedy
(i)
∞
X
P (An ) < +∞ ⇔ P (lim sup An ) = 0,
n→∞
n=1
(ii)
∞
X
P (An ) = +∞ ⇔ P (lim sup An ) = 1.
n→∞
n=1
Dowód. Ponieważ prawdziwa jest implikacja z pierwszego lematu Borela-Cantellego
dla udowodnienia (i), (ii) wystarczy stwierdzić, że
∞
X
n=1
P (An ) = +∞ ⇒ P (lim sup An ) = 1.
n→∞
42
Rozdział 3. Ciągi niezależnych zmiennych losowych
Załóżmy więc, że
Zauważmy, że
P∞
n=1
P (An ) = +∞. W dowodzie pokażemy, że P (lim inf n→∞ Acn ) = 0.
P (lim inf
n→∞
Acn )
∞ \
∞
[
= P(
Ack
6
n=1 k=n
∞
X
P(
n=1
∞
\
Ack ).
k=n
Ponieważ dla każdego n ∈ N
P(
∞
\
Ack )
=
k=n
=
lim P (
m→∞
lim
m→∞
m
\
Ack )
= lim
m→∞
k=n
m
Y
m
Y
P (Ack )
k=n
(1 − P (Ak )) 6 lim sup exp (−
m→∞
k=n
m
X
P (Ak )) = 0,
k=n
(gdzie wykorzystaliśmy nierówność 1−x 6 e−x , x ∈ R), więc również P (lim inf n→∞ Acn ) =
0. Twierdzenie 3.9. (Odwrotne twierdzenie Kołmogorowa) Niech X1 , X2 , ... będzie ciągiem
niezależnych zmiennych losowych o tym samym rozkładzie. Jeżeli
n
1X
Xk | < +∞) > 0,
P (lim sup |
n k=1
n→∞
to E|X1 | < +∞.
Dowód. Oznaczmy Sn =
Pn
k=1
Xk . Ponieważ
Xn
Sn n − 1 Sn−1
=
−
,
n
n
n n−1
więc również P (lim supn→∞
|Xn |
n
< +∞) > 0. Stąd istnieje takie a > 0, że
P (lim sup
n→∞
|Xn |
< a) > 0.
n
Dzięki twierdzeniu 0−1 Kołmogorowa oznacza to, iż w istocie P (lim supn→∞ |Xnn | < a) = 1.
W konsekwencji P (lim supn→∞ { |Xan | > n}) = 0, co łącznie z II lematem Borela-Cantellego
pociąga, iż
∞
∞
X
X
|X1 |
|Xn |
P(
> n) =
P(
> n) < +∞.
a
a
n=1
n=1
Stąd
∞
X
|X1 |
|X1 |
E
6
(n + 1)P (n 6
< n + 1)
a
a
n=1
∞
X
∞
X
|X1 |
|X1 |
6 1+
nP (n 6
< n + 1) = 1 +
P(
> n) < +∞,
a
a
n=1
n=1
a więc także E|X1 | < +∞. Rozdział 3. Ciągi niezależnych zmiennych losowych
43
Uwaga 3.2. Mocne prawo wielkich liczb Kołmogorowa, II lemat Borela-Cantellego i
odwrotne twierdzenie Kołmogorowa można udowodnić przy słabszym założeniu niezależności parami zamiast niezależności. Wyniki te udowodnili Chinczyn w 1928 r. (II lemat
Borel-Cantellego) oraz pozostałe dwa Etemadi w 1981 r.
Uwaga 3.3. (Metoda Monte
R 1 Carlo obliczania całek) Naszym celem jest przybliżone wyznaczenie wartości całki 0 f (x)dx, gdzie f : [0, 1] → R jest zadaną całkowalną funkcją
borelowską. W celu wyznaczenia wartości całki symulujemy wartości ciągu niezależnych
zmiennych losowych X1 , X2 , ... o tym samym rozkładzie jednostajnym na przedziale (0, 1).
Wtedy z mocnego prawa wielkich liczb Kołmogorowa
n
1X
f (Xk ) →
n k=1
Z
1
f (x)dx, P -p.w.
0
Istotnie, f (X1 ), f (X2 ), ... także są ciągiem
niezależnych zmiennych losowych o tym samym
R1
rozkładzie, dla którego Ef (X1 ) = 0 f (x)dx.
Uwaga 3.4. (Zbieżność dystrybuant empirycznych) Załóżmy, że pewne doświadczenie
powtarzamy niezależnie n razy. W jego wyniku otrzymujemy ciąg X1 , X2 , ..., Xn niezależnych zmiennych losowych o tej samej, ale nieznanej dystrybuancie F . Aby odtworzyć
F definiujemy rodzinę zmiennych losowych
n
1X
Fn (x) =
1{Xk 6x} ,
n k=1
n ∈ N, x ∈ R,
nazywanych dystrybuantami empirycznymi . Ponieważ 1{X1 6x} , 1{X2 6x} , ... dla każdego ustalonego x ∈ R są niezależnymi zmiennymi losowymi o tym samym rozkładzie ze skończoną wartością oczekiwaną
E1{X1 6x} = P (X1 6 x) = F (x),
więc z mocnego prawa wielkich liczb Kołmogorowa wynika zbieżność Fn (x) → F (x) P -p.w.
Fakt ten można wzmocnić i pokazać, że w istocie
sup |Fn (x) − F (x)| → 0 P -p.w.,
x∈R
co stanowi treść znanego twierdzenia statystki matematycznej (twierdzenia Gliwenki-Cantellego).
3.4. Zadania
Zad. 3.1. Niech Xn będzie zmienną losową o rozkładzie
P (Xn = 0) = e−n ,
P (Xn = 1) = 1 − 3e−n ,
P (Xn = 2) = 2e−n ,
n > 2.
Zbadaj zbieżność ciągu {Xn } wg prawdopodobieństwa i P -prawie wszędzie.
44
Rozdział 3. Ciągi niezależnych zmiennych losowych
Zad. 3.2. Niech X1 , X2 , ... będzie ciągiem niezależnych zmiennych losowych o tym samym
rozkładzie jednostajnym na (0, 1). Uzasadnić, że ciąg
n∈N
Yn = min(X1 , X2 , ..., Xn ),
jest zbieżny według prawdopodobieństwa do 0.
Zad. 3.3. Udowodnij nierówność Czebyszewa (patrz lemat 3.1).
Zad. 3.4. Udowodnij lemat Borela-Cantellego (patrz lemat 3.3).
Zad. 3.5. Niech {Xn }, {Yn } będą ciągami niezależnych zmiennych losowych takich, że
dla każdego n ∈ N zmienna losowa Xn ma rozkład jednostajny na przedziale (0, n1 ),
a Yn ma rozkład
P wykładniczy
P∞ z parametrem
P∞ Xn Y1.n Zbadaj zbieżność prawie wszędzie
Xn
,
Y
(b)
przy dodatkowym założeniu wzaszeregów (a) ∞
n=1 n
n=1 n
n=1
n
jemnej niezależności ciągów {Xn } i {Yn }.
Zad. 3.6. Niech Y1 , Y2 , ... będzie ciągiem niezależnych zmiennych losowych o tym samym
rozkładzie dwupunktowym
1
P (Yn = −1) = P (Yn = 1) = ,
2
n ∈ N.
P∞
Szereg P
n=1 an Yn jest zbieżny P -p.w. wtedy i tylko wtedy, gdy jest zbieżny szereg
2
liczbowy ∞
n=1 an .
Zad. 3.7. Niech X1 , X2 , ... będzie ciągiem niezależnych zmiennych losowych o tym samym
rozkładzie zadanym przez gęstość
p(x) =
3
1(1/2,3/2) (x).
4x2
Wyznacz granicę prawie wszędzie ciągu zmiennych losowych
Yn = (X1 X2 · ... · Xn )1/n ,
n ∈ N.
Zad. 3.8. Pokazać, że
Z
1
Z
lim
n→∞
1
Z
...
0
0
0
1
x31 + x32 + ... + x3n
1
dx1 dx2 ...dxn = .
x1 + x2 + ...xn
2
Rozdział 4.
Zbieżność według rozkładu zmiennych
losowych
4.1. Definicja słabej zbieżności i jej podstawowe charakteryzacje
Rozważać będziemy słabą zbieżność rozkładów prawdopodobieństwa.
Definicja 4.1. (i) Mówimy, że ciąg rozkładów µ1 , µ2 , ... na (R, B) jest słabo zbieżny
do rozkładu µ jeżeli dla dowolnych a < b takich, że µ({a}) = µ({b}) = 0 zachodzi
zbieżność
µn ((a, b]) → µ((a, b]).
Piszemy wtedy, że µn ⇒ µ.
(ii) Mówimy, że ciąg zmiennych losowych X1 , X2 , ... jest zbieżny według rozkładu do
zmiennej X, jeżeli ciąg ich rozkładów PX1 , PX2 , ... jest słabo zbieżny do rozkładu
D
→ X.
PX tzn. gdy PXn ⇒ PX . Piszemy wtedy, że Xn −
Uwaga 4.1. (a) Granica słabo zbieżnego ciągu rozkładów jest wyznaczona jednoznacznie tzn. jeżeli µn ⇒ µ i µn ⇒ µ0 , to µ = µ0 .
Istotnie. Niech
D = {a ∈ R : µ({a}) > 0 lub µ0 ({a} > 0}.
Zbiór D jest co najwyżej przeliczalny. Stąd A = {(a, b] : a < b, a, b ∈ R \ D} jest
rodziną zbiorów zamkniętą ze względu na skończone przekroje generującą σ-algebrę
podzbiorów borelowskich B. Ponieważ
µ((a, b]) = µ0 ((a, b]) (a, b] ∈ A,
więc korzystając z twierdzenia 5.2 µ(B) = µ0 (B) dla wszystkich B ∈ B. Stąd µ = µ0 .
(b) W przypadku, gdy rozważane zmienne losowe X1 , X2 , ... będą takie, że PXn ⇒ µ, to
D
będziemy pisali, że Xn −
→ µ.
45
46
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
Definicja 4.2. Mówimy, że ciąg rozkładów µ1 , µ2 , ... na (R, B) jest jędrny jeżeli dla
każdego > 0 istnieje K > 0 takie, że
inf µn ((−K, K]) > 1 − .
(4.1)
n
Uwaga 4.2. (a) Każdy skończony ciąg rozkładów jest jędrny.
Rzeczywiście. Niech µ1 , µ2 , ..., µn0 będzie rozważanym ciągiem. Korzystając ze skończoności ciągu i własności dystrybuanty istnieje wspólne K > 0 takie, że
Fµi (−K), 1 − Fµi (K) 6 ,
2
i = 1, ..., n0 .
(4.2)
Stąd dla i = 1, ..., n0
µi ((−K, K]c ) = Fµi (−K) + 1 − Fµi (K) 6
+ = ,
2 2
co implikuje 4.1.
(b) Jeżeli µn ⇒ µ, to ciąg µ1 , µ2 , ... jest jędrny.
Niech > 0. Istnieje K1 > 0 takie, że µ({−K1 }) = µ({K1 }) = 0 oraz
µ((−K1 , K1 ]c ) = Fµ (−K1 ) + 1 − Fµ (K1 ) < .
Korzystając, że zbieżności
Fµn (K1 ) − Fµn (−K1 ) = µn ((−K1 , K1 ]) → µ((−K1 , K1 ]) = Fµ (K1 ) − Fµ (−K1 )
istnieje n0 takie, że dla wszystkich n > n0 również Fµn (−K1 ) + 1 − Fµn (K1 ) < .
Jeżeli przyjmiemy, że K2 = max(K1 , K), gdzie K została wyznaczona w części (a),
to
sup µn ((−K2 , K2 ]c ) 6 ,
n
co jest równoważne (4.1).
Twierdzenie 4.1. Niech µ, µ1 , µ2 , ... będą rozkładami na (R, B), a Fµ , Fµ1 , Fµ2 , ... odpowiadającymi im dystrybuantami. Następujące dwa warunki są równoważne
(i) µn ⇒ µ,
(ii) dla wszystkich a ∈ R takich, że Fµ (a−) = Fµ (a) zachodzi zbieżność
Fµn (a) → Fµ (a).
Dowód. Zauważmy, że Fµ (a−) = Fµ (a) dokładnie wtedy, gdy µ({a}) = 0.
(ii) ⇒ (i) Niech a < b będą takie, że µ({a}) = µ({b}) = 0. Wtedy Fµn (a) → Fµ (a)
oraz Fµn (b) → Fµ (b), co pociąga, iż
µn ((a, b]) = Fµn (b) − Fµn (a) → Fµ (b) − Fµ (a) = µ((a, b]).
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
47
(i) ⇒ (ii) Niech a ∈ R będzie takie, że µ({a}) = 0. Ustalmy > 0. Korzystając z jędrności ciągu µ, µ1 , µ2 , ... istnieje dostatecznie małe x < a takie, że µ({x}) = 0 oraz
Fµ (x), Fµn (x) 6 2 , n ∈ N . Stąd
lim sup |Fµn (a) − Fµ (a)| 6 lim sup |(Fµn (a) − Fµn (x)) − (Fµ (a) − Fµ (x))|
n→∞
n→∞
+ lim sup Fµn (x) + Fµ (x)
n→∞
6
+ =
2 2
i teza wynika z dowolności > 0. Przykład 4.1. Założenie, że µ jest rozkładem prawdopodobieństwa jest istotne. Niech
µ1 , µ2 , ..., µn , ... będą rozkładami zdegenerowanymi odpowiednio w 1, 2, ..., n, .... Wtedy
Fµn (a) = 1[n,+∞) (a) → 0,
a ∈ R,
natomiast ciąg rozkładów µ1 , µ2 , ... nie może być słabo zbieżny, gdyż nie jest jędrny.
Twierdzenie 4.2. (Helly’ego-Braya) Niech µ, µ1 , µ2 , ... będą rozkładami na (R, B). Następujące dwa warunki są równoważne
(i) µn ⇒ µ,
(ii) dla wszystkich funkcji ciągłych i ograniczonych f : R → R zachodzi zbieżność
Z
Z
f (x) dµn (x) →
f (x) dµ(x).
R
R
Dowód. Ograniczymy się do dowodu implikacji (ii)⇒(i). Niech a < b będą takie, że
µ({a}) = µ({b}) = 0. Niech dla m ∈ N funkcje fm , gm będą dane wzorami

0
jeżeli x 6= (a, b]



1
jeżeli x ∈ (a + 1/m, b − 1/m]
fm (x) =
m(x − a)
jeżeli x ∈ (a, a + 1/m]



−m(x − b) jeżeli x ∈ (b − 1/m, b]
oraz

0
jeżeli x 6= (a − 1/m, b + 1/m]



1
jeżeli x ∈ (a, b]
gm (x) =
m(x − a + 1/m)
jeżeli x ∈ (a − 1/m, a]



−m(x − b = 1/m) jeżeli x ∈ (b, b + 1/m].
Funkcje fm , gm są funkcjami ciągłymi i ograniczonymi aproksymującymi funkcję 1(a,b] .
Można zauważyć, że dla każdego m ∈ N fm 6 1(a,b] 6 gm oraz
fm ↑ 1(a,b i gm ↓ 1[a,b] .
Jeżeli ustalimy m ∈ N, to
Z
fm (x) dµ(x) =
R
Z
lim
n→∞
Z
fm (x) dµn (x) 6 lim inf
n→∞
R
1(a,b] (x) dµn (x)
R
= lim inf µn ((a, b]) 6 lim sup µn ((a, b])
n→∞
n→∞
Z
Z
6 lim sup gm (x) dµn (x) =
gm (x) dµ(x).
n→∞
R
R
48
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
Ponieważ z twierdzenia Lebesgue’a o zbieżności monotonicznej
Z
Z
lim
fm (x) dµ(x) =
1(a,b) (x) dµ(x) = µ((a, b))
m→∞
oraz
R
R
Z
lim
m→∞
Z
gm (x) dµ(x) =
R
1[a,b] (x) dµ(x) = µ([a, b]),
R
więc
µ((a, b]) 6 lim inf µn ((a, b]) 6 lim sup µn ((a, b]) 6 µ([a, b]).
n→∞
n→∞
Teza twierdzenia wynika z równości µ([a, b]) = µ((a, b)). Wniosek 4.1. Niech µ, µ0 będą rozkładami na R(R, B). Jeżeli dla
ciągłej i
R każdej funkcji
0
ograniczonej f : R → R zachodzi równość całek R f (x) dµ(x) = R f (x) dµ (x), to µ = µ0 .
Dowód. W twierdzeniu Helly’ego-Braya podstawiamy µn = µ0 , n ∈ N. Wtedy µn ⇒ µ
oraz µn = µ0 ⇒ µ0 . Z jednoznaczności słabej granicy wnioskujemy, że µ = µ0 . Wniosek 4.2. Niech X, X1 , X2 , ... będą zmiennymi losowymi Następujące dwa warunki
są równoważne
D
(i) Xn −−−→ X,
(ii) dla wszystkich funkcji ciągłych i ograniczonych f : R → R zachodzi zbieżność
Ef (Xn ) → Ef (X).
Dowód. Z twierdzenia o zmianie miary
Z
Ef (Xn ) =
f (x) PXn (dx), n ∈ N
Z
oraz
R
Ef (X) =
f (x) PX (dx).
R
Teza jest więc bezpośrednim wnioskiem z twierdzenia Helly’ego-Braya. D
Wniosek 4.3. Niech g : R → R będzie dowolną funkcją ciągłą. Jeżeli Xn −−−→ X, to
D
g(Xn ) −−−→ g(X).
Dowód. Wystarczy skorzystać z poprzedniego wniosku i zauważyć, że dla dowolnej
funkcji ciągłej i ograniczonej f : R → R złożenie h = f ◦ g jest również funkcją ciągłą i
ograniczoną. P
D
Wniosek 4.4. Jeżeli Xn −−−→ X, to Xn −−−→ X.
Dowód. Niech f : R → R będzie ustaloną funkcją ciągłą i ograniczoną. Bezpośrednio z
P
założenia f (Xn ) −−−→ f (X). Stąd i z twierdzenia Lebesgue’a o zbieżności zmajoryzowanej
Ef (Xn ) → Ef (X), co kończy dowód wniosku. Wniosek 4.5. Niech c będzie ustaloną stałą. Następujące dwa warunki są równoważne:
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
49
D
(i) Xn −−−→ c,
P
(ii) Xn −−−→ c.
Dowód. (ii) ⇒ (i) Wynika bezpośrednio z poprzedniego wniosku.
(i) ⇒ (ii) Ustalmy > 0. Wtedy z definicji słabej zbieżności
P (|Xn − c| > ) = 1 − P (|Xn − c| < )
= 1 − P (− + c < Xn < + c) 6 1 − P (− + c < Xn 6 + c)
2
2
→ 1 − P (− + c < c 6 + c) = 0,
2
2
gdyż PX ({c − 2 }) = PX ({c + 2 }) = 0.
Twierdzenie 4.3. Każdy jednostajnie jędrny ciąg rozkładów µ1 , µ2 , ... zawiera podciąg
słabo zbieżny tzn. istnieje podciąg µk1 , µk2 , ... oraz rozkład µ0 take, że µkn ⇒ µ0 .
4.2. Funkcje charakterystyczne
Niech C oznacza zbiór liczb zespolonych tzn. każdy z ∈ C jest postaci z = a + ib, gdzie
a, b ∈ R.
Definicja 4.3. (i) Zespoloną zmienną losową na (Ω, F, P ) nazywamy odwzorowanie
X : Ω → C postaci X = X1 +iX2 , gdzie X1 , X2 są zmiennymi losowymi na (Ω, F, P ).
(ii) Mówimy, że zespolona zmienna losowa X = X1 + iX2 jest całkowalna jeżeli X1 , X2
są całkowalne. Wtedy wartość oczekiwana z X jest postaci EX = EX1 + iEX2 ∈ C.
Wartość oczekiwana zespolonej zmiennej losowej ma podobne własności jak zwykła
wartość oczekiwana.
pW szczególności X jest całkowalna dokładnie wtedy, gdy E|X| <
+∞. Moduł |X| = X12 + X22 jest rzeczywistą zmienną losową, dla której |EX| 6 E|X|.
Definicja 4.4. (i) Funkcją charakterystyczną rozkładu µ na (R, B) nazywamy odwzorowanie ϕµ : R → C dane wzorem
Z
ϕµ (t) =
eitx µ(dx), t ∈ R.
R
(ii) Funkcją charakterystyczną zmiennej losowej X na (Ω, F, P ) nazywamy funkcję jej
rozkładu PX tzn.
ϕX (t) = ϕPX (t) = EeitX = E cos(tX) + iE sin(tX),
t ∈ R.
Twierdzenie 4.4. (Podstawowe własności funkcji charakterystycznej) Funkcja charakterystyczna rozkładu µ spełnia następujące warunki:
(i) |ϕµ (t)| 6 1, t ∈ R, ϕµ (0) = 1,
50
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
(ii) ϕµ (t) = ϕ(−t), t ∈ R,
(iii) ϕµ jest funkcją jednostajnie ciągłą.
Dowód. Ad. (i) Wystarczy zauważyć, że
Z
Z
itx
| e µ(dx)| 6
eitx |µ(dx) = µ(R) = 1
R
R
oraz, że
Z
ei0x µ(dx) = µ(R) = 1.
ϕµ (0) =
R
Ad. (ii) Wynika z równości
Z
Z
Z
Z
cos(−tx) µ(dx) − i sin(−tx) µ(dx).
cos(tx) µ(dx) + i sin(tx) µ(dx) =
ϕµ (t) =
R
R
R
R
Ad.(iii) Pokażemy, że limh→0 supt∈R |ϕµ (t + h) − ϕµ (t)| = 0. Istotnie
Z
sup |ϕµ (t + h) − ϕµ (t)| = sup | (ei(t+h)x − eitx )µ(dx)
t∈R
t∈R
ZR
Z
itx ith
= sup | e (e − 1)µ(dx)| 6 sup |eitx (eith − 1)|µ(dx)
t∈R R
Zt∈R R
|eihx − 1|µ(dx),
6
R
gdzie zbieżność ostatniej całki do zera wynika z twierdzenia Lebesgue’a o zbieżności zmajoryzowanej. Wniosek 4.6. Funkcja charakterystyczna rozkładu symetrycznego jest rzeczywista.
Dowód. Istotnie jeżeli rozkład jest symetryczny, to µ(A) = µ(−A) dla każdego A ∈ B.
Stąd
Z
Z
eitx µ(dx) =
ϕµ (t) =
R
eit(−x) µ(dx) = ϕµ (−t)
R
i z własności (ii) dla każdego t ∈ R ϕµ (t) = ϕµ (−t) = ϕµ (t).
Twierdzenie 4.5. Niech
cznej istnieje oraz
R
R
|x|n µ(dx) < +∞. Wtedy n-ta pochodna funkcji charakterysty-
ϕ(n)
µ (t)
Z
=
(ix)n eitx µ(dx),
t ∈ R.
R
Wniosek 4.7. Jeżeli X jest zmienną losową na (Ω, F, P ) taką, że E|X|n < +∞, to
(k)
ϕX (0) = ik EX k ,
k = 1, ..., n.
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
51
Zauważmy, że jeżeli X jest zmienną losową na (Ω, F, P ), to dla dowolnych stałych
a, b ∈ R
ϕaX+b (t) = Eeit(aX+b) = eitb EeitaX = eitb ϕX (at).
(4.3)
Własność ta może być w prosty sposób uogólniona.
Twierdzenie 4.6. Jeżeli X, Y są niezależnymi zmiennymi losowymi na (Ω, F, P ), to
ϕX+Y (t) = ϕX (t)ϕY (t),
t ∈ R.
Dowód. W dowodzie wystarczy skorzystać z z wersji twierdzenia 1.10 dla zespolonych
niezależnych zmiennych losowych. Istotnie
ϕX+Y (t) = Eeit(X+Y ) = EeitX EeitY = ϕX (t)ϕY (t).
Powyższy fakt można łatwo rozszerzyć na skończoną liczbę niezależnych zmiennych
losowych.
Wniosek 4.8. Jeżeli X1 , ..., Xn są niezależnymi zmiennymi losowymi na (Ω, F, P ), to dla
każdego t ∈ R
n
Y
ϕXk (t).
ϕPnk=1 Xk (t) =
k=1
Twierdzenie 4.7. (O jednoznaczności) Niech µ, ν będą rozkładami na (R, B). Jeżeli
ϕµ (t) = ϕν (t), t ∈ R, to µ = ν.
Dowód. W dowodzie wystarczy skorzystać z wniosku 4.1 i i twierdzenia Stone’aWeierstrassa o aproksymacji funkcji ciągłej za pomocą wielomianów trygonometrycznych.
Przykład 4.2. (Funkcje charakterystyczne wybranych rozkładów dyskretnych) Bezpośrednio z definicji funkcji charakterystycznej wynika, że jeżeli X ma rozkład dyskretny taki,
że
∞
X
P (X = xk ) = pk , k ∈ N, gdzie
pk = 1,
k=1
to
ϕX (t) =
∞
X
k=1
e
itxk
pk =
∞
X
k=1
cos(txk )pk + i
∞
X
sin(txk )pk .
k=1
Stąd w szczególności:
(i) jeżeli X ma rozkład dwupunktowy P (X = 1) = p, P (X = 0) = 1 − p, to
ϕX (t) = peit + (1 − p) = 1 + p(eit − 1),
52
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
(ii) jeżeli X ma rozkład Bernoullego z parametrami n ∈ N i p ∈ (0, 1), to
n
X
n
X
n k
ϕX (t) =
p (1 − p)n−k =
e
(peit )k (1 − p)n−k = (1 + p(eit − 1))n ,
k
k=0
k=0
itk
(iii) jeżeli X ma rozkład Poissona z parametrem λ > 0, to
ϕX (t) =
∞
X
itk λ
e
k
k!
k=0
e
−λ
=e
−λ
∞
X
(λeit )k
k=0
k!
it
= e−λ eλe = exp λ(eit − 1).
Przykład 4.3. (Funkcje charakterystyczne wybranych rozkładów absolutnie ciągłych)
Jeżeli X ma rozkład absolutnie ciągły o gęstości p(x), to
Z
Z
Z
itx
ϕX (t) =
e p(x) dx =
cos(tx)p(x) dx + i sin(tx)p(x) dx.
R
R
R
W szczególności:
(i) jeżeli X ma rozkład jednostajny na przedziale (a, b), to
( ibt iat
e −e
, dla t 6= 0,
i(b−a)t
ϕX (t) =
1,
dla t = 0,
gdyż dla t 6= 1,
Z
b
1
eitx eibt − eiat
1(a,b) (x) dx =
=
,
b−a
i(b − a)t a
i(b − a)t
itx
ϕX (t) =
e
R
(ii) jeżeli X ma rozkład wykładniczy z parametrem λ > 0, to
Z
ϕX (t) =
itx
−λx
e λe
R
+∞
λ
λ
(it−λ)x 1(0,+∞) (x) dx =
e
=
it − λ
λ − it
0
dla t ∈ R, gdyż limx→+∞ |e(it−λ)x | = limx→+∞ e−λx = 0,
(iii) jeżeli X ma rozkład normalny N (m, σ 2 ), to
σ 2 t2
ϕX (t) = exp imt −
,
2
t ∈ R.
(4.4)
Niech Z = (X−m)/σ. Zmienna losowa Z ma standardowy rozkład normalny N (0, 1)
i w tym szczególnym przypadku wyprowadzimy najpierw wzór na funkcję charakterystyczną. Zauważmy, że
Z
Z
cos(tx) − x2
sin(tx) − x2
2
√
√
ϕZ (t) =
e
dx + i
e 2 dx.
2π
2π
R
R
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
53
Ponieważ funkcja podcałkowa w drugiej całce jest antysymetryczna, więc całka ta
jest równa zeru. Stąd
Z
x2
1
ϕZ (t) = √
cos(tx)e− 2 dx.
2π R
Stosując twierdzenie o różniczkowaniu pod znakiem całki i wzór na całkowanie przez
części otrzymujemy stąd dla wszystkich t ∈ R
Z
x2
1
0
ϕZ (t) = − √
sin(tx)xe− 2 dx
2π R
Z
2 +∞
x2
1
1
− x2 = √ sin(tx)e −√
t cos(tx)e− 2 dx
−∞
2π Z
2π R
x2
1
cos(tx)e− 2 dx
= −t √
2π R
= −tϕZ (t).
ϕZ jest więc rozwiązaniem równania rózniczkowego liniowego. Z teorii równań różniczkowych zwyczajnych wiadomo, że jedynym rozwiązaniem takiego równania spełt2
niającym warunek początkowy ϕZ (0) = 1 jest funkcja ϕZ (t) = e− 2 , t ∈ R. Ponieważ
X = σZ + m więc wzór (4.4) wynika bezpośrednio z (4.3).
Uwaga 4.3. (Wzory na odwrócenie) Znając wartości ϕµ (t), t ∈ R potrafimy napisać
jawną postać rozkładu µ.
(a) Jeżeli a < b są takie, że µ({a}) = µ({b}) = 0, to
Z b
Z
2
1
− t
[ e−itx ϕµ (t)e 2y2 dt]dx.
µ((a, b]) = lim
y→∞ a 2π R
(b) Rozkład µ, który ma całkowalną funkcję charakterystyczną ϕµ ma także ograniczoną
i ciągłą gęstość p(x) daną wzorem
Z
1
p(x) =
e−itx ϕµ (t) dt.
2π R
Twierdzenie 4.8. (Levy’ego-Craméra o ciągłości) Niech µ1 , µ2 , ... będzie ciągiem rozkładów
prawdopodobieństwa na (R, B).
(i) Jeżeli µn ⇒ µ, to ϕµn (t) → ϕµ (t), t ∈ R.
(ii) Jeżeli ϕµn (t) → ϕ(t), t ∈ R i funkcja ϕ jest ciągła w zerze, to ϕ jest funkcją
charakterystyczną pewnego rozkładu µ oraz µn ⇒ µ.
Dowód. Ad.(i) Ustalmy t ∈ R. Ponieważ x → cos(tx) oraz x → sin(tx) są funkcjami
ciągłymi i ograniczonymi, więc z twierdzenia Helly’ego-Braya
Z
Z
ϕµn (t) =
cos(tx)µn (dx) + i sin(tx)µn (dx)
RZ
RZ
→
cos(tx)µ(dx) + i sin(tx)µ(dx) = ϕµ (t),
R
R
54
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
co kończy dowód (i).
Ad. (ii) Kluczowym elementem dowodu jest pokazanie, iż założenia implikują jędrność ciągu rozkładów µ1 , µ2 , .... Dowód tego faktu pomijamy. Korzystając z jędrności
i twierdzenia 4.3 istnieje podciąg µn1 , µn2 , ..., µnk , ... i rozkład prawdopodobieństwa µ
na (R, B) takie,że µnk ⇒ µ. Korzystając z części (i) ϕµnk (t) → ϕµ (t), t ∈ R. Stąd
ϕ(t) = ϕµ (t), t ∈ R, a więc ϕ jest funkcją charakterysyczną rozkładu µ. Pokażemy teraz, że
w istocie µn ⇒ µ. Załóżmy, że tak nie jest. Istnieją więc punkty a < b, µ({a}) = µ({b}) = 0
takie, że nie zachodzi zbieżność µn ((a, b]) → (a, b]. Z ograniczoności ciągu {µn ((a, b])}
wnioskujemy, że można wybrać podciąg {µnk ((a, b])} taki, że
µnk ((a, b]) → c 6= µ((a, b]).
Oznacza to, że żaden dalszy podciąg nie może być zbieżny do µ. Z drugiej strony jednak
{µnk } jest jędrny, a więc zawiera podciąg {µnkl } taki, że µnkl ⇒ µ0 do pewnego rozkładu.
Wtedy też oczywiście z części (i) ϕµnk (t) ⇒ ϕµ0 (t), t ∈ R. Stąd ϕµ0 (t) = ϕµ (t), t ∈ R i z
l
twierdzenia o jednoznaczności µ0 = µ. W konsekwencji zachodziłaby zbieżność µnkl ⇒ µ,
która nie może mieć miejsca. 4.3. Twierdzenia graniczne o zbieżności do rozkładu Poissona
Niech P(λ) oznacza rozkład Poissona z parametrem λ >. Przypomnijmy, że
P(λ)({k}) = e−λ
λk
,
k!
k ∈ N ∪ {0}.
Na przestrzeni probabilistycznej (Ω, F, P ) rozważać będziemy nieskończoną tablicę zdarzeń
postaci
A11 A12 ... A1,k1
A21 A22 ... A2,k2
...
... ...
...
An1 An2 ... An,kn
...
... ...
...
Twierdzenie 4.9. (Poissona dla dowolnych składników) Niech dla każdego n ∈ N zdarzenia
An1 , An2 , ..., An,kn będą niezależne Jeżeli
(a) max P (Ank ) → 0,
16k6kn
(b)
kn
X
P (Ank ) → λ,
k=1
to ciąg zmiennych losowych {
sona P(λ).
Pkn
k=1
1Ank } jest zbieżny według rozkładu do rozkładu Pois-
Dowód. Wykorzystane zostaną dwa proste lematy.
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
55
Lemat 4.1. Jeżeli z1 , z2 , ..., zn , u1 , u2 , ..., un ∈ C są takie, że |zk |, |uk | 6 1 dla k =
1, 2, ..., n, to
n
X
|z1 z2 · ... · zn − u1 u2 · ... · un | 6
|zk − uk |.
k=1
Dowód. Indukcyjny ze względu na n. Lemat 4.2. Dla dowolnej liczby zespolonej z ∈ C
1
|1 + z − ez | 6 |z|2 e|z| .
2
Dowód. Ponieważ ez =
z
|1 + z − e | = |
P∞
zk
k=0 k! ,
∞
X
zk
k=2
k!
z ∈ C, więc
|
∞
X
|z|2 X |z|k−2
1
|z|k−2
1
6 |z|
6
= |z|2 e|z| |.
(k − 2)! k(k − 1)
2 k=2 (k − 2)!
2
k=2
2
Przechodzimy do dowodu twierdzenia Poissona. W dowodzie pokażemy zbieżność odpowiednich funkcji charakterystycznych. Ustalmy t ∈ R. Oznaczmy
Xn =
kn
X
1Ank ,
k = 1, ..., kn , n ∈ N.
pnk = P (Ank )
k=1
Ponieważ z niezależności zdarzeń An1 , An2 , ..., An,kn
ϕXn (t) = EeitXn =
kn
Y
Eeit1Ank =
k=1
kn
Y
(1 + (eit − 1)pnk ),
n ∈ N,
k=1
więc korzystając kolejno z lematów 4.1 i 4.2 otrzymujemy
it
|ϕXn (t) − exp ((e − 1)
kn
X
pnk )| = |
k=1
6
6
kn
Y
(1 + (e − 1)pnk ) −
k=1
k
n
X
kn
Y
k=1
kn
X
it −1)p
e(e
k=1
it −1)p
|1 + (eit − 1)pnk − e(e
k=1
6
it
|(eit − 1)pnk |2 |(eit −1)pnk |
e
2
kn
|eit − 1|2 |eit −1| X
e
p2nk
2
k=1
6 C(t) max pnk
16k6kn
kn
X
k=1
pnk → 0,
nk
|
nk
|
56
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
gdzie zbieżność do zera jest bezpośrednią konsekwencją założeń (a) i (b). Ponieważ jasnym
jest, że z (b) wynika zbieżność
it
exp ((e − 1)
kn
X
pnk ) → exp((eit − 1)λ) = ϕP(λ) (t),
k=1
więc również zachodzi zbieżność funkcji charakterystycznych ϕXn (t) → ϕP(λ) (t). KorzysD
tając z dowolności t ∈ R i twierdzenia Levy’ego-Craméra o ciągłości Xn −
→ P(λ). Wniosek 4.9. (Twierdzenie Poissona) Jeżeli npn → λ > 0, to dla każdego k ∈ N ∪ {0}
n k
λk
pn (1 − pn )n−k → e−λ .
k!
k
Dowód. Niech Xn oznacza zmienną losową modelującą ilość sukcesów w schemacie
Bernoullego n prób z prawdopodobieństwem sukcesu w pojedynczej próbie równym pn ,
n ∈ N. Podstawmy w poprzednim twierdzeniu kn = n, pnk = pn , k = 1, ..., n. Ponieważ
(a) max16k6kn pnk = pn =
Pkn
(b)
k=1 pnk = npn → λ,
1
n
· npn → 0,
D
→ P(λ). W szczególności dla
więc spełnione są jego założenia. W konsekwencji Xn −
każdego k ∈ N ∪ {0}
n k
1
1
pn (1 − pn )n−k = P (Xn = k) = P (k − < Xn 6 k + )
k
2
2
1
1
1
1
λk
= PXn ((k − , k + ]) → P(λ)((k − , k + ]) = e−λ .
2
2
2
2
k!
4.4. Centralne twierdzenia graniczne
Centralnymi twierdzeniami granicznymi nazywamy twierdzenia o zbieżności według
rozkładu do rozkładu normalnego. Na (Ω, F, P ) rozważać będziemy nieskończoną tablicę
zmiennych losowych
X11 X12 ... X1,k1
X21 X22 ... X2,k2
...
... ...
...
Xn1 Xn2 ... Xn,kn
...
... ...
...
Twierdzenie 4.10. (Lindeberga-Fellera) Niech dla każdego n ∈ N Xn1 , Xn2 , ..., Xn,kn
2
będą niezależnymi zmiennymi losowymi takimi, że EXnk = 0, D2 (Xnk ) = EXnk
< +∞,
k = 1, ..., kn . Jeżeli
(a)
kn
X
k=1
2
EXnk
→ 1,
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
57
(b) dla każdego > 0
kn
X
2
EXnk
1{|Xnk |>} → 0,
k=1
Pn
to ciąg sum {Sn = kk=1
Xnk } jest zbieżny według rozkładu do standardowego rozkładu
normalnego N (0, 1).
Dowód. W dowodzie pokazuje się, że
t2
ϕSn (t) → e− 2 ,
t∈R
(4.5)
i korzysta z twierdzenia Levy’ego-Craméra. W celu wykazania (4.5) wykorzystamy lematy
4.1, 4.2 oraz następujący prosty lemat
Lemat 4.3. Dla każdego X ∈ R
(i) |eix − 1| 6 |x|,
1
(ii) |eix − 1 − ix| 6 |x|2 ,
2
1
|x|3
(iii) |eix − 1 − ix + x2 | 6
.
2
6
Zauważmy najpierw, że z lematu 4.3 (ii) i warunku (b)
1
2
max |EeitXnk − 1 − itXnk )| 6 t2 max EXnk
16k6kn
2 16k6kn
1 2
1
2
2
6
t max EXnk
1{|Xnk |6} + t2 max EXnk
1{|Xnk |>}
2 16k6kn
2 16k6kn
kn
1 2 2 1 2X
1
2
6
t + t
EXnk
1{|Xnk |>} → t2 2 .
2
2 k=1
2
max |EeitXnk − 1| =
16k6kn
Z dowolności > 0 wynika więc, że
max |EeitXnk − 1| → 0.
16k6kn
Podobnie
kn
X
k=1
itXnk
|Ee
− 1| 6
kn
X
1
k=1
1
2
t2 EXnk
→ t2 .
2
2
58
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
Dlatego wykorzystując nierówności z lematów 4.1 i 4.2
kn
kn
kn
X
Y
Y
itX
|ϕSn (t) − exp (
E(eitXnk − 1))| = |
EeitXnk −
eE(e nk −1) |
k=1
6
6
k=1
k
n
X
k=1
|EeitXnk − eE(e
k=1
kn
X
itXnk −1)
|
itXnk −1)
|1 + E(eitXnk − 1) − eE(e
|
k=1
kn
1 2X
6
e
|EeitXnk − 1|2
2 k=1
6
kn
X
e2
|EeitXnk − 1| → 0.
max |EeitXnk − 1|
2 16k6kn
k=1
Aby pokazać (4.5) wystarczy więc stwierdzić, że
kn
X
t2
E(eitXnk − 1) → − .
2
k=1
W tym celu zauważmy, iż
Rn =
2
Pkn
k=1
kn
X
E(eitXnk − 1) = − t2
E(eitXnk − 1 − itXnk +
k=1
Pkn
k=1
(4.6)
2
EXnk
+ Rn , gdzie
t2 2
X ),
2 nk
n ∈ N.
Ponieważ z lematu 4.3 (ii), (iii)
|Rn | 6
kn
X
E|eitXnk − 1 − itXnk +
k=1
+
kn
X
t2 2
X |1{|Xnk |>}
2 nk
E|eitXnk − 1 − itXnk +
k=1
6
kn
X
itXnk
E|e
k=1
t2 2
X |1{|Xnk |6}
2 nk
kn
t2 X
2
− 1 − itXnk |1{|Xnk |>} +
EXnk
1{|Xnk |>}
2 k=1
kn
|t|3 X
+
E|Xnk |3 1{|Xnk |6}
6 k=1
kn
kn
t2 X
t2 X
2
2
6
EXnk 1{|Xnk |>} +
EXnk
1{|Xnk |>}
2 k=1
2 k=1
+
kn
|t|3 X
2
EXnk
,
6 k=1
3
więc dla dowolnego > 0 lim supn→∞ |Rn | 6 |t|6 . Z dowolności > 0 zachodzi zbieżność
Rn → 0, co łącznie z (a) kończy dowód (4.6). Rozdział 4. Zbieżność według rozkładu zmiennych losowych
59
Wniosek 4.10. (Centralne twierdzenie graniczne Levy’ego) Niech X1 , X2 , ... będzie ciągiem
niezależnych zmiennych losowych o tym samym rozkładzie takim, że EX12 < +∞. Ciąg
1
Zn = p
nD2 (X1 )
n
X
(Xi − EXi ),
n∈N
k=1
zbiega według rozkładu do N (0, 1).
Dowód. Korzystamy z twierdzenia Lindeberga-Fellera. Podstawiamy
kn = n,
2
Wtedy EXnk = 0, EXnk
=
(b) zauważmy, że
1
n
Xk − EX1
Xnk = p
.
nD2 (X1 )
i stąd wynika, że spełniony jest warunek (a). Aby uzyskać
n
X
(Xk − EX1 )2
E
1{|X −EX1 |>√nD2 (X1 )}
2 (X )
k
nD
1
k=1
(X1 − EX1 )2
1{|X −EX1 |>√nD2 (X1 )}
k
D2 (X1 )
1
6 2
E(X1 − EX1 )2 1{|X −EX1 |>√nD2 (X1 )} → 0,
k
D (X1 )
=E
gdzie zbieżność do zera ostatniego wyrażenia jest konsekwencją całkowalności zmiennej
losowej (X1 − EX1 )2 i twierdzenia Lebesgue’a o zbieżności zmajoryzowanej. Wniosek 4.11. (Uogólnienie twierdzenia Levy’ego) Niech X1 , X2 , ... będzie ciągiem niezależnych zmiennych losowych takich, że EXk2 < +∞, k ∈ N o rozkładach z pewnego skończonego zbioru rozkładów. Ciąg
Sn − ESn
Zn = p
,
D2 (Sn )
gdzie Sn =
Pn
k=1
n ∈ N,
Xk , n ∈ N zbiega według rozkładu do N (0, 1).
Wniosek 4.12. (Centralne twierdzenie graniczne de Moivre’a-Laplaca) Niech Sn oznacza zmienną losową modelującą ilość sukcesów w schemacie Bernoullego n prób z prawdopodobieństwem sukcesu p ∈ (0, 1). Dla wszystkich a ∈ R
Sn − np
P (p
6 a) → Φ(a),
np(1 − p
gdzie Φ(x) =
Rx
−∞
y2
e− 2 dy, x ∈ R.
P
Dowód. Korzystamy z twierdzenia Levy’ego. Z założenia Sn = nk=1 Xk , gdzie zmienne losowe X1 , X2 , ... są niezależne i o tym samym rozkładzie dwupunktowym
P (Xk = 1) = p,
P (X = 0) = 1 − p,
k ∈ N.
Ponieważ EX1 = p, D2 (X1 ) = p(1−p) teza wynika bezpośrednio z centralnego twierdzenia
granicznego Levy’ego. 60
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
4.5. Wielowymiarowy rozkład normalny i wielowymiarowe
centralne twierdzenie graniczne
Będziemy dalej mówili, że zmienna losowa X ma rozszerzony rozkład normalny jeżeli
ma rozkład normalny lub zdegenerowany tzn. gdy jej funkcja charakterystyczna jest
postaci
σ 2 t2
, t ∈ R,
ϕX (t) = exp imt −
2
gdzie m ∈ R, σ > 0. Jeżeli σ > 0, to rozkład X jest absolutnie ciągły o gęstości
1
(x − m)2
p(x) = √ exp {−
},
2σ 2
σ 2π
x ∈ R.
Wtedy też EX = m, D2 (X) = σ 2 . W przypadku, gdy σ = 0 rozkład X jest zdegenerowany
i X = m P -p.w..
Niech X̄ = (X1 , X2 , ..., Xd )T będzie d-wymiarowym wektorem losowym na (Ω, F, P ).
Definicja 4.5. Mówimy, że X̄ ma P
wielowymiarowy rozkład normalny , jeżeli dla każdego
t̄ ∈ Rd zmienna losowa < t̄, X̄ >= dk=1 tk Xk ma rozszerzony rozkład normalny.
Definicja 4.6. (i) Funkcją charakterystyczną rozkładu µ na (Rd , B d ) nazywamy odwzorowanie ϕµ : Rd → C dane wzorem
Z
ϕµ (t̄) =
ei<t̄,x̄> µ(dx̄), t̄ ∈ Rd .
Rd
(ii) Funkcją charakterystyczną wektora losowego X̄ na (Ω, F, P ) nazywamy funkcję
charakterystyczną jego rozkładu PX̄ tzn.
ϕX̄ (t) = ϕPX̄ (t) = Eei<t̄,X̄> = E cos(< t̄, X̄ >) + iE sin(< t̄, X̄ >),
t̄ ∈ Rd .
W przypadku wielowymiarowym prawdziwe są odpowiedniki twierdzeń o jednoznaczności
i ciągłości dla funkcji charakterystycznych. W szczególności
• jeżeli dla każdego t̄ ∈ Rd dla dwóch rozkładów µ, ν na (Rd , B d ) ϕµ (t̄) = ϕν (t̄), to
µ = ν,
• dla rozkładów µ, µ1 , µ2 , ... na (Rd , B d ) zachodzi równoważność
µn ⇒ µ wtedy i tylko wtedy, gdy ϕµn (t̄) → ϕµ (t̄),
gdzie słaba zbieżność rozkładów na (Rd , B d ) jest definiowana podobnie jak w przypadku jednowymiarowym (mówimy, że µn ⇒ µ jeżeli jeżeli dla dowolnych ā, b̄ ∈ Rd
takich, że ak < bk , k = 1, ..., d oraz µ({ā}) = µ({b̄}) = 0 zachodzi zbieżność
µn ((ā, b̄]) → µ((ā, b̄])
gdzie (ā, b̄] = ×dk=1 (ak , bk ]).
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
61
Uwaga 4.4. Z wielowymiarowej funkcji charakterystycznej można w prosty sposób odczytać informacje dotyczące rozkładów brzegowych. Niech X̄ = (X1 , X2 , ..., Xd )T będzie
wektorem losowym. Niech t̄ = (0, ..., 0, tk , 0, ..., 0)T . Wtedy
ϕX̄ (t̄) = Eei<t̄,X̄> = Eeitk Xk = ϕXk (tk ),
tk ∈ R.
Twierdzenie 4.11. Zmienne losowe X1 , X2 , ..., Xd są niezależne wtedy i tylko wtedy, gdy
dla wszystkich t̄ = (t1 , t2 , ..., td )T ∈ Rd
ϕX̄ (t̄) =
d
Y
ϕXk (tk ).
(4.7)
k=1
Dowód. Jeżeli X1 , X2 , ..., Xd są niezależne, to
i<t̄,X̄>
ϕX̄ (t̄) = Ee
=E
d
Y
e
itk Xk
k=1
=
d
Y
itk Xk
Ee
k=1
=
d
Y
ϕXk (tk ).
k=1
Załóżmy teraz, że (4.7) jest spełniony. Oznaczmy µ = ×dk=1 PXk . Korzystając z twierdzenia
Fubiniego funkcja charakterystyczna µ jest postaci
Z
d
d Z
Y
Y
itk xk .
i<t̄,x̄>
e
PXk (dxk ) =
ϕXk (tk ).
e
µ(dx̄) =
ϕµ (t̄) =
Rd
k=1
R
k=1
Stąd dla wszystkich t̄ ∈ Rd ϕX̄ (t̄) = ϕµ . Z twierdzenia o jednoznaczności PX̄ = ×dk=1 PXk .
Korzystając z twierdzenia 1.8 zmienne losowe X1 , X2 , ..., Xd są niezależne.
Twierdzenie 4.12. Wektor losowy X̄ ma rozkład normalny wtedy i tylko wtedy, gdy
istnieje wektor ā ∈ Rd oraz symetryczna i nieujemnie określona macierz A taka, że
1
ϕX̄ (t̄) = exp (i < t̄, ā > − < t̄, At̄ >),
2
t̄ ∈ Rd .
(4.8)
Wtedy ā = (EX1 , EX2 , ..., EXd )T oraz A = Cov(X̄).
Rozkład wektora losowego X̄ o funkcji charakterystycznej danej wzorem (4.8) oznaczać
będziemy dalej symbolem N (ā, A).
Wniosek 4.13. Jeżeli X̄ = (X1 , X2 , ..., Xd )T ma rozkład normalny oraz jego składowe
X1 , X2 , ..., Xd są nieskorelowane, to są one niezależne.
Dowód. Niech PX̄ = N (ā, A). W rozważanym przypadku A musi być diagonalna, co
oznacza, że dla wszystkich t̄ ∈ Rd
1
ϕX̄ (t̄) = exp (i < t̄, ā > − < t̄, At̄ >)
2
d
d
X
1X
= exp (i
tk ak −
Akk t2k )
2 k=1
k=1
d
Y
d
Y
1
2
=
exp (tk ak − Akk tk ) =
ϕXk (tk ).
2
k=1
k=1
Teza wynika teraz bezpośrednio z twierdzenia 4.11.
62
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
Twierdzenie 4.13. Niech X̄ ma rozkład N (ā, A). Jeżeli T : Rd → Rm jest odwzorowaniem
¯ x̄ ∈ Rd , gdzie C macierzą d × m-wymiarową, a d¯ ∈ Rm , to
postaci T (x̄) = C x̄ + d,
¯ C ◦ A ◦ C T ).
Ȳ = T (X̄) ma rozkład N (Cā + d,
Dowód. Wystarczy skorzystać z twierdzenia o jednoznaczności i zauważyć, że dla
wszystkich t̄ ∈ Rm
¯
¯
ϕȲ (t̄) = Eei<t̄,C x̄+d> = ei<t̄,d> Eei<t̄,C x̄>
¯
= ei<t̄,d> Eei<C
T t̄,x̄>
1
¯
= ei<t̄,d> exp (i < C T t̄, ā > − < C T t̄, AC T t̄ >)
2
1
¯
i<t̄,d>
= e
exp (i < t̄, Cā > − < t̄, C ◦ A ◦ C T t̄ >)
2
1
= exp (i < t̄, Cā + d¯ > − < t̄, C ◦ A ◦ C T t̄ >).
2
Twierdzenie 4.14. Rozkład normalny N (ā, A) jest absolutnie ciągły wtedy i tylko wtedy,
gdy det A > 0. W tym przypadku gęstość rozkładu N (ā, A) jest postaci
p(x̄) =
1
√
(2π)d/2
1
exp (− < x̄ − ā, A−1 (x̄ − ā) >),
2
det A
x̄ ∈ Rd .
(4.9)
Dowód. Niech k 6 d będzie rzędem macierzy A oraz niech B będzie macierzą ortogonalną taką, że D = B T ◦A◦B jest macierzą diagonalną, dla której Dii = λi > 0, i = 1, ..., k
są wartościami własnymi macierzy A, oraz Dii = 0 dla i = k + 1, ..., d. Niech Y1 , ..., Yk
będą zmiennymi losowymi niezależnymi o rozkładach N (0, λi ) oraz Yk+1 = ... = Yd = 0.
Rozważmy wektor losowy Ȳ = (Y1 , ..., Yd )T . Wtedy
PȲ jest absolutnie ciągły ⇔ k = d ⇔ det A > 0.
Jeżeli PȲ jest absolutnie ciągły, to jego gęstość jest postaci
f (ȳ) =
d
Y
i=1
y2
1
1
1
−1 i
√
√
e 2 λi =
exp (− < ȳ, D−1 ȳ >),
2
2πλi
(2π)d/2 det A
ȳ ∈ Rd .
Wektor Ȳ ma więc wtedy rozkład N (0, D). Niech X̄ = T (Ȳ ) = B Ȳ +ā. Ponieważ macierz
B jest ortogonalna więc | det B| = 1 i korzystając z twierdzenia o zamianie zmiennych
PȲ jest absolutnie ciągły ⇔ PX̄ jest absolutnie ciągły.
W szczególności, gdy PȲ jest absolutnie ciągły, to dla każdego A ∈ B d
P (X̄ ∈ A) = P (T (Ȳ ) ∈ A) = P (Ȳ ∈ T −1 (A))
Z
Z
=
f (ȳ) dȳ =
f (T −1 (x̄))| det DH(x̄)|dx̄,
T −1 (A)
A
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
63
gdzie H(x̄) = T −1 (x̄) = B T x̄ − B T ā, Rco pociąga, iż | det DH(x̄)| = | det B T | = 1. Dlatego
dla wszystkich A ∈ B d P (X̄ ∈ A) = A f (T −1 (x̄))dx̄ i w konsekwencji
1
√
1
−1
exp (− < T −1 x̄, I λ ◦ T −1 x̄ >)
2
(2π)d/2 det A
1
1
−1
√
=
exp (− < B T (x̄ − ā), (B T ◦ A ◦ B) ◦ B T (x̄ − ā) >)
2
(2π)d/2 det A
1
1
√
=
exp (− < x̄ − ā, B ◦ B −1 ◦ A−1 ◦ B ◦ B T (x̄ − ā) >)
2
(2π)d/2 det A
1
1
√
=
exp (− < x̄ − ā, A−1 (x̄ − ā) >).
2
(2π)d/2 det A
p(x̄) = f (T −1 (x̄)) =
Twierdzenie 4.15. Niech X̄1 , X̄2 , ... będą niezależnymi zmiennymi losowymi o tym samym
rozkładzie z macierzą kowariancji Cov(X̄1 ) = A. Ciąg zmiennych losowych
n
1 X
Z̄n = √
(X̄k − E X̄k ),
n k=1
n∈N
zbiega według rozkładu do rozkładu normalnego N (0, A).
Dowód. W dowodzie wykorzystuje się twierdzenie o ciągłości dla funkcji charakterystycznych i pokazuje, że
1
ϕZ̄n (t̄) → exp (− < t̄, At̄ >),
2
t̄ ∈ Rd .
4.6. Zadania
D
P
P
D
Zad. 4.1. Pokazać, że jeżeli Xn −
→ X, Yn −
→ 0, to (a) Yn Xn −
→ 0, (b) Yn + Xn −
→ X.
Zad. 4.2. Niech {an }, {bn } będą ciągami liczbowymi takimi, że an → a, bn → b. Jeżeli
D
D
Xn −
→ X, to an Xn + bn −
→ aX + b.
Zad. 4.3. Zbadać zbieżność według rozkładu ciągu X1 , X2 , · · · , gdzie
1
P (Xn = n) = P (Xn = −n) = ,
2
n ∈ N.
Zad. 4.4. Niech X1 , X2 , ... będzie ciągiem niezależnych zmiennych losowych o tym samym
rozkładzie jednostajnym na (0, 1). Uzasadnić, że ciąg
Yn = n min(X1 , X2 , ..., Xn ),
n∈N
jest zbieżny według rozkładu do rozkładu wykładniczego z parametrem λ = 1.
64
Rozdział 4. Zbieżność według rozkładu zmiennych losowych
Zad. 4.5. Niech X1 , X2 , ... będzie ciągiem niezależnych zmiennych losowych o tym samym
rozkładzie jednostajnym na (0, 1). Uzasadnić, że ciąg
Yn = max(X1 , X2 , ..., Xn ),
n∈N
jest zbieżny według prawdopodobieństwa do 0.
Zad. 4.6. Niech X1 , X2 , ... będzie ciągiem niezależnych zmiennych losowych o tym samym
rozkładzie zadanym przez gęstość
p(x) =
3
1(1/2,3/2) (x).
4x2
Wyznacz granicę według rozkładu dla ciągu
Pn
X2 − 3n
Zn = k=1 √ k 4 ,
n
n ∈ N.
Zad. 4.7. Załóżmy, że prawdopodobieństwo urodzenia się chłopca jest stałe i wynosi
0,512. Jak oszacować prawdopodobieństwo, że wśród 104 noworodków będzie o
ponad 200 chłopców więcej niż dziewczynek?
Zad. 4.8. Wektor X̄ =(X1 , X2)T ma rozkład normalny ze średnią ā = (0, 1)T i macierzą
1 12
. Wyznacz rozkład wektora Ȳ = (Y1 , Y2 )T , gdzie Y1 =
kowariancji A =
1
1
2
2X1 + X2 , Y2 = X1 − 2X2 oraz rozkłady jego składowych Y1 , Y2 .
Zad. 4.9. Niech
A=
1 c
c 1
będzie macierzą kowariancji wektora normalnego (X1 , X2 )T o wartościach oczekiwanych EX1 = EX2 = 0. (a) Podaj funkcję charakterystyczną tego wektora. (b)
Jakie wartości może przyjmować parametr c. (c) Dla jakich c wektor ma rozkład
absolutnie ciągły. (d) Dla jakich c składowe X1 , X2 są niezależnymi zmiennymi
losowymi.
Rozdział 5.
Dodatek
5.1. Własności generatorów
Dla dowolnej klasy zbiorów C symbolem σ(C) oznaczać będziemy σ-algebrę generowaną
przez C tzn. najmniejszą σ-algebrę zawierającą C.
Twierdzenie 5.1. Niech X : Ω → Ω∗ , a F ∗ niech będzie σ-algebrą podzbiorów Ω∗ generowaną przez klasę zbiorów C tzn. taką, że F ∗ = σ(C). Wtedy
X −1 (C) ⊂ F ⇒ X −1 (F ∗ ) ⊂ F.
Twierdzenie 5.2. Niech P, Q będą miarami probabilistycznymi na (Ω, F). Jeżeli istnieje
klasa zbiorów C ⊂ F generująca F, zamknięta ze względu na skończone przekroje i taka,że
dla każdego zbioru C ∈ C P (C) = Q(C), to miary P, Q są równe na F tzn. dla każdego
zbioru A ∈ F
P (A) = Q(A).
5.2. Całka względem miary probabilistycznej
Niech X będzie prostą zmienną losową na (Ω, F, P ) tzn.
X=
n
X
ai 1Ai ,
i=1
gdzie ai ∈ R, Ai ∈ F są takie, że Ai ∩ Aj = ∅ dla i 6= j, i, j = 1, ..., n. Całką z X względem
P nazywamy liczbę
Z
n
X
XdP =
ai P (Ai ).
Ω
i=1
Gdy X jest zmienną losową nieujemną, to całkę z X względem P definiujemy wzorem
Z
Z
XdP = sup{ Y dP : Y prosta zmienna losowa Y 6 X}.
Ω
Ω
65
66
Rozdział 5. Dodatek
W ogólnym przypadku przedstawiamy X jako różnicę nieujemnych zmiennychR losowych
X = XR+ −X − , gdzie X + = max(X, 0), X − = max(−X, 0) i w przypadku, gdy X + dP <
+∞ i X − dP < +∞ przyjmujemy, że
Z
Z
Z
+
XdP =
X dP − X − dP.
Ω
Ω
Ω
Mówimy
wtedy, że X jest całkowalną zmienną losową, co jest równoważne z własnością
R
|X|dP < +∞. Gdy X jest całkowalną zmienną losową, to całkę z X po zbiorze A ∈ F
Ω
określamy wzorem
Z
Z
XdP =
A
X1A dP.
Ω
Twierdzenie 5.3. (Podstawowe własności całki) Niech X, Y będą całkowalnymi zmiennymi losowymi.
(i) Dla dowolnych a, b ∈ R
Z
Z
Z
(aX + bY )dP = a XdP + b Y dP.
Ω
(ii) Jeżeli X 6 Y , to
R
Ω
R
Y dP .
R
(iii) Jeżeli X > 0, A ∈ F jest takie, że A XdP = 0, to P (A) = 0.
Ω
XdP 6
Ω
Ω
Twierdzenie 5.4. (Lebesgue’a o zbieżności monotonicznej) Jeżeli {Xn } jest ciągiem nieujemnych zmiennych losowych na (Ω, F, P ) takim, że Xn % X P -p.w., to
Z
Z
Xn dP %
XdP.
Ω
Ω
Twierdzenie 5.5. (Lebesgue’a o zbieżności zmajoryzowanej) Jeżeli {Xn } jest ciągiem
P
zmiennych losowych na (Ω, F, P ) takim, że Xn −
→ X oraz istnieje całkowalna zmienna
losowa Y dla, której |Xn | 6 Y , n ∈ N, to
Z
Z
Xn dP →
XdP.
Ω
Ω
Wniosek 5.1. Przy założeniach poprzedniego twierdzenia
Z
|Xn − X| dP → 0.
Ω
Rozdział 5. Dodatek
67
Wniosek 5.2. Niech X bedzie zmienną losową na (Ω, F, P ). Istnieje ciąg prostych zmiennych losowych {Xn } mierzalnych względem σ-algebry σ(X), |Xn | 6 |X|, n ∈ N takich,
że
R
R
(i) jeżeli X > 0, to 0 6 Xn % X oraz Ω Xn dP % Ω XdP ,
R
R
(ii) jeżeli X jest całkowalną zmienną losową, to Xn → X oraz Ω Xn dP → Ω XdP .
Dowód. Wystarczy przyjąć, że dla ω ∈ Ω

n
jeżeli X(ω) > n


 k
k
jeżeli
6 X(ω) <
2n
2n
Xn (ω) =
k
k+1
jeżeli 2n 6 X(ω) <


 2n
−n jeżeli X(ω) < −n
k+1
,
2n
k+1
,
2n
k = 0, 1, ..., n2n − 1
k = −n2n , ..., −1
i skorzystać z twierdzenia o zbieżności monotonicznej lub twierdzenia o zbieżności zmajoryzowanej. 5.3. Zbieżność zmiennych losowych
Niech {Xn } będzie ciągiem niezależnych zmiennych losowych określonych na tej samej
przestrzeni probabilistycznej (Ω, F, P ).
Definicja 5.1.
X jeżeli
(i) Mówimy, że {Xn } jest zbieżny prawie wszędzie do zmiennej losowej
P ( lim Xn = X) = 1,
n→∞
co oznaczamy Xn → X P -p.w.
(ii) Mówimy, że {Xn } jest zbieżny według prawdopodobieństwa do zmiennej losowej X
jeżeli dla każdego > 0
P (|Xn − X| > ) → 0,
P
co oznaczamy Xn −
→ X.
Można pokazać, że Xn → X P -p.w. dokładnie wtedy, gdy dla każdego > 0
P (sup |Xk − X| > ) → 0
(5.1)
k>n
lub równoważnie, gdy dla każdego > 0
P (lim sup[|Xn − X| > ]) = 0,
(5.2)
n→∞
T
S
gdzie lim supn→∞ An = n=1 k=n Ak oznacza granicę górną ciągu zbiorów A1 , A2 , .... Zauważmy, że ω ∈ lim supn→∞ An ⇔ istnieje podciąg {nk } zależny od ω taki,
S że ω
T ∈ Ank ,
k ∈ N. Rozważa się również granicę dolną ciągu zbiorów lim inf n→∞ An = n=1 k=n Ak .
Bezpośrednio z definicji ω ∈ lim inf n→∞ An ⇔ istnieje N ∈ N zależne od ω takie, że
ω ∈ An , k > N . W szczególności ze wzorów de Morgana wynika, że (5.2) jest równoważne
z P (lim inf n→∞ [|Xn − X| 6 ]) = 1. Porównując (5.1) z definicją zbieżności według prawdopodobieństwa można zauważyć, że zbieżność prawie wszędzie pociąga zbieżność według
prawdopodobieństwa.
68
Rozdział 5. Dodatek
P
Wniosek 5.3. Jeżeli Xn → X P -p.w., to Xn −−−→ X.
P
Twierdzenie 5.6. Jeżeli E|Xn − X| → 0, to Xn −−−→ X.
Dowód. Wynika z oszacowania
εP (|Xn − X| > ) 6 E1{|Xn −X|>} |Xn − X| 6 E|Xn − X|.
P
Twierdzenie 5.7. (Riesza) Jeżeli Xn −−−→ X, to istnieje podciąg {nk } taki, że
Xnk → X P -p.w..
P
→ X wtedy i tylko wtedy, gdy z każdego jego podciągu {Xnk } można
Wniosek 5.4. Xn −
wybrać podciąg {Xnkl } taki, że Xnkl → X P -p.w..
Dowód. Jeżeli {Xn } jest zbieżny według prawdopodobieństwa, to każdy jego podciąg {Xnk } też jest zbieżny według prawdopodobieństwa i dalszy podciąg {Xnkl } zbieżny
prawie wszędzie można wybrać wykorzystując twierdzenie Riesza. Aby uzyskać tezę odwrotną przeprowadzimy dowód nie wprost. Załóżmy, że {Xn } nie jest zbieżny według prawdopodobieństwa. Wtedy istnieje takie > 0 oraz podciąg {Xnk } taki, że dla wszystkich
k∈N
P (|Xnk − X| > ) > .
(5.3)
Z założenia istnieje podciąg {Xnkl } zbieżny prawie wszędzie do X. Ponieważ pociąga to,
P
→ X, więc dochodzimy do sprzeczności z (5.3).
iż Xnkl −
Fakt 5.1. Niech Xn → X P -p.w. i Yn → Y P -p.w.. Wtedy
(i) Xn + Yn → X + Y P -p.w.,
(ii) Xn Yn → XY P -p.w.,
(iii) jeżeli dodatkowo P (Y 6= 0) = 1, to
Xn
X
→
P -p.w..
Yn
Y
(iv) dla dowolnej funkcji ciągłej f : R2 → R f (Xn , Yn ) → f (X, Y ) P -p.w..
Dowód. Niech Ω0 = {ω : limn→∞ Xn (ω) = X(ω)}, oraz Ω” = {ω : limn→∞ Yn (ω) =
Y (ω)}. Wtedy z założenia P (Ω0 ) = P (Ω”) = 1. Oznaczmy Ω∗ = Ω0 ∩ Ω”. Oczywiście
P (Ω∗ ) = 1. Ponadto dla każdego ω ∈ Ω∗
Xn (ω) + Yn (ω) → X(ω) + Y (ω),
co kończy dowód (i). Pozostałe własności dowodzimy w analogiczny sposób.
P
P
Wniosek 5.5. Niech Xn −
→ X i Yn −
→ Y . Wtedy
Rozdział 5. Dodatek
69
P
(i) Xn + Yn −
→X +Y,
P
(ii) Xn Yn −
→ XY ,
(iii) jeżeli dodatkowo P (Y 6= 0) = 1, to
Xn P X
−
→ .
Yn
Y
P
(iv) dla dowolnej funkcji ciągłej f : R2 → R f (Xn , Yn ) −
→ f (X, Y ).
Dowód. Wystarczy zastosować fakt 5.1 i wniosek 5.4.
5.4. Przestrzenie produktowe. Twierdzenie Fubiniego
Niech (Ω1 , F1 , P1 ), (Ω2 , F2 , P2 ) będą przestrzeniami probabilistycznycmi. Niech też
F1 × F2 = {A1 × A2 : A1 ∈ F1 , A2 ∈ F2 }. Bezpośrednio z określenia F1 × F2 jest
półpierścieniem podzbiorów Ω1 × Ω2 . Oznaczmy
Ω = Ω1 × Ω2 ,
F = σ(F1 × F2 ).
σ-algebrę F nazywamy σ-algebrą produktową i oznaczamy też symbolem F1 ⊗ F2 .
Twierdzenie 5.8. Istnieje jedyna miara probabilistyczna P na (Ω, F) taka, że dla wszystkich A1 ∈ F1 , A2 ∈ F2
P (A1 × A2 ) = P1 (A1 )P2 (A2 ).
Określoną w ten sposób jednoznacznie miarę probabilistyczną P oznaczamy symbolem P1 × P2 i nazywamy miarą produktową. Produktem przestrzeni probabilistycznych
(Ω1 , F1 , P1 ), (Ω2 , F2 , P2 ) nazywamy przestrzeń
(Ω1 × Ω2 , F1 ⊗ F2 , P1 × P2 ),
oznaczamy ją symbolem ×2i=1 (Ωi , Fi , Pi ). Podobnie definiujemy i oznaczamy produkty
większej ilości przestrzeni probabilistycznych. W szczególności (Ω, F, P ) = ×ni=1 (Ωi , Fi , Pi )
jest produktem n przestrzeni probabilistycznych tzn. jest przestrzenią probabilistyczną
dla, której
Ω = Ω1 × ... × Ωn ,
F = σ(A1 × ... × An : gdzie A1 ∈ F1 , ..., An ∈ Fn ),
a miara probabilistyczna P = P1 × ... × Pn jest jedyną miarą probabilistyczną na (Ω, F)
taką, że dla wszystkich zdarzeń A1 ∈ F1 ,..., An ∈ Fn
P (A1 × ....An ) = P1 (A1 ) · ... · Pn (An ).
Twierdzenie 5.9. (Fubiniego) Niech X będzie zmienną losową na produktowej przestrzeni
probabilistycznej (Ω1 × Ω2 , F1 ⊗ F2 , P1 × P2 ).
70
Rozdział 5. Dodatek
(i) Jeżeli X > 0, to
Z
Z Z
X(ω1 , ω2 ) P1 × P2 (dω1 , dω2 ) =
(
X(ω1 , ω2 ) P2 (dω2 ))P1 (dω1 )
Ω1 ×Ω2
Ω1
Ω2
Z Z
=
(
X(ω1 , ω2 ) P1 (dω1 ))P2 (dω2 ).
Ω2
Ω1
(ii) Jeżeli X jest całkowalna względem P1 × P2 , to równości z (i) pozostają w mocy.
Bibliografia
[1] A.A. Borowkow, Rachunek prawdopodobieństwa, PWN 1975.
[2] P. Billingsley, Miara i prawdopodobieństwo, PWN 1986.
[3] W. Feller, Wstęp do rachunku prawdopodobieństwa, t. I, PWN, Warszawa 1977.
[4] M. Fisz, Rachunek prawdopodobieństwa i statystyka matematyczna, PWN, Warszawa
1969.
[5] J. Jakubowski, R. Sztencel, Wstęp do teorii prawdopodobieństwa, SCRIPT, Warszawa
2000.
[6] J. Jakubowski, R. Sztencel, Rachunek prawdopodobieństwa dla (prawie) każdego,
SCRIPT, Warszawa 20002.
[7] A. Kłopotowski, Teoria prawdopodobieństwa, TNOiK, Toruń 1996.
[8] W. Niemiro, Rachunek prawdopodobieństwa i statystyka matematyczna, Biblioteka
Szkoły Nauk Ścisłych 1999.
71
Indeks
centralne twierdzenie graniczne, 56
de Moivre’a-Laplaca, 59
Levy’ego, 59
Lindeberga-Fellera, 56
zmienne losowe, 19
niezależne parami
zdarzenia, 22
zmienne losowe, 22
dystrybuanta
empiryczna, 43
rozkładu, 7
wektora losowego, 16
zmiennej losowej, 7
prawdopodobieństwo warunkowe, 25
przestrzenie produktowe, 69
przykład Bernsteina, 22
rozbicie przestrzeni, 26
rozkład
łączny, 19
funkcja charakterystyczna, 49
absolutnie ciągły, 10
wektora losowego, 60
Bernoullego, 12
zmiennej losowej, 49
brzegowy, 19
granica
dwupunktowy, 11
dolna ciągu zbiorów, 67
dyskretny, 10
górna ciągu zbiorów, 67
gamma, 14
geometryczny, 12
jędrność, 46
jednostajny, 14
lognormalny, 15
kowariancja, 22
normalny, 14
lemat
normalny wielowymiarowy, 60
Borela-Cantellego, 40
osobliwy, 10
Borela-Cantellego II, 41
Pareto, 15
Kroneckera, 40
Poissona, 12
prawdopodobieństwa, 7
macierz kowariancji wektora losowego, 17
przesunięty geometryczny, 12
metoda Monte Carlo, 43
ujemny dwumianowy, 12
mocne prawo wielkich liczb, 39
warunkowy, 30
mocne prawo wielkich liczb Kołmogorowa,
wektora losowego, 16
40
wykładniczy, 14
zdegenerowany, 11
nierówność
zmiennej losowej, 7
Czebyszewa, 39
Kołmogorowa, 36
słaba zbieżność rozkładów, 45
nieskorelowane zmienne losowe, 22
słabe prawo wielkich liczb, 39
niezależne
schemat Bernoullego, 33
σ-algebry, 21
tożsamość Walda, 28
zdarzenia, 21
72
Indeks
twierdzenie
0 − 1 Kołmogorowa, 36
Fubiniego, 69
Gliwenki-Cantellego, 43
Helly’ego-Braya, 47
Kołmogorowa o rozkładach zgodnych, 35
Kołmogorowa o trzech szeregach, 38
Kołmogorowa odwrotne, 42
Levy’ego-Craméra, 53
o dwóch szeregach, 37
o zmianie miary, 9
Poissona, 56
twierdzenie Lebesgue’a
o rozkładzie, 10
o zbieżności zmajoryzowanej, 66
o zbieżności monotonicznej, 66
wariancja, 9
wartość oczekiwana, 8
wektora losowego, 17
warunkowa wartość oczekiwana, 26
względem zdarzenia, 25
wektor losowy, 16
współczynnik korelacji, 23
wzór na odwrócenie, 53
zbieżność
prawie wszędzie, 67
według prawdopodobieństwa, 67
według rozkładu, 45
zbiory borelowskie, 7
zmienna losowa, 7
zmienna losowa zespolona, 49
73

Rachunek prawdopodobieństwa II

Related documents

Products

Support

Rachunek prawdopodobieństwa II

Related documents

Add this document to collection(s)

Add this document to saved

Suggest us how to improve StudyLib