RACHUNEK PRAWDOPODOBIEŃSTWA A. Semestr letni 2015

RACHUNEK PRAWDOPODOBIEŃSTWA A.
Semestr letni 2015. Środy 9:15 -12:00, sala EM.
Wykładowca: Ryszard Szekli, pok. 514, konsultacje: poniedziałki 12-13, środy 12-13
terminy egzaminów: I termin 17.06.2014, (ŚRODA) 13-16, sala HS+WS, II termin do ustalenia (wrzesień).
Warunki ukończenia kursu:
zaliczenie ćwiczeń: Na kolejnych spotkaniach studenci deklarują zadania, które potrafią rozwiązać.
Osoba prowadząca ćwiczenia robi zadania, które nie zostały zdeklarowane przez studentów, następnie
wybiera studentów (spośród tych którzy zdeklarowali) , którzy prezentują rozwiązania kolejnych zadań
przy tablicy. Wadliwe rozwiązanie nie daje punktów. Student deklarujący zadanie, który nie potrafi podać
rozwiązania przy tablicy otrzymuje punkty ujemne. Zadania będą miały określoną liczbę punktów na
listach. Zaliczenie ćwiczeń następuje po uzyskaniu przynajmniej 50% punktów z wszystkich list.
zdanie egzaminu pisemnego:
egzamin testowy max 60 pkt.; 10 zadań testowych: możliwe odpowiedzi a,b,c,d każda prawdziwa lub nie;
z ćwiczeń i wykładu.
ocena 3.0 od 50% pkt.
PLAN WYKŁADU:
1. WPROWADZENIE
1.1 Uwagi historyczne
1.2 Powtórka podstaw rachunku prawdopodobieństwa
2. NIEZALEŻNOŚĆ I CIAGI
ZMIENNYCH LOSOWYCH
,
2.1 Schemat Bernoulliego
2.2 Ciagi
nieskończone zmiennych niezależnych
,
2.3 Błądzenia losowe, prawo arcusa sinusa
2.4 Rekurencje, łańcuchy Markowa
3. ROZKŁADY
3.1 Zmienne losowe, wektory losowe
3.2 Przybliżenia rozkładów
3.3 Gȩstości i dystrybuanty
3.4 Funkcje od zmiennych losowych
3.5 Rozkłady ła̧czne i brzegowe
3.6 Sumy niezależnych zmiennych losowych
4. WARTOŚĆ OCZEKIWANA, MOMENTY
4.1 Momenty i funkcje tworza̧ce
4.2 Wariancja i kowariancja
5. TWIERDZENIA GRANICZNE
5.1 Prawa wielkich liczb
5.2 Centralne twierdzenie graniczne
1
Literatura:
P. Billingsley, Prawdopodobieństwo i miara, PWN, 1987
W. Feller, Wstep
, do rachunku prawdopodobieństwa, tom I, PWN, 1977
J. Jakubowski, R. Sztencel, Wstep
, do teorii prawdopodobieństwa, SCRIPT, 2000.
M. Majsnerowska: Elementarny wykład z rachunku prawdopodobieństwa z zadaniami, strona www IM
D. Stirzaker, Elementary Probability, Second. ed. Cambridge 2007.
R. Durrett, Elementary Probability for Applications, Cambridge 2009.
2
0.1
Wprowadzenie
0.1.1
Zdarzenia i eksperymenty
Przestrzeń zdarzeń elementarnych Ω jest zbiorem możliwych wyników pewnego eksperymentu. Jeśli Ω
jest zbiorem przeliczalnym, to zdarzeniem jest każdy podzbiór Ω. Zbiór zdarzeń oznaczamy F. Ogólnie,
zakładamy, że F jest zamkniety
na przeliczalne sumy, przekroje i dopełnienia oraz zawiera Ω.
,
0.1.2
Prawdopodobieństwo
Prawdopodobieństwo P jest funkcja̧ przyporza̧dkowuja̧ca̧ zdarzeniom liczby takie, że
(i) Dla A ⊂ Ω, 0 ¬ P (A) ¬ 1.
(ii) P (Ω) = 1.
Dla każdego cia̧gu {Ai } (skończonego lub nieskończonego) zdarzeń rozła̧cznych
∪
P(
Ai ) =
∑
i
P (Ai ).
i
Uwaga 0.1.1 Nie dla wszystkich zbiorów Ω można znaleźć nietrywialna̧ funkcjȩ P o powyższych własnościach, określona̧ na wszystkich podzbiorach Ω na przykład Ω := [0, 1] oraz P ((a, b]) = b − a,
0¬
a ¬ b ¬ 1 jest naturalna̧ funkcja̧ prawdopodobieństwa na tym zbiorze, jednakże nie można ta̧ funkcja̧
zmierzyć wszystkich podzbiorów Ω (istnieja̧ zbiory niemierzalne ). Rozważania ogranicza siȩ wtedy do
podklasy mierzalnych zbiorów (zdarzeń), które tworza̧ σ−ciało zdarzeń. W przypadku, gdy Ω jest zbiorem
przeliczalnym takie trudności nie wystȩpuja̧ i wtedy wszystkie podzbiory Ω sa̧ mierzalne.
Własności wynikaja̧ce z określenia prawdopodobieństwa:
1. P (Ac ) = 1 − P (A)
2. P (∅) = 0
3. Jeśli A ⊂ B, to P (A) ¬ P (B)
4. P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
∪
5. P (
i Ai )
¬
∑
i P (Ai )
6. Jeśli A1 ⊂ A2 ⊂ · · · i A =
7. Jeśli A1 ⊃ A2 ⊃ · · · i A =
∪
i Ai ,
∩
i Ai ,
to P (Ai ) →i→∞ P (A).
to P (Ai ) →i→∞ P (A).
3
0.1.3
Prawdopodobieństwo sumy
Zachodzi wzór
P(
n
∪
Ai ) =
i=1
n
∑
P (Ai ) −
i=1
∑
P (Ai ∩ Aj ) +
i<j
∑
P (Ai ∩ Aj ∩ Ak ) + · · · + (−1)n+1 P (A1 ∩ · · · ∩ An )
i<j<k
Nierówności Bonferroniego.
P(
n
∪
Ai ) ¬
i=1
P(
n
∪
n
∪
P (Ai )
i=1
Ai ) ­
i=1
P(
n
∑
n
∑
P (Ai ) −
i=1
Ai ) ¬
i=1
n
∑
i=1
∑
P (Ai ∩ Aj )
i<j
P (Ai ) −
∑
P (Ai ∩ Aj ) +
i<j
∑
P (Ai ∩ Aj ∩ Ak )
i<j<k
Wybieranie z urny kolorowych kul jest matematyczna̧ idealizacja̧ wielu eksperymentów, w których losowo
wybiera siȩ skończona̧ ilość obiektów różnych typów.
Model urnowy . W urnie znajduje siȩ M kul czerwonych i N kul czarnych. Wycia̧gamy z urny n kul
bez zwracania ich. Wtedy prawdopodobieństwo, że wycia̧gniemy r kul czerwonych wynosi
(M )(
N )
r n−r
(M +N )
n
gdzie dla j < 0 lub j > m przyjmujemy
(m)
j
= 0.
Przykład 0.1.1 (Lotto). Wybieramy 6 liczb ze zbioru {1, ..., 54}. 1 nagroda to 6 trafionych, 2 nagroda
to 5 trafionych, 3 nagroda 4 trafione. Jakie sa̧ prawdopodobieństwa zdobycia tych nagród?
Przykład 0.1.2 (Kontrola jakości). Wyprodukowano M żarówek, w tym N wadliwych. Testujemy n
żarówek. Jakie jest prawdopodobieństwo, że wszystkie testowane żarówki sa̧ dobre?
Przykład 0.1.3 (Wnioskowanie o wielkości populacji). Student biologii złowił w stawie 60 wodnych
chrza̧szczy, oznaczył farba̧ i wypuścił. Po pewnym czasie wrócił i złowił 50 chrza̧szczy, w tym znajduja̧c
12 oznaczonych farba̧. Jak można oszacować wielkość populacji chrza̧szczy w tym stawie?
0.1.4
Powtarzanie eksperymentów
Z urny zawieraja̧cej K kul ponumerowanych od 1 do K wycia̧gamy kolejno kule, notuja̧c ich numery i
zwracaja̧c je do urny.
Wyciagaja̧c k kul, prawdopodobieństwo, że wszystkie kule maja̧ różne numery wynosi
PK,k
K −k+1K −k+2
K
=
···
k
K
K
K
K
Rzuty symetryczna̧ moneta̧. Przyjmujemy, że K = 2 (np. K = 1 oznacza orła, K = 2, oznacza
reszkȩ). Prawdopodobieństwo uzyskania dokładnie j orłów w k rzutach wynosi
( )
k 1
.
j 2k
4
0.2
Prawdopodobieństwo warunkowe
Istnieja̧ dwa sposoby rozumienia zdarzeń niezależnych: potoczne i statystyczne (matematyczne). Matematyczne pojȩcie niezależności jest prosta̧ reguła̧ mnożenia.
Definicja 0.2.1 Zdarzenia A i B sa̧ niezależne gdy
P (A ∩ B) = P (A)P (B).
Wniosek 0.2.1 1. Zdarzenia A i B o dodatnich prawdopodobieństwach, rozła̧czne nie sa̧ niezależne. 2.
Ω jest zdarzeniem niezależnym od każdego innego zdarzenia. 3. Zdarzenie ∅ jest niezależne od każdego
innego zdarzenia.
Cia̧g zdarzeń A1 , . . . , An jest niezależny parami, jeśli
P (Ai ∩ Aj ) = P (Ai )P (Aj )
dla wszystkich i ̸= j.
Cia̧g zdarzeń A1 , . . . , An jest niezależny, jeśli
P (Ai1 ∩ · · · ∩ Aik ) = P (Ai1 ) · · · P (Aik ),
dla wszystkich i1 < i2 < · · · < ik .
Przykład 0.2.1 (Rozkład wielomianowy). Przypuśćmy, że kostka do gry ma 1 na trzech ścianach, 2 na
dwóch ścianach i 3 na jednej ścianie. Rzucamy taka̧ kostka̧ 10 razy. Wyliczamy prawdopodobieństwo
uzyskania 5 razy 1, 3 razy 2 i 2 razy 3:
10!
(1/2)5 (1/3)3 (1/6)2
5!3!2!
Ogólnie, wykonuja̧c n niezależnych prób o możliwych k wynikach, przy czym prawdopodobieństwo wyniku
typu i (i = 1, ..., k) wynosi odpowiednio pi , prawdopodobieństwo uzyskania n1 wyników typu 1, n2
wyników typu 2,..., nk wyników typu k (n1 + · · · + nk = n) dane jest wzorem
n!
pn1 ...pnk k
n1 !...nk ! 1
0.2.1
Wzór na prawdopodobieństwo warunkowe
Definicja 0.2.2 Dla dowolnego zdarzenia A ⊆ Ω , takiego, że P (A) > 0 prawdopodobieństwem warunkowym przy warunku A nazywamy funkcjȩ prawdopodobieństwa P (·|A) określona̧ na Ω nastepuja̧cym
wzorem
P (B|A) =
P (A ∩ B)
P (A)
dla zdarzeń B ⊆ Ω.
Łatwo sprwadzić, że P (·|A) ma wymagane własności funkcji prawdopodobieństwa:
• 0 ¬ P (B|A) ¬ 1, dla każdego zdarzenia B ⊆ Ω,
5
• P (B1 ∪ B2 |A) = P (B1 |A) + P (B2 |A), dla dowolnych rozła̧cznych zdarzeń B1 , B2 .
• P (Ω|A) = 1
Zauważmy, że wtedy również P (A|A) = 1, to znaczy masa prawdopodobieństwa warunkowego skupiona
jest na zdarzeniu wzglȩdem którego warunkujemy.
Przykład 0.2.2 Wartość P (·|A) dla każdego B niezależnego od A pokrywa siȩ z wartościa wyjściowego
prawdopodobieństwa P tzn. P (B|A) = P (B).
Rozwiazanie w powyższym przykładzie można uogólnić. Jeśli B1 , ..., Bk stanowia̧ rozbicie rozła̧czne Ω,
tzn. Ω = B1 ∪ ... ∪ Bk oraz B1 ∩ ... ∩ Bk = ∅, to zachodzi wzór na prawdopodobieństwo całkowite
P (A) =
k
∑
P (A|Bi )P (Bi )
i=1
dla każdego zdarzenia A ⊆ Ω.
0.2.2
Reguła Bayesa
Rozwia̧zanie w powyższym przykładzie sugeruje ogólny wzór:
Wzór Bayesa
Jeśli B1 , ..., Bk stanowia̧ rozbicie rozła̧czne Ω, tzn. Ω = B1 ∪ ... ∪ Bk oraz B1 ∩ ... ∩ Bk = ∅ , oraz P (A) > 0,
P (Bi ) > 0 to
P (Bi )P (A|Bi )
P (Bi |A) = ∑k
j=1 P (A|Bj )P (Bj )
dla dowolnego i = 1, ..., k.
0.3
0.3.1
NIEZALEŻNOŚĆ: Ciagi
,
Schemat Bernoulliego
Przykład 0.3.1 (Rozkład dwumianowy). Powtarzamy pewien eksperyment o możliwych wynikach: sukces (S) lub porażka (P), n razy. Jak zdefiniować prawdopodobieństwo P na Ω = {ω = (W1 , ..., Wn ) : Wi ∈
{S, P }, i = 1, ..., n} gdzie Wi oznacza wynik i-tej próby, tak aby zdarzenia : w i -tej próbie sukces, oraz
: w i + j- tej próbie porażka (dla wszystkich 1 ¬ i < i + j ¬ n) były niezależne? Prawdopodobieństwo
uzyskania k sukcesów w n próbach równa siȩ wtedy
( )
n k
p (1 − p)n−k
k
gdzie p ∈ (0, 1) jest prawdopodobieństwem sukcesu w jednej próbie.
Przykład 0.3.2 (Rozkład geometryczny). Rzucamy kostka̧ do chwili uzyskania 6. Niech N oznacza ilość
potrzebnych rzutów. Wtedy P (N = k) = (5/6)k (1/6). (k = 1, 2, ...). Ogólnie liczba prób N potrzebna do
uzyskania pierwszego sukcesu jest wielkościa̧ losowa̧, dla której P (N = k) = (1 − p)k−1 p , gdzie p ∈ (0, 1)
jest prawdopodobieństwem sukcesu w jednej próbie oraz k = 1, 2, ....
6
Przykład 0.3.3 (Ujemny rozkład dwumianowy). Powtarzamy próby o możliwych wynikach sukces (S),
porażka (P), do czasu uzyskania dokładnie k sukcesów. Wtedy dla Tk , liczby potrzebnych prob zachodzi
(
P (Tk = m + k) =
)
m+k−1
(1 − p)m pk
m
dla dowolnego k = 1, 2, ... oraz m = 0, 1, 2, ...
0.3.2
Istnienie nieskończonego cia̧gu zmiennych losowych niezależnych
Niech Ω = [0, 1], P = |·| (miara Lebesgue’a, miara długości). Zdarzeniami bȩda̧ wszystkie zbiory borelowskie w [0, 1]. Dla dowolnego ω ∈ [0, 1] niech ω = Z21 + Z222 + Z233 + ... bedzie rozwiniȩciem dwójkowym (dla
jednoznaczności przyjmujemy rozwiniecia o skończonej ilości jedynek, jeśli takie sa̧ dopuszczalne). Wtedy
cia̧g (Z1 , Z2 , ...) jest cia̧giem niezależnych zmiennych losowych o wartościach 0 i 1. Uzasadnienie:
Wystarczy pokazać, że
P (Z1 = d1 , ..., Zn = dn ) = P (Z1 = d1 )...P (Zn = dn )
dla dowolnego układu zer i jedynek d = (d1 , ..., dn ), (di ∈ {0, 1}).
Niech
Ad = {Z1 = d1 , ..., Zn = dn }
wtedy Ω = ∪d Ad jest rozła̧czna̧ suma̧ 2n zbiorów, gdzie sumowanie jest po wszystkich układach zer i
jedynek na n miejscach. Rozpatrzmy dwa dowolne takie układy d, d′ . Niech
Td,d′ (ω) = ω +
n
∑
d′i − di
i=1
2i
dla ω ∈ [0, 1]. Wtedy oczywiście Td,d′ (Ad ) = Ad′ , a ponieważ Td,d′ jest przesuniȩciem i w zwia̧zku z tym
nie zmienia miary P zbioru Ad , tzn. P (Ad ) = P (Td,d′ (Ad )) = P (Ad′ ), wynika sta̧d, że wszystkie zbiory
Ad maja̧ to samo prawdopodobieństwo niezależnie od indeksu d. Ponieważ jest ich 2n i w sumie daja̧
one Ω, wnioskujemy, że P (Ad ) = 21n dla każdego d. Mamy wiȩc P (Z1 = d1 , ..., Zn = dn ) = P (Ad ) = 21n .
Zauważmy teraz, że P (Z1 = d1 ) = 1/2, bo wystarczy podstawić n = 1 w poprzedniej równości. Ponadto
P (Z2 = d2 ) = P (Z1 = 0, Z2 = 2)+P (Z1 = 1, Z2 = d2 ) = 1/4+1/4 = 1/2, wykorzystuja̧c tȩ sama̧ równość
dla n = 2 . Rozumujac przy pomocy indukcji matematycznej otrzymujemy ogólnie P (Zn = dn ) = 1/2, a
sta̧d warunek niezależności bezpośrednio wynika.
Aby skonstruować cia̧g niezależnych zmiennych losowych o rozkładach dowolnych przy użyciu cia̧gu
(Z1 , Z2 , ...) ustawiamy go w tablicȩ (Zik )i=1,2,...k=1,2,... . Niech teraz
Ui =
∞
∑
Zik /2k
k=1
Wtedy (U1 , U2 , ....) tworza̧ cia̧g niezależnych zmiennych losowych o rozkładach jednostajnych na [0, 1].
Rzeczywiście dla x ∈ [0, 1]
[
P (Ui ¬ x) = lim P (UiN ¬ x) = lim
N →∞
N →∞
x2N
2N
]
=x
gdzie
UiN =
N
∑
Zik /2k
k=1
Biora̧c teraz Xi = F −1 (Ui ), dla dowolnej cia̧głej dystrybuanty F otrzymujemy ciag (X1 , X2 , ...) niezależnych zmiennych losowych o jednakowym rozkładzie o dystrybuancie F .
7
0.3.3
Łańcuchy Markowa, rekurencje
Przykład 0.3.4 (Łańcuch Markowa o 2 stanach). Załóżmy, że na rynku sa̧ dwa typy pasty do zȩbów:
a, b. Klienci kupuja̧ przy każdym nastȩpnym zakupie pasty ten sam typ z prawdopodobieństwem 3/4 oraz
inny typ z prawdopodobieństwem 1/4. Załóżmy, że fk procent klientów przy k-tym zakupie kupuje typ
pasty a. Wyliczamy kolejne wartości fk dla k > 1, zakładaja̧c, że f1 = 1/3. Zachodzi
fk = (3/4)fk−1 + (1/4)(1 − fk−1 )
oraz fk → 1/2, gdy k → ∞.
0.3.4
Rekurencje
Przykład 0.3.5 (Ruina gracza). Rozważmy grȩ, w której wygrywamy 1 z prawdopodobieństwem p ∈
(0, 1), przegrywamy 1 z prawdopodobieństwem q = 1 − p. Zaczynamy maja̧c 50 i kończymy maja̧c 100 lub
gdy stracimy wszystko. Wyliczamy prawdopodobieństwo zakończenia gry maja̧c 100. Zachodzi rekurencja
ai = pai+1 + qai−1
dla ai prawdopodobieństwa, że kończymy maja̧c 100, przy kapitale pocza̧tkowym 1 ¬ i ¬ 99, przy czym
a0 = 0, a100 = 1. Otrzymujemy
ai =
1
( pq )100
q
(( )i − 1)
−1 p
Wprzypadku ruletki p = 18/38 = 0.4736, wtedy a50 = 0.005127(ok. 5 razy na tysia̧c gier wygramy).
Przykład 0.3.6 Grześ i Andrzej kolejno rzucaja̧ moneta̧. Jeśli wypada orzeł wygrywa Andrzej i dostaje
od Grzesia 1, jesli wypada reszka wygrywa Grześ i dostaje od Andrzeja 1. Poczatkowo Grześ ma 50,
Andrzej 25. Jakie jest prawdopodobieństwo, że Andrzej straci wszystko? Niech ai oznacza prawdopodobieństwo, że Andrzej straci wszystko, w sytuacji gdy Grześ ma i , a Andrzej 75 − i, dla 1 ¬ i ¬ 74.
Przyjmujemy a0 = 0, a75 = 1. Zachodzi rekurencja
ai = (1/2)ai+1 + (1/2)ai−1
Znajdujemy ai = i/75. Sta̧d Andrzej przegra z prawdopodobieństwem 50/75=2/3.
0.4
Rozkłady
0.4.1
Zmienne losowe
Definicja 0.4.1 Niech Ω bȩdzie zbiorem przeliczalnym. Funkcjȩ X : Ω → R nazywamy rzeczywista̧
zmienna̧ losowa̧.
Definicja 0.4.2 Dla zmiennej losowej X przyjmujacej wartości całkowite, ciag pX (i) = P (X = i) nazywamy funkcja̧ prawdopodobieństwa zmiennej losowej X (i ∈ Z).
Każdy cia̧g liczbowy {p(i)}i∈Z o własnościach
1. 0 ¬ p(i) ¬ 1, i ∈ Z
2.
∑
i∈Z
p(i) = 1
8
jest funkcja̧ prawdopodobieństwa pewnej zmiennej losowej.
Uwaga 0.4.1 Cia̧g {pX (i)} wyznacza funkcjȩ prawdopodobieństwa PX na Z poprzez równość:
PX (A) =
∑
pX (i)
i∈A
określona̧ dla każdego A ⊆ Z. Parȩ (Z, PX ) nazywamy kanoniczna̧ przestrzenia̧ probabilistyczna̧
zmiennej X.
Przykład 0.4.1 (Rozkład hipergeometryczny). W urnie jest M czerwonych i N czarnych kul. Wycia̧gamy
n kul. Niech R oznacza ilość czerwonych kul spośród n wycia̧gnietych kul. Wtedy
(M )(
pR (r) = P (R = r) =
N )
r n−r
(M +N )
n
dla r = 0, ..., n . Pozostałe wartości pR (r) przyjmujemy, że sa̧ równe 0.
0.4.2
Przybliżenie rozkładu dwumianowego
Przykład 0.4.2 (Rozkład Poissona). Niech dla λ > 0
pλ (i) = e−λ
λi
i!
dla i = 0, 1, ..., poza tym 0. Cia̧g ten ma własności funkcji prawdopodobieństwa. Nazywamy go rozkładem
Poissona z parametrem λ.
Rozkład Poissona odgrywa ważna̧ rolȩ jako przybliżenie innych rozkładów.
Przykład 0.4.3 Niech Sn oznacza liczbȩ sukcesów w n próbach Bernoulliego, przy czym załóżmy, że
prawdopodobieństwo sukcesu
w n próbach równa siȩ pn (może zmieniać siȩ wraz z ilościa̧ prób). Wtedy
( )
wiadomo, że P (Sn = k) = nk pkn (1 − pn )n−k . Jeśli npn → λ̇ > 0, to P (Sn = k) → pλ (k) przy n → ∞, dla
każdego k ∈ N .
Rozkład Poissona stanowi dobre przybliżenie rozkładu dwumianowego, o małym prawdopodobieństwie
sukcesu, ale o dużej ilości prób, przy czym pn = λ.
0.4.3
Gȩstości i dystrybuanty
Definicja 0.4.3 Zmienna losowa X ma rozkład (absolutnie) cia̧gły o gȩstości fX : R → R gdy
P (a ¬ X ¬ b) =
∫
b
fX (y)dy
a
dla każdego a ¬ b ∈ R.
Oczywiście
∫∞
−∞ fX (x)dx
= 1, zawsze pole pod wykresem gȩstości równa siȩ 1.
Uwaga 0.4.2 Dla każdej funkcji f nieujemnej, rzeczywistej, takiej, że
losowa taka, że f jest jej gȩstościa̧ prawdopodobieństwa.
9
∫∞
−∞ f (x)dx
= 1,istnieje zmienna
Przykład 0.4.4 (Gȩstość Pareto)
{
f (x) =
(α − 1)x−α gdy x ­ 1
0
poza tym
gdzie α > 1 jest parametrem rozkładu.
Przykład 0.4.5 (Rozkład wykładniczy).
{
f (x) =
λe−λx dla x ­ 0
0
poza tym
gdzie λ > 0 jest parametrem rozkładu.
Przykład 0.4.6 (Rozkład standardowy normalny)
√
2
2
f (x) = (1/ 2π)e−x /2
gdzie x ∈ R. (Dowód, że jest to gȩstość na wykładzie)
Bardziej uniwersalnym niż gȩstość probabilistycznym opisem zmiennych losowych jest dystrybuanta.
Definicja 0.4.4 Dystrybuanta̧ zmiennej losowej X , nazywamy funkcjȩ
FX (x) = P (X ¬ x)
dla x ∈ R.
Dystrybuanta ma nastȩpuja̧ce własności:
1. FX jest niemaleja̧ca
2. FX (x) → 1, gdy x → ∞
3. FX (x) → 0, gdy x → −∞
4. FX jest prawostronnie cia̧gła
Uwaga 0.4.3 Gdy zmienna losowa X ma gȩstość fX ,to FX (x) =
∫x
−∞ fX (y)dy.
Przykład 0.4.7 (Dystrybuanta Pareto). Gȩstość Pareto f (x) = (α − 1)x−α I[1,∞) (x). Wyliczamy :
F (x) = (1 − x−(α−1) )I[1,∞) (x)
Uwaga 0.4.4 Szansa, że wartości zmiennej losowej X zawarte bȩda̧ w przedziale [a, b] , gdzie a ¬ b,
można wyrazić przy pomocy dystrybuanty nastȩpuja̧co
P (a ¬ X ¬ b) = F (b) − F (a)
Przykład 0.4.8 (Dystrybuanta wykładnicza). Ponieważ gȩstość f (x) = λe−λx I[0,∞) (x), otrzymujemy
F (x) = (1 − e−λx )I[0,∞) (x).
10
Uwaga 0.4.5 Funkcjȩ F (x) = 1 − F (x), x ∈ R, nazywamy ogonem dystrybuanty F. W teorii niezawodności F nazywana jest funkcja̧ niezawodności, gdyż F (x) = P (X > x), można interpretować jako
prawdopodobieństwo bezawaryjnej pracy maszyny, gdzie X oznacza wtedy losowy czas pracy maszyny.
Przykład 0.4.9 (Własność braku pamiȩci rozkładu wykładniczego). Jeśli X ma rozkład wykładniczy,
to
P (X > t + s|X > t) = P (X > s)
dla dowolnych t, s ­ 0. Interpretacja: szansa, że dalszy czas pracy maszyny przekroczy s , jeśli maszyna
jest sprawna do czasu t, jest taka sama jak szansa, że nowa maszyna przepracuje conajmniej s. Wzór ten
można równoważnie zapisać jako
F (t + s) = F (t)F (s).
Przykład 0.4.10 (Dystrybuanta dyskretna). Niech X bȩdzie zmienna̧ losowa̧ przyjmuja̧ca̧ wartości
0, 1, 2, 3, z prawdopodobieństwami odpowiednio 1/8, 3/8, 3/8, 1/8. Odpowiednia̧ funkcjȩ prawdopodobieństwa można opisać tabelka̧ (poza tym zero)
i
0
1
2
3
p(i) 1/8 3/8 3/8 1/8
Dystrybuanta odpowiadaja̧ca tej funkcji prawdopodobieństwa może być zapisana na wiele sposobów:
F (x) =
∑
p(i)
i¬x
lub
F (x) =
∑
p(i)
i∈(−∞,x]
lub
1
4
7
F (x) = I[0,1) (x) + I[1,2) (x) + I[2,3) (x) + I[3,∞) (x)
8
8
8
lub
1
3
3
1
F (x) = I[0,∞) (x) + I[1,∞) (x) + I[2,∞) (x) + I[3,∞) (x)
8
8
8
8
0.4.4
Funkcje od zmiennych losowych
Niech Y = ψ(X), dla pewnej zmiennej losowej X, o gȩstości f i funkcji (mierzalnej) ψ : R → R. .
Obliczymy gȩstość zmiennej Y.
Przykład
0.4.11 Niech X bȩdzie zmienna̧ o rozkładzie wykładniczym oraz ψ(x) = x2 . Wtedy FY (y) =
√
2y
−λ
(1 − e
)I[0,∞) (y) oraz
√
√
2
fY (y) = (λ/2 2 y)e−λ y I(0,∞) (y)
Ogolnie, jeśli ψ jest róózniczkowalna i ściśle rosna̧ca na zbiorze wartości zmiennej X, to Y = ψ(X) ma
gȩstość
fY (y) = fX (ψ −1 (y))(ψ −1 )′ (y)
11
Przykład 0.4.12 (Niestandardowy rozklad normalny). Niech X ma rozkład standardowy normalny oraz
ψ(x) = σx + µ,dla σ > 0, µ ∈ R. Wtedy Y = σX + µ ma rozkład o gȩstości
√
2
2
2
fY (y) = (1/ 2πσ 2 )e−(x−µ) /2σ
Rozkład ten (lub zmienne o tym rozkładzie) oznaczamy N (µ, σ).
Wniosek 0.4.1 Jeśli Y ma rozkład normalny N (µ, σ), to X = (Y − µ)/σ ma rozkład N (0, 1).
Przykład 0.4.13 (Rozkład jednostajny). Niech X ma rozkład standardowy wykładniczy oraz ψ(x) =
(1 − e−x )I[0,∞) (x). Wtedy Y = ψ(X) ma rozkład jednostajny na [0, 1], tzn. fY (y) = I[0,1) (y).
Ogólnie, jeśli X ma dystrybuantȩ F o gȩstości f , to Y = F (X) ma rozkład jednostajny na [0, 1]. Cia̧gła̧
funkcjȩ F można zawsze odwrócić w nastȩpuja̧cy sposób:
F −1 (y) = min{x : F (x) ­ y}
Wtedy analogicznie otrzymujemy
Wniosek 0.4.2 Jeśli Y ma rozkład jednostajny na [0, 1], to X = F −1 (Y ) ma rozkład o dystrybuancie F ,
przy założeniu, że F jest cia̧gła.
0.4.5
Rozkłady ła̧czne i brzegowe
Rozkłady ła̧czne służa̧ do opisu wektora zmiennych losowych (X1 , ..., Xn ). Rozważamy najpierw przypadek n = 2 i zamiast (X1 , X2 ) piszemy (X, Y ).
Gdy X, Y przyjmuja̧ wartości całkowite, określamy (ła̧czna̧) funkcjȩ prawdopodobieństwa.
Definicja 0.4.5 Niech X, Y ∈ Z, wtedy (ła̧czna̧) funkcja̧ prawdopodobieństwa nazywamy
p(X,Y ) (i, j) = P (X = i, Y = j)
określona̧ dla i, j ∈ Z.
Przykład 0.4.14 W pewnej populacji mȩżczyzn sklasyfikowano ich wzrost i ciȩżar. Dane ujȩto w kategoriach, dla wzrostu:
kategoria
1
2
3
wzrost
170 ± 5 180± 190 ± 5
dla ciȩżaru ciała
kategoria
0
1
2
3
ciȩżar
60 ± 5 70 ± 5 80 ± 5 90 ± 5
Procentowo ujȩte wyniki ła̧czne przedstawiono w tabeli:
wzrost\ ciȩżar 0
1
2
3
1
8% 8% 6%
0
2
8% 16% 16% 8%
3
0
8% 10% 12%
12
Wybieraja̧c losowo osobnika z tej populacji, oznaczmy przez X jego wzrost, przez Y jego ciȩżar. Wtedy
ła̧czna funkcja prawdopodobieństwa p(X,Y ) (i, j), dla i = 1, 2, 3 oraz j = 0, 1, 2, 3 (poza tym zero) zawarta
jest w tabelce
p(X,Y ) (i, j)
0
1
2
3
1
0.08 0.08 0.06
0
2
0.08 0.16 0.16 0.08
3
0
0.08 0.1 0.12
Oczywiście
∑
i,j
p(X,Y ) (i, j) = 1.
W przypadku zmiennych losowych typu cia̧głego definiujemy (ła̧czna̧) gȩstość:
Definicja 0.4.6 Para (wektor) zmiennych losowych (X, Y ) ma gȩstość f (x, y) jeśli
P ((X, Y ) ∈ A) =
∫ ∫
f (x, y)dxdy
A
dla f : R2 → R2 , takiej, że f ­ 0 oraz
∫∫
R2
f (x, y)dxdy = 1, gdzie A jest obszarem regularnym.
W szczególności, gdy A = [x, x + △x] × [y + △y], dla małych dodatnich wartości △x, △y,wtedy
P (x ¬ X ¬ x + △x, y ¬ Y ¬ y + △y) =
∫
x+△x ∫ y+△y
x
y
f (u, v)dudv ≈ f (x, y)△x△y
Przykład 0.4.15 Niech f (x, y) = e−y I{(x,y):0<x<y} (x, y). Wtedy
∫∫
f (x, y)dxdy = 1.
Przykład 0.4.16 (Rozkład jednostajny na kole). Wybieramy losowo punkt na kole jednostkowym K =
{(x, y) : x2 + y 2 ¬ 1}. Niech (X, Y ) oznacza wektor jego współrzȩdnych. Wtedy gȩstość tego wektora
f (x, y) = (1/π)IK (x, y)
dla wszystkich x, y ∈ R.
Dystrybuanta dwuwymiarowa
Definicja 0.4.7 Niech (X, Y ) bȩdzie wektorem zmiennych losowych. Dystrybuanta̧ (X, Y ) nazywamy
funkcjȩ F : R2 → [0, 1], określona̧ wzorem
F (x, y) = P (X ¬ x, Y ¬ y)
Uwaga 0.4.6 Jeśli (X, Y ) ma gȩstość f (x, y), to
∫
F (x, y) =
x
∫
y
−∞ −∞
f (u, v)dydx
Dla dowolnych a1 < b1 oraz a2 < b2 , zwia̧zek
P(X,Y ) ((a1 , b1 ] × (a2 , b2 ]) = P (a1 < X ¬ b1 , a2 < Y ¬ b2 )
określa prawdopodobieństwo P(X,Y ) na płaszczyźnie R2 (i σ−ciele zbiorów borelowskich). Przestrzeń probabilistyczna̧ Ω(X,Y ) = (R2 , P(X,Y ) ) nazywamy kanoniczna̧ przestrzenia̧ probabilistyczna̧ wektora (X, Y ).
Szansȩ uzyskania wartości w prostoka̧cie można wyrazić przy pomocy dystrybuanty:
P (a1 < X ¬ b1 , a2 < Y ¬ b2 ) = F (b1 , b2 ) + F (a1 , a2 ) − F (a1 , b2 ) − F (b1 , a2 )
13
Rozkłady brzegowe
Niech (X, Y ) bȩdzie wektorem losowym takim, że X, Y ∈ Z. Z ła̧cznej funkcji prawdopodobieństwa p(X,Y )
można wyliczyć funkcje prawdopodobieństwa zmiennych X oraz Y jako zmiennych jednowymiarowych
(tzw. rozkłady brzegowe).
pX (i) =
∑
P (X = i, Y = j) =
∑
p(X,Y ) (i, j)
j
j
pY (j) =
∑
P (X = i, Y = j) =
i
∑
p(X,Y ) (i, j)
i
Przykład 0.4.17 Niech (X, Y ) ma funkcjȩ prawdopodobieństwa zadana̧ tabela̧:
p(X,Y ) (i, j)
0
1
2
3
1
0.08 0.08 0.06
0
2
0.08 0.16 0.16 0.08
3
0
0.08 0.1 0.12
Wtedy pX (1) = 0.22, pX (2) = 0.48, pX (3) = 0.30 oraz pY (0) = 0.16, pY (1) = 0.32, pY (2) = 0.32, pY (3) =
0.20.
W przypadku zmiennych typu cia̧głego, jeśłi (X, Y ) ma gȩstość f (x, y), to gȩstości brzegowe zadane sa̧
przez:
∫
fX (x) =
f (x, y)dy
R
∫
fY (y) =
f (x, y)dx
R
Niezależnośc zmiennych losowych
Definicja 0.4.8 Niech X, Y ∈ Z. Zmienne X, Y sa̧ niezależne jeśli
p(X,Y ) (i, j) = pX (i)pY (j)
dla wszystkich i, j ∈ Z.
Definicja 0.4.9 Niech X, Y bȩda̧ typu cia̧głego o gȩstości f(X,Y ) . Zmienne X, Y sa̧ niezależne jeśli
f(X,Y ) (x, y) = fX (x)fY (y)
dla wszystkich x, y ∈ R.
W powyższych przypadkach niezależność zmiennych jest równoważna niezależności zdarzeń A = {ω :
X(ω) ∈ I1 } i B = {ω : Y (ω) ∈ I2 }, dla dowolnych przedziałów I1 , I2 , tzn. warunkowi
P (X ∈ I1 , Y ∈ I2 ) = P (X ∈ I1 )P (Y ∈ I2 )
14
Przykład 0.4.18 Niech (X, Y ) maja̧ funkcjȩ prawdopodobieństwa
p(i, j) 1
2 pX
1
0.3 0 0.3
2
0.4 0.3 0.7
pY
0.7 0.3
Zmienne nie sa niezależne, bo 0 = p(1, 2) ̸= pX (1)pY (2) = 0.3 · 0.3
Przykład 0.4.19 Niexh (X, Y ) maja̧ funkcjȩ prawdopodobieństwa
p(i, j)
1
2
pX
1
0.28 0.12 0.4
2
0.42 0.18 0.6
pY
0.7 0.3
Zmienne X, Y sa̧ niezależne.
Przykład 0.4.20 Niech (X, Y ) maja̧ gȩstość f (x, y) = ((x + y + 1)/2)I(0,1)×(0,1) (x, y). Wtedy X, Y nie
sa̧ niezależne.
Dla wektora n ∈ N zmiennych losowych (X1 , ..., Xn ) niezależność definiujemy analogicznie do przypadku
n = 2.
Definicja 0.4.10 Jeśli (X1 , ..., Xn ) ma rozkład typu cia̧głego o gȩstości f (x1 , ..., xn ) wtedy X1 , ..., Xn sa̧
niezależne gdy
f (x1 , ..., xn ) = fX1 (x1 )...fXn (xn )
dla wszystkich x1 , ..., xn ∈ R.
Definicja 0.4.11 Jeśli (X1 , ..., Xn ) ma rozkład typu dystkretnego o funkcji prawdopodobieństwa p(i1 , ..., in )
wtedy X1 , ..., Xn sa̧ niezależne, gdy
p(i1 , ...., in ) = pX1 (i1 )...pXn (in )
dla wszystkich i1 , ..., in ∈ Z.
Niezależność (X1 , ..., Xn ) w obu przypadkach jest równoważna warunkowi
P (X1 ∈ A1 , ..., Xn ∈ An ) = P (X1 ∈ A1 )...P (Xn ∈ An )
dla dowolnych zbiorów A1 , ..., An .
0.4.6
Sumy niezależnych zmiennych losowych
Dla dyskretnych zmiennych losowych P (X + Y = k) =
ności X, Y otrzymujemy
P (X + Y = k) =
∑
P (X = i)P (Y = k − i)
i
15
∑
i P (X
= i, Y = k − i). Przy założeniu niezależ-
Przykład 0.4.21 Niech X bȩdzie liczba̧ sukcesów w n1 próbach Bernoulliego o prawdopodobieństwie
sukcesu p ∈ (0, 1). Niech Y bȩdzie niezależna̧ od X zmienna̧ losowa̧ bȩda̧ca̧ liczba̧ sukcesów w n2 próbach
Bernoulliego o tym samym prawdopodobieństwie sukcesu . Wtedy X + Y ma rozkład dwumianowy
b(k, n1 + n2 , p).
Przykład 0.4.22 Jeśli X, Y sa̧ niezależne i X ∼ P oisson(λ) oraz Y ∼ P oisson(µ), to X + Y ∼
P oisson(λ + µ).
Dla zmiennych losowych typu cia̧głego X ∼ fX oraz Y ∼ fY , jeśli X, Y sa̧ niezależne to X + Y ma gȩstość
∫
fX+Y (z) =
∞
−∞
fX (x)fY (z − x)dx =
∫
∞
−∞
fY (x)fX (z − x)dx
Przykład 0.4.23 Niech X ∼ U [0, 1] oraz Y ∼ U [0, 1] maja̧ ten sam rozkład jednostajny na [0, 1]. Jeśli
X i Y sa̧ niezależne, to



fX+Y (z) =
z
gdy 0 ¬ z ¬ 1
2 − z gdy 1 ¬ z ¬ 2

 0
poza
tym
Wykres tej gȩstości:
Przykład 0.4.24 (Rozkład Erlanga rzȩdu n). Jeśli X1 , ..., Xn sa̧ niezależne o rozkładzie wykładniczym
z parametrem λ > 0, to
fX1 +...+Xn (z) = ((n − 1)!/λn−1 )−1 z n−1 λe−λz I(0,∞) (z)
Przykład 0.4.25 (Proces Poissona) Niech (X1 , X2 , ...) bȩdzie nieskończonym cia̧giem niezależnych zmiennych losowych o rozkładach wykładniczych z parametrem λ > 0. Wtedy N (t) = max{n : X1 + ... + Xn ¬
t}, dla dowolnego t ­ 0 liczy ile punktów umieszczonych w odstȩpach kolejno Xi , i = 1, 2, ... od pocza̧tku
układu współrzȩdnych zmieści siȩ przed t. Zbiór zmiennych losowych (N (t), t ­ 0) nazywamy procesem
Poissona. Wtedy
P (N (t) = i) =
(λt)i −λt
e
i!
dla i = 0, 1, 2, ..., tzn. zmienne N (t) maja̧ rozkłady Poissona, których parametr zmienia siȩ wraz z t i
równa siȩ λt.
16
0.5
WARTOŚĆ OCZEKIWANA
Jeśli (X1 , X2 , ....) jest cia̧giem niezależnych zmiennych losowych o jednakowych rozkładach, przyjmuja̧cych
n
dla dostatecznie dużych wartości
wartości ograniczone, to intuicyjnie ich średnia arytmetyczna X1 +...+X
n
n powinna być zbieżna do pewnej wartości stałej (pomyśl o rzutach moneta̧ lub kostka̧). Uściślenie
tej intuicji wymagać bȩdzie określenia co to znaczy tutaj zbieżna (pojȩcie dla zmiennych losowych a nie
liczb) oraz motywuje wprowadzenie wartości oczekiwanej, ktora okaże siȩ być ta̧ graniczna̧ wartościa̧ stała̧
zależna̧ jedynie od rozkładu, który jest tutaj wspólny dla wszystkich sumowanych zmiennych losowych.
Precyzyjne wysłowienie tego faktu bȩdzie treścia̧ twierdzenia zwanego Prawem Wielkich Liczb.
Definicja 0.5.1 Jeśli X jestzmienna̧ losowa̧ przyjmuja̧ca̧ wartości całkowite, o funkcji prawdopodobieństwa (p(i), i ∈ Z), to wartościa̧ oczekiwana̧ zmiennej X (lub wartościa̧ oczekiwana̧ rozkładu p(i))
nazywamy liczbȩ oznaczana̧ EX, zadana̧ wzorem
EX =
∑
ip(i)
i∈Z
o ile ta wartość istnieje.
Istnienie wartości oczekiwanej skomentujemy później.
Przykład 0.5.1 Rzut moneta̧. Niech X = 1, gdy wypadnie orzeł, 0, gdy wypadnie reszka. EX =
1
1
1
2 0 + 2 1 = 2 . Zauważmy, że wartość 1/2 nie jest przyjmowana przez X.
Przykład 0.5.2 Rzut kostka̧. EX = 3.5.
Przykład 0.5.3 Rozkład Poissona z parametrem λ. EX = λ.
Definicja 0.5.2 Jeśli zmienna X ma gȩstość f , wtedy
∫
EX =
∞
−∞
xf (x)dx
o ile ta wartość istnieje.
Przykład 0.5.4 Rozkład jednostajny na [0, 1]. EX = 1/2.
Przykład 0.5.5 Gȩstość Erlanga rzȩdu n. EX = n/λ.
Przykład 0.5.6 Rozkład Cauchyego.
f (x) =
1
π(1 + x2 )
x ∈ R. Wartość oczekiwana nie istnieje. (Zmienna losowa o gȩstości symetrycznej nie musi mieć wartości
oczekiwanej 0)
Przypomnijmy,
że |x| = [x]+ + [x]− , gdzie [x]+ = max(o, x) oraz ∫[x]− = − min(0, x). Dla dowolnej
∫
funkcji
g,
g(x)dx
istnieje
i jest skończona wtedy i tylko wtedy, gdy∫ R [g(x)]+ dx < ∞ ∫(jest skończona) i
R
∫
∫
[g(x)]
dx
<
∞.
Całka
istnieje i jest nieskończona,
gdy R [g(x)]+ dx = ∫∞ i R [g(x)]− dx < ∞
−
R
R g(x)dx
∫
∫
∫
(wtedy g(x)dx∫ = ∞) lub gdy R∫ [g(x)]+ dx < ∞ i R [g(x)]
dx = ∞ (wtedy g(x)dx = −∞). W
∫ −
przypadku gdy R [g(x)]+ dx = ∞ i R [g(x)]− dx = ∞ całka R g(x)dx nie istnieje.
17
Przykład 0.5.7 (Czas do równowagi) Nieskończona wartość oczekiwana pojawia siȩ w sposób bardzo
naturalny: rzucamy moneta̧, niech Hn oznacza ilość orłów w n rzutach, Tn = n − Hn , oznacza ilość
reszek w n rzutach. Czas zrównania siȩ ilości orłów i reszek po raz pierwszy możemy zdefiniować jako
N = min{n : Hn = Tn }. EN = +∞.
Do liczenia wartości oczekiwanej nieujemnych zmiennych losowych X o wartościach całkowitych uzyteczny
jest wzór:
EX =
∞
∑
P (X ­ n)
n=1
Przykład 0.5.8 Rozkład geometryczny na {1, 2, ...}. p(i) = (1 − p)i−1 p, dla p ∈ (0, 1). EX = 1/p. .
0.5.1
Momenty, funkcje tworza̧ce
∑
Niech Y = ψ(X), dla pewnej funkcji ψ : R → R. Wtedy EY = i∈Z
ψ(i)P (X = i), dla X typu
∫∞
dyskretnego o wartościach całkowitych. Gdy X v f ma gȩstość, to EY = −∞
ψ(x)f (x)dx.
Jeśli Y przyjmuje (niekoniecznie całkowite) wartości y1 , y2 , ... z prawdopodobieństwami p(1), p(2), ... od∑
powiednio, to EY = ∞
i=1 yi p(i).\
Przykład 0.5.9 Rzut kostka̧. X liczba oczek, Y =
√
2
X.
Przykład 0.5.10 Momenty rozkładu jednostajnego. X ∼ U [0, 1], Y = X k dla k ∈ N. (ψ(x) = xk ) .
1
EY = k+1
.
Definicja 0.5.3 Dla zmiennej losowej X, wartość EX k < ∞, k ∈ N ( o ile istnieje i jest skończona)
nazywamy k−tym momentem X. (Wartość oczekiwana jest pierwszym momentem).
Przykład 0.5.11 Funkcja tworza̧ca momenty rozkładu wykładniczego. Niech X ∼Wykładniczy (λ).
λ
.
Wtedy dla Y = etX , t < λ, EY = λ−t
Przykład 0.5.12 Funkcja tworza̧ca momenty rozkładu gamma. Niexh X ∼ gamma(n, λ). Wtedy dlaY =
λ n
etX , t < λ, EY = ( λ−t
) .
Definicja 0.5.4 Dla zmiennej losowej X funkcjȩ
φX (t) = EetX
określona̧ dla t ∈ R (być może o wartościach nieskończonych) nazywamy funkcja̧ tworza̧ca̧ momenty
zmiennej X.
Zwa̧zek tej funkcji z momentami zmiennej X jest nastȩpuja̧cy
(k)
EX k = φX (0)
dla k ∈ N.
Przykład 0.5.13 Momenty rozkładu wykładniczego. X ∼Wykładniczy (λ), wtedy EX k =
18
k!
.
λk
Definicja 0.5.5 Dla zmiennej X o wartościach {0, 1, 2, ...} funkcjȩ
γX (z) = E(z X ) =
∞
∑
z i p(i)
i=0
dla z ∈ [0, 1] nazywamy funkcja̧ tworza̧ca̧.
Zwia̧zek tej funkcji z momentami jest nastȩpuja̧cy
(k)
γX (z) = E(X(X − 1)...(X − k + 1))
dla k ∈ N.
Przykład 0.5.14 Mediana rozkładu. Właściciel bufetu sprzedaje kawȩ. Dzienny popyt na kawȩ określony
jest przez zmienna̧ X o gȩstości f . Właściciel płaci c zł za litr kawy, otrzymuje b zł (b > c) i jeśli zabraknie
mu kawy traci a zł na każdym brakuja̧cym litrze. Ile kawy powinien on kupić, aby zmaksymalizować (w
sensie wartości średniej) swój zysk. Odp.: należy kupić v litrów kawy, gdzie v jest takie, że P (X > v) =
c
a+b . Gdy a = b = c = 1 wartość ta̧ nazywamy mediana̧ rozkładu zmiennej X.
Definicja 0.5.6 Niech X bȩdzie taka, ze E|X| < ∞. Mediana̧ rozkładu zmiennej X jest liczba v, taka,
,że
E|X − c| ­ E|X − v|
dla wszystkich c ∈ R.
Własności wartości oczekiwanej
1. E(aX + b) = aEX + b, dla a, b ∈ R
2. E(X + Y ) = EX + EY
3. X ­ Y ⇒ EX ­ EY
4. Jeśłi X1 , ..., Xn sa̧ niezależne, to E(X1 ...Xn ) = EX1 ...EXn
5. Jeśłi X1 , ..., Xn sa̧ niezależne, to E(g1 (X1 )...gn (Xn )) = Eg(X1 )...Egn (Xn ), dla dowolnych funkcji
g1 , ..., gn .
6. Jeśłi X1 , ..., Xn sa̧ niezależne, to φX1 +...Xn (t) = φX1 (t)...φXn (t), dla funkcji tworza̧cych momenty
Przykład 0.5.15 Warunek E(XY ) = EXEY nie implikuje niezależności X i Y.
X\Y
1
0
pY
−1
0
1 /4
1/4
0
1 /4
1 /4
1/2
1
0
1 /4
1/4
pX
1/4
3/4
wtedy EXY = 0 oraz EXY = EXEY , ale X, Y nie sa̧ niezależne.
Funkcje tworza̧ce wyznaczaja̧ jednoznacznie rozkłady zmiennych losowych:
Jeśli φX (t) = φY (t), t ∈ R, to FX = FY .
Jeśli γX (z) = γY (z), z ∈ (0, 1), to pX (i) = pY (i), i ∈ Z+ .
19
0.5.2
Wariancja i kowariancja
Miara̧ rozrzutu masy prawdopodobieństwa jest na przykład wariancja.
Definicja 0.5.7 Jeśli EX 2 < ∞, to wariancja̧ zmiennej losowej X nazywamy wartość
V arX = E(X − EX)2 = EX 2 − (EX)2
(Gdy EX 2 = ∞, wariancja jest nieskończona). Wartość
√
2
σX = V arX
nazywamy odchyleniem standardowym zmiennej X.
Przykład 0.5.16 Rozkład jednostajny, X ∼ U [0, 1], V arX = 1/12. Dla X ∼ U [a, b], V arX = (b −
a)2 /12.
Własności wariancji:
1. V ar(aX) = a2 V arX, a ∈ R
2. Jeśli X, Y sa̧ niezależne to V ar(X + Y ) = V arX + V arY
3. Jeśli V arX = 0, to P (X = EX) = 1, piszemy X = EX pw (prawie wszȩdzie)
4. V ar(X +Y ) = V arX +V arY +2Cov(X, Y ), gdzie Cov(X, Y ) = E(XY )−EXEY (tzw. kowariancja
zmiennych X, Y ).
Jeśli Cov(X, Y ) = 0, to zmienne sa̧ nieskorelowane (z przykładu wyżej wynika, że niekoniecznie niezależne).
Przykład 0.5.17 Rzut kostka̧. EX = 21/6, EX 2 = 91/6, V arX = 105/36 ≈ 2.9166, σX ≈ 1.7078. Przy
tym odchylenie mierzone wartościa̧ bezwzglȩdna̧ E|X − EX| = 1.5 jest różne od odchylenia standardowego.
0.6
0.6.1
TWIERDZENIA GRANICZNE
Prawa wielkich liczb
Lemat 0.6.1 Niech ϕ : [0, ∞) → R+ , bȩdzie niemaleja̧ca oraz X ­ 0. Wtedy
Eϕ(X) ­ ϕ(y)P (X ­ y)
dla każdego y > 0.
Lemat 0.6.2 (Nierówność Czebyszewa). Niech Y bȩdzie zmienna̧ losowa̧ o skończonej wariancji. Wtedy
V arY ­ y 2 P (|Y − EY | ­ y)
20
Przy powtarzaniu eksperymentów najcześciej badana̧ wielkościa̧ jest średnia próbkowa: dla zmiennych
losowych X1 , ..., Xn (n ∈ N ) średnia̧ próbkowa̧ jest zmienna losowa
X1 + ... + Xn
n
Jeśli Xi maja̧ jednakowy rozkład o skończonej wartości oczekiwanej, to dla µ = EXi
Xn =
EX n = µ
jeśłi ponadto zmienne Xi sa̧ niezależne o skończonej wariancji σ 2 = V arXi ,, to
V arX n =
σ2
n
oraz
σ
σX n = √
2
n
Widać sta̧d, że jeśli n jest ”duże”, to wariancja średniej próbkowej jest bliska zeru, a sta̧d średnia próbkowa
jest wtedy bliska wartości stałej µ. Dokładniej mowia̧c, zachodzi:
Twierdzenie 0.6.3 (Słabe prawo wielkich liczb). Jeśłi X1 , X2 , ...sa̧ niezależne o jednakowym rozkładzie
i skończonej wartości oczekiwanej µ, to dla każdego ε > 0
P (|X n − µ| ­ ε) →n→∞ 0
Piszemy wtedy
X n →P µ
i określamy ta̧ zbieżność jako zbieżność według prawdopodobieństwa.
Przykład 0.6.1 Chcemy wyznaczyć średni wzrost µ mȩżczyzn w wieku 20 lat w kraju. Wybieramy
losowo (niezależnie) n mȩżczyzn (pobieramy próbkȩ z populacji) i otrzymujemy wartości X1 , ...., Xn . Z
prawa wielkich liczb otrzymujemy, że dla ”dużych” n średnia próbkowa z dużym prawdopodobieństwem
przybliża wartość µ.
Przykład 0.6.2 (Czȩstość wystȩpowania zdarzenia, a jego prawdopodobieństwo). Powtarzamy eksperyment o wyniku liczbowym W niezależnie n razy. Niech Xi = IA (Wi ), tzn. Xi jest zmienna̧ zero-jedynkowa̧
przyjmuja̧ca̧ wartość 1, gdy i-ty wynik eksperymentu osia̧ga swoja̧ wartość w ustalonym zbiorze A. Wtedy
X n można zinterpretować jako czȩstość zdarzenia, że wynik eksperymentu osia̧ga wynik w ustalonym
zbiorze A. Z prawa wielkich liczb, dla ”dużych” n czȩstość ta jest bliska EXi = P (Wi ∈ A). Gdy
A = (−∞, x], to X n ≈ P (W ¬ x).
Zbieżność według prawdopodobieństwa w słabym prawie wielkich liczb może być zasta̧piona mocniejsza̧
zbieżnościa̧:
Twierdzenie 0.6.4 (Mocne prawo wielkich liczb). Jeśłi X1 , X2 , ...sa̧ niezależne o jednakowym rozkładzie
i skończonej wartości oczekiwanej µ, to
P (X n →n→∞ µ) = 1
Piszemy wtedy
X n → µ p.w.
i określamy ta̧ zbieżność jako zbieżność prawie wszȩdzie.
Szansȩ, że przybliżenie wartości oczekiwanej przez średnia̧ próbkowa̧ jest dobre można oszacować przy
użyciu natȩpnego twierdzenia granicznego.
21
0.6.2
Centralne Twierdzenie Graniczne (CTG)
Twierdzenie 0.6.5 Jeśli X1 , X2 , ... sa̧ niezależnymi zmiennymi losowymi o jednakowym rozkładzie i
skończonej wariancji σ 2 , to dla każdego x ∈ R
P(
Xn − µ
¬ x) →n→∞ P (N (0, 1) ¬ x)
σX n
√
gdzie σX n = σ/ 2 n oraz N (0, 1) oznacza zmienna̧ o rozkładzie standardowym normalnym. Piszemy wtedy
Xn − µ d
→ N (0, 1)
σX n
i określamy ta̧ zbieżność jako zbieżność według rozkładu.
Zbieżność według rozkładu jest słabsza niż zbiezność według prawdopodobieństwa (jest przez nia̧ implikowana, lecz nie odwrotnie).
Przykład 0.6.3 Gramy w ruletkȩ, stawiamy na czarne 81 razy, wygrywaja̧c lub przegrywaja̧c za każdym
razem 1 zł. Jakie jest prawdopodobieństwo, że saldo gry bȩdzie dodatnie po 81grach? Używaja̧c CTG i
tablic rozkładu normalnego otrzymujemy, że w przybliżeniu wynosi ono 0.3192.
Przykład 0.6.4 Rzucamy moneta̧ 900 razy. Jakie jest prawdopodobieństwo, że uzyskamy conajmniej
465 orłów? Stosujemy CTG, używaja̧c tzw. poprawki histogramowej otrzymujemy 0.166.
Przykład 0.6.5 Powtarzamy 15 razy eksperyment z prawdopodobieństwem sukcesu 0.2. Jakie jest prawdopodobieństwo dokładnie 3 sukcesów? Stosujemy CTG, używaja̧c przedziału długości 1 zawieraja̧cego 3,
otrzymujemy 0.2510. Dokonujemy porównania z wartościami dokładnymi i z przybliżeniem Poissona(3).
k
Dokł.
Normalne
Poisson
0
0.0352
0.0422
0.0498
1
0.1319
0.1137
0.1494
2
0.2309
0.2060
0.2240
3
0.2501
0.2510
0.2240
4
0.1876
0.2060
0.1680
5
0.1032
0.1137
0.1008
6
0.04330
0.0422
0.0504
Przykład 0.6.6 Klienci przychodza̧ do punktu obsługi w godzinach 11:30-1:30 losowo z rozkładem Poissona (225). Jakie jest prawdopodobieństwo, że przyjdzie mniej niż 200 osób? Stosujemy CTG do sumy 225
zmiennych poissonowskich o średniej 1. Stosuja̧c poprawkȩ histogramowa̧ otrzymujemy 0.0446. Ogólnie
widać, że
N −λ
P( √
¬ x) ≈ P (N (0, 1) ¬ x)
2
λ
dla dużych wartości λ oraz N ∼ P oisson(λ).
22
0.7
Dodatek
0.7.1
Funkcje specjalne
• Funkcja Gamma
∫
∞
tx−1 e−t dt,
Γ(x) =
x > 0.
0
Zachodzi: Γ(x + 1) = xΓ(x).
• Niekompletna funkcja Gamma
∫
∞
Γ(x, a) =
tx−1 e−t dt,
x > 0.
a
• Funkcja Beta
∫
B(a, b) :=
0
1
ta−1 (1 − t)b−1 dt
Zachodzi: B(a, b) =
0.7.2
Γ(a)Γ(b)
Γ(a+b)
Parametry i funkcje rozkładów
Niech X bȩdzie zmienna̧ losowa̧. Ze zmiennymi losowymi bȩdziemy utożsamiali nastȩpuja̧ce funkcje:
• Dystrybuanta
F (x) = FX (x) := P (X ¬ x);
• Funkcja przeżycia (ogon rozkładu)
F (x) := 1 − F (x);
• Gȩstość
f (x) = fX (x) =
d
F (x);
dx
• Funkcja tworza̧ca momenty
M (t) = MX (t) = E [exp(tX)] ;
• Funkcja tworza̧ca kumulanty
C(t) = CX (t) = log MX (t).
• Funkcja tworza̧ca prawdopodobieństwa
[
]
P (t) = PX (t) = E tX = MX (log t).
23
[
]
[
]
Oznaczmy teraz µk (X) = E X k , mk (X) = E (X − E [X])k . W przypadku, gdy wiadomo o jaka̧
zmienna̧ losowa̧ chodzi piszemy mk i µk . Parametr µk nazywany jest k-tym momentem zwykłym,
mk - k-tym momentem centralnym. W szczególności µ1 =: µ jest średnia̧, a m2 jest wariancja̧. Pa3
4
rametr γ3 := m3/2
jest nazywamy skośnościa̧, a γ4 := m
− 3 kurtoza̧. Iloraz γ1 := mµ2 nazywamy
m2
m2
2
√
indeksem dyspersji, a γ2 =
m2
µ
współczynnikiem zmienności.
Drugi i trzeci moment centralny można wyrazić za pomoca̧ momentów zwykłych:
[
[
]
[
]
Var [X] = E (X − E [X])2 = E X 2 − (E [X])2 ,
E (X − E [X])3
]
[
]
[
]
= E X 3 − 3E [X] E X 2 + 2(E [X])3 .
Zachodza̧ nastȩpuja̧ce wzory pozwalaja̧ce wyliczać momenty za pomoca̧ funkcji tworza̧cych:
[
]
M (k) (0) = E X k ,
(1)
(2)
CX (0) = E [X] ,
CX (0) = Var [X] ,
[
(3)
]
CX (0) = E (X − E [X])3 .
Tak wiȩc pochodne funkcji tworza̧cej momenty pozwalaja̧ wyliczać momenty centralne, podczas gdy
funkcji tworza̧cej CX zwane sa̧ kumulantami.
0.7.3
Rozkłady dyskretne
Rozkład dwumianowy Bin(n, p)
Jeżeli
( )
n m n−m
p q
,
m
P (X = m) =
gdzie p ∈ (0, 1), q = 1 − p, m = 0, 1, . . . , n, to X ma rozkład dwumianowy Bin(n, p). Mamy
P (t)
E [X]
Var [X]
γ1
γ2
γ3
(q + pt)n
np
npq
q
√
q
√
np
√
n (q−p)
npq
Rozważmy teraz próbȩ X1 , . . . , Xk ∼ Bin(ni , p), gdzie
estymujemy w sposób nastȩpuja̧cy:
∑k
i=1 ni
∑k
i=1 Xi
pb =
n
,
E [pb] = p,
1
Var [pb] = pq .
n
Rozkład Poissona P oi(λ)
Jeżeli
P (X = m) =
λm −λ
e ,
m!
gdzie λ > 0, m = 1, 2, 3, . . ., to X ma rozkład Poissona P oi(λ).
24
γ4
3+
1−6pq
npq
= n jest znane. Parametr p rozkładu
P (t)
E [X]
Var [X]
γ1
γ2
γ3
γ4
exp(λ(t − 1))
λ
λ
1
√1
λ
√1
λ
1
λ
Dla próby X1 , . . . , Xk ∼ P oi(λ),
b
λ
∑k
i=1 Xi
=
k
[ ]
b
E λ
= λ
[ ]
b
Var λ
=
λ
k
Rozkład ujemny dwumianowy Bin− (r, p)
Jeżeli
(
P (X = m) =
)
r+m−1 r m
p q ,
m
r ∈ R+ , m = 0, 1, . . ., tzn. X ma rozkład ujemny dwumianowy Bin− (r, p).
P (t)
(
)r
p
1−qt
E [X]
Var [X]
γ1
γ2
γ3
rq
p
rq
p2
1
p
√1
rq
1+q
√
rq
γ4
3+
p2 +6q
rq
Jeżeli r ∈ N, to dostajemy rozkład Pascala, jeżeli r = 1 - rozkład geometryczny Geo(p). Jeżeli X ma
rozkład Geo(p) to zmienna losowa M o rozkładzie warunkowym takim jak X pod warunkiem X > 0 ma
przesuniȩty rozkład geometryczny z P (M = n) = pq n , n ∈ {1, 2, . . .}. Oba rozkłady geometryczne różnia̧
siȩ średnia̧, wariancje sa̧ takie same. Inaczej: M ma rozkład postaci Geo(p) ∗ δ1 .
Na podstawie próby X1 , . . . , Xk ∼ P oi(λ), estymacja wygla̧da nastȩpuja̧co:
1. r znane:
pb =
[ ]
b
=
E λ
r+
r−1
,
i=1 Xi /k − 1
∑k
p
2. r i p nieznane:

2
 rb = X
2
S −X
 1−pb = S 2 − 1
p
b
X
0.7.4
Rozkłady cia̧głe
Rozkład normalny
Gȩstość zmiennej losowej X o rozkładzie normalnym ze średnia̧ µ i wariancja̧ σ 2 jest postaci
1
ϕ (x) = √
exp(−(x − µ)2 /2σ 2 ).
2πσ
Piszemy wtedy X ∼ N (µ, σ 2 ). Jeżeli µ = 0 i σ 2 = 1 to mówimy o standardowym rozkładzie normalnym.
Parametry:
25
M (t)
e
(tσ)2
+tµ
2
E [X]
Var [X]
µ
σ2
,
γ1
σ2
µ ,µ
γ2
̸= 0
σ
µ, µ
̸= 0
γ3
γ4
0
0
Maja̧c dane X1 , . . . , Xk , parametry µ i σ estymujemy metoda̧ momentów.
Rozkład odwrotny normalny IG(µ, σ 2 )
Niech X ma gȩstość zadana̧ wzorem
√
fX (x) =
{
σ
σ
exp −
3
2πx
2µ
(
x
µ
−2+
µ
x
)}
,
gdzie µ ∈ R, σ > 0, x ∈ R, tzn. X ma rozkład odwrotny normalny IG(µ, σ 2 ).
Parametry:
M (t)
E [X]
Var [X]
γ1
,
µ
µ3
σ
µ2
σ
γ2
√
γ3
µ
σ
√
3
γ4
µ
σ
15µ
σ
Dla próby X1 , . . . , Xk ∼ IG(µ, σ 2 )
b = X=
µ
[
b =
σ
k
1∑
Xi ,
k i=1
k (
)
1∑
−1 2
Xi−1 − X
k i=1
]−1
.
Rozkład logarytmiczno-normalny LN (µ, σ)
Niech X ma gȩstość zadana̧ wzorem
(
1
−(log x − µ)2
√
f (x) =
exp
2σ 2
(xσ 2π)
)
x > 0, µ ∈ R, σ > 0.
,
Wtedy X ma rozkład logarytmiczno-normalny LN (µ, σ).
M (t)
E [X]
,
eµ+ 2 σ
1
2
Var [X]
(
2
)
eσ − 1 e2µ+σ
γ1
γ2
γ3
(
2
Jeśli Y jest N (µ, σ), to X = eY ∼ LN (µ, σ).
Dla próby X1 , . . . , Xk ∼ LN (µ, σ 2 )
b =
µ
b =
σ
k
1∑
log Xi ,
k i=1
v
u
k
u1 ∑
t
b)2 .
(log Xi − µ
k
i=1
26
2
eσ + 2
)√
γ4
eσ 2 − 1
4
3
2
eσ + 2eσ + 3eσ − 3
Rozkład wykładniczy Exp(λ)
Niech X ma gȩstość zadana̧ wzorem
fX (x) = λe−λx ,
gdzie x > 0, λ > 0, tzn. X ma rozkład wykładniczy Exp(λ).
Parametry:
M (t)
E [X]
Var [X]
γ1
γ2
γ3
λ
λ−t ,
1
λ
1
λ2
1
λ
1
0
Dla próby X1 , . . . , Xk ∼ Exp(λ),
b= ∑
λ
k
1
i=1 Xi
γ4
.
Rozkład Gamma Gamma(α, β)
Niech X ma gȩstość zadana̧ wzorem
fX (y) =
β α α−1 −βx
x
e
,
Γ(α)
α > 0, β > 0, x > 0, tzn. X ma rozkład Gamma Gamma(α, β).
M (t)
E [X]
Var [X]
γ1
γ2
βα
(β−t)α ,
α
β
α
β2
1
β
√1
α
γ3
γ4
Jeżeli X ∼ Γ(1, β), to X ∼ Exp(β).
Dla próby X1 , . . . , Xk ∼ Γ(α, β),
( )2
b =
α
βb =
1
k−1
1
k−1
∑n
X
i=1 (Xi
− X)2
,
X
.
2
i=1 (Xi − X)
∑k
Rozkład Weibulla W ei(r, c)
Niech X ma gȩstość zadana̧ wzorem
f (x) = rcxr−1 exp(−cxr ),
x > 0,
gdzie 0 < r jest parametrem kształtu, c > 0 jest parametrem skali. Wtedy X ma rozkład Weibulla
W ei(r, c).
M (t)
E [X]
( )1
,
1
c
r
(
Γ
1
r
Var [X]
)
+1
( )2 { (
1
c
r
Γ
2
r
)
[ (
+1 − Γ
27
γ1
1
r
)]2 }
+1
γ2
γ3
γ4
Jeśli X jest W ei(1, c), to X ∼ Exp(c).
Dla próby X1 , . . . , Xn ∼ W ei(r, c) parametry c i r estymujemy rozwia̧zuja̧ układ równań:
∑
c k1 ki=1 Xir = 1
∑
k
r
r
i=1 (cXi − 1) log Xi = 1
k
Rozkład Pareto P ar(α, c)
Niech X ma gȩstość zadana̧ wzorem
α c
f (x) = ( )( )α+1 ,
c x
x > c,
gdzie α > 0, a c > 0 jest parametrem skali. Wtedy X ma rozkład Pareto P ar(α, c) .
M (t)
E [X]
Var [X]
nie istnieje
α
c α−1
, α>1
c2 (α−1)α2 (α−2) , α > 2
28
γ1
γ2
γ3
2 α+1
α−3
√
α−2
α ,
γ4
α>3