Rozdział 1 Zmienne losowe, ich rozkłady i charakterystyki

Rozdział 1
Zmienne losowe, ich rozkłady
i charakterystyki
1.1
Definicja zmiennej losowej
Niech Ω będzie przestrzenią zdarzeń elementarnych.
Definicja 1 Rodzinę S zdarzeń losowych (zbiór S podzbiorów zbioru Ω) nazywamy σalgebrą, gdy spełnia ona następujące warunki:
(i) zbiór pusty należy do S,
(ii) jeżeli A ∈ S, to A′ ∈ S,
(iii) jeżeli dla dowolnego ciągu (An ) zdarzeń losowych, elementy tego ciągu Ai ∈ S, to
A1 ∪ . . . ∪ Ai . . . ∈ S.
Przykład 1 W przypadku jednokrotnego rzutu kostką przestrzeń zdarzeń elementarnych
jest postaci Ω = {1, 2, 3, 4, 5, 6}. Niech S1 = {∅, Ω}, S2 = {∅, Ω, {5}, {1, 2, 3, 4, 6}}, S3 =
{∅, Ω, {1}}. Łatwo pokazać, że S1 i S2 są σ-algebrami, natomiast S3 nie jest σ-algebrą.
Definicja 2 Niech Ω będzie przestrzenią zdarzeń elementarnych i S – σ-algebrą zdarzeń
ze zbioru Ω. Zmienną losową nazywamy dowolną funkcję X, określoną na przestrzeni
zdarzeń elementarnych Ω, o wartościach ze zbioru R liczb rzeczywistych, mającą następującą własność – dla dowolnej, ustalonej liczby rzeczywistej x zbiór zdarzeń elementarnych
ω, dla których spełniona jest nierówność X(ω) < x, jest zdarzeniem, które należy do
σ-algebry S.
W przypadku, gdy przestrzeń zdarzeń Ω jest skończona, a σ-algebrę zdarzeń tworzą wszystkie jej podzbiory, wtedy powyższy warunek nie stanowi żadnego ograniczenia
1
i wówczas każda funkcja X, odwzorująca zbiór zdarzeń elementarnych Ω w zbiór R liczb
rzeczywistych, jest zmienną losową.
Zmienne losowe oznaczamy dużymi literami, np. X, Y, Z, ich wartości (nazywane
również realizacjami) – odpowiednimi małymi literami: x, y, z, często z indeksami, np.
x1 , x2 , itp.
Przykład 2 Cd. przykładu 1. Niech X(ω) = 1, gdy ω ∈ {2, 4, 6} oraz X(ω) = 0, gdy
ω ∈ {1, 3, 5}, tzn. zmienna losowa X przyjmuje wartość 1, gdy wypada ścianka z parzystą
liczbą oczek oraz wartość 0, gdy wypada ścianka z nieparzystą liczbą oczek.
Zmienne losowe mogą być typu dyskretnego, typu ciągłego lub typu mieszanego.
W dalszej części wykładu będziemy rozpatrywać przypadki zmiennych losowych tylko
dwóch pierwszych typów (skokowego lub ciągłego).
1.2
Zmienne losowe typu skokowego (dyskretne)
Definicja 3 Zmiennymi losowymi typu skokowego lub zmiennymi losowymi dyskretnymi
nazywamy takie zmienne losowe, których zbiór wartości jest przeliczalny (w szczególności
skończony).
Zbiór wartości zmiennej losowej X typu skokowego będziemy oznaczać przez WX =
{x1 , x2 , . . . , xn , . . .}.
Przykład 3 Zmienna z przykładu 2 jest zmienną typu skokowego oraz WX = {0, 1}.
1.2.1
Funkcja rozkładu prawdopodobieństwa
Definicja 4 Funkcję p określoną na zbiorze WX równością
p(xi ) = P (X = xi ) := pi
nazywamy funkcją rozkładu prawdopodobieństwa lub krócej – funkcją prawdopodobieństwa
dyskretnej zmiennej losowej X.
Z aksjomatów prawdopodobieństwa wynika, że funkcja prawdopodobieństwa zmiennej
losowej X posiada następujące własności:
1. pi ­ 0,
2
2.
∑
i
pi = 1.
Przykład 4 W przypadku jednokrotnego rzutu “słuszną” kostką, zmienna losowa z przykładu 3 ma następującą funkcję prawdopodobieństwa: p(0) = 1/2, p(1) = 1/2.
Fakt 1 Jeżeli dana jest funkcja rozkładu prawdopodobieństwa zmiennej losowej X, to
prawdopodobieństwo przyjęcia przez tę zmienną wartości ze zbioru A jest określone równością:
∑
P (X ∈ A) =
pi .
xi ∈A
W szczególności dla dowolnego przedziału (a, b) mamy
P (a < X < b) =
∑
pi .
a<xi <b
Definicja 5 Wykresem funkcji prawdopodobieństwa, w prostokątnym układzie współrzędnych, nazywamy zbiór punktów (xi , pi ).
Fakt 2 Suma długości wszystkich odcinków o końcach (xi , 0), (xi , pi ), zgodnie z własnością
2) funkcji prawdopodobieństwa, jest równa jedności.
Przykład 5 Rozpatrzmy przypadek dwukrotnego rzutu symetryczną monetą. Niech X
oznacza liczbę orłów uzyskanych w tych dwóch rzutach. Wówczas WX = {0, 1, 2}. Z założenia, że moneta jest symetryczna, funkcja prawdopodobieństwa zmiennej losowej X jest
postaci: p(0) = P (X = 0) = 1/4, p(1) = P (X = 1) = 1/2, p(2) = P (X = 2) = 1/4.
Łatwo można naszkicować wykres powyższej funkcji prawdopodobieństwa.
Definicja 6 Wartością modalną (in. modą lub dominantą) zmiennej losowej X o funkcji
prawdopodobieństwa p, nazywamy taką wartość x0 , dla której
p(x0 ) = max p(xi ),
i
tzn. x0 jest najbardziej prawdopodobną wartością zmiennej losowej.
1.2.2
Niektóre rozkłady zmiennej losowej typu skokowego
Rozkład jednopunktowy
Zmienna losowa X ma rozkład jednopunktowy (rozkład zdegenerowany), jeżeli jej funkcja
prawdopodobieństwa jest postaci p(x1 ) = 1, dla x1 ∈ WX = {x1 }.
3
Rozkład równomierny
Zmienna losowa X ma rozkład równomierny, jeżeli jej funkcja prawdopodobieństwa jest
postaci p(xi ) = 1/n, dla xi ∈ WX = {x1 , x2 , . . . , xn }. Jest to zatem rozkład zmiennej
losowej mającej skończoną liczbę punktów skokowych xi i równe skoki pi = 1/n.
Rozkład zero–jedynkowy, in. rozkład Bernoulliego B(1, p)
Zmienna losowa X ma rozkład zero–jedynkowy z parametrem p, p ∈ (0, 1), jeżeli jej
funkcja prawdopodobieństwa jest postaci p(0) = q, p(1) = p, gdzie q = 1 − p. Jest to
zatem rozkład zmiennej losowej mającej dwa punkty skokowe x1 = 0 oraz x2 = 1.
Rozkład dwumianowy B(n, p)
Zmienna losowa X ma rozkład dwumianowy B(n, p) (in. Bernoulliego, binomialny) z parametrami n i p, jeżeli jej funkcja prawdopodobieństwa pk = P (k; n, p) = P (X = k) jest
postaci
( )
P (k; n, p) =
n k n−k
p q ,
k
dla k = 0, 1, 2, . . . , n, gdzie q = 1 − p.
Zmienną losową o rozkładzie dwumianowym z parametrami n i p można interpretować
jako liczbę sukcesów w n próbach Bernoulliego z prawdopodobieństwem sukcesu p.
Fakt 3 Jeżeli zmienna losowa X ma rozkład dwumianowy B(n, p) oraz (n + 1)p jest
liczbą całkowitą, to zmienna X ma dwie wartości modalne (n + 1)p oraz (n + 1)p − 1;
jeżeli natomiast (n + 1)p nie jest liczbą, to wartość modalna zmiennej losowej X wynosi
[(n + 1)p], gdzie [a] oznacza największą liczbę całkowitą nie przekraczającą a.
Rozkład ujemny dwumianowy (Pascala) N B(r, p)
Zmienna losowa X ma rozkład ujemny dwumianowy N B(r, p) (rozkład Pascala) z parametrami (r, p), r ∈ N, p ∈ (0, 1), jeżeli jej funkcja prawdopodobieństwa pk = P (k; r, p) =
P (X = k) jest postaci
(
)
r+k−1 k r
P (k; r, p) =
p q ,
r−1
dla k = 0, 1, . . . , gdzie q = 1 − p.
Zmienną losową o rozkładzie ujemnym dwumianowym z parametrami r i p można interpretować jako liczbę sukcesów w próbach Bernoulliego z prawdopodobieństwem sukcesu
4
p do momentu uzyskania r-tej porażki.
W przypadku, gdy r = 1, rozkład ujemny dwumianowy nazywany jest rozkładem geometrycznym z parametrem p.
Rozkład hipergeometryczny H(N, M, n)
Zmienna losowa X ma rozkład hipergeometryczny H(N, M, n) z parametrami (N, M, n),
gdzie N, M, n są liczbami naturalnymi oraz M ¬ N i n ¬ N, jeżeli jej funkcja prawdopodobieństwa pk = P (k; N, M, n) = P (X = k) jest postaci
(
P (k; N, M, n) =
M
k
)(
)
N −M
n−k
( )
,
N
n
dla k = max{0, n + M − N }, . . . , min{n, M }.
Zmienna losowa X o rozkładzie hipergeometrycznym ma następującą interpretację: jest
ona możliwą liczbą elementów mających wyróżnioną cechę A wśród n elementów wylosowanych bez zwracania ze zbioru N elementów, wśród których przed rozpoczęciem
losowania znajdowało się M elementów mających cechę A.
Twierdzenie 1 Jeżeli N → ∞, M → ∞, ale tak, że M
N → p, p ∈ (0, 1), wtedy rozkład hipergeometryczny z parametrami (N, M, n) jest zbieżny do rozkładu dwumianowego
z parametrami (n, p).
Wniosek 1 Z powyższego twierdzenia wynika następujące przybliżenie rozkładu hipergeometrycznego rozkładem dwumianowym:
(
M
k
)(
N −M
n−k
( )
N
n
)
( )
≈
n k n−k
p q ,
k
gdzie p = M/N, q = 1 − p.
Rozkład Poissona P(λ)
Zmienna losowa X ma rozkład Poissona P(λ) z parametrem λ, λ > 0, jeżeli jej funkcja
prawdopodobieństwa pk = P (k; λ) = P (X = k) jest postaci
P (k; λ) = e−λ
5
λk
,
k!
k = 0, 1, 2, . . . .
Twierdzenie 2 Jeżeli X1 , X2 , . . . , Xn , . . . jest ciągiem niezależnych zmiennych losowych
o rozkładzie dwumianowym odpowiednio z parametrami (1, p1 ), (2, p2 ), . . . , (n, pn , . . . oraz
npn → λ, gdy n → ∞, gdzie λ > 0, to
( )
k
n k
n−k
−λ λ
p (1 − pn )
=e
,
k n
k!
lim
n→∞
k = 0, 1, 2, . . . , czyli ciąg rozkładów dwumianowych jest zbieżny do rozkładu Poissona.
Wniosek 2 Z powyższego twierdzenia, dla dużych n, wynika następujące przybliżenie Poissona rozkładu dwumianowego:
( )
n k
λk
p (1 − p)n−k ≈ e−λ ,
k
k!
gdzie λ = np.
Przybliżenie to jest dla celów praktycznych wystarczająco dokładne, gdy n ­ 50,
p ¬ 0.1, np ¬ 10.
Wniosek 3 Rozkład Poissona jest rozkładem granicznym również dla rozkładu hipergeoM
metrycznego. Mianowicie, gdy N → ∞, M → ∞, n → ∞, ale tak, że M
N → 0 i n N → λ,
λ > 0, wtedy P (k; N, M, n) → P (k; λ). Wynika stąd następujące przybliżenie Poissona
rozkładu hipergeometrycznego:
(
M
k
1.3
)(
N −M
n−k
( )
N
n
)
≈e
−λ λ
k
k!
.
Dystrybuanta zmiennej losowej i jej własności
Definicja 7 Dystrybuantą FX (x) zmiennej losowej X nazywamy funkcję określoną na
zbiorze liczb rzeczywistych następującym wzorem
FX (x) = P (X ¬ x).
Jeżeli nie ma wątpliwości z jaką zmienną losową mamy do czynienia, to jej dystrybuantę
będziemy oznaczali krótko przez F (x) zamiast FX (x).
6
Fakt 4 Dystrybuanta dowolnej zmiennej losowej X ma następujące własności:
1. 0 ¬ F (x) ¬ 1,
2. F (x) jest funkcją niemalejącą,
3. limx→−∞ F (x) = 0 oraz limx→∞ F (x) = 1,
4. F (x) jest funkcją prawostronnie ciągłą,
5. prawdopodobieństwo P (a < X ¬ b) przyjęcia przez zmienną losową X wartości z
przedziału (a, b] jest równe przyrostowi wartości dystrybuanty F między punktami a
i b, tzn.
P (a < X ¬ b) = F (b) − F (a),
6. prawdopodobieństwo P (X = x0 ) przyjęcia przez zmienną losową X dowolnej, ustalonej wartości wyraża się za pomocą dystrybuanty F równością:
P (X = x0 ) = F (x0 ) − F (x0 − 0),
gdzie F (x0 − 0) oznacza lewostronną granicę dystrybuanty F w punkcie x0 , czyli
F (x0 − 0) = limx→x−0 F (x).
Twierdzenie 3 Jeżeli G jest dowolną funkcją o wartościach rzeczywistych spełniającą
własności: 2, 3, 4, to G jest dystrybuantą pewnej zmiennej losowej.
Przykład 6 Dystrybuanta F zmiennej losowej X z przykładu 5 ma następującą postać


0,
gdy x < 0,





 1/4, gdy 0 ¬ x < 1,
F (x) =


3/4, gdy 1 ¬ x < 2,





gdy x ­ 2.
1,
1.4
Zmienne losowe typu ciągłego
Definicja 8 Zmienną losową, która przyjmuje nieprzeliczalnie wiele wartości (np. przyjmuje wszystkie wartości z pewnego przedziału albo przedziałów) nazywamy zmienną losową
typu ciągłego, jeżeli istnieje nieujemna funkcja f taka, że dystrybuantę zmiennej losowej
X można przedstawić w postaci
∫
F (x) =
x
−∞
7
f (t)dt.
Funkcję f nazywamy gęstością zmiennej losowej X (gęstością rozkładu zmiennej losowej
X).
Z definicji dystrybuanty wynikają następujące własności funkcji gęstości:
1. f (x) ­ 0, dla każdego x ∈ R,
2.
∫∞
−∞
f (x)dx = 1.
Mówimy, że dany jest rozkład prawdopodobieństwa zmiennej losowej X typu ciągłego,
gdy dana jest jej dystrybuanta F lub gęstość f.
Jeżeli gęstość zmiennej losowej X jest różna od zera tylko w przedziale (a, b), to rozkład
nazywamy skoncentrowanym na przedziale (a, b).
Wykresem dystrybuanty zmiennej losowej typu ciągłego jest linia ciągła.
1.4.1
Własności zmiennej losowej typu ciągłego
1. Jeżeli x jest punktem ciągłości gęstości f, to
F ′ (x) = f (x).
2. Dla każdego c ∈ R, P (X = c) = 0.
3. P (a ¬ X < b) = P (a < X ¬ b) = P (a < X < b) = P (a ¬ X ¬ b) = F (b) − F (a).
4. P (a ¬ X < b) = P (a < X ¬ b) = P (a < X < b) = P (a ¬ X ¬ b) =
1.4.2
∫b
a
f (x)dx.
Niektóre rozkłady zmiennej losowej typu ciągłego
Rozkład jednostajny U(a, b) na odcinku [a, b]
Zmienna losowa ma rozkład jednostajny U(a, b) na odcinku [a, b], jeżeli jej funkcja gęstości
wyraża się wzorem


f (x) =
1
b − a , gdy x ∈ [a, b],
 0,
gdy x ∈
/ [a, b].
Dystrybuanta rozkładu jednostajnego na odcinku [a, b] wyraża się wzorem


0,



gdy x ¬ a
x
−
a
F (x) =

b − a , gdy a < x ¬ b,



1,
gdy x > b.
8
Rozkład wykładniczy E(λ)
Zmienna losowa ma rozkład wykładniczy E(λ) z parametrem λ, jeżeli jej funkcja gęstości
wyraża się wzorem

 1 exp{− x }, gdy x > 0,
λ
λ
f (x) =
 0,
gdy x ¬ 0.
Dystrybuanta rozkładu E(λ) wyraża się wzorem

 1 − exp{− x },
λ
F (x) =
 0,
gdy x > 0,
gdy x ¬ 0.
Rozkład normalny N (µ, σ 2 )
Zmienna losowa ma rozkład normalny N (µ, σ 2 ) z parametrami µ ∈ R i σ ∈ (0, ∞), jeżeli
jej funkcja gęstości wyraża się wzorem
[
]
1
(x − µ)2
f (x) = √
exp −
.
2σ 2
2πσ
Rozkład normalny N (0, 1) nazywamy standardowym rozkładem normalnym.
Nie istnieje jawna postać dystrybuanty rozkładu normalnego.
Fakt 5 Jeżeli zmienna losowa X ma rozkład normalny N (µ, σ 2 ), to zmienna losowa
Y =
X−µ
σ
ma rozkład N (0, 1) (standardowy rozkład normalny). Powyższe przekształce-
nie zmiennej losowej X nazywamy standaryzacją zmiennej losowej.
Wniosek 4 Jeżeli zmienna losowa X ma rozkład normalny N (µ, σ 2 ), to
P (X ¬ x) = P
(
)
(
)
X −µ
x−µ
x−µ
¬
=Φ
,
σ
σ
σ
gdzie Φ oznacza dystrybuantę zmiennej losowej o standardowym rozkładzie normalnym.
Wartości dystrybuanty standardowego rozkładu normalnego są stablicowane.
Przykład 7 Niech X będzie zmienną losową o rozkładzie normalnym N (1, 4). Wówczas
P (X ¬ 2) = P
(
)
( )
2−1
1
X −1
¬
=Φ
= 0, 6915,
2
2
2
gdzie Φ oznacza dystrybuantę zmiennej losowej o standardowym rozkładzie normalnym.
9
1.5
Charakterystyki zmiennej losowej
Definicja 9 Wartością oczekiwaną (in. wartością przecietną lub średnią) zmiennej losowej X typu skokowego, przyjmującej wartości x1 , x2 , . . . odpowiednio z prawdopodobieństwami p1 , p2 , . . . , nazywamy wartość
E(X) =
∑
xi pi ,
i
jeżeli powyższa suma jest bezwzględnie zbieżna.
Przykład 8 Wartość oczekiwana zmiennej losowej X z przykładu 5 jest równa E(X) =
0 ∗ 1/4 + 1 ∗ 1/2 + 2 ∗ 1/4 = 1.
Przykład 9 Można pokazać, że wartość oczekiwana zmiennej losowej X o rozkładzie
dwumianowym B(n, p) jest równa E(X) = np.
Definicja 10 Wartością oczekiwaną (in. wartością przecietną lub średnią) zmiennej losowej X typu ciągłego o funkcji gęstości f nazywamy wartość
∫
E(X) =
∞
−∞
xf (x)dx,
jeżeli powyższa całka jest bezwzględnie zbieżna.
Przykład 10 Można pokazać, że wartość oczekiwana zmiennej losowej X o rozkładzie
normalnym N (µ, σ 2 ) jest równa E(X) = µ.
Fakt 6 Wartość oczekiwana ma następujące własności
1. dla dowolnej liczby rzeczywistej a
E(aX) = aE(X),
2. dla dowolnej liczby rzeczywistej a
E(X + a) = E(X) + a,
3. jeżeli istnieją wartości oczekiwane E(X) i E(Y ), to
E(X + Y ) = E(X) + E(Y ).
10
Wartości oczekiwane zmiennych losowych są szczególnymi przypadkami tzw. momentów zwykłych, które definiowane są następująco:
Definicja 11 Momentem zwykłym rzędu k zmiennej losowej X typu skokowego, przyjmującej wartości x1 , x2 , . . . odpowiednio z prawdopodobieństwami p1 , p2 , . . . , nazywamy
wartość
E(X) =
∑
xki pi ,
i
jeżeli powyższa suma jest bezwzględnie zbieżna.
Definicja 12 Momentem zwykłym rzędu k zmiennej losowej X typu ciągłego o funkcji
gęstości f nazywamy wartość
∫
E(X) =
∞
−∞
xk f (x)dx,
jeżeli powyższa całka jest bezwzględnie zbieżna.
Definicja 13 Wariancją zmiennej losowej X typu skokowego, przyjmującej wartości x1 , x2 , . . . ,
odpowiednio z prawdopodobieństwami p1 , p2 , . . . , nazywamy wartość
Var(X) =
∑
(xi − E(X)2 pi ,
i
jeżeli powyższa suma jest bezwzględnie zbieżna.
Przykład 11 Można pokazać, że wariancja zmiennej losowej X o rozkładzie dwumianowym B(n, p) jest równa E(X) = np(1 − p).
Definicja 14 Wariancją zmiennej losowej X typu ciągłego o funkcji gęstości f nazywamy
wartość
∫
Var(X) =
∞
−∞
(x − E(X))2 f (x)dx,
jeżeli powyższa całka jest bezwzględnie zbieżna.
Przykład 12 Można pokazać, że wariancja zmiennej losowej X o rozkładzie normalnym
N (µ, σ 2 ) jest równa E(X) = σ 2 .
Uwaga 1 Wariancję zmiennej losowej X często wyznacza się ze wzoru
Var(X) = E(X 2 ) − (E(X))2 .
11
Fakt 7 Jeżeli X jest zmienną losową, dla której E(X 2 ) < ∞, to istnieje Var(X) oraz
1.
Var(X) ­ 0,
2.
Var(cX) = c2 Var(X),
3.
Var(X + a) = Var(X).
12