Wartość oczekiwana, wariancja, odchylenie standar

Wartość oczekiwana, wariancja, odchylenie standardowe, mediana, funkcja kwantylowa
Krótkie praktyczne przypomnienie pojęć z rachunku prawdopodobieństwa
Zastanówmy się, nad tym, ile można średnio wyrzucić oczek na sześciennej kostce
do gry, przy czym chwilowo nie będziemy jeszcze precyzować, co znaczy średnio. Jeśli
wykonamy n rzutów, to każda możliwa liczba oczek pojawi się średnio w n6 przypadków
(oczywiście możliwe są losowe odchylenia). Wobec tego suma oczek wyrzuconych w n
rzutach wyniesie około
1·
n
n
n
n
n
n
+ 2 · + 3 · + 4 · + 5 · + 6 · = 3, 5n
6
6
6
6
6
6
W takim razie średnia liczba oczek w jednym rzucie powinna być równa n1 powyższej sumy
czyli
1
1
1
1
1
1
1 · + 2 · + 3 · + 4 · + 5 · + 6 · = 3, 5.
6
6
6
6
6
6
Zauważmy, że prawdopodobieństwo wylosowania każdej liczby oczek spośród 1, 2, 3, 4, 5
i 6 wynosi 61 , a zatem ową średnią otrzymaliśmy, sumując iloczyny liczby oczek i prawdopodobieństw, że tyle właśnie oczek wyrzucimy. A jak wyglądałaby owa średnia, gdyby
prawdopodobieństwa uzyskania poszczególnych możliwych wyników nie były równe?
Na potrzeby dalszych rozważań wśród zmiennych losowych wyszczególnimy zmienne
losowe dyskretne i ciągłe.
Definicja 1 Będziemy mówili, że zmiennaPlosowa X jest dyskretna, jeśli istnieje co
najwyżej przeliczalny zbiór SX ⊆ R taki że x∈SX P (X = x) = 1.
Dystrybuanta dyskretnej zmiennej losowej jest „schodkowa”. Dyskretna zmienna losowa
przyjmuje wartości tylko w miejscach wystąpienia skoków swej dystrybuanty.
Rozkład dyskretnej zmiennej losowej można w sposób kompletny opisać przez tzw. funkcję prawdopodobieństwa: pX (x) : SX → [0, 1], pX (x) = P (X = x).
Fakt 1 (Własności funkcji prawdopodobieństwa)
P
ˆ
x∈SX pX (x) = 1,
ˆ ∀x ∈ SX
pX (x) = FX (x) − limu→x− FX (u).
Bardzo często zbiór SX jest postaci {0, 1, 2, . . . , n} dla pewnego n ∈ N lub też SX = N.
Definicja 2 Będziemy mówili, że zmienna losowa X jest ciągła, jeśli ma gęstość.
Wartość oczekiwaną zmiennej losowej X oznaczamy jako EX lub E(X) lub też E[X],
przy czym jeśli nie prowadzi to do niejednoznaczoności, zwykle opuszcza się nawias.
Definicja 3 (Wartość oczekiwana zmiennej
losowej) Powiemy,
że dyskretna zmienna
P
P
losowa X ma wartość oczekiwaną, jeśli x∈SX |x| · pX (x) = x∈SX |x| · P (X = x) < ∞.
Wtedy wartością oczekiwaną zmiennej losowej X nazwiemy liczbę
X
X
EX =
x · pX (x) =
x · P (X = x).
x∈SX
x∈SX
W przeciwnym razie powiemy, że zmienna losowa X nie ma wartości
R oczekiwanej.
Powiemy, że ciągła zmienna losowa X ma wartość oczekiwaną, jeśli R |x| · fX (x)dx < ∞.
Wtedy wartością oczekiwaną zmiennej losowej X nazwiemy liczbę
Z
x · fX (x) dx.
EX =
R
W przeciwnym razie powiemy, że zmienna losowa X nie ma wartości oczekiwanej.
Jeśli dyskretna zmienna losowa X ma wartość oczekiwaną i SX = {0, 1, 2, . . . , n} dla
pewnego n ∈ N, to
n
n
X
X
EX =
k · pX (k) =
k · P (X = k).
k=0
k=0
Jeśli dyskretna zmienna losowa X ma wartość oczekiwaną i SX = N, to
EX =
∞
X
k=0
k · pX (k) =
∞
X
k · P (X = k).
k=0
Widzimy, że dla rzutu sześcienną kostką do gry wartość oczekiwana liczby wyrzuconych
oczek dana jest równaniem, od którego rozpoczęliśmy rozważania.
Chociaż powyższa definicja jest sformułowana osobno dla dyskretnych i ciągłych zmiennych losowych, to wartość oczekiwana w obu przypadkach (a także w przypadku zmiennych losowych, które nie są ani ciągłe, ani dyskretne) jest właściwie tym samym (gdyby
traktować ją na gruncie teorii miary i całki). Zwróćmy uwagę, że całka (przypadek ciągły)
zgodnie z konstrukcją Riemanna granicą ciągu sum całkowych (suma – przypadek dyskretny). Najlepiej więc nie myśleć o dwóch wzorach, ale traktować je jako przejaw tego
samego obiektu matematycznego.
Twierdzenie 1 (Własności wartości oczekiwanej) Załóżmy, że wartości oczekiwane
zmiennych losowych X i Y istnieją. Wówczas
ˆ wartość oczekiwana zmiennej losowej X + Y istnieje i E(X + Y ) = EX + EY ,
ˆ dla dowolnej liczby a ∈ R wartość oczekiwana zmiennej losowej aX istnieje i E(aX) =
aEX,
ˆ jeśli zmienne losowe X i Y są niezależne, to wartość oczekiwana zmiennej losowej
XY istnieje i EXY = EX · EY .
Ponadto dla dowolnej liczby a ∈ R zachodzi Ea = a.
Wartość oczekiwana oddaje naszą intuicję odnośnie „średniej wartości” w eksperymencie
losowym. Z tego też powodu jako synonimu terminu wartość oczekiwana niejednokrotnie
używa się określenia wartość średnia lub krótko: średnia. Należy jednak zdecydowanie
odróżnić użycie słowa średnia w tym znaczeniu od średniej arytmetycznej.
Formalnym ujęciem faktu, że wartość oczekiwana realizuje ideę „wartości średniej” w
eksperymencie losowym, jest poniższe twierdzenie.
Twierdzenie 2 (Mocne prawo wielkich liczb Kołomogorowa) Jeśli X1 , X2 , . . . jest
ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie, których wartość oczekiwana istnieje, to
!
n
1X
Xi = EX1 = 1.
P lim
n→∞ n
i=1
Innymi słowy, gdybyśmy rzucali niezależnie kostką do gry nieskończenie wiele razy, to
ciąg średnich arytmetycznych wyników uzyskanych od początku eksperymentu do danego momentu byłby zawsze (to znaczy z prawdopodobieństwem 1) zbieżny do wartości
oczekiwanej liczby oczek uzyskanej w pojedynczym rzucie.
Fakt 2 Jeśli X jest dyskretną zmienna losową aPϕ : SX → R, to zmienna losowa ϕ(X)
ma wartość oczekiwaną wtedy i tylko wtedy, gdy x∈SX |ϕ(x)| · pX (x) < ∞. Wówczas
Eϕ(X) =
X
ϕ(x) · pX (x) =
x∈SX
X
ϕ(x) · P (X = x).
x∈SX
Jeśli X jest ciągłą zmienna losową, ϕ : R → R funkcją borelowską i
∞, to zmienna losowa ϕ(X) ma wartość oczekiwaną. Wówczas
Z
ϕ(x) · fX (x) dx.
Eϕ(X) =
R
R
|ϕ(x)| · fX (x)dx <
R
Definicja 4 Jeśli wartość oczekiwana zmiennej losowej X k istnieje, to liczbę EX k nazywamy momentem (niecentralnym) rzędu k zmiennej losowej X.
Fakt 3 Jeśli moment rzędu k ∈ N zmiennej losowej X istnieje, to dla każdego l ∈ N
takiego że l < k moment rzędu l zmiennej losowej X istnieje.
Definicja 5 Jeśli istnieje wartość oczekiwana zmiennej losowej X i wartość oczekiwana
zmiennej losowej (X − EX)2 , to liczbę V ar(X) = E(X − EX)2 nazywamy wariancją
zmiennej losowej X. W przeciwnym wypadku wariancja zmiennej losowej X nie istnieje.
Możemy powiedzieć, że wariancja intuicyjnie mierzy, jak bardzo średnio realizacje zmiennej losowej X są oddalone (w sensie kwadratu różnicy) od wartości oczekiwanej X. W
szczególności można powiedzieć, że wariancja zmiennej losowej X mierzy rozproszenie
rozkładu zmiennej losowej X wokół jej wartości oczekiwanej.
Fakt 4 Zachodzi następująca tożsamość:
V ar(X) = EX 2 − (EX)2 .
Uwaga! W pierwszym składniku tradycyjnie opuszczono nawias przy wartości oczekiwanej. Wyrażenie EX 2 należy więc rozumieć jako E(X 2 ) czyli jako wartość oczekiwaną
zmiennej losowej X 2 (która niekoniecznie jest równa kwadratowi wartości oczekiwanej X
czyli (EX)2 ).
Możemy zatem powiedzieć, że wariancja zmiennej losowej X jest równa różnicy drugiego
momentu zmiennej losowej X i kwadratu jej pierwszego momentu.
Wniosek 1 EX 2 = V ar(X) + (EX)2
Twierdzenie 3 (Własności wariancji) Jeśli X i Y są zmiennymi losowymi, dla których istnieją drugie momenty, to istnieją wariancje zmiennych losowych X i Y oraz
ˆ V ar(X) ≥ 0,
ˆ V ar(X + a) = V ar(X) dla każdego a ∈ R,
ˆ V ar(aX) = a2 · V ar(X) dla każdego a ∈ R,
ˆ jeśli zmienne losowe X i Y są niezależne, to V ar(X + Y ) = V ar(X) + V ar(Y ).
Ponadto dla dowolnej liczby a ∈ R zachodzi V ar(a) = 0. Co więcej, V ar(X) = 0 wtedy i
tylko wtedy, gdy istnieje taka liczba a ∈ R, że P (X = a) = 1.
p
Definicja 6 Odchyleniem standardowym zmiennej losowej X nazywamy V ar(X)
(o ile wariancja zmiennej losowej X istnieje).
Definicja 7 Medianą zmiennej losowej X nazywamy każdą liczbę m o tej własności, że
P (X ≤ m) ≥ 21 i P (X ≥ m) ≥ 21 . tzn. taką że FX (m) ≥ 12 i limt→m− FX (t) ≤ 12 .
Fakt 5
ˆ Jeśli istnieje liczba m taka że FX (m) = 12 , to m jest medianą zmiennej losowej X,
jednak jeśli m jest medianą zmiennej losowej X, to niekoniecznie FX (m) = 12 .
ˆ Jeśli istnieje dokładnie jedna liczba m taka że FX (m) = 12 , to jest ona medianą
zmiennej losowej X i mediana ta jest wyznaczona jednoznacznie.
ˆ Jeśli zmienna losowa X jest ciągła (tzn. ma gęstość), to jej mediana jest wyznaczona
jednoznacznie jako rozwiązanie względem m (niekoniecznie jedyne) dowolnego spośród równań:
Z ∞
Z m
Z ∞
Z m
1
1
fX (t)dt = .
fX (t)dt =
fX (t)dt,
fX (t)dt = ,
2
2
m
−∞
m
−∞
Definicja 8 Funkcją kwantylową zmiennej losowej X nazywamy funkcję FX−1 : (0, 1) →
R daną wzorem: FX−1 (t) = inf{u ∈ R : FX (u) ≥ t}.
Liczbę FX−1 (t) będziemy nazywali kwantylem rzędu t rozkładu zmiennej losowej X.
Fakt 6 Jeśli funkcja FX jest ciągła a ponadto ściśle rosnąca na zbiorze {t ∈ R : 0 <
FX (t) < 1}, to funkcja FX−1 jest zwykłą funkcją odwrotną do FX w zbiorze {t ∈ R : 0 <
FX (t) < 1}. W szczególności jeśli zmienna losowa X jest ciągła i jej gęstość jest ściśle
dodatnia w pewnym przedziale I ⊂ R (być może nieograniczonym, w szczególności może
być I = R) i równa 0 w zbiorze R \ I, to funkcja FX−1 jest zwykłą funkcją odwrotną do FX
w zbiorze {t ∈ R : 0 < FX (t) < 1}.
1
−1
jest medianą zmiennej losowej X (niekoniecznie jedyną).
Wniosek 2 FX
2
Wartość oczekiwaną i medianę zaliczamy do miar położenia rozkładu natomiast wariancję i odchylenie standardowe do miar rozrzutu.
Jeśli zmienne losowe X i Y mają taki sam rozkład, to mają te same wartości oczekiwane,
wariancje, odchylenia standardowe, te same momenty odpowiednich rzędów (o ile wymienione istnieją), równe funkcje kwantylowe i te same liczby są ich medianami.
Jeśli zmienne losowe X i Y mają taki sam rozkład i są dyskretne, to ponadto mają taką
samą funkcję prawdopodobieństwa.