Rachunek prawdopodobienstwa

Przestrzeń probabilistyczna
(Ω, Σ, P)
Ω pewien niepusty zbiór
Σ rodzina podzbiorów tego zbioru
P funkcja określona na Σ, zwana prawdopodobieństwem.
Rachunek prawdopodobieństwa
Przestrzeń probabilistyczna
(Ω, Σ, P)
Ω pewien niepusty zbiór
Σ rodzina podzbiorów tego zbioru
P funkcja określona na Σ, zwana prawdopodobieństwem.
Σ spełnia nastepuj
˛ ace
˛ warunki:
∅, Ω ∈ Σ,
A1 , A2 , . . . ∈ Σ ⇒ A1 ∪ A2 ∪ . . . ∈ Σ,
A1 , A2 , . . . ∈ Σ ⇒ A1 ∩ A2 ∩ . . . ∈ Σ,
A ∈ Σ ⇒ Ω \ A ∈ Σ (Oznaczenie A0 := Ω \ A, A0 - zdarzenie
przeciwne),
A, B ∈ Σ ⇒ A \ B ∈ Σ.
Elementy Σ nazywamy zdarzeniami losowymi.
Rachunek prawdopodobieństwa
Przestrzeń probabilistyczna
(Ω, Σ, P)
Ω pewien niepusty zbiór
Σ rodzina podzbiorów tego zbioru
P funkcja określona na Σ, zwana prawdopodobieństwem.
P spełnia natepuj
˛ ace
˛ warunki:
P(∅) = 0, P(Ω) = 1,
P(A) ∈ [0, 1] dla A ∈ Σ,
P(A ∪ B) = P(A) + P(B), dla A, B ∈ Σ, A ∩ B = ∅,
Jeśli A1 , A2 , . . . ∈ Σ, Ai ∩ Aj = ∅ dla i 6= j, to
P(A1 ∪ A2 ∪ . . .) = P(A1 ) + P(A2 ) + . . ..
Rachunek prawdopodobieństwa
Przykłady
Rzut kostka.
˛
Ω = {1, 2, 3, 4, 5, 6}
Σ = P(Ω)
P({i}) = 1/6, dla i = 1, 2, 3, 4, 5, 6.
Na przykład A = {2, 4, 6} jest zdarzeniem losowym
polegajacym
˛
na wylosowaniu parzystej liczby oczek.
P(A) = P({2, 4, 6}) = P({2}) + P({4}) + P({6}) =
1/6 + 1/6 + 1/6 = 1/2
Rachunek prawdopodobieństwa
Przykłady
Rzut dwiema kostkami do gry.
Ω=
{(1, 1), (1, 2), (1, 3), (1, 4), (1, 5), (1, 6), (2, 1), . . . , (6, 5), (6, 6)}
Σ = P(Ω)
P(ω) = 1/36, dla ω ∈ Ω.
Na przykład A = {(5, 5), (6, 5), (6, 6), (5, 6)} jest zdarzeniem
losowym polegajacym
˛
na wylosowaniu liczby oczek nie
mniejszej niż 11.
P(A) = P({(5, 5), (6, 5), (6, 6), (5, 6)}) =
P({(5, 5)}) + P({(5, 6)}) + P({(6, 5)}) + P({(6, 6)})) =
1/36 + 1/36 + 1/36 + 1/36 = 4/36
Rachunek prawdopodobieństwa
Prawodopodobieństwo klasyczne
Ω-zbiór skończony n-elementowy.
Σ = P(Ω)
P({ω}) = 1/n dla ω ∈ Ω.
Wtedy P(A) = card A/ card Ω = card A/n.
Rachunek prawdopodobieństwa
Inne przykłady
Ω=N
P({n}) = 1/2n
A-zdarzenie losowe polegajace
˛ na wylosowaniu liczby
parzystej.
1/4
P(A) = P({2}) + P({4}) + . . . = 1/4 + 1/16 + . . . = 1−1/4
= 1/3.
Rachunek prawdopodobieństwa
Prawdopodobieństwo geometryczne
Ω- pewien mierzalny podzbiór R n
P(A) = pole A/pole Ω.
Przykład: Jakie jest prawdopodobieństwo, że rzucajac
˛ do tarczy
trafimy w "środek" . Dane: tarcza okragła o promieniu 20cm,
środek- koło o promieniu 5cm.
π52
P(A) = π20
2
Rachunek prawdopodobieństwa
Prawdopodobieństwo warunkowe
Niech (Ω, Σ, P) bedzie
˛
przestrzenia˛ probabilistyczna,
˛ A, B ∈ Σ,
P(B) > 0.
Prawdopodobieństwem warunowym zdarzenia A pod
warunkiem zdarzenia B nazywamy
P(A|B) :=
P(A ∩ B)
.
P(B)
Oznaczenie: P B (A) := P(A|B).
Fakt: (Ω, Σ, P B ) jest przestrzenia˛ probabilistyczna.
˛
Ze wzoru (1) mamy
P(A ∩ B)P(A|B) · P(B) = B(B|A) · P(A).
Rachunek prawdopodobieństwa
(1)
Przykład
W ciemnym pokoju sa˛ dwa pudełka: duże, do którego trafiamy
z prawdopodobieństwem 3/4, i małe, do którego trafiamy z
prawdopodobieństwem 1/4. W dużym pudełku sa˛ dwie kule
białe i jedna czarna, a w małym 2 czarne i jedna biała. Niech A
bedzie
˛
zdarzeniem losowym polegajacym
˛
na trafieniu do dużej
urny, a B zdarzeniem losowym polegajacym
˛
na wyciagi
˛ eciu
˛
kuli
białej. Jakie jest prawdopodobieństwo, że losowano z dużego
pudła, jeśli wiadomo, że wylosowano kule˛ biała.
˛
Rachunek prawdopodobieństwa
c.d.
Rozwiazanie.
˛
Dane: P(A) = 3/4, P(A0 ) = 1/4, P(B|A) = 2/3, P(B|A0 ) = 1/3.
Należy obliczyć P(A|B). Korzystamy ze wzoru
P(A|B) = P(A∩B)
P(B) . Obliczamy
P(A ∩ B) = P(B|A)P(A) =
2 3
· .
3 4
P(B) = P(B ∩ A) + P(B ∩ A0 ) =
= P(B|A) · P(A) + P(B|A0 ) · P(A0 ) = 2/3 · 3/4 + 1/3 · 1/4 = 7/12.
A wiec
˛
P(A|B) =
1/2
= 6/7.
7/12
Rachunek prawdopodobieństwa
Wzór na prawdopodobieństwo całkowite
Niech (Ω, Σ, P) bedzie
˛
przestrzenia˛ probabilistyczna.
˛
Niech A1 , A2 , . . . bed
˛ a˛ zdarzeniami losowymi parami
rozłacznymi
˛
i takimi, że
P(A1 ) + P(A2 ) + . . . = 1.
Wtedy, dla dowolnego B ∈ Σ zachodzi wzór
P(B) = P(B|A1 ) · P(A1 ) + P(B|A2 ) · P(A2 ) + . . .
Rachunek prawdopodobieństwa
Wzór Bayesa
Niech (Ω, Σ, P) bedzie
˛
przestrzenia˛ probabilistyczna.
˛
Niech A1 , A2 , . . . bed
˛ a˛ zdarzeniami losowymi parami
rozłacznymi
˛
i takimi, że
P(A1 ) + P(A2 ) + . . . = 1.
Wtedy, dla dowolnego B ∈ Σ zachodzi wzór
P(Ai |B) =
P(B|Ai ) · P(Ai )
P(B|A1 ) · P(A1 ) + P(B|A2 ) · P(A2 ) + . . .
Rachunek prawdopodobieństwa
Przykład
Twierdzenia Bayesa można użyć do interpretacji rezultatów
badania przy użyciu testów wykrywajacych
˛
narkotyki. Załóżmy,
że przy badaniu narkomana test wypada pozytywnie w 99%
przypadków, zaś przy badaniu osoby nie zażywajacej
˛
narkotyków wypada negatywnie w 99% przypadków. Pewna
firma postanowiła przebadać swoich pracowników takim testem
wiedzac,
˛ że 0,5% z nich to narkomani. Chcemy obliczyć
prawdopodobieństwo, że osoba u której test wypadł pozytywnie
rzeczywiście zażywa narkotyki.
Rachunek prawdopodobieństwa
c.d
Oznaczmy nastepuj
˛ ace
˛ zdarzenia:
T - dana osoba jest narkomanem
N - dana osoba nie jest narkomanem
+ - u danej osoby test dał wynik pozytywny
- - u danej osoby test dał wynik negatywny
Wiemy, że:
P(T ) = 0, 005, gdyż 0,5% pracowników to narkomani
P(N) = 1 − P(D) = 0, 995
P(+|T ) = 0, 99, gdyż taka˛ skuteczność ma test przy badaniu
narkomana
P(−|N) = 0, 99, gdyż taka˛ skuteczność ma test przy badaniu
osoby nie bedacej
˛
narkomanem
P(+|N) = 1 − P(−|N) = 0, 01 Majac
˛ te dane chcemy obliczyć
prawdopodobieństwo, że osoba, u której test wypadł
pozytywnie, rzeczywiście jest narkomanem. Tak wiec:
˛
Rachunek prawdopodobieństwa
c.d
P(T |+) =
=
P(+|T ) · P(T )
=
P(+|T ) · P(T ) + P(+|N) · P(N)
0, 99 · 0, 005
≈ 0, 33.
0, 99 · 0, 005 + 0, 01 · 0, 995
Rachunek prawdopodobieństwa
c.d
Mimo potencjalnie wysokiej skuteczności testu,
prawdopodobieństwo, że narkomanem jest badany pracownik,
u którego test dał wynik pozytywny, jest równe około 33%, wiec
˛
jest nawet bardziej prawdopodobnym, ze taka osoba nie
zażywa narkotyków. Ten przykład pokazuje, dlaczego ważne
jest, aby nie polegać na wynikach tylko pojedynczego testu.
Innymi słowy, pozorny paradoks polegajacy
˛ na dużej
dokładności testu (99% wykrywalności narkomanów wśród
narkomanów i nieuzależnionych wśród nieuzależnionych) i
niskiej dokładności badania bierze sie˛ stad,
˛ że w badanej
próbie tylko niewielka cz˛eść osób to narkomani. Przykładowo
jeśli badamy 1000 osób, 0,5% z nich czyli 5 to narkomani, a
995 nie. Natomiast test wskaże jako narkomanów 1%
nieuzależnionych (995 · 1% ≈ 10), oraz 99% uzależnionych
(5 · 99% ≈ 5). Ostatecznie test wypadł pozytywnie dla 15 osób,
jednak tylko 5 z nich to narkomani.
Rachunek prawdopodobieństwa
Niezależność zdarzeń
Zdarzenia A i B nazywamy niezależnymi, gdy
P(A ∩ B) = P(A) · P(B).
A wiec,
˛ zdarzenia A i B sa niezależne, gdy
przynajmniej jedno z nich ma prawdopodobieństwo równe 0,
lub oba maja˛ dodatnie prawdopodobieństwa i P(A|B) = P(A),
P(B|A) = P(B).
Rachunek prawdopodobieństwa
Niezależność wiekszej
˛
ilości zdarzeń
Zdarzenia A, B i C sa˛ niezależne, gdy
P(A ∩ B ∩ C) = P(A) · P(B) · P(C),
P(A ∩ B) = P(A) · P(B), P(A ∩ C) = P(A) · P(C),
P(B ∩ C) = P(B) · P(C).
...
Rachunek prawdopodobieństwa
Zmienne losowe
Niech (Ω, Σ, P) bedzie
˛
przestrzenia˛ probabilistyczna.
˛ Zmienna˛
losowa˛ nazywamy każda˛ funkcje˛ ξ określona˛ na Ω i
przyjmujac
˛ a˛ wartości rzeczywiste, taka,
˛ że zdarzeniami sa˛
nastepuj
˛ ace
˛ zbiory:
{ω : ξ(ω) < x},
{ω : ξ(ω) ≤ x},
{ω : ξ(ω) > x},
{ω : ξ(ω) ≥ x},
{ω : ξ(ω) ∈ (a, b)},
{ω : ξ(ω) ∈ [a, b]},
{ω : ξ(ω) ∈ [a, b)},
{ω : ξ(ω) ∈ (a, b]},
dla dowolnych x, a, b ∈ R.
Rachunek prawdopodobieństwa
Niezależność zmiennych losowych
Zmienne losowe X1 , X2 , . . . , Xn sa˛ niezależne, gdy dla każdych
x1 , x2 , . . . , xn ∈ R zachodzi
P(X1 < x1 , X2 < x2 , . . . , Xn < xn ) =
= P(X1 < x1 ) · P(X2 < x2 ) · . . . · P(Xn < xn ).
Rachunek prawdopodobieństwa
Dystrybuanta zmiennej losowej
Dystrybuanta˛ zmiennej losowej X nazywamy funkcje˛ F : R → R
określona˛ wzorem
F (x) = P(X < x) = P({ω : X (ω) < x}).
Własności dystrybuant:
F jest niemalejaca,
˛
lewostronnie ciagła,
˛
F (x) ∈ [0, 1],
limx→∞ F (x) = 1, limx→−∞ F (x) = 0.
Rachunek prawdopodobieństwa
Typy zmiennych losowych
– zmienne losowe dyskretne (typu skokowego),
– zmienne losowe ciagłe,
˛
– inne.
Rachunek prawdopodobieństwa
Zmienne losowe dyskretne
To zmienne, które przyjmuja˛ (z prawdopodobieństwem 1)
wartości ze zbioru {x1 , x2 , . . .}.
Dystrybuanta takich zmiennych losowych jest przedziałami
stała, a w punktach x1 , x2 , . . . ma "skoki" wysokości P(X = xi )
odpowiednio.
Rachunek prawdopodobieństwa
Przykłady zmiennych losowych o rozkładach
dyskretnych
- rozkład dwupunktowy
– rozkład zero-jedynkowy
- rozkład dwumianowy
- rozkład Poissona
-inne
Rachunek prawdopodobieństwa
Rozkład dwupunktowy
Zmienna losowa X ma rozkład dwupunktowy, gdy przyjmuje
dwie wartości (z prawdopodobieństwem 1):
P(X = x1 ) = p, P(X = x2 ) = q = 1 − p.
Szczególnym przypadkiem rozkładu dwupunktowego jest
rozkład zero-jedynkowy, gdy x1 = 1, x2 = 0.
Rachunek prawdopodobieństwa
Dystrybuanta rozkładu zero-jedynkowego
Rachunek prawdopodobieństwa
Rozkład dwumianowy
Niech X1 , X2 , . . . , Xn bedzie
˛
ciagiem
˛
niezależnych zmiennych
losowych o tym samym rozkładzie zero-jedynkowym.
Oznaczmy przez X sume˛ tych zmiennch, tzn.
X = X1 + X2 + . . . + Xn .
Mówimy, że zmienna losowa X ma rozkład dwumianowy.
n k n−k
P(X = k ) =
p q
, k = 0, 1, . . . , n.
k
Oznaczenie b(n, k , p) = kn pk q n−k - prawdopodobieństwo k
sukcesów w n próbach Bernoulliego, w których
prawdopodobieństwo sukcesu jest równe p.
Rachunek prawdopodobieństwa
Rozkład Poissona
Zmienna losowa X ma rozkład Poissona z parametrem λ, gdy
przyjmuje tylko wartości całkowite nieujemne, oraz
P(X = k ) = e−λ ·
λk
.
k!
k
Oznaczenie p(λ, k ) = e−λ · λk ! .
Uwaga. Gdy n jest duże (n ≥ 100), p małe (p ≤ 0, 1), a
np ∈ [0.1, 10], to dokonuje sie˛ przybliżenia
b(n, k , p) ≈ p(λ, k ),
gdzie λ ≈ np.
Rachunek prawdopodobieństwa
Rozkład Poissona
Rachunek prawdopodobieństwa
Rozkłady ciagłe
˛
Mówimy, że zmienna losowa ma rozkład ciagły,
˛
gdy istnieje
funkcja f : R → R, nieujemna, taka, że
Z
f (x) dx = 1,
R
oraz
Z
P(X ∈ A) =
f (x) dx.
A
T˛e funkcje˛ f nazywamy gestości
˛
a˛ rozkładu zmiennej X .
Dystrybuante˛ obliczamy ze wzoru
Z x
F (x) =
f (t) dt.
−∞
Rachunek prawdopodobieństwa
Przykłady zmiennych losowych o rozładzie ciagłym
˛
-rozkład jednostajny
-rozkład wykładniczy
-rozkład normalny
-rozkład chi-kwadrat
-rozkład t-Studenta
-inne
Rachunek prawdopodobieństwa
Rozkład jednostajny
Rozkład jednostajny na odcinku [a, b] ma gestość
˛
1
b−a , dla x ∈ [a, b];
f (x) =
0,
dla x ∈
/ [a, b].
Dystrybuanata:
F (x) =



x−a
b−a ,
0,
1,
dla x ∈ [a, b];
dla x < a;
dla x > b.
Rachunek prawdopodobieństwa
Rozkład jednostajny
Rachunek prawdopodobieństwa
Rozkład wykładniczy
Rozkład wykładniczy z parametrem λ ma gestość
˛
λ · e−λx , dla x ≥ 0;
f (x) =
0,
dla x < 0.
Dystrybuanata:
F (x) =
1 − e−λx ,
0,
dla x ≥ 0;
dla x < 0.
Rachunek prawdopodobieństwa
Rozkład wykładniczy
Rachunek prawdopodobieństwa
Rozkład normalny
Rozkład normalny z parametrami m i σ, N(m, σ) ma gestość
˛
(x−m)2
1
−
f (x) = √ · e 2σ2 .
σ 2π
W szczególności rozkład normalny N(0, 1) ma gestość
x2
1
f (x) = √ · e− 2 .
2π
Jeśli X ∼ N(m, σ), to
losowej X )
X −m
σ
∼ N(0, 1). (standaryzacja zmiennej
Rachunek prawdopodobieństwa
Rozkład normalny
Rachunek prawdopodobieństwa
Tablica dystrybuanty rozkładu normalnego
Rachunek prawdopodobieństwa
Reguła trzech sigm
Jeżeli zmienna losowa ma rozkład normalny N(m, σ) to
P(|X − m| > 3σ) < 0, 01.
Rachunek prawdopodobieństwa
Rozkład chi-kwadrat
Mówimy, że zmienna losowa χ2 ma rozkład chi-kwadrat
Pearsona z n stopniami swobody, gdy jest postaci
χ2 = X12 + X22 + . . . + Xn2
gdzie X1 , X2 , . . . , Xn sa˛ niezależnymi zmiennymi losowymi o
rozkładzie normalnym N(0, 1).
Rachunek prawdopodobieństwa
Rozkład t-Studenta
Mówimy, że zmienna losowa t ma rozkład t-Studenta o n
stopniach swobody, gdy jest postaci
X
t=p
χ2 /n
gdzie X , χ2 sa˛ niezależnymi zmiennymi losowymi X o
rozkładzie normalnym N(0, 1) a χ2 ma rozkład chi-kwadrat o n
stopniach swobody.
Rachunek prawdopodobieństwa
Wartość oczekiwana zmiennej losowej
Wartośc oczekiwana zmiennej losowej X , to "wartość średnia",
oznaczamy ja˛ EX lub E(X ), lub m, lub m1 .
Dla zmiennych o rozkładzie dyskretnym P(X = xk ) = pk dla
k = 1, 2, . . .:
EX = x1 · p1 + x2 · p2 + . . . .
Dla zmiennych o rozkładzie ciagłym
˛
o gestości
˛
f:
Z ∞
EX =
xf (x) dx.
−∞
Własności:
E(aX + bY ) = aEX + bEY ,
E(XY ) = E(X )E(Y ),
dla zmiennych X , Y niezależnych.
Rachunek prawdopodobieństwa
Gra polega na rzucie kostka.
˛ Za przystapienie
˛
do gry wpłacamy
10 zł. Za wyrzucenie 1,2 lub 3 nie wygrywamy nic. Za
wyrzucenie 4 wygrywmy 5 zł,a za wyrzucenie 5- 10 zł. Za
wyrzucenie 6 otrzymujemy 30 zł. Zmienna losowa X oznacza
zysk w tej grze. Jaki jest jej rozkład, dystrybuanta i wartość
oczekiwana.
Rozkład: P(X = −10) = P({1, 2, 3}) = 1/6 + 1/6 + 1/6 = 1/2,
P(X = −5) = P({4}) = 1/6, P(X = 0) = P({5}) = 1/6,
P(X = 20) = P({6}) = 1/6.
Dystrybuanta:

0,
x ≤ −10;




1/2,
x ∈ (−10, −5];

2/3, x ∈ (−5, 0];
F (x) =


5/6,
x ∈ (0, 20];



1,
x ∈ (20, ∞).
E(X ) = −10 · 1/2 + (−5) · 1/6 + 0 · 1/6 + 20 · 1/6 = −2.5
Rachunek prawdopodobieństwa
Wariancja i odchylenie standardowe
Wariancja˛ zmiennej losowej X (oznaczenie D 2 X lub Var X )
nazywamy
D 2 X = E(X − EX )2 = E(X − m)2 .
Odchylenie standardowe (oznaczenie σ), to
√
σ = D2X .
Własności:
D 2 (aX ) = a2 D 2 X , D 2 (X + Y ) = D 2 X + D 2 Y , dla
zmiennych losowych X , Y niezależnych,
D 2 X = E(X 2 ) − (EX )2 .
Dla zmiennych o rozkładzie dyskretnym: P(X = xk ) = pk ,
k ∈ N:
D 2 X = (x1 −m)2 ·p1 +(x2 −m)2 ·p2 +. . . = [x12 ·p1 +x22 ·p2 +. . .]−(EX )2 .
Dla zmiennych o rozkładzie ciagłym
˛
o gestości
˛
f:
Z ∞
EX =
x 2 f (x) dx − (EX )2 .
−∞
Rachunek prawdopodobieństwa
Wariancja z wcześniejszego przykładu
D2X =
= (−10−(−2, 5))2 ·1/2+(−5−(−2, 5))2 ·1/6+(0−(−2, 5))2 ·1/6+(20−(
= 114, 58(3)
drugim sposobem:
D 2 X = (−10)2 ·1/2+(−5)2 ·1/6+(0))2 ·1/6+(20))2 ·1/6−(−2, 5)2 =
= 114, 58(3)
Rachunek prawdopodobieństwa
Nierówność Czebyszewa
Jeśli EX = m oraz D 2 X = σ 2 ∈ (0, ∞), to dla t > 0 mamy
P(|X − m| ≥ t) ≤
σ2
.
t2
Rachunek prawdopodobieństwa
Słabe prawo wielkich liczb
Niech X1 , X2 , . . . bedzie
˛
ciagiem
˛
niezależnych zmiennych
losowych o tym samym rozkładzie, o wartości oczekiwanej m i
odchyleniu standardowym σ. Wtedy dla każdego ε > 0 mamy
lim P(|
n→∞
X1 + X2 + . . . + Xn
− m| < ε) = 1.
n
Rachunek prawdopodobieństwa
Centralne Twierdzenie Graniczne
Niech X1 , X2 , . . . bedzie
˛
ciagiem
˛
niezależnych zmiennych
losowych o tym samym rozkładzie, o wartości oczekiwanej m i
odchyleniu standardowym σ. Wtedy
lim P(
n→∞
X1 + X2 + . . . + Xn − nm
√
< x) = Φ(x),
σ n
gdzie Φ oznacza dystrybuante˛ rozkładu normalnego N(0, 1).
Rachunek prawdopodobieństwa
Wartości wartości oczekiwanej i wariancji dla
wybranych rozkładów
rozkład zero-jedynkowy z prawdopodobieństwem p: EX = p,
D 2 X = pq
rozkład dwumianowy (p): EX = np D 2 X = npq
rozkład Poissona z parametrem λ: EX = λ, D 2 X = λ
rozkład jednostajny na [a, b]: EX = (a + b)/2,
D 2 X = (b − a)2 /12
rozkład wykładniczy z parametrem λ: EX = 1/λ, D 2 X = 1/λ2
rozkład normalny N(m, σ): EX = m, D 2 X = σ 2
rozkład chi-kwadrat z n stopniami swobody: EX = n D 2 X = 2n
Rachunek prawdopodobieństwa