MAD_w14

Wykład 14
Elementy Rachunku Prawdopodobieństwa c.d.
styczeń 2003
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
1
Szkic wykładu




Porównanie pojęć wykluczania się zdarzeń i niezależności
Niezależność n zdarzeń
Prawdopodobieństwo całkowite
Wzór Bayesa




styczeń 2003
Zmienna losowa
Rozkład prawdopodobieństwa
Dystrybuanta
Wartość oczekiwana
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
2
Wykluczanie się i niezależność zdarzeń
Rozważmy doświadczenie z
rzutem dwoma kostkami do gry.
Card(W)=36
Rozważmy następujące zdarzenia:
(1,4),(2,3),(3,2),(4,1)
A = „Suma wyrzuconych oczek wynosi 5”
B =„W pierwszym rzucie >2 oczka”
(3,x), (4,x), (5,x) lub (6,x) dla
C = „W drugim rzucie co najwyżej 3 oczka”
x =1,2,3,4,5,6
D = „Suma wyrzuconych oczek >9”
(4,6) , (5,x) dla x=5,6 lub (6,y) dla y= 4, 5,6
(x,1), (x,2), (x,3) dla
x =1,2,3,4,5,6
P(A) = 4/36 P(B) = 4*6/36 P(C) = 3*6/36 P(D)=6/36
Zdarzenia A i D
Zdarzenia A i B nie są niezależne i nie są
wykluczają się i
wykluczające.
nie są niezależne.
Zdarzenia B i C nie wykluczają się i są niezależne.
styczeń 2003
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
3
Niezależność zbioru zdarzeń
Definicja Niech będzie dany ciąg zdarzeń losowych A1,...An.
Powiemy, że zdarzenia te są niezależne wttw dla dowolnego podciągu
indeksów i1,...,ik
P(Ai1...  Aik) = P(Ai1)* ... *P(Aik)
Te zdarzenia
Przykład
(Bernstein)
W
urnie
znajduj
a
się
4
paski
oznaczone 110,101,
To są zdarzenia
nie są
011,000.
Niech
A
zdarzenie
polegające
na
wybraniu
paska
z 1 na pozycji
i
parami niezależne
niezależne
i-tej. Zakładamy, że wyciągnięcie każdego paska jest tak samo
prawdopodobne.
Mamy P(A1)= P(A2)=P(A3)= ½ P(A1A2A3) = 0  P(A1)*P(A2)*P(A3)
Ale P(A1A2) = ¼ =P(A1)*P(A2)
P(A2A3) = ¼ = P(A2)*P(A3)
P(A1A3) = ¼ =P(A1)*P(A3)
styczeń 2003
Uwaga Jest możliwe, że zdarzenia
są parami niezależne ale nie są
niezależne.
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
4
Twierdzenie o prawdopodobieństwie całkowitym
Jeżeli zdarzenia losowe A1,...An stanowią podział przestrzeni
zdarzeń elementarnych W, oraz P(Ai)>0, to dla dowolnego
zdarzenia B zachodzi równość:
P(B) = P(A1)*P(B| A1) + P(A2) * P(B| A2) + ... + P(An) * P(B| An)
Prawa rachunku
zbiorów
Ponieważ AiAj =  dla i j zatem (Ai B) (Aj B) =  dla ij.
Dowód B = (A1B) ...  (An  B).
P(B) = P((A1B) ...  (An  B)) = P(A1B) +...+ P (An  B)
Z definicji prawdopodobieństwa
Korzystając z wzoru na prawdopodobieństwo warunkowe P(AiB)=
P(Ai)*P(B| Ai), otrzymujemy wzór
P(B) = P(A1)*P(B| A1) + P(A2) * P(B| A2) + ... + P(An) * P(B| An) cbdo
styczeń 2003
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
5
Przykład 1
Z przypadkowo wybranej
urny wybieram 1 kulę.
Urna 2
Urna 1
Jakie jest prawdopodobieństwo, że wyciągniemy kulę białą, jeżeli
prawdopodobieństwo wybrania każdej z urn wynosi ½?
Oznaczenia Niech B oznacza wybranie kuli białej. U1
wybranie urny pierwszej i U2 wybranie urny drugiej.
Zbiór zdarzeń elementarnych polegających na wybraniu jednej kuli
rozpada się na dwa podzbiory: wybrana kula pochodzi z urny U1,
wybrana kula pochodzi z urny U2.
P(B) = P(U1) *P(B|U1) + P(U2) *P(B|U2) = ½
* 3/5 + ½ * 1/5
P(B) = 2/5
styczeń 2003
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
6
Przykład 2
Telewizory produkują dwie fabryki, z których jedna wykonuje 60% a
druga 40% całej produkcji. Pierwsza fabryka wypuszcza na rynek
90% telewizorów bez braków, a druga 80%. Jakie jest
prawdopodobieństwo kupienia telewizora bez braku?
Oznaczenia Fi=„telewizor
wyprodukowała fabryka i-ta”
A=„kupiony telewizor nie ma
braku”
P(F1)=6/10
P(F2)= 4/10
P(A|F1)= 9/10
P(A|F2)=8/10
P(F1)
P(F2)
F1
P(A|F1)
A
P(F1)*P(A|F1)
F2
P(A|F2)
A’
A’
A
P(F2)*P(A|F2)
Odp.: P(A) = 43/50
styczeń 2003
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
7
Wzór Bayesa
Niech zdarzenia losowe A1,...An stanowią podział przestrzeni zdarzeń
elementarnych W, oraz P(Ai)>0 dla i =1,2...n.
Załóżmy, że zaszło zdarzenie B. Jakie jest wtedy prawdopodobieństwo
zdarzenia Ai?
P(Ai)*P(B| Ai)
P(Ai|B) = ---------------------------------------------------------------------P(A1)*P(B| A1) + P(A2) * P(B| A2) + ... + P(An) * P(B| An)
Jeśli zdarzenie B zaistniało, to
Możliwe przyczyny
zajścia zdarzenia B
(skutku): A1...An
styczeń 2003
jakie jest prawdopodobieństwo, że
przyczyną tego było zdarzenie Ai?
Dowód
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
8
Przykład
------|--I---|--II--|--III-Braki | 3% | 2% | 4%
100 sztuk
Fabryka I
50 sztuk
80 sztuk
Fabryka II Fabryka III
Jakie jest prawdopodobieństwo, że
zakupiona wadliwa żarówka pochodzi z fabryki i tej?
Zdarzenie A= ‘wadliwa żarówka’
Zdarzenie Fi=‘żarówka z fabryki itej’
Zdarzenie elementarne polega na wybraniu 1 żarówki z 230 możliwych.
P(F1) = 100/230
P(F2) = 50/230
P(F3) = 80/230
styczeń 2003
MAD,
P(A|F1) = 3/100
P(A|F2) = 2/100
P(A|F3) = 4/100
P(F1 |A)=15/36
P(F2 |A)= 5/36
oblicz
P(F3 |A)=
16/36
Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska,
PJWSTK
9
Obliczamy . . .
P( F 1) P( A | F 1)
P( F 1 | A) 
P( F 1) P( A | F 1) P( F 2) P( A | F 2)  P( F 3) P( A | F 3)
P(F1 |A)= (10/23 * 3/100)/(10/23 * 3/100 + 5/23 * 2/100 + 8/23 * 4/100 )
P ( F 2) P ( A | F 2)
P( F 2 | A) 
P( F 1) P( A | F 1) P( F 2) P( A | F 2)  P( F 3) P( A | F 3)
P(F2 |A)= (5/23 * 2/100)/(10/23 * 3/100 + 5/23 * 2/100 + 8/23 * 4/100 )
P( F 3) P( A | F 3)
P( F 3 | A) 
P( F 1) P( A | F 1) P( F 2) P( A | F 2)  P( F 3) P( A | F 3)
P(F3 |A)= (8/23 * 4/100)/(10/23 * 3/100 + 5/23 * 2/100 + 8/23 * 4/100 )
styczeń 2003
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
10
Zmienna losowa
Definicja Niech W będzie przestrzenią zdarzeń elementarnych. Każdą
funkcję określoną na zbiorze W i o wartościach w zbiorze liczb
rzeczywistych nazywać będziemy zmienną losową.
Nazwa zmiennej Wartość zmiennej
Przykład 1 Rzut jedną kostką.
dla zdarzenia wi
X(wi) = i
3
2
1
4
5
6
Zmienne
Y(wi) = 1 gdy i parzyste Y(wi) =0 gdy i nieparzyste dyskretne
Przykład 2 Rzut dwoma kostkami.
Zdarzenia elementarne wij= (i,j) , gdzie
i, j =1,2,3,4,5,6
Y(wij) = i/j
styczeń 2003
X(wij) = i+j
Z(wij) = max(i,j)
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
11
Niezależność zmiennych losowych
Przykład
Definicję tę można
XK (data) - liczba stłuczek samochodowych w Krakowie
uogólnić na dowolny
XW (data) - liczba stłuczek samochodowych w Warszawie
ciąg zmiennych
losowych
Ilość stłuczek w Warszawie nie powinna mieć wpływu
na liczbę stłuczek
w Krakowie. Intuicyjnie te zmienne są niezależne.
Definicja Powiemy, że dwie zmienne losowe X i Y są niezależne wttw
dla dowolnych przedziałów I, J w zbiorze liczb rzeczywistych
P (XI i Y J) = P(XI) * P(Y J)
W przypadku zmiennych dyskretnych : niezależność wyraża się
warunkiem:
P(X=x i Y= y) = P(X=x) * P(Y=y) dla dowolnych x,y  R.
styczeń 2003
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
12
Przykład
Zmienne X i Z
nie są niezależne
Rozważmy doświadczenie z
rzutem dwoma kostkami do gry.
Definiujemy zmienne losowe X , Y i Z : X(i,j)= i , Y(i,j) = j, Z(i,j)=i+j
Zdarzenie A= „liczba oczek na
kostce 1 jest nie większa niż 3”
X 3
Y 5
Zdarzenie B = „liczba oczek na
drugiej kostce wynosi co najmniej 5
Uwaga P(A) = 1/2 = P(X  3) P(B) =1/3 =P(Y 5)
Dla dowolnych k i l mamy
P(X=k i Y=l) = 1/36 = P(X=k) * P(X=l)
styczeń 2003
tzn. X i Y są zmiennymi
niezależnymi
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
13
Rozkład prawdopodobieństwa
Niech X będzie zmienną losową określoną w przestrzeni W.
Definicja Funkcję fX określoną na zbiorze R i o wartościach
w zbiorze [0,1] taką, że
fX(x) = P(X=x) dla x R
nazywamy rozkładem prawdopodobieństwa zmiennej losowej X
Przykład Rozważmy zmienne X, Y, Z rozpatrywane
w przykładzie z rzutem dwoma kostkami do gry.
1/6 dla x=1,2,3,4,5,6
fX(x) =
styczeń 2003
0 dla pozostałych x
fZ (x) =
1/36 dla x=2 i x= 12
2/36 dla x=3 i x=11
3/36 dla x=4 i x=10
4/36 dla x=5 i x=9
5/36 dla x=6 i x=8
6/36 dla x=7
0 dla pozostałych x
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
14
Przykład
Rzucamy n-krotnie monetą . Niech
Orzeł
Xi (w i-tym rzucie wypadł orzeł) = 1
Xi (w i-tym rzucie wypadła reszka) = 0
Niech Sn= X1 + X2 +...+ Xn
Reszka
Mamy P( Xi = 1)= 1/2
Liczba orłów w n rzutach monetą
k orłów
w n rzutach monetą
P(Sn = k) = (n nad k)/ 2 n
Rozkład
Rozkłady prawdopodobieństwa zmiennych są następujące:dwumianowy
1/2 dla x=0,1
fXi(x) =
styczeń 2003
0 dla pozostałych x
(n nad x)/ 2 n dla x N
fSn(x) =
0 dla pozostałych x
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
15
Dystrybuanta
Definicja Niech X będzie zmienną losową określoną na dowolnej
przestrzeni zdarzeń losowych W. Dystrybuantą zmiennej X
nazywamy funkcję F : R  [0,1] taką, że
FX(x) = P(X  x) dla x  R
W przypadku zmiennej losowej dyskretnej
mamy FX(x) = S y  x fX(y)
Przykład
Dystrybuanta zmiennej
losowej X w rzucie jedną
kostką do gry:
Dystrybuanta akumuluje
wartości rozkładu
prawdopodobieństwa
1
5/6
4/6
3/6
1 2 3 4 5 6 7 8
styczeń 2003
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
16
Przykłady
Przykład Zliczanie liczby orłów w n rzutach monetą.
Dystrybuanta każdej ze zmiennych Xi jest określona:
FX(y) = 0 gdy y <0
FX (y) = 1/2 gdy 0y <1 FX (y)=1 dla y  1
Dystrybuanta zmiennej S ma postać
F(y) = S x  y (n nad x) / 2 n
Zmienna
jednostajna
Przykład Wybieramy losowo liczbę z przedziału [0,1). W = [0,1).
Niech U będzie zmienną losową taką że dla x [0,1), U(x)=x.
P( U[a,b))= b-a b>a i b,a [0,1) Dystrybuanta FU(y) = P(U  y)
To nie jest
dyskretna zmienna
losowa
styczeń 2003
FU(y) =
0 gdy y<0
y gdy 0 y<1
1 gdy y 1
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
17
Wartość oczekiwana
Definicja W - skończona przestrzeń zdarzeń elementarnych, X
zmienna losowa określona w W. Wartością oczekiwaną zmiennej X
nazywamy liczbę E(X) = S wW X(w)* P({w}).
Jeśli wszystkie zdarzenia elementarne są jednakowo
prawdopodobne, to P({w}) = 1/card(W) czyli
E( X ) 
X ( )


W
card (W)
Przykład Rzucamy jedną kostką do gry. Liczba wyrzuconych
oczek X jest zmienną losową o wartościach 1,2,3,4,5,6 i ma
rozkład jednostajny P(X=i)=1/6.
Zatem E(X)= (1+2+...6)/6 = 3.5
styczeń 2003
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
18
Przykład
Niech prawdopodobieństwo
wyboru obu wartości
= 1/2
(np rzucamy monetą)
Rozważmy program P :
x:= 0; p := false;
while p = false do x.= x+1; p := random({true,false}) od
Niech X oznacza zmienną losową taką, że
X = i, jeśli program P zatrzymuje się po i-krokach (tzn. w której
iteracji po raz pierwszy wypadło ‘true’ )
Ile wynosi oczekiwany średni czas oczekiwania na zatrzymanie się
tego programu?
Ponieważ P(X=k)= 1/2k
Zatem
styczeń 2003
E(X) = S
kN
k/ 2k = 2
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
19
Uzasadnienie wzoru Bayes’a
Z wzoru na prawdopodobieństwo warunkowe:
P(B Ai) = P(Ai) * P(B| Ai)
Stąd
P(Ai B) = P(B) * P(Ai| B)
P(Ai|B) = P(Ai) * P(B| Ai) / P(B)
(*)
Z wzoru na prawdopodobieństwo całkowite:
P(B) = P(A1)*P(B| A1) + P(A2) * P(B| A2) + ... + P(An) * P(B| An)
Wstawiając P(B) do wzoru (*) otrzymujemy wzór Bayesa
P(Ai|B) =
styczeń 2003
P(Ai)*P(B| Ai)
---------------------------------------------------------------------P(A1)*P(B| A1) + P(A2) * P(B| A2) + ... + P(An) * P(B| An)
MAD, Rachunek Prawdopodobieństwa c.d. Grażyna Mirkowska, PJWSTK
20