Niezaleność zmiennych, funkcje i charakterystyki wektora losowego

Metody probabilistyczne i statystyka
Wykład
Niezależność zmiennych, funkcje
i charakterystyki wektora losowego,
centralne twierdzenia graniczne
Dr Joanna Banaś
Zakład Badań Systemowych
Instytut Sztucznej Inteligencji i Metod Matematycznych
Wydział Informatyki Politechniki Szczecińskiej
4
Metody probabilistyczne i statystyka
Wykład 3
11. Niezależność zmiennych losowych
Zmienne losowe X1,…, Xn są niezależne, jeśli dla dowolnych zbiorów
borelowskich B1 , B2 ,..., Bn ⊂ niezależne są zdarzenia { X 1 ∈ B1}, { X 2 ∈ B2 },...,
{ X n ∈ Bn } , tzn. gdy
P ( X 1 ∈ B1 , X 2 ∈ B2 ,..., X n ∈ Bn )
(11.1)
= P ( X 1 ∈ B1 ) ⋅ P ( X 2 ∈ B2 ) ⋅ ... ⋅ P ( X n ∈ Bn )
(11.2) Twierdzenie
Zmienne losowe X1,…, Xn są niezależne wtedy i tylko wtedy, gdy dla każdego
( x1 , x2 ,..., xn ) ∈ n
P( X 1 < x1 , X 2 < x2 ,..., X n < xn ) = P( X 1 < x1 ) ⋅ P( X 2 < x2 ) ⋅ ... ⋅ P( X n < xn )
(11.3) Wniosek
Zmienne losowe X1,…, Xn są niezależne wtedy i tylko wtedy, gdy dla każdego
( x1 , x2 ,..., xn ) ∈ n
F ( x1 , x2 ,..., xn ) = FX 1 ( x1 ) ⋅ FX 2 ( x 2 ) ⋅ ... ⋅ FX n ( xn )
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
Własności niezależnych zmiennych
losowych
(11.4) Twierdzenie
X, Y − zmienne losowe typu skokowego o atomach xi, i = 1,2,…,
yj, j = 1,2,… odpowiednio
X, Y są niezależne ⇔ ∀ i , j P( X = xi , Y = y j ) = P( X = xi ) ⋅ P(Y = y j )
(11.5) Przykład
Y Zmienne losowe z przykładu (10.9) są zależne,
gdyż
Atomy
0 1
28
0
0

P ( X = 0, Y = 0) = 28
45
45
8
8

1
X
28 4
45
45
≠ 45 ⋅ 5 = P ( X = 0) ⋅ P (Y = 0)

2
0 451

P (Y = y j ) 54 15
P ( X = xi )
28
45
16
45
1
45
1
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
Własności niezależnych zmiennych
losowych
(11.6) Twierdzenie
X, Y − zmienne losowe typu o gęstościach
X, Y są niezależne ⇔ ∀ x , y∈ f ( x, y ) =
lub równoważnie
∀ x∈ f ( x / y ) = f X ( x),
∀ y∈ f ( y / x) = f Y ( y ),
fX, fY odpowiednio
f X ( x) ⋅ f Y ( y )
gdzie y ∈ ∧ f Y ( y ) ≠ 0 albo
gdzie x ∈ ∧ f X ( x) ≠ 0
(11.7) Przykład
Zmienne losowe z przykładu (10.5) są zależne, gdyż dla punktu ( 13 , 13 ) ∈ K
mamy
f ( 13 , 13 ) = 12 ≠ 32 ⋅ 32 = f X ( 13 ) ⋅ f Y ( 13 )
gdzie
 dla ( x, y ) ∈ K
f ( x, y ) = 
0 dla ( x, y ) ∉ K
1
2
 x + 1 dla x ∈ ⟨−1,0⟩

f X ( x) = 1 − x dla x ∈ (0,1⟩
 0
dla x ∉ ⟨−1,1⟩

Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
Własności niezależnych zmiennych
losowych
(11.8) Twierdzenie
X1,…, Xn − niezależne zmienne losowe
E ( X 1 ⋅ X 2 ⋅ ... ⋅ X n ) i EX i , i = 1,..., n − istnieją
⇒ E ( X 1 ⋅ X 2 ⋅ ... ⋅ X n ) = EX 1 ⋅ EX 2 ⋅ ... ⋅ EX n
(11.9) Wniosek
X1,…, Xn − niezależne zmienne losowe o skończonej wariancji
⇒ D 2 ( X 1 + X 2 + ... + X n ) = D 2 X 1 + D 2 X 2 + ... + D 2 X n
(11.10) Przykład
Niech X będzie zmienną losową o rozkładzie dwumianowym z parametrami
n = 1, 2…, p∈(0,1), tzn. odpowiada liczbie sukcesów w n doświadczeniach.
Wykazać, że
a)
EX = n⋅p
b)
D2X = n⋅p⋅q
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
12. Funkcje zmiennej losowej
dwuwymiarowej
(12.1) Twierdzenie
X, Y − zmienna losowa dwuwymiarowa określona na przestrzeni
probabilistycznej (Ω, Z , P ), g : 2 → − funkcja borelowska
Funkcja Z : Ω → , określona wzorem Z = g ( X , Y ) jest zmienną
losową na Ω
(12.2) Twierdzenie
Jeżeli (X, Y) jest wektorem losowym typu skokowego o rozkładzie
P( X = xi , Y = y j ) = pij , i, j = 1, 2,... i Z = g ( X , Y ), to
W szczególności
EZ = ∑ i , j g ( xi , y j ) ⋅ pij
E ( X ⋅ Y ) = ∑ i , j xi ⋅ y j ⋅ pij
E ( X ) = ∑ i , j xi ⋅ pij
( X ,Y )
Ω → 2
Z
g
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
Funkcje zmiennej losowej
dwuwymiarowej typu ciągłego
(12.3) Twierdzenie
Jeżeli (X, Y) jest wektorem losowym typu ciągłego o
gęstości f i Z = g (X, Y ) , to
EZ = ∫
∞
∫
∞
∫
∞
−∞ −∞
g ( x, y ) ⋅ f ( x, y )dxdy
W szczególności
E( X ⋅Y ) = ∫
E( X ) = ∫
∞
∞
−∞ −∞
∞
∫
−∞ −∞
x ⋅ y ⋅ f ( x, y )dxdy
x ⋅ f ( x, y )dxdy
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
13. Charakterystyki liczbowe zmiennej
losowej dwuwymiarowej
Kowariancją zmiennych losowych X i Y
nazywamy liczbę (o ile istnieje)
(13.1) cov( X , Y ) E ( ( X − EX )(Y − EY ) )
(13.2) Twierdzenie (własności kowariancji)
a)
b)
c)
cov( X , Y ) = E ( X ⋅ Y ) − EX ⋅ EY
cov( X , X ) = D 2 X
cov( X , Y ) = cov(Y , X )
(13.3) Stwierdzenie
X i Y − niezależne ⇒ cov( X , Y ) = 0
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
Własności kowariancji
(13.4) Przykład (na nieodwracalność implikacji (13.3))
Y
(X, Y ) jest wektorem losowym
o rozkładzie
a)
b)
Obliczyć kowariancję
Sprawdzić niezależność zmiennych
Atomy − 2
 − 2
 −1
X
 1

2
−1 1
0
2
1
6
0
0
0
2
6
0
0
0
2
6
0
0
1
6
0
0
0
(13.5) Własność
Jeśli X i Y są zmiennymi losowymi i istnieje cov(X, Y ) , to
D 2 ( X ± Y ) = D 2 X + D 2Y ± 2cov( X , Y )
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
Współczynnik korelacji liniowej
X i Y − zmienne losowe
Jeśli istnieją EX , EY , D 2 X , D 2Y , cov( X , Y ) i D 2 X > 0, D 2Y > 0,
to liczbę
cov( X , Y )
ρ( X , Y ) =
(13.6)
D 2 X ⋅ D 2Y
nazywamy współczynnikiem korelacji zmiennych losowych X i Y
(13.7) Własności (współczynnika korelacji)
a)
b)
c)
| ρ( X , Y ) | ≤ 1
X i Y − niezależne ⇒ ρ( X , Y ) = 0
| ρ( X , Y ) | = 1 ⇔ ∃ a ≠0 P (Y = aX + b) = 1
b∈
X i Y − zmienne losowe nieskorelowane
ρ( X , Y ) = 0 ⇒
(13.8) Wniosek
Jeśli zmienne są niezależne, to są nieskorelowane
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
14. Wybrane charakterystyki liczbowe
wielowymiarowych zmiennych losowych
Macierz kowariancji (momentów) wektora losowego
X = (X1, X2,…, Xn) − rodzaj uogólnienia wariancji na przypadek
n-wymiarowy
 σ12 σ12

2
σ
σ
21
2
(14.1) M = 
 ...
...

σ n1 σ n 2
... σ1n 

σ i2 = D 2 X i
i, j = 1, 2,..., n
... σ 2 n 
, gdzie
σ ij = cov( X i , X j ) i ≠ j
... ... 

... σ 2n 
M jest macierzą symetryczną
det M ≥ 0
det M = 0 ⇒ X jest wektorem zdegenerowanym (w rzeczywistości
k-wymiarowym, gdzie k jest rzędem macierzy M)
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
Współczynnik korelacji wielorakiej
ρ ij = ρ( X i , X j ), i, j = 1, 2,..., n
Macierz korelacji wektora losowego X = (X1, X2,…, Xn)
(14.2)
 1 ρ12
ρ
1
21
P=
 ... ...
ρ n1 ρ n 2
... ρ1n 
... ρ 2 n 

... ... 
... 1 
Współczynnik korelacji wielorakiej (wielokrotnej, wielowymiarowej) ρi.r określa
wpływ, jaki na zmienną losową Xi wywierają wszystkie pozostałe zmienne
X 1 , X 2 ,..., X i −1 , X i +1 ,..., X n
(14.3)
ρ i .r 1 −
det P
, r = 1 2...i − 1 i + 1...n
Pii
gdzie Pii jest dopełnieniem algebraicznym macierzy P
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
Współczynnik korelacji cząstkowej
Współczynnik korelacji cząstkowej ρij.r określa wpływ zmiennej Xj na zmienną Xi, po
wyeliminowaniu wpływu pozostałych zmiennych X k , k ∈ {1,2,..., n} \ {i, j} na zmienną Xi
(14.4)
ρ ij . p − Pij
, p = 1 2...i − 1 i + 1... j − 1 j + 1...n
Pii ⋅ Pjj
gdzie Pij jest dopełnieniem algebraicznym macierzy P
(14.5) Przykład
Niech dana będzie macierz korelacji P wektora losowego X = (X1, X2, X3)
Obliczyć
1 34
P =  34 1

0 − 12
0
− 12 

1 
ρ1.23
ρ12.3
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
15. Centralne twierdzenia graniczne
{ X n }n∈ + − ciąg niezależnych zmiennych losowych, określonych na
przestrzeni probabilistycznej (Ω, Z , P) o skończonej wariancji
σ 2n = D 2 X n > 0
n
n
X k − ∑ k =1 EX k
∑
k =1
(15.1)
Yn =
n
2
σ
n
∑ k =1
jest zmienną losową standaryzowaną
Fn − dystrybuanta zmiennej losowej Yn, Φ − dystrybuanta zmiennej
losowej o rozkładzie normalnym N(0,1)
Mówimy, że dla ciągu zmiennych { X n }n∈ + zachodzi centralne
twierdzenie graniczne (CTG), jeśli ciąg zmiennych losowych {Yn }n∈ +
jest zbieżny według rozkładu do zmiennej losowej Y o rozkładzie N(0,1),
tzn.
(15.2)
lim Fn ( x ) = Φ ( x) dla x ∈ n →∞
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
Twierdzenie Lindberga-Levy’ego
i Moivre’a-Laplace’a
(15.3) Twierdzenie (Lindberga-Levy’ego)
Jeśli { X n }n∈ + jest ciągiem niezależnych zmiennych losowych o tym
samym rozkładzie, wartości oczekiwanej EX n = m i wariancji
D 2 X n = σ 2 > 0 dla n ∈ + , to dla ciągu tego zachodzi CTG, tzn.
 X + X 2 + ... + X n − n ⋅ m

< x  = Φ ( x) dla x ∈ lim P  1
n →∞
σ n


(15.4) Wniosek (twierdzenie Moivre’a-Laplace’a)
Niech { X n }n∈ + będzie ciągiem niezależnych zmiennych losowych o
rozkładzie 0-1 z parametrem p, tzn. P( X n = 1) = p i P( X n = 0) = q = 1 − p
Jeśli S n = X 1 + X 2 + ... + X n , to dla każdego x ∈ zachodzi
 Sn − n ⋅ p

lim P 
< x  = Φ ( x)
 n⋅ p⋅q

n →∞


Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
Twierdzenie Moivre’a-Laplace’a
− przykłady
(15.5) Przykłady
a) Rzucamy symetryczną monetą.
Jakie jest prawdopodobieństwo, że w 100
rzutach otrzymamy co najmniej 60 razy reszkę?
b) Niech dany będzie schemat Bernoulli’ego
z parametrem p = 12
Jaka musi być liczba prób, by
prawdopodobieństwo, że częstość sukcesu różni
się od p o mniej niż 0.01 było większe od 0.9?
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład
1
Dziękuję za uwagę
Opracowała Joanna Banaś