Rachunek prawdopodobieństwa MAP1151 Wydział Elektroniki, rok akad. 2011/12, sem. letni Wykładowca: dr hab. A. Jurlewicz Wykład 7: Zmienne losowe dwuwymiarowe. Rozkłady łączne, brzegowe. Niezależność zmiennych losowych. Momenty. Współczynnik korelacji. Sumowanie niezależnych zmiennych losowych. Prawo wielkich liczb. Zmienne losowe dwuwymiarowe, rozkład łączny, rozkłady brzegowe. Definicja. Zmienna losowa dwuwymiarowa to wektor (X, Y ), którego składowe X, Y są zmiennymi losowymi. Rozkład wektora losowego (X, Y ) to funkcja P ((X, Y ) ∈ C), gdzie C to borelowski podzbiór płaszczyzny R2 . Nazywamy go rozkładem łącznym zmiennych losowych X, Y . Rozkład zmiennej losowej X i rozkład zmiennej losowej Y nazywamy rozkładami brzegowymi wektora losowego (X, Y ). Pełna informacja o rozkładzie łącznym zmiennych losowych X, Y zawarta jest: (a) w dystrybuancie tego rozkładu, czyli funkcji FX,Y (x, y) = P (X < x, Y < y) (b) w przypadku dyskretnego wektora losowego (X, Y ) zawarta jest także w ciągu trójek {(xn , yk , pnk ), n ∈ T1 ⊂ N, k ∈ T2 ⊂ N}, gdzie {xn , n ∈ T1 } oraz {yk , k ∈ T2 } to ciągi wszystkich wartości przyjmowanych odpowiednio przez X i Y z dodatnimi prawdopodobieństwami, natomiast pnk = P (X = xn , Y = yk ), n ∈ T1 , k ∈ T2 . (Ciągi {xn , n ∈ T1 } oraz {yk , k ∈ T2 } muszą być różnowartościowe, natomiast P P pnk ­ 0 dla wszystkich n, k oraz pnk = 1, aby rozkład był dobrze określony.) n∈T1 k∈T2 (c) w przypadku ciągłego rozkładu wektora losowego (X, Y ) zawarta jest także w gęstości łącznej f (x, y), czyli takiej funkcji f (x, y) ­ 0 dla każdego (x, y), że Zx FX,Y (x, y) = −∞ ds Zy f (s, t)dt −∞ (Aby funkcja f (x, y) była gęstością pewnego rozkładu prawdopodobieństwa musi spełniać warunki: f (x, y) ­ 0 dla każdego (x, y) oraz Z∞ −∞ 1 dx Z∞ −∞ f (x, y)dy = 1.) Fakt: Jeśli znamy rozkład łączny, to znamy też rozkłady brzegowe, gdyż: FX (x) = P (X < x) = P (X < x, Y < ∞) = lim FX,Y (x, y), y→∞ FY (y) = P (Y < y) = P (X < ∞, Y < y) = lim FX,Y (x, y) x→∞ W przypadku dyskretnego wektora losowego (X, Y ) zadanego ciagiem {(xn , yk , pnk ), n ∈ T1 , k ∈ T2 }: rozkład zmiennej losowej X zadany jest ciągiem {(xn , pn· ), n ∈ T1 }, gdzie P P pn· = P (X = xn ) = P (X = xn , Y = yk ) = pnk k∈T2 k∈T2 Podobnie, rozkład zmiennej losowej Y zadany jest ciągiem {(yk , p·k ), k ∈ T2 }, P P gdzie p·k = P (Y = yk ) = P (X = xn , Y = yk ) = pnk n∈T1 n∈T1 W przypadku wektora o rozkładzie ciągłym o gęstości łącznej f (x, y) można pokazać, że: rozkład zmiennej losowej X jest ciągły o gęstości fX (x) = Z∞ f (x, y)dy, −∞ rozkład zmiennej losowej Y jest ciągły o gęstości fY (y) = Z∞ f (x, y)dx. −∞ Niezależność zmiennych losowych Definicja. Zmienne losowe X i Y są niezależne, gdy dla dowolnych borelowskich zbiorów B1 i B2 zdarzenia {X ∈ B1 } i {Y ∈ B2 } są niezależne, tzn. P (X ∈ B1 , Y ∈ B2 ) = P (X ∈ B1 )P (Y ∈ B2 ). Zmienne losowe X1 , X2 , . . . , Xn są niezależne, gdy dla dowolnych borelowskich zbiorów B1 , B2 , . . . , Bn rodzina {{Xi ∈ Bi }, i = 1, 2, . . . , n} jest rodziną zdarzeń niezależnych. Fakt. Zmienne losowe X i Y są niezależne wtedy i tylko wtedy, gdy dla każdego (x, y) FX,Y (x, y) = FX (x)FY (y). W przypadku rozkładu dyskretnego warunek ten jest równoważny warunkowi pnk = pn· p·k dla każdego (n, k) z odpowiedniego zakresu. W przypadku rozkładu ciągłego warunkiem równoważnym jest f (x, y) = fX (x)fY (y) dla prawie wszystkich (x, y) (tzn. równość może nie zachodzić na zbiorze o polu 0). Przykłady do zad. 5.1, 5.2 2 Wartość oczekiwana i macierz kowariancji zmiennej losowej dwuwymiarowej. Współczynnik korelacji. Definicja. (EX, EY ) to wektor wartości oczekiwanych zmiennej losowej dwuwymiarowej (X, Y ). Cov(X, Y ) = EXY − EXEY - współczynnik kowariancji zmiennych X i Y " D2 X Cov(X, Y ) Cov(X, Y ) D2 Y # to macierz kowariancji zmiennej losowej dwuwymiarowej (X, Y ) Parametry te są dobrze określone, o ile istnieją wartości oczekiwane i wariancje zmiennych losowych X i Y Fakt. Dla dowolnej funkcji borelowskiej EZ = Eg(X, Y ) = Z∞ Z∞ g(x, y)dFX,Y (x, y) = −∞ −∞ P P g(xn , yk )pnk , n∈T1 k∈T2 = R∞ R∞ gdy X ma rozkład dyskretny zadany ciągiem {(xn , yk , pnk ), n ∈ T1 , k ∈ T2 }; g(x, y)f (x, y)dxdy, gdy X ma rozkład ciągły o gęstości f (x, y). −∞ −∞ o ile całka (szereg) zbieżne. Stąd jeśli istnieją EX i EY , to E(X + Y ) = EX + EY oraz jeśli istnieją D2 X i D2 Y , to D2 (X + Y ) = D2 X + D2 Y + 2Cov(X, Y ). Definicja. Przy założeniu, że istnieją D2 X > 0 i D2 Y > 0, określamy współczynnik korelacji zmiennych losowych X i Y jako: Cov(X, Y ) ρXY = √ . D2 X · D2 Y Własności współczynnika korelacji: • |ρXY | ¬ 1. • |ρXY | = 1 wtedy i tylko wtedy, gdy Y = aX + b dla pewnych stałych a 6= 0, b, przy czym ρXY = 1 odpowiada a > 0, a ρXY = −1 odpowiada a < 0 (pełna liniowa zależność Y od X). • Gdy ρXY = 0, mówimy, że X i Y są nieskorelowane. Przykłady do zad. 5.3 3 Fakt. Jeżeli zmienne losowe X i Y są niezależne oraz ich wartości oczekiwane i wariancje istnieją, przy czym wariancje są niezerowe, to EXY = EXEY a stąd D2 (X + Y ) = D2 X + D2 Y oraz ρXY = 0. Zatem jeśli zmienne losowe o skończonych i niezerowych wariancjach są niezależne, to są też nieskorelowane. Implikacja odwrotna nie jest prawdziwa. Przykłady do zad. 5.4 Suma niezależnych zmiennych losowych. X i Y to niezależne zmienne losowe odpowiednio o dystrybuantach FX (x) i FY (y). Wówczas Z = X + Y ma rozkład o dystrybuancie FX+Y (z) = Z∞ FX (z − y)dFY (y). −∞ Jest to tzw. splot dystrybuant (miar). Jeśli X i Y mają rozkłady ciągłe o gęstościach odpowiednio fX (x) i fY (y), to Z = X + Y też ma rozkład ciągły o gęstości fX+Y (z) = Z∞ fX (z − y)fY (y)dy = (fX ∗ fY )(z). −∞ Jest to znany nam splot gęstości. 4 Zbieżności ciągu zmiennych losowych z prawdopodobieństwem 1 i stochastyczna. Definicja. Ciąg zmiennych losowych X1 , X2 , . . . jest zbieżny z prawdopodobieństwem 1 (in. prawie na pewno) do zmiennej losowej X, jeżeli P (ω : n→∞ lim Xn (ω) = X(ω)) = 1. z pr.1 p.n. −→ Oznaczenie: Xn −→ n→∞ X, Xn n→∞ X, lim Xn = X z prawd. 1. n→∞ Uwaga: Ciąg zbieżny punktowo jest zbieżny z prawdopodobieństwem 1. (Ciąg X1 , X2 , . . . jest zbieżny punktowo do X, jeżeli lim Xn (ω) = X(ω) dla każdego ω ∈ Ω.) n→∞ Zbieżność stochastyczna: Definicja. Ciąg zmiennych losowych X1 , X2 , . . . jest zbieżny stochastycznie (in. według prawdopodobieństwa) do zmiennej losowej X, jeżeli ^ P (|Xn − X| ­ ) −→ n→∞ 0. >0 P Oznaczenie: Xn −→ n→∞ X, P − lim Xn = X. n→∞ Fakt. z pr.1 P −→ (a) Jeżeli Xn −→ n→∞ X, to Xn n→∞ X. z pr.1 P −→ (b) Jeżeli Xn −→ n→∞ X, to istnieje podciąg (Xkn ) ciagu (Xn ), taki że Xkn n→∞ X. 5 Prawa wielkich liczb (PWL) Definicja. Niech X1 , X2 , . . . będzie ciągiem zmiennych losowych o skończonych wartościach oczekiwanych EXn = mn . Niech Sn = X1 + X2 + . . . + Xn , an = m1 + m2 + . . . + mn . Mówimy, że ciąg (Xn ) spełnia słabe prawo wielkich liczb (SPWL), gdy n S n − an 1X P = (Xk − mk ) −→ n→∞ 0. n n k=1 Mówimy, że ciąg ten spełnia mocne prawo wielkich liczb (MPWL), gdy Sn − an z pr.1 −→ n→∞ 0. n Oczywiście MPWL =⇒ SPWL. PWL dla ciągów zmiennych losowych o jednakowym rozkładzie Twierdzenie Chinczyna. Niech (Xn ) będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie, przy czym E|Xn | < ∞. Wtedy ciąg ten spełnia SPWL, które w tym przypadku można zapisać w postaci n 1X Sn P = Xk −→ n→∞ m = EX1 . n n k=1 MPWL Kołmogorowa. Niech (Xn ) będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie. Ciąg ten spełnia MPWL, które w tym przypadku można zapisać w postaci n z pr.1 Sn 1X = Xk −→ n→∞ m = EX1 . n n k=1 wtedy i tylko wtedy, gdy E|Xn | < ∞. 6 Szczególny przypadek: Jeżeli (Xn ) to ciąg niezależnych zmiennych losowych o jednakowym rozkładzie zerojedynkowym B(1, p), tzn. P (Xn = 1) = p = 1 − P (Xn = 0), to Sn ma rozkład Bernoulliego B(n, p), taki jak rozkład ilości sukcesów w n próbach Bernoulliego z prawdopodobieństwem sukcesu p, a m = EX1 = p. Prawo wielkich liczb Bernoulliego, twierdzenie Borela: Niech Sn będzie liczbą sukcesów w n próbach Bernoulliego z prawdopodobieństwem sukcesu p. Wtedy zachodzi • PWL Bernoulliego (XVII/XVIII w.) (SPWL) Sn P −→ p. n n→∞ • twierdzenie Borela (pocz. XX w.) (MPWL) Sn z pr.1 −→ p. n n→∞ Interpretacja: Częstość występowania sukcesu w n próbach Bernoulliego przybliża przy dużym n prawdopodobieństwo p sukcesu w pojedynczej próbie. Odpowiada to obserwacjom z natury, że częstość zdarzenia losowego stabilizuje się na pewnym poziomie. Przykłady do zad. 5.5 7 Przykłady zastosowań PWL Metoda Monte Carlo obliczania całek oznaczonych: Niech X1 , X2 , . . . Xn będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie jednostajnym na przedziale [a, b] oraz niech f będzie funkcją rzeczywistą taką, że Ef (X1 ) istnieje i jest skończona. Przy powyższych założeniach f (X1 ), f (X2 ), . . . f (Xn ) jest także ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie, przy czym istnieje wartość oczekiwana Ef (X1 ). b 1 Z f (x)dx. Z MPWL Kołmogorowa mamy Ponadto Ef (X1 ) = b−a a b n z pr.1 1 Z 1X −→ f (Xk ) n→∞ Ef (X1 ) = f (x)dx. n k=1 b−a a Możemy zatem do obliczania przybliżonej wartości całki oznaczonej Rb f (x)dx zastosować a następujący algorytm: (i) losujemy niezależnie liczby u1 , u2 , . . . , un z rozkładu jednostajnego U[0, 1]; (ii) przekształcamy xk = a + (b − a)uk dla k = 1, 2, . . . , n otrzymując w ten sposób próbkę z rozkładu U(a, b); (iii) jako przybliżoną wartość całki przyjmujemy Rb f (x)dx ≈ a n b−a X f (xk ). n k=1 Przykładowy program w Matlabie function calkowanieMonteCarlo N=10000; %N - ilość prób Monte Carlo %(im wieksze N, tym wynik przyblizony blizszy rzeczywistej wartosci calki) a=-1; %a - poczatek przedzialu calkowania b=1; %b - koniec przedzialu calkowania %generujemy x1 , x2 , ..., xN z rozkładu jednostajnego na przedziale (a, b) x=a+(b-a)*rand(1,N); √ %liczymy wartości funkcji podcałkowej f (x1 ), f (x2 ), . . . , f (xN ), gdzie f (x) = 1 − x2 f=sqrt(1-x.ˆ2); Pn %obliczamy przybliżoną wartość całki ze wzoru b−a k=1 f (xk ) n calka=(b-a)/N*sum(f) Uwaga: Rb a f (x)dx = R1 −1 √ 1 − x2 dx = π 2 ≈ 1, 5707963267 Kilka otrzymanych wyników przybliżonych: 1,5725; 1,5680; 1,5736; 1,5729. 8 Dystrybuanta empiryczna: Rozważmy ciąg X1 , X2 , . . . Xn niezależnych zmiennych losowych o jednakowym rozkładzie opisanym dystrybuantą F (x). Ciąg ten interpretujemy jako opis wyników n niezależnych pomiarów pewnej wielkości fizycznej X, dokonywanych w tych samych warunkach fizycznych. Wartości x1 , x2 , . . . xn zmiennych losowych w tym ciągu to wyniki konkretnych takich pomiarów. Ciąg X1 , X2 , . . . Xn nazywamy próbą prostą. Niech Sn (x; X1 , X2 , . . . Xn ) oznacza ilość elementów próby prostej, których wartość jest mniejsza niż x. Sn (x; X1 , X2 , . . . Xn ) (albo Fn (x; x1 , x2 , . . . xn )) nazywamy dysFn (x; X1 , X2 , . . . Xn ) = n trybuantą empiryczną. Zauważmy, że Sn (x; X1 , X2 , . . . Xn ) oznacza ilość tych Xi , których wartość jest mniejsza niż x. Jest to zatem ilość sukcesów w n próbach Bernoulliego, gdzie sukces w itej próbie to zdarzenie {Xi < x} i p = P (Xi < x) = F (x) niezależnie od i. Zatem Sn (x; X1 , X2 , . . . Xn ) ma rozkład Bernoulliego B(n, p = F (x)). Z tw. Borela otrzymujemy, że Fn (x; X1 , X2 , . . . Xn ) = Sn (x; X1 , X2 , . . . Xn ) z pr.1 −→ n→∞ p = F (x). n Inaczej mówiąc, dla dużych n, dla prawie każdej wartości (x1 , x2 , . . . xn ) wektora losowego (X1 , X2 , . . . Xn ) mamy Fn (x; x1 , x2 , . . . xn ) ≈ F (x), czyli dystrybuanta empiryczna jest w przybliżeniu równa dystrybuancie teoretycznej F . 1 n=10 0 0 2 4 6 8 1 Przykład: Niebieski wykres: F (x) = 1 − e−x dla x > 0, czerwony wykres: realizacja dystrybuanty empirycznej. n=100 0 0 2 4 6 8 1 n=1000 0 0 9 2 4 6 8