Wykład 12: Sumowanie niezależnych zmiennych lo

Rachunek prawdopodobieństwa MAP1064
Wydział Elektroniki, rok akad. 2008/09, sem. letni
Wykładowca: dr hab. A. Jurlewicz
Wykład 12: Sumowanie niezależnych zmiennych losowych i jego związek ze splotem gęstości i transformatami Laplace’a i Fouriera. Prawo wielkich liczb.
Fakt.
Jeżeli zmienne losowe X i Y są niezależne oraz ich wartości oczekiwane i wariancje istnieją,
przy czym wariancje są niezerowe, to
EXY = EXEY
a stąd
D2 (X + Y ) = D2 X + D2 Y
oraz ρXY = 0.
Zatem jeśli zmienne losowe o skończonych i niezerowych wariancjach są niezależne, to są
też nieskorelowane. Implikacja odwrotna nie jest prawdziwa.
Przykłady do zad. 11.1
Suma niezależnych zmiennych losowych.
X i Y to niezależne zmienne losowe odpowiednio o dystrybuantach FX (x) i FY (y).
Wówczas Z = X + Y ma rozkład o dystrybuancie
FX+Y (z) =
Z∞
FX (z − y)dFY (y).
−∞
Jest to tzw. splot dystrybuant (miar).
Jeśli X i Y mają rozkłady ciągłe o gęstościach odpowiednio fX (x) i fY (y),
to Z = X + Y też ma rozkład ciągły o gęstości
fX+Y (z) =
Z∞
fX (z − y)fY (y)dy = (fX ∗ fY )(z).
−∞
Jest to znany nam splot gęstości.
Wiemy, że na ogół wyznaczenie splotu jest technicznie trudne. Ponadto wiemy, że transformata Fouriera splotu funkcji to iloczyn transformat Fouriera tych funkcji. Podobną
własność ma transformata Laplace’a.
1
Definicja.
Funkcja charakterystyczna ϕX (t), t ∈ R, rozkładu zmiennej losowej X o dystrybuancie FX (x) to
Z∞
ϕX (t) = EeitX =
eitx dFX (x) =
−∞
 P

eitxn pn ,



n∈T


R∞ itx



e f (x)dx,

gdy X ma rozkład dyskretny
zadany ciągiem {(xn , pn ), n ∈ T};
gdy X ma rozkład ciągły o gęstości f (x).
−∞
Inaczej mówiąc, funkcja charakterystyczna rozkładu zmiennej losowej X to transformata
Fouriera-Lebesgue’a dystrybuanty tego rozkładu. W przypadku rozkładu ciągłego, funkcja
charakterystyczna to znana nam już transformata Fouriera gęstości w punkcie ω = −t.
Fakt.
Funkcja charakterystyczna zawiera pełną informację o rozkładzie zmiennej losowej X.
Inne transformaty:
Transformata Laplace’a-Lebesgue’a.
Pełna informacja o rozkładzie nieujemnej zmiennej losowej X, tzn. takiej, że P (X ­
0) = 1, zawarta jest także w transformacie Laplace’a-Lebesgue’a ψX (t), t ­ 0,
dystrybuanty FX (x):
ψX (t) = Ee−tX =
Z∞
e−tx dF (x) =
−∞
 P

e−txn pn ,



 n∈T

R∞ −tx



e f (x)dx,

gdy X ma rozkład dyskretny
zadany ciągiem {(xn , pn ), n ∈ T};
gdy X ma rozkład ciągły o gęstości f (x).
−∞
Funkcja tworząca.
Pełna informacja o rozkładzie dyskretnej zmiennej losowej X przyjmującej tylko wartości
naturalne zawarta jest także w funkcji tworzącej g(s)
g(s) = EsX =
∞
X
sn pn , 0 < s ¬ 1,
n=0
gdzie pn = P (X = n) dla n = 0, 1, . . .
Fakt.
Jeśli X i Y to niezależne zmienne losowe o funkcjach charakterystycznych odpowiednio
ϕX (t), ϕY (t), to wówczas dla każdego t
ϕX+Y (t) = ϕX (t)ϕY (t).
(Analogiczną własność mają transformata Laplace’a i funkcja tworząca.)
Przykłady do zad. 11.2
2
Zbieżności ciągu zmiennych losowych z prawdopodobieństwem 1 i stochastyczna.
Definicja.
Ciąg zmiennych losowych X1 , X2 , . . . jest zbieżny z prawdopodobieństwem 1
(in. prawie na pewno) do zmiennej losowej X, jeżeli
P (ω : n→∞
lim Xn (ω) = X(ω)) = 1.
z pr.1
p.n.
−→
Oznaczenie: Xn −→
n→∞ X, Xn n→∞ X, lim Xn = X z prawd. 1.
n→∞
Uwaga:
Ciąg zbieżny punktowo jest zbieżny z prawdopodobieństwem 1.
(Ciąg X1 , X2 , . . . jest zbieżny punktowo do X, jeżeli
lim Xn (ω) = X(ω) dla każdego ω ∈ Ω.)
n→∞
Zbieżność stochastyczna:
Definicja.
Ciąg zmiennych losowych X1 , X2 , . . . jest zbieżny stochastycznie
(in. według prawdopodobieństwa) do zmiennej losowej X, jeżeli
^
P (|Xn − X| ­ ) −→
n→∞ 0.
>0
P
Oznaczenie: Xn −→
n→∞ X, P − lim Xn = X.
n→∞
Fakt.
z pr.1
P
−→
(a) Jeżeli Xn −→
n→∞ X, to Xn n→∞ X.
z pr.1
P
−→
(b) Jeżeli Xn −→
n→∞ X, to istnieje podciąg (Xkn ) ciagu (Xn ), taki że Xkn n→∞ X.
3
Prawa wielkich liczb (PWL)
Definicja.
Niech X1 , X2 , . . . będzie ciągiem zmiennych losowych o skończonych wartościach oczekiwanych EXn = mn . Niech Sn = X1 + X2 + . . . + Xn , an = m1 + m2 + . . . + mn .
Mówimy, że ciąg (Xn ) spełnia słabe prawo wielkich liczb (SPWL), gdy
n
S n − an
1X
P
=
(Xk − mk ) −→
n→∞ 0.
n
n k=1
Mówimy, że ciąg ten spełnia mocne prawo wielkich liczb (MPWL), gdy
Sn − an z pr.1
−→
n→∞ 0.
n
Oczywiście MPWL =⇒ SPWL.
PWL dla ciągów zmiennych losowych o jednakowym
rozkładzie
Twierdzenie Chinczyna.
Niech (Xn ) będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie,
przy czym E|Xn | < ∞. Wtedy ciąg ten spełnia SPWL, które w tym przypadku można
zapisać w postaci
n
1X
Sn
P
=
Xk −→
n→∞ m = EX1 .
n
n k=1
MPWL Kołmogorowa.
Niech (Xn ) będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie.
Ciąg ten spełnia MPWL, które w tym przypadku można zapisać w postaci
n
z pr.1
Sn
1X
=
Xk −→
n→∞ m = EX1 .
n
n k=1
wtedy i tylko wtedy, gdy E|Xn | < ∞.
4
Szczególny przypadek:
Jeżeli (Xn ) to ciąg niezależnych zmiennych losowych o jednakowym rozkładzie zerojedynkowym B(1, p), tzn. P (Xn = 1) = p = 1 − P (Xn = 0), to Sn ma rozkład Bernoulliego
B(n, p), taki jak rozkład ilości sukcesów w n próbach Bernoulliego z prawdopodobieństwem sukcesu p, a m = EX1 = p.
Prawo wielkich liczb Bernoulliego, twierdzenie Borela:
Niech Sn będzie liczbą sukcesów w n próbach Bernoulliego z prawdopodobieństwem sukcesu p. Wtedy zachodzi
• PWL Bernoulliego (XVII/XVIII w.) (SPWL)
Sn P
−→ p.
n n→∞
• twierdzenie Borela (pocz. XX w.) (MPWL)
Sn z pr.1
−→ p.
n n→∞
Interpretacja:
Częstość występowania sukcesu w n próbach Bernoulliego przybliża przy dużym n prawdopodobieństwo p sukcesu w pojedynczej próbie. Odpowiada to obserwacjom z natury, że
częstość zdarzenia losowego stabilizuje się na pewnym poziomie.
Przykłady do zad. 11.3
5
Przykłady zastosowań PWL
Metoda Monte Carlo obliczania całek oznaczonych:
Niech X1 , X2 , . . . Xn będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie jednostajnym na przedziale [a, b] oraz niech f będzie funkcją rzeczywistą taką, że
Ef (X1 ) istnieje i jest skończona.
Przy powyższych założeniach f (X1 ), f (X2 ), . . . f (Xn ) jest także ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie, przy czym istnieje wartość oczekiwana Ef (X1 ).
b
1 Z
f (x)dx. Z MPWL Kołmogorowa mamy
Ponadto Ef (X1 ) =
b−a a
b
n
z pr.1
1 Z
1X
−→
f (Xk ) n→∞ Ef (X1 ) =
f (x)dx.
n k=1
b−a a
Możemy zatem do obliczania przybliżonej wartości całki oznaczonej
Rb
f (x)dx zastosować
a
następujący algorytm:
(i) losujemy niezależnie liczby u1 , u2 , . . . , un z rozkładu jednostajnego U[0, 1];
(ii) przekształcamy xk = a + (b − a)uk dla k = 1, 2, . . . , n otrzymując w ten sposób
próbkę z rozkładu U(a, b);
(iii) jako przybliżoną wartość całki przyjmujemy
Rb
f (x)dx ≈
a
n
b−a X
f (xk ).
n k=1
Przykładowy program w Matlabie
function calkowanieMonteCarlo
N=10000; %N - ilość prób Monte Carlo
%(im wieksze N, tym wynik przyblizony blizszy rzeczywistej wartosci calki)
a=-1; %a - poczatek przedzialu calkowania
b=1; %b - koniec przedzialu calkowania
%generujemy x1 , x2 , ..., xN z rozkładu jednostajnego na przedziale (a, b)
x=a+(b-a)*rand(1,N);
√
%liczymy wartości funkcji podcałkowej f (x1 ), f (x2 ), . . . , f (xN ), gdzie f (x) = 1 − x2
f=sqrt(1-x.ˆ2);
Pn
%obliczamy przybliżoną wartość całki ze wzoru b−a
k=1 f (xk )
n
calka=(b-a)/N*sum(f)
Uwaga:
Rb
a
f (x)dx =
R1
−1
√
1 − x2 dx =
π
2
≈ 1, 5707963267
Kilka otrzymanych wyników przybliżonych: 1,5725; 1,5680; 1,5736; 1,5729.
6
Dystrybuanta empiryczna:
Rozważmy ciąg X1 , X2 , . . . Xn niezależnych zmiennych losowych o jednakowym rozkładzie
opisanym dystrybuantą F (x). Ciąg ten interpretujemy jako opis wyników n niezależnych
pomiarów pewnej wielkości fizycznej X, dokonywanych w tych samych warunkach fizycznych. Wartości x1 , x2 , . . . xn zmiennych losowych w tym ciągu to wyniki konkretnych takich pomiarów. Ciąg X1 , X2 , . . . Xn nazywamy próbą prostą.
Niech Sn (x; X1 , X2 , . . . Xn ) oznacza ilość elementów próby prostej, których wartość jest
mniejsza niż x.
Sn (x; X1 , X2 , . . . Xn )
(albo Fn (x; x1 , x2 , . . . xn )) nazywamy dysFn (x; X1 , X2 , . . . Xn ) =
n
trybuantą empiryczną.
Zauważmy, że Sn (x; X1 , X2 , . . . Xn ) oznacza ilość tych Xi , których wartość jest mniejsza
niż x. Jest to zatem ilość sukcesów w n próbach Bernoulliego, gdzie sukces w itej próbie
to zdarzenie {Xi < x} i p = P (Xi < x) = F (x) niezależnie od i.
Zatem Sn (x; X1 , X2 , . . . Xn ) ma rozkład Bernoulliego B(n, p = F (x)).
Z tw. Borela otrzymujemy, że
Fn (x; X1 , X2 , . . . Xn ) =
Sn (x; X1 , X2 , . . . Xn ) z pr.1
−→
n→∞ p = F (x).
n
Inaczej mówiąc, dla dużych n, dla prawie każdej wartości (x1 , x2 , . . . xn ) wektora losowego
(X1 , X2 , . . . Xn ) mamy Fn (x; x1 , x2 , . . . xn ) ≈ F (x), czyli dystrybuanta empiryczna jest w
przybliżeniu równa dystrybuancie teoretycznej F .
1
n=10
0
0
2
4
6
8
1
Przykład:
Niebieski wykres:
F (x) = 1 − e−x dla x > 0,
czerwony wykres:
realizacja dystrybuanty empirycznej.
n=100
0
0
2
4
6
8
1
n=1000
0
0
7
2
4
6
8