Wykład 3 Momenty zmiennych losowych.

Wykład 3
Momenty zmiennych losowych.
Magdalena Frąszczak
Wrocław, 19 października 2016r
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Momenty zmiennych losowych
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Wartość oczekiwana - przypomnienie
Definicja 3.1:
1
Niech X będzie daną zmienną losową. Jeżeli X jest zmienną
P
losową dyskretną oraz i |xi |P(X = xi ) < ∞, to istnieje
wartość oczekiwana EX dana wzorem:
EX =
X
xi P(X = xi )
i
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Wartość oczekiwana - przypomnienie
Definicja 3.1:
1
Niech X będzie daną zmienną losową. Jeżeli X jest zmienną
P
losową dyskretną oraz i |xi |P(X = xi ) < ∞, to istnieje
wartość oczekiwana EX dana wzorem:
EX =
X
xi P(X = xi )
i
2
Jeżeli
X jest zmienną losową z ciągłą gęstością f oraz
R∞
|x|f
(x)dx < ∞, to istnieje wartość oczekiwana EX dana
−∞
wzorem
Z ∞
EX =
xf (x)dx
−∞
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Własności wartości oczekiwanej - przypomnienie
Niech będą dane zmienne losowe X i Y oraz stała a
E (a) = a
E (aX ) = aE (X )
E (X − Y ) = EX − EY
E (X + Y ) = EX + EY
Jeżeli X i Y są niezależnymi zmiennymi losowymi, to:
E (XY ) = EX · EY
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Momenty
Definicja 3.2:
Momentem rzędu n rozkładu zmiennej losowej X nazywamy:
µn = EX n
Momentem centralnym rzędu n rozkładu zmiennej losowej X
nazywamy:
mn = E [X − EX ]n
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Momenty
Definicja 3.2:
Momentem rzędu n rozkładu zmiennej losowej X nazywamy:
µn = EX n
Momentem centralnym rzędu n rozkładu zmiennej losowej X
nazywamy:
mn = E [X − EX ]n
Wartość oczekiwana EX jest pierwszym momentem rozkładu
zmiennej losowej X
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Momenty
Szczególnym przypadkiem momentu centralnego jest wariancja
zmiennej losowej, którą będziemy oznaczać Var :
Definicja 3.3:
Moment centralny rzędu 2 rozkładu zmiennej losowej X nazywamy
wariancją:
Var (X ) = E [X − EX ]2 = EX 2 − (EX )2
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Momenty
Szczególnym przypadkiem momentu centralnego jest wariancja
zmiennej losowej, którą będziemy oznaczać Var :
Definicja 3.3:
Moment centralny rzędu 2 rozkładu zmiennej losowej X nazywamy
wariancją:
Var (X ) = E [X − EX ]2 = EX 2 − (EX )2
Wariancja zmiennej losowej (błąd średniokwadratowy) jest to miara
rozproszenia wartości zmiennej wokół wartości średniej.
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Momenty
Szczególnym przypadkiem momentu centralnego jest wariancja
zmiennej losowej, którą będziemy oznaczać Var :
Definicja 3.3:
Moment centralny rzędu 2 rozkładu zmiennej losowej X nazywamy
wariancją:
Var (X ) = E [X − EX ]2 = EX 2 − (EX )2
Wariancja zmiennej losowej (błąd średniokwadratowy) jest to miara
rozproszenia wartości zmiennej wokół wartości średniej.
Im wariancja jest mniejsza tym bardziej wartości zmiennej skupiają
się wokół średniej.
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Momenty
Twierdzenie 3.1
Jeżeli zmienna losowa X ma skończoną wariancję to dla dowolnych
stałych a i b zachodzi:
Var (aX + b) = a2 Var (X )
Jeżeli zmienne losowe X i Y są niezależne i mają skończone
wariancje to
Var (X + Y ) = Var (X ) + Var (Y )
Dowód: na ćwiczeniach.
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Momenty. Przykład 3.1
Wyznaczyć warość oczekiwaną i wariancję zmiennej losowej X z
rozkładu wykładniczego ze średnią 1/λ.
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Momenty. Przykład 3.1
Wyznaczyć warość oczekiwaną i wariancję zmiennej losowej X z
rozkładu wykładniczego ze średnią 1/λ.
Zmienna X ma rozkład Ex(λ), a zatem fX (x) = λe −λx I(0,∞) (x).
Wyznaczmy EX , korzystając z całkowania przez części:
Z ∞
EX =
0
∞
xλe −λx dx = −xe −λx 0
Z ∞
=
e −λx dx =
0
Magdalena Frąszczak
Z ∞
+
e −λx dx =
0
1
λ
Wykład 3 Momenty zmiennych losowych.
Momenty. Przykład 3.1 - c.d.
Następnie dwukrotnie całkując przez części otrzymujemy EX 2 :
2
Z ∞
EX =
2
x λe
−λx
dx = −x e
0
=
Z
2 ∞
λ
Z ∞
∞
xe −λx dx =
+2
2 −λx 0
xλe −λx dx =
0
Magdalena Frąszczak
0
2
λ2
Wykład 3 Momenty zmiennych losowych.
Momenty. Przykład 3.1 - c.d.
Następnie dwukrotnie całkując przez części otrzymujemy EX 2 :
2
Z ∞
EX =
2
x λe
−λx
dx = −x e
0
=
Z
2 ∞
λ
Z ∞
∞
xe −λx dx =
+2
2 −λx 0
xλe −λx dx =
0
0
2
λ2
Następnie:
VarX = EX 2 − (EX )2 =
Magdalena Frąszczak
1
1
2
−
= 2
λ2 λ2
λ
Wykład 3 Momenty zmiennych losowych.
Momenty
W statystyce znaczenie mają również momenty centralne rzędów
trzeciego i czwartego, za pomocą których wyznacza się znane
miary statystyczne:
Definicja 3.4:
wskaźnik asymetrii (wskaźnik skośności)
γ1 =
E [X − EX ]3
m3
= 2/3
3/2
[Var (X )]
m2
wskaźnik spłaszczenia (kurtoza, eksces)
γ2 =
E [X − EX ]4
m4
−3= 2 −3
2
[Var (X )]
m2
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Próba losowa. Rozkład łączny.
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Próba losowa
Definicja 3.5:
Wektor zmiennych losowych X = (X1 , X2 , . . . Xn )0 nazywamy próbą
losową rozmiaru n z rozkładu o gęstości fX (x) jeśli X1 , X2 , . . . , Xn
są niezależnymi zmiennymi losowymi o wspólnym rozkładzie z
gęstością f (x)
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Próba losowa
Definicja 3.5:
Wektor zmiennych losowych X = (X1 , X2 , . . . Xn )0 nazywamy próbą
losową rozmiaru n z rozkładu o gęstości fX (x) jeśli X1 , X2 , . . . , Xn
są niezależnymi zmiennymi losowymi o wspólnym rozkładzie z
gęstością f (x)
Niech X1 , X2 , . . . , Xn będą niezależnymi zmiennymi losowymi o
gęstościach f (x1 ), f (x2 ), . . . , f (xn ) odpowiednio. Gęstość łączna
wektora losowego X wygląda następująco:
f (x) = f (x1 , x2 , . . . , xn ) = f (x1 )f (x2 ) · · · f (xn ) =
n
Y
f (xi ),
i=1
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Próba losowa
Definicja 3.5:
Wektor zmiennych losowych X = (X1 , X2 , . . . Xn )0 nazywamy próbą
losową rozmiaru n z rozkładu o gęstości fX (x) jeśli X1 , X2 , . . . , Xn
są niezależnymi zmiennymi losowymi o wspólnym rozkładzie z
gęstością f (x)
Niech X1 , X2 , . . . , Xn będą niezależnymi zmiennymi losowymi o
gęstościach f (x1 ), f (x2 ), . . . , f (xn ) odpowiednio. Gęstość łączna
wektora losowego X wygląda następująco:
f (x) = f (x1 , x2 , . . . , xn ) = f (x1 )f (x2 ) · · · f (xn ) =
n
Y
f (xi ),
i=1
natomiast dystrybuanta łączna:
F (x) = F (x1 , x2 , . . . , xn ) = F (x1 )F (x2 ) · · · F (xn ) =
n
Y
F (xi )
i=1
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Próba losowa. Przykład 3.2
Niech X = (X1 , X2 , . . . Xn )0 będzie próbą losową z rozkładu
wykładniczego z parametrem λ. Wyznaczyć gęstość łączną wektora
losowego.
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Próba losowa. Przykład 3.2
Niech X = (X1 , X2 , . . . Xn )0 będzie próbą losową z rozkładu
wykładniczego z parametrem λ. Wyznaczyć gęstość łączną wektora
losowego.
Xi ∼ Ex(λ), czyli f (xi ) = λe −λxi I(0,∞) (xi )
fX (x) =
n
Y
i=1
f (xi ) =
n
Y
λe
−λxi
i=1
Magdalena Frąszczak
n
I(0,∞) (xi ) = λ exp(−λ
n
X
i=1
Wykład 3 Momenty zmiennych losowych.
xi )
Rozkłady wybranych statystyk próbkowych.
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Statystyka
Definicja 3.6:
Zmienną losową będącą dowolną funkcją wyników próby losowej,
tzn. dowolną funkcję
T (X1 , X2 , . . . Xn )
nazywamy statystyką.
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Statystyka
Definicja 3.6:
Zmienną losową będącą dowolną funkcją wyników próby losowej,
tzn. dowolną funkcję
T (X1 , X2 , . . . Xn )
nazywamy statystyką.
Definicja 3.7:
Dowolną statystykę służącą do oszacowania nieznanej wartości
parametru populacji generalnej lub nieznanego rozkładu populacji
nazywamy estymatorem
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Statystyki próbkowe
Niech X = (X1 , X2 , . . . Xn )0 będzie n elementową próbą losową.
Definicja 3.8:
Średnią z próby nazywamy statystykę:
n
1X
Xi
X̄ =
n i=1
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Statystyki próbkowe
Niech X = (X1 , X2 , . . . Xn )0 będzie n elementową próbą losową.
Definicja 3.8:
Średnią z próby nazywamy statystykę:
n
1X
Xi
X̄ =
n i=1
Definicja 3.9:
Wariancją z próby nazywamy statystykę:
S2 =
n
1 X
(Xi − X̄ )2
n − 1 i=1
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Statystyki próbkowe
Niech X = (X1 , X2 , . . . Xn )0 będzie n elementowym wektorem
losowym.
Wariancja nieobciążona:
S2 =
n
1 X
(Xi − X̄ )2
n − 1 i=1
Wariancja obciążona:
S02 =
n
1X
(Xi − X̄ )2
n i=1
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Rozkłady statystyk próbkowych
Lemat 3.1:
Niech X1 , X2 , . . . Xn będzie n elementową próbą losową, a g (x),
funkcją dla której E [g (x)] oraz Var[g (x)] istnieją. Wówczas:
E
n
X
!
g (Xi )
= nE [g (X1 )]
i=1
oraz
Var
n
X
!
g (Xi )
= nVar [g (X1 )]
i=1
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Rozkłady statystyk próbkowych
Twierdzenie 3.2:
Niech X1 , X2 , . . . Xn będzie n elementową próbą losową, o średniej
EXi = µ, i wariancji VarXi = σ 2 < ∞ Wówczas:
1
E X̄ = µ
2
Var X̄ =
3
ES 2 =
4
VarS 2 =
σ2
n
2
σ
2
4
n−1 σ
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Rozkłady statystyk próbkowych
Dowód:
Korzystając z Lematu 3.1 otrzymujemy:
E X̄ = E
n
1X
Xi
n i=1
!
1
= E
n
n
X
!
Xi
i=1
=
1
nEX1 = µ
n
co dowodzi równości (1) w Twierdzeniu 3.2.
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Rozkłady statystyk próbkowych
Dowód:
Korzystając z Lematu 3.1 otrzymujemy:
E X̄ = E
n
1X
Xi
n i=1
!
1
= E
n
n
X
!
Xi
=
i=1
1
nEX1 = µ
n
co dowodzi równości (1) w Twierdzeniu 3.2.
Analogicznie dowodzimy równości (2):
Var X̄ = Var
n
1X
Xi
n i=1
!
n
X
1
= 2 Var
Xi
n
i=1
Magdalena Frąszczak
!
=
1
σ2
nVarX1 =
2
n
n
Wykład 3 Momenty zmiennych losowych.
Rozkłady statystyk próbkowych
Dowód:
Aby dowieść punktu (3) Twierdzenia, najpierw pokażemy, że
zachodzi równość
n
X
(Xi − X̄ )2 =
i=1
Magdalena Frąszczak
n
X
Xi2 − nX̄ 2
i=1
Wykład 3 Momenty zmiennych losowych.
(1)
Rozkłady statystyk próbkowych
Dowód:
Aby dowieść punktu (3) Twierdzenia, najpierw pokażemy, że
zachodzi równość
n
X
(Xi − X̄ )2 =
i=1
n
X
Xi2 − nX̄ 2
(1)
i=1
Niech a ∈ R, powyższą równość dowodzimy następująco:
n
X
(Xi − X̄ )2 =
i=1
=
n
X
(Xi − a + a − X̄ )2 =
i=1
n
X
n
X
i=1
i=1
(Xi − a)2 + 2
=
(Xi − a)(a − X̄ ) +
n
X
n
X
(a − X̄ )2 =
i=1
Xi2 − nX̄ 2 .
i=1
Przyjmując a = 0 otrzymujemy dowodzoną równość.
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Rozkłady statystyk próbkowych
Dowód:
Zatem korzystając z równania (1) i Lematu 3.1 dostajemy:
2
ES = E
n
1 X
(Xi − X̄ )2
n − 1 i=1
1
=
E
n−1
!
=E
n
X
n
X
1
X 2 − nX̄ 2
n − 1 i=1 i
!
!
Xi2 − nE X̄ 2
=
i=1
1
n(σ 2 + µ2 ) − n
=
n−1
Magdalena Frąszczak
σ2
+ µ2
n
!!
= σ2
Wykład 3 Momenty zmiennych losowych.
!!
=
Statystyki próbkowe
Jeżeli X = (X1 , X2 , . . . Xn )0 jest próbą losową z rozkładu
normalnego, tj Xi ∼ N(µ, σ 2 ) to:
n
σ2
1X
Xi ∼ N µ,
X̄ =
n i=1
n
!
nS 2
∼ χ2 (n − 1)
σ2
Zmienne X̄ i S 2 są niezależnymi zmiennymi losowymi
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Statystyki próbkowe
Niech X = (X1 , X2 , . . . Xn )0 będzie n elementową próbą losową.
Definicja 3.10:
k− tym momentem empirycznym zwykłym nazywamy statystykę:
Mk =
Magdalena Frąszczak
n
1X
Xk
n i=1 i
Wykład 3 Momenty zmiennych losowych.
Statystyki próbkowe
Niech X = (X1 , X2 , . . . Xn )0 będzie n elementową próbą losową.
Definicja 3.10:
k− tym momentem empirycznym zwykłym nazywamy statystykę:
Mk =
n
1X
Xk
n i=1 i
Definicja 3.11:
k− tym momentem empirycznym centralnym nazywamy
statystykę:
n
1X
(Xi − M1 )k
Ck =
n i=1
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Statystyki ekstremalne
Maksimum z próby oznaczmy przez:
X(n:n) = max(X1 , X2 , . . . Xn )
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Statystyki ekstremalne
Maksimum z próby oznaczmy przez:
X(n:n) = max(X1 , X2 , . . . Xn )
Minimum z próby oznaczmy przez:
X(1:n) = min(X1 , X2 , . . . Xn )
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Rozkłady statystyk ekstremalnych
Rozkład maksimum
FXn:n (t) = P(Xn:n ¬ t) = P(max(X1 , X2 , . . . Xn ) ¬ t) =
= P(X1 ¬ t, X2 ¬ t, . . . Xn ¬ t) =
= P(X1 ¬ t)P(X2 ¬ t) · · · P(Xn ¬ t) = [FX (t)]n
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Rozkłady statystyk ekstremalnych
Rozkład maksimum
FXn:n (t) = P(Xn:n ¬ t) = P(max(X1 , X2 , . . . Xn ) ¬ t) =
= P(X1 ¬ t, X2 ¬ t, . . . Xn ¬ t) =
= P(X1 ¬ t)P(X2 ¬ t) · · · P(Xn ¬ t) = [FX (t)]n
Rozkład minimum
FX1:n (t) = P(X1:n ¬ t) = P(min(X1 , X2 , . . . Xn ) ¬ t) =
= 1 − P(min(X1 , X2 , . . . Xn ) ­ t) =
= 1 − P(X1 ­ t)P(X2 ­ t) · · · P(Xn ­ t) =
1 − (1 − P(X1 ¬ t))(1 − P(X2 ¬ t)) · · · (1 − P(Xn ¬ t)) =
= 1 − [1 − FX (t)]n
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Statystyki pozycyjne
Niech X = (X1 , X2 , . . . , Xn )0 - próbą losową o wartościach
x = (x1 , x2 , . . . , xn )0 .
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Statystyki pozycyjne
Niech X = (X1 , X2 , . . . , Xn )0 - próbą losową o wartościach
x = (x1 , x2 , . . . , xn )0 .
Uporządkowując wartości wektora w kolejności rosnącej
otrzymujemy:
x1:n ¬ x2:n ¬ · · · ¬ xn:n .
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Statystyki pozycyjne
Niech X = (X1 , X2 , . . . , Xn )0 - próbą losową o wartościach
x = (x1 , x2 , . . . , xn )0 .
Uporządkowując wartości wektora w kolejności rosnącej
otrzymujemy:
x1:n ¬ x2:n ¬ · · · ¬ xn:n .
Wektor statystyk pozycyjnych:
(X1:n , X2:n , . . . , Xn:n )0
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.
Statystyki pozycyjne
Twierdzenie 3.3
Niech X = (X1 , X2 , . . . , Xn )0 - próbą losową z rozkładu o
dystrybuancie F . Statystyka pozycyjna Xi:n ma rozkład o
dystrybuancie:
Fi:n =
n!
(i − 1)!(n − i)!
Magdalena Frąszczak
Z F (x)
t i−1 (1 − t)n−i dt
0
Wykład 3 Momenty zmiennych losowych.
Literatura:
Bartoszewicz J.,Wykłady ze statystyki matematycznej, PWN,
Warszawa 1989.
Gajek L., Kałuszka M.,Wnioskowanie statystyczne, WNT,
Warszawa 2000, wyd. IV.
Krysicki W., Bartos J., Dyczka W., Krówlikowska K.,
Wasilewski M., Rachunek Prawdopodobieństwa i Statystyka
Matematyczna w Zadaniach, część II, PWN, 2012
Magiera M, Modele i metody statystyki matematycznej, część
II, wnioskowanie statystyczne, Wrocław, 2007
Magdalena Frąszczak
Wykład 3 Momenty zmiennych losowych.