Funkcją charakterystyczną zmiennej losowej X nazywamy wartość

Funkcje charakterystyczne
Funkcją charakterystyczną zmiennej losowej X nazywamy wartość przeciętną
funkcji
e itX ,
gdzie t jest zmienną rzeczywistą, a i – tzw. jednostką urojoną i oznaczamy jako:
(t) = E(expitX) dla każdego t  R.
Zgodnie z definicją wartości przeciętnej funkcja charakterystyczne dla różnych
typów zmiennych określają wzory:
 eitxk pk
 k
 (t )   
  eitx f ( x)dx
 
Funkcja charakterystyczna dla zmiennej losowej ciągłej jest przekształceniem
Fouriera funkcji gęstości prawdopodobieństwa f(x).
Funkcja charakterystyczna (t) zmiennej losowej X jest funkcją zespoloną
zmiennej rzeczywistej t i ma następujące własności:
a) (0) = 1,
b) dla każdego t  R (t) =  ( t ) , gdzie  ( t ) oznacza liczbę zespoloną
sprzężoną z ( – t),
c) dla każdego t  R (t)  1,
d) (t) jest funkcją ciągłą na całej prostej,
e) (t) jest funkcją rzeczywistą wtedy i tylko wtedy, gdy rozkład zmiennej
losowej X jest symetryczny względem x = 0.
f) k – ty moment zwykły (jeśli istnieje) zmiennej losowej X o funkcji
charakterystycznej  (różniczkowalnej) równa się:
1
 k  E ( X k )  k  (k ) (0) ,
i
g) jeśli funkcję charakterystyczną (t) można rozwinąć w szereg Maclaurina
 (t ) 

 ak t k , gdzie
k 0
ak 
 ( k ) (0)
k!
,
to dowolny moment zwykły można policzyć ze wzoru:  k 
a k k!
,
ik
h) funkcja charakterystyczna sumy dowolnej skończonej liczby niezależnych
zmiennych losowych równa się iloczynowi funkcji charakterystycznych tych
zmiennych,
i) funkcja charakterystyczna funkcji zmiennej losowej Y = g(X) jest postaci:
 eitg ( xk ) pk
 k
 (t )   
.
itg ( x )
e
f ( x)dx
 
Przy badaniu rozkładów prawdopodobieństwa, można – tam gdzie jest to
wygodniej – posługiwać się funkcjami charakterystycznymi, używając wzoru:

1 exp(itx )  exp(it ( x  h)
P ( x  X  x  h )  F ( x  h)  F ( x ) 
 (t )dt.
2 
it
Punkty x i x + h winny być punktami ciągłości dystrybuanty.
Istnieją szczególne przypadki powyższej zależności:

1. Zakładając istnienie skończonej całki
  (t) dt ,
zachodzi zależność

odwrotna do definicji funkcji charakterystycznej :

1
f ( x)  F ' ( x) 
e itx (t )dt.

2  
2. Dla funkcji charakterystycznej  okresowej o okresie 2 powyższa całka
przyjmuje wartości dyskretne
1
pk 
2

e
 (t )dt ,
itx
dla k = 0, 1, 2,...,

przy czym nie wszystkie pk muszą być dodatnie, mimo że spełniają warunek
normalizacyjny dla prawdopodobieństwa.
Lp.
Nazwa rozkładu
1
dwumianowy
2
Poissona
Rozkład prawdopodobieństwa
n
pk    p k q n  k ,
k 
k = 0, 1, ..., n p, q > 0,
p+q=1
e   k
pk 
, kN
k!
>0
f ( x) 
3
równomierny
1
ba
dla a < x < b
f ( x) 
4
normalny
 > 0,
5
gamma
Funkcja
charakterystyczna
(t) = (peit + q)n
(t) = exp(eit – 1)
1 eitb  eita
 (t ) 
ba
it
 ( x   )2 
1
exp 
2 2
1
 2
2 2   (t )  expit  2  t 

R
x p 1
 x
f ( x)  p
exp  
  ( p)
 
x > 0,  > 0, p > 0
 (t ) 
1
(1  it ) p
Dwuwymiarowe zmienne losowe
Przypuśćmy, że badamy pewną zbiorowość ze względu na dwie cechy np.:
śrubki ze względu na średnicę i długość, ludzi ze względu na ciężar i wzrost,
włókna bawełny ze względu na długość i wytrzymałość itp. Zdarzeniu
elementarnemu (losowo wybrane: śrubka, człowiek, włókno) są
przyporządkowane pary liczb rzeczywistych.
W praktyce często jest spotykana sytuacja, gdy wynik eksperymentu wyrazić
można za pomocą dwu zmiennych losowych. Chodzi wówczas o zbadanie
statystycznej zależności występującej między tymi zmiennymi.
Niech X oraz Y będą zmiennymi losowymi określonymi niekoniecznie na tej
samej przestrzeni probabilistycznej. Parę (X, Y) zmiennych losowych X, Y
nazywamy dwuwymiarową zmienną losową lub dwuwymiarowym wektorem
losowym, a X oraz Y współrzędnymi.
Dystrybuantą dwuwymiarowej zmiennej losowej (X, Y) nazywamy funkcję F
zmiennych x, y, która dla każdej pary liczb rzeczywistych (x, y)  R2 przyjmuje
wartości równe prawdopodobieństwu zdarzenia polegającego na tym, że
zmienna losowa X przyjmie wartości mniejszą od x i zmienna losowa Y przyjmie
wartość mniejszą od y:
F(x, y) = P(X < x, Y < y)
dla
(x, y)  R2.
F nazywa się także dystrybuantą łącznej zmiennej losowej (X, Y).
Własności dystrybuanty dwuwymiarowej zmiennej losowej:
a) Dla każdego x  R i y   lim F(x, y) = 0, dla każdego y  R i x  
lim F(x, y) = 0.
b) Dla x   i y   lim F(x, y) = 1.
c) Dla dowolnych punktów (x1, y1), (x2, y2), takich że x1  x2 i y1  y2, zachodzi
nierówność:
F(x2, y2)  F(x2, y1)  F(x1, y2)  F(x1, y1)  0.
Zauważmy, że lewa strona powyższej nierówności jest równa
P(x1  X < x2, y1  Y < y2).
d) Dystrybuanta jest funkcją niemalejącą i co najmniej lewostronnie ciągłą
względem każdego z argumentów x bądź y.
y
y2
y1
0
x1
x2
x
Skokowa dwuwymiarowa zmienna losowa
Dwuwymiarową skokową (dyskretną) zmienną losową nazywamy zmienną
losową (X, Y), która przyjmuje skończoną, bądź przeliczalną liczbę wartości
(xi, yk), każdą odpowiednio z prawdopodobieństwem:
P(X = xi, Y = yk) = pik dla i, k  N,
przy czym
 p
i
ik
1.
k
Funkcję, która wartościom (xi, yk) przyporządkowuje odpowiednie
prawdopodobieństwa pik, nazywamy funkcją prawdopodobieństwa
dwuwymiarowej zmiennej losowej (X, Y).
Dystrybuanta skokowej dwuwymiarowej zmiennej losowej jest sumą
prawdopodobieństw postaci:
Fik   p jh .
j i hk
Znając funkcję prawdopodobieństwa można wyznaczyć dystrybuantę
dwuwymiarowej zmiennej losowej (X, Y) i odwrotnie. Jeśli przyjmuje
skończoną liczbę wartości wygodnie jest funkcje przedstawiać w tabeli
dwudzielczej:
xi
yk
y1
y2

ys
pi.
x1
p11
p12

p1s
p1.
x2
p21
p22

p2s
p2.






xm
pm1
pm2

pms
pm.
p.k
p.1
p.2

p.s
1
Rozkłady brzegowe (marginalne) skokowych zmiennych losowych definiujemy
jako:
pi.   pik
dla
i  N,
p.k   pik
dla
i  N.
k
i
Zauważmy, że np. pi. jest prawdopodobieństwem tego, że zmienna losowa X
przyjmie wartość xi, bez względu na to, którą z wartości y1, y2,  przyjmuje
zmienna losowa Y. Jak widać z tabelki prawdopodobieństwa te zapisujemy na
jej brzegach, po prawej i na dole.
Dystrybuanty rozkładów brzegowych zmiennych losowych X i Y definiujemy:
F1 ( x)   pi.
dla
x  R,
p
dla
y  R.
xi  x
F2 ( y ) 
yk  y
.k
Rozkłady warunkowe skokowych zmiennych losowych określają rozkłady
prawdopodobieństwa zmiennej losowej X, pod warunkiem, że Y przyjmuje
ustaloną wartość yk i zmiennej Y, pod warunkiem przyjęcia wartości xi przez
zmienną X, co można zapisać jako:
pik
,
p. k
p
P(Y = yk|X = xi) = ik .
pi.
P(X = xi|Y = yk) =
Dystrybuanty rozkładów warunkowych zmiennych losowych X i Y definiujemy:
pik
,
xi  x p.k
p
F ( y xi )  P(Y  y X  xi )   ik .
yk  y pi .
F ( x yk )  P ( X  x Y  yk )  
Ciągła dwuwymiarowa zmienna losowa
Dwuwymiarową ciągłą zmienną losową (X, Y) nazywamy zmienną losową,
która równocześnie przyjmuje dowolne wartości z przedziału: zmienna
X – (x, x + dx) i zmienna Y – (y, y + dy), odpowiednio w obszarze zmienności
zmiennych X i Y, z prawdopodobieństwem wyrażającym się wzorem
P(x < X ≤ x + dx, y < Y ≤ y + dy) = f(x, y)dxdy,
a funkcja f(x, y) nazywa się gęstością rozkładu prawdopodobieństwa.
Własności funkcji gęstości prawdopodobieństwa dwuwymiarowej zmiennej
losowej typu ciągłego:
 
1.
  f ( x, y)dydx  1 .

2. W punktach (x, y) ciągłości f prawdziwa jest formuła:
 2 F ( x, y )
 f ( x, y ) .
xy
3. Prawdopodobieństwo, że zmienna losowa (X, Y) przyjmuje wartości z
przedziałów skończonych a ≤ X ≤ b, c ≤ Y ≤ d wyraża się wzorem
P(a ≤ X ≤ b, c ≤ Y ≤ d) =
b
d
a
c
 dx f ( x, y)dy .
Dystrybuanta rozkładu ciągłego określona jest całką
F(x, y) =
x
y


 dx'  ( x' , y' )dy' = P(X ≤ x, Y ≤ y).
Dystrybuantę w punkcie (xo, yo) można traktować jako objętość bryły
ograniczonej powierzchnią o równaniu z = f(x, y), płaszczyznami x = xo, y = yo i
płaszczyzną 0xy.
Rozkłady brzegowe ciągłych zmiennych losowych definiujemy jako:

f1 ( x ) 
 f ( x, y)dy,


f 2 ( y) 
 f ( x, y)dx.

Funkcja f1 jest gęstością zmiennej losowej X a funkcja f2 jest gęstością zmiennej
losowej Y.
Rozkład brzegowy równa się polu płaszczyzny x = x1 tnącemu powierzchnią o
równaniu z = f(x, y) i płaszczyznę 0xy.
Dystrybuantę rozkładu brzegowego dwuwymiarowej zmiennej losowej ciągłej
określają wzory:
F1 ( x) 
F2 ( y ) 
x

x



y

y
 dx'  f ( x' , y' )dy   f ( x' )dx' ,
1
 dy'  f ( x' , y' )dx   f


2
( y ' )dy' .

Między dystrybuantami rozkładów brzegowych a dystrybuantą dwuwymiarowej
zmiennej losowej istnieją związki:
F1 ( x)  lim F ( x, y ) ,
y 
F2 ( y)  lim F ( x, y) .
x 
Rozkład warunkowy dwuwymiarowej ciągłej zmiennej losowej wyraża
prawdopodobieństwo, że zmienna losowa X przyjmuje wartości z przedziału
(x, x + dx) pod warunkiem, że zmienna losowa Y przyjmuje wartości z
przedziału (y, y + dy)
P(x < X ≤ x + dx | y < Y ≤ y + dy)  f(x|y)dx,
i podobnie dla zmiennej Y
P(y < Y ≤ y + dy | x < X ≤ x + dx)  f(y|x)dy.
Funkcje f(x|y) i f(y|x) nazywamy gęstością warunkową zmiennej losowej X i Y.
Korzystając z definicji na prawdopodobieństwo warunkowe funkcje gęstości
warunkowej wyrażają się poprzez wzory:
f(x|y) =
f ( x, y )
,
f 2 ( y)
f(y|x) =
f ( x, y )
.
f1 ( x )
Funkcje gęstości warunkowej f(x|y) i f(y|x) spełniają warunek:


1
1
f
(
x
y
)
dx

f
(
x
,
y
)
dx

f 2 ( y)  1
 
f 2 ( y ) 
f 2 ( y)


1
1
  f ( y x)dy  f1 ( x)  f ( x, y)dy  f1 ( x) f1 ( x)  1
Dystrybuanty rozkładów warunkowych wyznacza się według wzorów
x
x
y
y
1
F ( x y )   f ( x' y )dx' 
f ( x' , y )dx' ,
f 2 ( y ) 

1
F ( y x)   f ( y ' x)dy' 
f ( x, y ' )dy' .

f
(
x
)
1


Niezależność zmiennych losowych
Jednym z ważniejszych pojęć rachunku prawdopodobieństwa jest pojęcie
niezależności zmiennych losowych.
Warunkiem koniecznym i wystarczającym niezależności ciągłych zmiennych
losowych X, Y o gęstościach rozkładów brzegowych odpowiednio równych
f1, f2 jest zachodzenie równości:
f(x, y) = f1(x)f2(y)
x, y  R.
dla
Skokowe zmienne losowe X i Y są niezależne wtedy i tylko wtedy, gdy
P(X = xi, Y = yk) = P(X = xi)P(Y = yk)
dla
i, k  N,
lub zapis w postaci:
pik = pi.p.k
dla
i, k  N.
Z powyższych definicji i określenia rozkładów warunkowych wynika, że:
X i Y są niezależnymi zmiennymi losowymi wtedy i tylko wtedy, gdy rozkłady
warunkowe są równe odpowiednim rozkładom brzegowym, co dla ciągłej
zmiennej losowej zapisujemy:
f(xy) = f1(x),
f(yx) = f2(y),
a dla skokowej zmiennej losowej
P(X = xiY = yk) = pi.,
P(Y = ykX = xi) = p.k .
Funkcje dwuwymiarowej zmiennej losowej
Rozważmy funkcje dwu zmiennych losowych X i Y:
U = u(X, Y), V = v(X, Y),
które są nowymi zmiennymi losowymi. Niech funkcje te będą ciągłe o ciągłych
pochodnych cząstkowych w pewnym obszarze płaskim Q. Prawdopodobieństwo
znalezienia zmiennych X, Y w obszarze Q na płaszczyźnie Oxy musi być równe
prawdopodobieństwu znalezienia zmiennych U, V w obszarze R na płaszczyźnie
Ouv odpowiadającym obszarowi Q na płaszczyźnie Oxy, czyli
 f ( x, y)dxdy   g (u, v)dudv .
Q
R
W całce po lewej stronie równości dokonuje się zamiany zmiennych korzystając
z równań transformacyjnych łączących zmienne x, y ze zmiennymi u, v:
x = x(u, v),
y = y(u, v).
Otrzymujemy

R
 x, y 
f ( xu, v , yu, v J 
dudv 
u
,
v


 g u, v dudv ,
R
gdzie jakobian tej transformacji jest postaci:
x
u
 x, y 
J

u
,
v

 x
v
y
u
y
v
.
Prawo transformacji gęstości rozkładu dwuwymiarowego dla funkcji dwu
zmiennych jest postaci
 x, y 
g (u, v)  f ( x, y) J 
.
u
,
v


Gęstości rozkładu dla kilku funkcji dwu zmiennych losowych
Gęstość rozkładu zmiennej losowej U (w dwuwymiarowej zmiennej losowej
(U, V)), będącej funkcją zmiennych losowych X, Y postaci U = u(X, Y) jest
gęstością rozkładu brzegowego dwuwymiarowej zmiennej losowej (U, V),
określoną wzorem:

g1 (u )   g (u, v)dv .

Gęstość rozkładu sumy zmiennych losowych U = X + Y jest postaci:

 f ( x, u  x)dx .
g1 (u ) 

Kiedy zmienne losowe X, Y są niezależne o gęstościach rozkładów brzegowych
odpowiednio f1(x) i f2(y), wtedy

g1 (u ) 
 f ( x) f
1
2
(u  x)dx .

Tak zdefiniowaną funkcję nazywa się splotem (kompozycją) funkcji f1(x) i f2(y) i
oznacza symbolem f1  f2 . Problem liczenia splotu dwu funkcji rozkładu
pojawia się w spektroskopii widmowej. Rozkład natężeń w widmowej linii
rezonansowej dany jest rozkładem Cauchy’ego. Wkład od losowych błędów
instrumentalnych dany jest rozkładem Gaussa. Obserwator rejestruje splot obu
rozkładów i w efekcie powiększenie szerokości widzianej linii.
Gęstość rozkładu iloczynu zmiennych losowych U = XY jest postaci:

g1 (u ) 
 u 1
f
  x, x  x dx .
W przypadku niezależnych zmiennych losowych X, Y :

g1 (u ) 
u 1
f
(
x
)
f
  dx .
1
2

 x x
Gęstość rozkładu ilorazu zmiennych losowych U = XY jest postaci:

g1 (u ) 
 f uy, y  y dy .

W przypadku niezależnych zmiennych losowych X, Y :

g1 (u ) 
 f ( x) f
1

2
 x 1
  dx .
u x
Charakterystyki liczbowe dwuwymiarowej zmiennej losowej
Wartość przeciętna zmiennej losowej będącej funkcją zmiennych losowych
X i Y, G = g(X, Y), jest liczbą określoną wzorem:
 
   g ( x, y ) f ( x, y )dxdy
E (G )     
.
  g ( xi , yk ) pik
 i k
Wariancja zmiennej losowej będącej funkcją zmiennych losowych X i Y,
G = g(X, Y), jest liczbą określoną wzorem:
 
2
   g ( x, y )  E  g ( x, y )  f ( x, y )dxdy
D 2 (G )     
.
2
  g ( xi , yk )  E  g ( xi , yk )  pik
 i k
Momentem zwykłym mieszanym rzędu r + s dwuwymiarowej zmiennej
losowej (X, Y) nazywamy wartość przeciętną (o ile istnieje) iloczynu zmiennych
losowych X rY s i określamy wzorem:
  r s
   x y f ( x, y )dxdy
 rs     
  xir yks pik
 i k
dla r, s  N.
W szczególnych przypadkach gdy:
a) r = 1 i s = 0 otrzymujemy wartość przeciętną zmiennej losowej X:
10 = E(X),
b) r = 0 i s = 1 otrzymujemy wartość przeciętną zmiennej losowej Y:
01 = E(Y).
Punkt S(10, 01) na płaszczyźnie 0xy nazywamy środkiem masy rozkładu
prawdopodobieństwa dwuwymiarowej zmiennej losowej (X, Y).
Momentem centralnym mieszanym rzędu r + s dwuwymiarowej zmiennej
losowej (X, Y) nazywamy wartość przeciętną iloczynu odchyłek zmiennych i
określamy wzorem:
rs = E(X – E(X))r(Y – E(Y))s
dla r, s  N.
Wzór ten ma następującą postać dla zmiennej ciągłej i dyskretnej:
 rs
 
r
s
   ( x  10 ) ( y   01 ) f ( x, y )dxdy
    
  ( xi  10 ) r ( y   01 ) s pik
 i k
dla r, s  N.
Szczególne znaczenie mają momenty centralne rzędu drugiego:
a) r = 2 i s = 0, wtedy 20 = D2(X) = E(X  10)2 jest wariancją w rozkładzie
brzegowym zmiennej losowej X,
b) r = 0 i s = 2, wtedy 02 = D2(Y) = E(Y  01)2 jest wariancją w rozkładzie
brzegowym zmiennej losowej Y,
c) r = 1 i s = 1, wtedy 11 = cov(X, Y) = E(X  10)(Y  01) nazywamy
kowariancją zmiennych losowych X i Y.
Momenty centralne dowolnego rzędu można wyrazić za pomocą momentów
zwykłych, w szczególności dla momentów rzędy drugiego zachodzą związki:
20 = 20  102
 D2(X) = E(X2)  (E(X))2,
02 = 02  012
 D2(Y) = E(Y2)  (E(Y))2,
11 = 11  1001  cov(X, Y) = E(XY) E(X)E(Y).
Dla niezależnych zmiennych losowych X i Y cov(X, Y) = 0.
Wektor wartości przeciętnych E(X), E(Y) w rozkładach brzegowych w
przypadku dwuwymiarowej zmiennej losowej jest odpowiednikiem wartości
przeciętnej zmiennej jednowymiarowej.
Macierz momentów centralnych rzędu drugiego (macierz kowariancji) jest
odpowiednikiem wariancji zmiennej jednowymiarowej, oznacza się ją przez:
M
   20
 M 11
M 11   D 2 ( X )
cov(X , Y )


.
M 02  cov( X , Y )
D 2 (Y ) 
Jest to macierz symetryczna o nieujemnym wyznaczniku.
Linie regresji I-go rodzaju
Oprócz powyżej zdefiniowanych momentów, wykorzystujących zwykłe funkcje
rozkładu gęstości prawdopodobieństwa f(X, Y), można wykorzystać funkcje
gęstości warunkowej i zdefiniować momenty warunkowe dwuwymiarowej
zmiennej losowej.
Pierwszy moment zwykły w rozkładzie warunkowym (wartość przeciętna)
zmiennej losowej X jest postaci
1

E
(
X
Y

y
)

x
P
(
X

x
Y

y
)


i xi pik
k
i
i
k

p
i
.k

m1(y) = 


 E ( X Y  y )  xf ( x y )dx  1
xf ( x, y )dx
 

f 2 ( y ) 
a dla zmiennej Y
1

E
(
Y
X

x
)

y
P
(
Y

y
X

x
)

yk pik


i
k
k
i

p
i
i. k

m2(x) = 
.


1
 E (Y X  x)  yf ( y x)dy 
yf ( x, y )dy


f1 ( x) 
Jeśli X i Y są niezależnymi zmiennymi losowymi, to
E(XY = y) = m1(y) = 10 a E(YX = x) = m2(x) = 01.
Linią regresji I-go rodzaju zmiennej losowej X względem Y i Y względem X
nazywamy zbiór punktów o współrzędnych (x, y)  R2 spełniających
odpowiednio równania:
x = m1(y), y = m2(x).
Linie regresji I-go rodzaju mają pewną własność, a mianowicie:
Średnie odchylenie kwadratowe zmiennej losowej X od pewnej funkcji h(Y)
zmiennej losowej Y jest najmniejsze, gdy funkcja ta z prawdopodobieństwem 1
jest równa przeciętnej wartości warunkowej, a więc zachodzi
EX  m1 (Y )  min EX  h(Y ) ,
2
2
h
m1(Y) = h(Y).
Podobnie średnie odchylenie kwadratowe zmiennej losowej Y od pewnej
funkcji g(X) zmiennej losowej X jest najmniejsze, gdy funkcja ta z
prawdopodobieństwem 1 jest równa przeciętnej wartości warunkowej, a więc
zachodzi
E Y  m2 ( X )  min EY  g ( X ) ,
2
2
g
m2(X) = g(X).
Równości te opisują statystyczne zależności między zmiennymi.
W celu ilościowego opisu tej zależności używany jest parametr zwany
współczynnikiem korelacji, będący miarą tego, w jakim stopniu wartości
zmiennych skupiają się dokoła linii regresji:
(X , Y ) 
cov(X , Y )
D 2 ( X ) D 2 (Y )

cov(X , Y )
 XY

M 11
.
M 20 M 02
Ponieważ dla niezależnych zmiennych losowych kowariancja równa jest zero, to
także współczynnik korelacji się zeruje. Zmienne X i Y nazywamy
nieskorelowanymi. Odwrotna implikacja nie musi być prawdziwa.
Współczynnik korelacji jest wielkością bezwymiarową, ograniczoną zawsze do
przedziału 1, +1. Graniczne wartości osiąga przy liniowej zależności między
zmiennymi X i Y:
X = a  bY i Y = A  BX.
Dla pośrednich wartości współczynnika korelacji pary liczb (xi, yi) układają się
w pewnym elipsoidalnym obszarze na płaszczyźnie 0xy.
Przedstawione powyżej zagadnienia, polegające na określeniu zależności
regresyjnej na podstawie znajomości funkcji rozkładu zmiennych X i Y,
nazywamy zagadnieniami regresyjnymi pierwszego rodzaju.
Proste regresji II-go rodzaju
Prostą regresji drugiego rodzaju zmiennej losowej Y względem losowej X
nazywamy prostą o równaniu
y = ax + b,
którego współczynniki a, b są tak dobrane, średnie odchylenie kwadratowe
zmiennej losowej Y od zmiennej losowej aX + b było najmniejsze (ze względu
na wartości stałych a i b), tzn.
EY – (aX + b)2  k(a, b) = min.
Okazuje się, że dla dowolnej dwuwymiarowej zmiennej losowej (X, Y), dla
której w rozkładach brzegowych istnieją skończone wariancje X2, Y2, istnieje
dokładnie jedna prosta
y = ax + b,
która ma powyższe własności o współczynnikach określonych wzorami:
a
Y
,
X
b  Y  
Y
 ,
X X
gdzie X = E(X), Y = E(Y). Stąd równanie prostej regresji II-go rodzaju
zmiennej losowej Y względem losowej X jest postaci:
y  Y
Y
 
x  X
X
,
lub w postaci
y 
Y

x  ( Y   Y  X )  ax  b .
X
X
Prostą regresji drugiego rodzaju zmiennej losowej X względem losowej Y
nazywamy prostą o równaniu
x = y + ,
którego współczynniki ,  są tak dobrane, średnie odchylenie kwadratowe
zmiennej losowej X od zmiennej losowej Y +  było najmniejsze (ze względu
na wartości stałych  i ), tzn.
EX – (Y + )2  h(,) = min.
Okazuje się, że dla dowolnej dwuwymiarowej zmiennej losowej (X, Y), dla
której w rozkładach brzegowych istnieją skończone wariancje X2, Y2, istnieje
dokładnie jedna prosta
x = y + ,
która ma powyższe własności o współczynnikach określonych wzorami:
 
X
,
Y
  X  
X
 ,
Y Y
gdzie X = E(X), Y = E(Y). Stąd równanie prostej regresji II-go rodzaju
zmiennej losowej X względem losowej Y jest postaci:
x  X
X

y  Y
Y
,
lub w postaci
x
X

y  ( X   X Y )  y   .
Y
Y
Podstawiając obliczone współczynniki a, b oraz ,  do równań definicyjnych,
wyznaczymy minimalne wartości przeciętne odpowiednich odchyleń
kwadratowych:
E(Y – aX – b)2 = Y2(1 – 2),
E(X – Y – )2 = X2(1 – 2).
Otrzymano w ten sposób wariancję regresji Y względem X i wariancję regresji
X względem Y. Czasami nazywa się je wariancjami resztowymi (resztkowymi).
Sens ich jest następujący: wariancja Y jest równa Y2, a po odjęciu od Y
„najlepszego” przybliżenia drugiej zmiennej w postaci funkcji liniowej aX + b,
wariancja tej reszty (tj. różnicy Y – aX – b) – stąd nazwa – przyjmuje wartość
najmniejszą Y2(1 – 2). Podobnie jest dla zmiennej losowej X.
Metodę wyznaczania prostych regresji II-go rodzaju nazywamy metodą
najmniejszych kwadratów.
Dwuwymiarowy rozkład normalny
Wśród rozkładów dwuwymiarowych zmiennych losowych, szczególnie ważną
rolę ze względu na liczne zastosowania spełnia dwuwymiarowy rozkład
normalny. Jest to rozkład typu ciągłego o funkcji gęstości prawdopodobieństwa:
f ( x, y ) 
1
2 1 2

 ( x  1 )2
1
( x  1 )( y  2 ) ( y  2 )2  
exp


2



.
2 
2
 1 2
 22  
1  2
 2(1   )   1
Parametry są równe: 1 = E(X), 2 = E(Y), 12 = D2(X), 22 = D2(Y),  jest
współczynnikiem korelacji zmiennych losowych X i Y.
Własności dwuwymiarowego rozkładu normalnego:
1. Jeśli dwuwymiarowa zmienna losowa (X, Y) ma rozkład normalny a
zmienne X i Y są nieskorelowane ( = 0) i tym samym niezależne to jej
funkcja gęstości przyjmuje postać:
 ( x  1 ) 2 ( y   2 ) 2 
f ( x, y ) 
exp 

.
2
2
2 1 2
2

2



1
2
1
2. Rozkłady brzegowe i rozkłady warunkowe tego rozkładu są
jednowymiarowymi rozkładami normalnymi.
3. Linie regresji I-go rodzaju są liniami prostymi opisanymi równaniami
prostych regresji II-go rodzaju.
Centralne twierdzenie graniczne
Twierdzenia graniczne rachunku prawdopodobieństwa są twierdzeniami, które
uzasadniają szczególnie duże znaczenie rozkładu normalnego w statystyce
matematycznej. Zajmują się granicznymi rozkładami sum lub średnich
arytmetycznych (najczęściej) zmiennych losowych, gdy liczba składników
zmierza do nieskończoności.
Twierdzenia graniczne dotyczące zbieżności ciągów funkcji
prawdopodobieństwa lub funkcji gęstości nazywa się twierdzeniami
granicznymi lokalnymi. We wcześniejszych partiach materiału wykazano, że
rozkład dwumienny (uważany za rozkład sumy niezależnych zmiennych zerojedynkowych) zdąża, przy rosnącej liczbie tych zmiennych, do rozkładu
Poissona, lub do rozkładu normalnego przy spełnieniu pewnych dodatkowych
założeń co do prawdopodobieństwa p. Są to przykłady granicznych twierdzeń
lokalnych.
Twierdzenia graniczne dotyczące zbieżności ciągów dystrybuant nazywa się
twierdzeniami granicznymi integralnymi. Mają one ważniejsze znaczenie –
szczególnie w zastosowaniach. Należą do nich prawa wielkich liczb oraz szereg
twierdzeń granicznych, z których do najważniejszych należy:
Centralne twierdzenie graniczne Lindeberga-Levy’ego
Jeżeli ciąg niezależnych zmiennych losowych Xn ma ten sam rozkład o
wartości przeciętnej 1 i skończonej wariancji 2, to ciąg Fn dystrybuant
standaryzowanych średnich arytmetycznych X n (albo – co na jedno
wychodzi – standaryzowanych sum
n
X
i 1
i
)
n
Yn 
X n  1


X
i 1
i
 n1
 n
n
jest zbieżny do dystrybuanty F rozkładu N(0, 1):
lim Fn ( y ) 
n
1
2

 exp(

1
2
t 2 )dt  F ( y ) .
Wynika stąd, że dla dużych n (w praktyce już rzędu kilkunastu) można stosować
przybliżenie wyrażając prawdopodobieństwo przez funkcję Laplace’a:
P(y1 < Yn  y2)  (y2)  (y1).
Powyższe twierdzenie stosuje się dla zmiennych losowych dyskretnych jak i
ciągłych.
Rysunki przedstawiają funkcje gęstości sumy n niezależnych zmiennych
losowych o jednakowym rozkładzie równomiernym na przedziale 0, 1.
Jeżeli w powyższym twierdzeniu zmienne losowe Xn mają rozkłady
dwupunktowe to ten szczególny przypadek twierdzenia nazywa się
twierdzeniem Moivre’a-Laplace’a.
Jeśli Xn =
n
X
i 0
i
 jest ciągiem zmiennych losowych o rozkładzie
dwumianowym z parametrami (n, p) (o wartości przeciętnej 1 = np i
wariancji 2 = npq) oraz Yn jest ciągiem standaryzowanych zmiennych
losowych:
Yn 
X n  np
,
npq
to dla każdej pary wartości y1 < y2 zachodzi wzór:


X  np
lim P y1  n
 y2    ( y2 )   ( y1 ) .
n 
npq


Okazuje się, że przy spełnieniu pewnych dodatkowych założeń nie jest
konieczny warunek, żeby wszystkie zmienne Xi miały ten sam rozkład
prawdopodobieństwa. Wystarcza założenie, że wszystkie mają skończone
wartości średnie, wariancje i momenty centralne trzeciego rzędu i że żadna nie
ma zdecydowanie przeważającego wpływu na sumę  X i . Nawet założenie
i
całkowitej niezależności zmiennych losowych może być zastąpione przez
założenie znacznie słabsze.
Centralne twierdzenie graniczne przyjmuje wtedy postać w sformułowaniu
Lapunowa:
Średnia arytmetyczna zmiennych losowych Xi
Zn 
X1  X 2    X n
,
n
ma w granicy rozkład normalny o wartości oczekiwanej
E (Z n ) 
1
 E( X i )
n i
i wariancji
D 2 (Z n ) 
1
n2
D
i
2
(Xi ).
W praktyce bardzo często na obserwowaną zmienną losową składa się bardzo
wiele małych przyczynków. Jeśli posiadają one skończone i niezbyt się różniące
wartości średnie i wariancje, to łączny rozkład obserwowanej zmiennej dąży do
rozkładu normalnego, niezależnie od rodzaju rozkładu statystycznego tych
składowych.
I to jest istota centralnego twierdzenia granicznego.
Prawa wielkich liczb
Niech Xn będzie ciągiem zmiennych losowych, dla których E(Xi) = i < 
oraz
Xn 
1 n
 Xi,
n i 1
E( X n ) 
1 n
 i .
n i 1
Słabe prawo wielkich liczb zachodzi jeżeli dla losowego ciągu Xn i dla
dowolnego  > 0 prawdziwa jest zbieżność:
lim P( X n  E ( X n )   )  0 .
n 
Mówimy, że ( X n  E ( X n ))  0 według prawdopodobieństwa (stochastycznie,
według miary P).
Mocne prawo wielkich liczb zachodzi jeżeli dla losowego ciągu Xn
prawdziwa jest równość


P lim ( X n  E ( X n ))  0  1
n 
Mówimy, że ( X n  E ( X n ))  0 z prawdopodobieństwem 1 (prawie na pewno,
prawie wszędzie).
Prawo to zachodzi przy założeniu istnienia wspólnie ograniczonych wariancji
(D2(Xi)  C). Kołmogorow udowodnił, że mocne prawo wielkich liczb może
zachodzić bez powyższego założenia, jednak przy przyjęciu założenia o
jednakowym rozkładzie i niezależności zmiennych.