Wyklad 4 (PowerPoint)

Rozkład wariancji z próby (rozkład c2)
Pobieramy próbę x1,x2,...,xn z rozkładu normalnego
o a=0 i s=1. Dystrybuanta rozkładu zmiennej
x2=x12+x22+...+xn2 jest dana następującą funkcją:
1
2
F (c ) 
1  n
 n 2
2 
c2
u
0
1
n 1
2
 1 
exp   u du
 2 
gdzie (y) jest funkcją gamma Eulera (silnią
uogólnioną na liczby rzeczywiste).

( x  1)   t e dt
0
x t
Zatem sam rozkład wariancji jest dany następującą funkcją
f (c ) 
2
1
1  n
 n  2
2 
u
1
n 1
2
 1 
exp   u 
 2 
Zasada największej wiarygodności
(Maximum Likelihood Principle)
Mamy próbę (x1,x2,...,xn)
f(x,l): funkcja określająca rozkład gęstości
prawdopodobieństwa, gdzie l jest zestawem
parametrów rozkładu.
Zasada największej wiarygodności: najlepsze l
maksymalizuje prawdopodobieństwo wystąpienia
próby.
Ta zasada jest podstawą wszystkich metod
estymowania parametrów rozkładu
prawdopodobieństwa (a zatem i modelu
matematycznego) z próby danych.
dP
( j)
 f ( x , λ )dx
( j)
Ponieważ poszczególne elementy próby są niezależne
N
dP   f ( x ( j ) ; λ )dx
j 1
N
Q

f ( x ( j ) ; λ1 )
j 1
N

f ( x( j) ; λ 2 )
L(λ 1 )

L(λ 2 )
iloraz wiarygodności
j 1
N
L   f ( x( j) ; λ)
j 1
N
  ln L   f ( x ( j ) ; λ )
j 1
funkcja wiarygodności
Przykład jakościowego porównywania dwu modeli
poprzez obliczenie ilorazu wiarygodności
Rzucamy monetą asymetryczną. Przypuszczamy, że
albo prawdopodobieństwo wyrzucenia reszki jest 2
razy większe niż prawdopobobieństwo wyrzucenia
orła (A) albo odwrotnie (B). Przypuśćmy, że w 5
rzutach otrzymaliśmy 1 raz orła i 4 razy reszkę.
Wtedy:
4
12
LA    ,
3 3
4
1 2
LB    ,
 3 3
LA
Q
8
LB
Przykład zastosowania zasady największej wiarygodności:
obliczanie wartości średniej przy założeniu, że rozkład
prawdopodobieństwa jest rozkładem normalnym
 ( x( j)  l )2 
dx
f ( x ; l )dx 
exp  
2


2s j
2 s j


1
( j)
 ( x( j)  l )2 

L
exp  
2


2
s
2 s j
j 1
j


N
N
1 N ( x( j)  l )2
 (l )   ln L ln( 2 )   ln s j  
2
2 j 1 2s 2j
j 1
N
1
N
d
dl
N
l
*

j 1
x
( j)
l
s 2j
*
0

l* 
s
j 1
N
2
j
1
s
j 1
Jeżeli s1=s2=…=sn=s
x( j)
2
j
n
1
l*   x  j 
n j 1
Właściwości asymptotyczne funkcji wiarygodności
 f ' ( x( j) ; l ) 
  0
' (l )   
( j)
; l )  l*
j 1  f ( x
N
*
' (l )  ' (l* )  (l  l* )' ' (l* )    (l  l* )' ' (l* )  
Dla dużych prób
'
 f '(x ; l) 

' ' (l )   
( j)
; l )  l*
j 1  f ( x
N
( j)
*

1 l l
(l )  (l* )  
2 b2

* 2
 f ' ( x ( j ) ; l )  ' 
2
*
2

 NE 


NE

'
(
l
)


1
/
b
( j)
 
f
(
x
;
l
)

 l* 

 (l  l* ) 2 

 L(l )  k exp  
2
2b



Przypadek wielowymiarowy
2
p
p

1


(λ )  (λ * )   
2 k 1 l 1  lk ll

 (lk  l*k )(ll  l*l )  
λ*
1
 ( λ )   ( λ  λ * )T A ( λ  λ * )
2
  2
 2
 2 



2
l1l2
l1l p 
 l1
  2
 2
 2 



2
 A   l2 l1
l2
l2 l p 
 


 
  2
 2
 2 



2
l p 
 l p l1 l p l2
*
Dla dużych prób rozkład parametrów staje się rozkładem
normalnym z macierzą wariancji-kowariancji B.
 1

L  k exp  (λ  λ * )T B(λ  λ * )
 2

2
   2 


 
 E


E 
2 

  l1 
 l1l2 

2
  2 
    
E  2 
B  E ( A)   E  l l 
 l2 
  2 1



  2 
   2 
 E

 E 

 l l 

l

l
p
1

 p 2
 




  2  

E
 l l  
 1 p 
  2  

E
 l l  
 2 p 


  2  
E 2  
 l  
 p 
Jeżeli jednak liczebność próby jest ograniczona to
odchylenia od normalności rozkładu mogą być znaczne.
Obszary ufności w przestrzeni parametrów
Obszar ufności definiujemy jako taki obszar w otoczeniu
wartości oczekiwanej wektora parametrów i ograniczony
powierzchnią o stałej gęstości prawdopodobieństwa, że
prawdopodobieństwo znalezienia w nim prawdziwych wartości
parametrów jest nie mniejsze niż zadana wartość (kwantyl). W
jednym wymiarze mówimy o przedziale ufności.
l2
l2
P=g
l*
l1
l1
W jednym wymiarze
 (l  l* ) 2 
 l  l* 
  kg

L(l )  k exp  
2
2s


 s 

P( ) 
 L(l )dl


 2 erf(  )
 L(l )dl

  s ( g  1)  P  0.683;   3s  P  0.99
s
s
s
s
s
s
s
s
Ogólnie dla wielowymiarowego rozkładu Gaussa
g
W 
0
n g
f ( c ; n)dc  P , 
2 2
2
2
x
1
a 1
P ( a, x ) 
exp( t )t dt

(a ) 0
n 1
Wn  P , 
2 2
W1  0.68269, W2  0.39347, W3  0.19875
W4  0.09020, W5  0.03734, W6  0.01439