11. Minimaks i dopuszczalność

Wykład 11. Minimaks i dopuszczalność
■ Definicja reguły minimaksowej.
Reguła decyzyjna d 0  D nazywa się minimaksowa (dokładniej: niezrandomizowana
minimaksowa) jeżeli
sup R( , d0 )  inf sup R( , d ) .
dD 

Prawą stronę wzoru nazywamy górną wartością gry , D, R .
Uwaga.
1. Reguła d 0  D jest minimaksowa wtedy i tylko wtedy, gdy
R( , d0 )  sup R( , d )

dla dowolnego    i dowolnej reguły d  D .
2. Reguła minimaksowa może nie istnieć mimo, że istnieje i jest skończona górna granica gry
, D, R .
Wyznaczanie estymatorów minimaksowych w jawnej postaci nie jest łatwa i często nie
potrafimy ich wyznaczyć. Z reguły ograniczamy się do analizy estymatorów bayesowkich.
■ Dwie metody wyznaczania reguł minimaksowych.
1. Wyznaczenie rozkładu najmniej korzystnego parametru  , wyznaczenie estymatora
bayesowskiego względem tego rozkładu i sprawdzenie czy jest minimaksowy.
2. Zastosowanie reguły wyrównującej tzn. takiej dla której funkcja ryzyka jest stała.
■ Definicja rozkładu najmniej korzystnego.
Rozkład a priori  0   nazywamy rozkładem najmniej korzystnym jeżeli
inf r ( 0 , d )  sup inf r ( , d ) .
dD
  dD
■ Twierdzenie.
Niech  0   spełnia warunek
r ( 0 , d0 )  sup R( , d0 ) ,
 
gdzie d 0 jest estymatorem bayesowskim.
Wtedy
1. d 0 jest estymatorem minimaksowym,
2. jeżeli d 0 jest jedynym estymatorem bayesowskim względem rozkładu  0 , to jest jedynym
estymatorem minimaksowym,
3. rozkład  0 jest rozkładem najmniej korzystnym.
Dowód.
Niech d będzie dowolną regułą d  D .
Wtedy
sup R( , d )   R( , d )d 0 ( ) r ( 0 , d )  r ( 0 , d 0 )  sup R( , d 0 ) .
1.
 
 

Stąd d 0 jest minimaksowy, ponieważ
R( , d0 )  sup R( , d ) dla dowolnego   , d  D

2. Jeżeli d 0 jest jedynym bayesowkim, to
 R( , d )d 0 ( )   R( , d 0 )d 0 ( ) ,


a stąd sup R( , d )  sup R( , d0 ) co oznacza, że d 0 jest jedynym estymatorem


minimaksowym.
3. Niech    . Wtedy
r ( , d )   R( , d )d ( )   R( , d 0 )d ( )  sup R( , d 0 )  r ( 0 , d 0 ) .

 

■ Wniosek.
Jeżeli estymator bayesowski d 0 ma stałe ryzyko, to d 0 jest estymatorem minimaksowym.
Dowód.
Jeżeli R( , d 0 )  c , to oczywiście r ( , d 0 )   R( , d 0 )d ( )  c ()  c

oraz sup R( , d 0 )  c . Stąd r ( , d 0 )  c  sup R( , d 0 ) .
 
 
Przykład.
Niech X ~ b(n, p) ,  ~ B( ,  ) , L( , a)  (  a) 2 .
Estymatorem bayesowskim (patrz zestaw zadań) jest

p
x

1


x.
 n  n  n
W celu skorzystania z ostatniego wniosku policzymy ryzyko tego estymatora



R( p, p)  D 2p ( p)  b 2p ( p) 
1
(    n)
Ryzyko jest stałe, gdy
2
npq  (q  p) .
2
2
npq  (q  p) 2
(    n) 2


np(1  p)  ( (1  p)  p) 2
(    n) 2

np(1  p)  (  (   ) p) 2
(    n) 2

((   ) 2  n) p 2  (2 (   )  n) p   2
(    n) 2
Stąd współczynniki przy p i p 2 muszą być równe zero, aby ryzyko mogło być stałe
(   ) 2  n  0
(   ) 2  n
,
czyli
.


 2 (   )  n  0
 2 (   )  n
Ostatecznie    
1
2
n i estymatorem minimaksowym jest
 x  12 n
.
p
n n


Ponieważ estymator bayesowski p wyznaczony jest jednoznacznie, to p jest jedynym
estymatorem minimaksowym.
Dodatkowo otrzymujemy, że rozkład B(
n
2
,
n
)
2
jest rozkładem najmniej korzystnym.
■ Twierdzenie.
Jeżeli reguła decyzyjna d n jest bayerowska względem rozkładu a priori  n oraz jeżeli
lim r ( n , d n )  c oraz R( , d 0 )  c dla każdego   
n
to d 0 jest estymatorem minimaksowym.
Dopuszczlność reguł bayerowskich i minimaksowych.
■ Twierdzenie o dopuszczalności reguł bayesowskich.
Jeżeli istnieje (z dokładnością do równoważności) baysowska reguła d  D względem
rozkładu a priori  , to jest dopuszczalna.
■ Twierdzenie o dopuszczalności reguł bayesowskich.
Niech będzie dana gra statystyczna , D, R , gdzie  jest otwartym podzbiorem R k ,
a funkcja ryzyka R ( , d ) jest ciągła względem  dla każdego d  D .
Jeżeli d 0  D jest regułą baysowską względem rozkładu a priori  o nośniku  oraz jeżeli
r ( , d 0 )   , to d 0 jest regułą dopuszczalną.
■ Twierdzenie o dopuszczalności reguł minimaksowych.
a) Jeżeli d 0  D jest minimaksową regułą decyzyjną wyznaczoną jednoznacznie, to d 0  D
jest regułą dopuszczalną.
3
b) Jeżeli reguła decyzyjna d 0  D jest dopuszczalna i ma stałe ryzyko na zbiorze  , to
d 0  D jest regułą minimaksową.
4