4.1 Na podstawie nierówności Cramera – Rao wyznacz dolne ograniczenie dla wariancji nieobciążonego estymatora wariancji 2 w rozkładzie normalnym N (0, 2 ). W zadaniu nie ma polecenia wyznaczania estymatora nieobciążonego o minimalnej wariancji dla 2 , lecz jedynie dolne ograniczenie w nierówności Cramera – Rao: Nierówność Cramera – Rao Niech będzie estymatorem gˆ ( X 1 ,... X n ) E gˆ ( X1 ,... X n ) g ( ) ). Wówczas zachodzi: nieobciążonym dla g ( ) (czyli Var (( gˆ ( X1 ,... X n )) ( gIn(())) . 2 Zgodnie z treścią zadania: g ( ) 2 ( g ( ))2 (2 )2 4 2 . Pozostaje więc wyznaczyć informację Fishera dla danego modelu. Zaczynamy od zapisania funkcji łącznej gęstości, następnie liczymy pierwszą i drugą pochodną funkcji wiarogodności: 1 2 n L( ) f ( X 1 ,... X n ) exp( 2 i 1 X i2 ) n ( 2 ) 2 n l ( ) ln L( ) n ln( 2 ) n ln 2 i 1 X i2 l ( ) n l ( ) 1 n 2 3 3 4 n i 1 X i2 n i 1 X i2 Obliczamy informację Fishera: n 3 n n 3 n n 3n I n ( ) El ( ) E ( 2 4 i 1 X i2 ) 2 4 i 1 EX i2 2 4 EX 12 Zgodnie ztreścią zadania X 1 ~ N (0, 2 ), czyli EX 1 0, VarX 1 2 . Drugi moment zwykły wyznaczamy zgodnie ze wzorem: Var ( X 1 ) EX 12 ( EX 1 ) 2 EX 12 Var ( X 1 ) ( EX 1 ) 2 2 0 2 Ostatecznie informacja Fishera wynosi: n 3n n 3n 4n I n ( ) 2 4 EX 12 2 4 2 2 Dolne ograniczenie na nieobciążony estymator 2 wynosi: ( g ( ))2 I n ( ) 4 2 4n 2 4 n 4.2 Obserwujemy dwie niezależne próby losowe: ( X1 ,... X n ), (Y1 ,...Yn ), przy czym wiadomo, że zmienne X i mają rozkład wykładniczy o wartości oczekiwanej , a zmienne Yi rozkład wykładniczy o wartości oczekiwanej 3. Rozważmy estymator parametru postaci ˆ 12 X 16 Y . Wyznacz obciążenie i ryzyko tego estymatora. Obciążenie: Eˆ E( 12 X 16 Y ) 12 EX 16 EY 12 EX1 16 EY1 12 16 *3 Dla estymatora nieobciążonego: b( ) Eˆ 0 Ryzyko: Dla estymatora nieobciążonego ryzyko jest równe wariancji estymatora: R( ) Var (ˆ) Var ( 12 X 16 Y ) {Korzystamy z niezależności obu prób od siebie; wariancja sumy niezależnych zmiennych losowych jest równa sumie wariancji} 14 Var ( X ) 361 Var (Y ) 1 4n Var ( X 1 ) 361n Var (Y1 ) 1 4n 2 361n (3 ) 2 1 4n 2 41n 2 1 2n 2 4.3 Niech X1 ,... X n będzie próbą prostą z rozkładu o dystrybuancie F ( x) e1/( x ) , dla x 0. a) Oblicz estymator największej wiarogodności ˆ nieznanego parametru 0. Wyznaczmy gęstość: F ( x ) 1/( x ) 1 1 1 1 1/( x ) e ( )( 1) 2 e x x x2 f ( x) Funkcja wiarogodności: 1 x L( ) n 2 e n n xi 1 1 1 l ( ) n ln( ) 2 ln xi n 1 1 x n Policzmy pierwszą pochodną i przyrównajmy wynik do zera w celu wyznaczenia wartości parametru maksymalizującego funkcję wiarogodności: n 1 1 l '( ) 2 0 n x 1 x n n b) Wyznacz obciążenie, wariancję i błąd średniokwadratowy tego estymatora. 1 E E x n i n 1 1 E n n xi W celu wyznaczenia wartości oczekiwanej i wariancji estymatora warto zacząć od 1 wyznaczenia rozkładu . xi 1 1 1 1 t ) P( xi ) P( xi ) 1 F ( ) xi t t t F 1 (t ) P( xi 1 1 1 1/ t 1 F( ) e t e t F 1 (t ) 1 e 1 t xi Jak nie trudno zauważyć wyznaczony rokład tto rozkład wykładniczy. 1 xi 1 1 Exp( ) (1, ) 1 x n 1 ( n , ) i 1 E E x n 1 1 1 E n n n xi n i n Estymator jest nieobciążony, zatem obciążenie wynosi zero! 1 Var Var x n 1 1 1 2 2 2 Var 2 n n n n n xi i n Dla estymator nieobciążonego ryzyko jest równe jego wariancji! c) Wyznacz informację Fishera w tym modelu. Czy estymator uzyskany w punkcie a) jest ENMW ( ) ? W celu wyznaczenia informacji Fishera policzymy drugą pochodną logarytmu funkcji wiarogodności. n 1 1 l '( ) 2 n x l ''( ) n 2 2 3 1 x n I n ( ) E (l ''( )) E ( n 2 2 3 1 n x) 2 n 2 1 n 2 n E 2 3 n 2 n x 3 Zauważmy, że wariancja estymatora jest równa odwrotności informacji Fisher’a, tzn: wariancja osiąga dolne ograniczenie wyznaczone przez nierówność Cramer’a – Rao. Estymator ponadto jest nieobciążony, zatem jest ENMW ( ) ! 4.4 Sprawdzić, czy ENW jest estymatorem nieobciążonym o minimalnej wariancji parametru , jeśli X1 ,... X n jest próbą prostą z rozkładu N ( ,1). Na ćwiczenia pokazaliśmy, że estymatorem MNW wartości oczekiwanej w rozkładzie normalnym jest średnia arytmetyczna policzona na podstawie próby prostej wylosowanej z tego rozkładu. 1 Xi n n 1 1 E E X i n n n n Estymator MNW jest nieobciążony! Czy mam minimalną wariancję? Var 1 1 2 Var X nVarX n i n2 i n2 n U nas wariancja pojedynczej realizacji zmiennej losowej wynosi 1. Var 1 n Dolne ograniczenie wariancji estymatora uzyskamy licząc informację Fisher’a dla rozkładu normalnego. Np. tak: I n ( ) nI1 ( ) I1 ( ) E ( 2 log f ( x ) 1 12 ( x ) ), f ( x ) e 2 2 2 Powyższy wzór na gęstość uwzględnia fakt, że wariancja tego rozkładu jest równa jeden! 1 1 ln f ( x ) ln 2 ( x )2 ln 2 ( x 2 2 x 2 ) 2 2 log f ( x ) 1 (2 x 2 ) 2 2 log f ( x ) 1 2 2 log f ( x ) I n ( ) nI1 ( ) n( E ( ) n( 1) n 2 1 i widać, że wariancja estymatora jest odwrotnością informacji Fisher’a, czyli ma n minimalną wariancję! Var 4.5 Niech X1 ,... X n będzie próbą prostą z rozkładu N ( ,1). Wyznacz obciążenie estymatora T ( X 1 ,..., X n ) ( X ) 2 parametru 2 . Niech X1 ,... X n będzie próbą prostą z rozkładu N ( , 2 ) . Zauważmy, że X N ( , 2 n ) (wyprowadzenie tego, faktu pojawiło się na zajęciach) Skorzystajmy z tożsamości: 2 2 Var X E X ( E X )2 E X Var X ( E X )2 2 n 2 U nas: , 2 1 ET ( X 1 ,..., X n ) E ( X ) 2 1 2 n Obciążenie wyznaczymy z definicji: 1 1 2 2 n n Rozwiązanie alternatywne, umożliwiające poradzenie sobie z bardziej ogólnymi przypadkami, dla których nie tak łatwo wyznaczyć rozkład średniej z próby. b( ) E (T ( X 1 ,..., X n ) 2 ) ET ( X 1 ,..., X n ) 2 Rozwiązanie tego zadania było proste, ponieważ łatwo możemy wyznaczyć rozkład średniej policzonej na podstawie próby prostej z rozkładu normalnego. W ogólnym przypadku należałoby, odwołać się do definicji wartości oczekiwanej. ET ( X 1 ,..., X n ) E ( X ) 2 n n 1 1 2 2 2 E ( X ... X ) E ( X ... X Xi X j ) 1 n 1 n n2 n2 i 1 j 1 j i Zastanówmy się, ile jest takich iloczynów zmiennych losowych. Zauważmy, że dla każdego indeksu i mamy n-1 takich iloczynów, (ponieważ indeksy i oraz j nie mogą być sobie równe). Oznacza to, że takich iloczynów będzie n(n-1). Do takiego samego wniosku dojdziemy zauważając, że różnych par iloczynów zmiennych losowych z różnymi indeksami będzie tyle, ile jest dwuelementowych wariacji bez powtórzeń zbioru n elementowego. Korzystając z niezależności zmiennych losowych i z tego, że pochodzą z tego samego rozkładu otrzymamy: n n n n E ( X 12 ... X n2 X i X j ) E ( X 12 ... X n2 ) E ( X i X j ) nEX 12 n(n 1)( EX 1 ) 2 i 1 j 1 j i i 1 j 1 j i bo dla niezależnych zmiennych losowych X o taki samym rozkładzie mamy: E( X i X j ) E ( X i ) E ( X j ) E ( X1 )2 EX12 (n 1)( EX 1 )2 1 2 E ( X ) 2 (nEX1 n(n 1)( EX 1 ) ) n n 2 Ostatecznie (zakładając, że rozkład zmiennej losowej X nie jest normalny) pozostałoby wyznaczenie drugiego momentu zwykłego, co należałoby w ogólności zrobić z definicji wartości oczekiwanej (policzyć odpowiednią całkę). Wartość oczekiwaną X jest znana, o ile znany jest rozkład (i jego parametry) zmiennej X. 4.6 Zmienne X 1 ,..., X n mają rozkład o tej samej wartości średniej . Wykazać, że statystyka postaci T a1 X1 ... an X n a1 ... an ET E a1 Xa11......aann X n jest nieobciążonym estymatorem parametru . 1 1 E ( a1 X 1 ... an X n ) a1EX 1 ... an EX n a1 ... an a1 ... an 1 ( a ... an ) a1 ... an 1 a1 ... an a1 ... an Przy rozwiązaniu skorzystaliśmy z liniowości wartości oczekiwanej: E ( X Y ) EX EY E (cY ) cEY 4.7* Niech X1 ,... X n będzie próbą prostą z rozkładu normalnego N ( , 2 ). Wyznaczyć a tak, żeby estymator T ( X1 ,..., X n ) ai 1| X i X | był estymatorem nieobciążonym dla parametru n . Wskazówka: Jaki rozkład, dla ustalonego i, ma X i X ? ( Xi X ) ( Xi 1 1 1 1 n 1 1 X 1 X 2 ... X i ... X n ) ( Xi X j ) n n n n n n j i N ( , 2 ) Xi n 1 Xi n 1 Xj n j i Yi n 1 ( n 1)2 2 , ) n n2 n 1 n 1 2 N( , 2 ) n n N( n 1 1 Xi X j n n j i N (0, ( n 1)2 2 n 1 2 n 1 2 2 ) N (0, ) 2 n n n Dla każdego indeksu i rozkład jest taki sam, taka sama jest wartość oczekiwana i wariancja. ET ( X1 ,..., X n ) aE i 1| X i X | anE | X i X | anE | Yi | n Dla uproszczenia zapisu podstawmy 2 E | Y | | y| 2 2 2 y 0 1 2 2 1 e y2 2 2 e y2 2 2 n 1 2 n2 dy dy Skorzystaliśmy z symetryczności rozkładu normalnego. Liczenie całki ze zmianę w module jest kłopotliwe! Policzmy całkę stosując podstawienie: y2 t 2 ydy dt E | Y | 2 0 1 2 2 e y2 2 2 ydy 0 1 2 2 e y2 2 2 2 ydy 0 1 2 2 e t 2 2 dt 1 2 2 0 e t 2 2 dt 1 2 2 2 2 0 t 1 2 2 e dt {Funkcja podcałkowa to gęstość rozkładu wykładniczego z 2 2 1 parametrem 1 2 } 2 2 2 2 ET ( X 1 ,..., X n ) anE | Yi | an 2 2 n 1 n n 1 a n 2( n 1) ? a 2( n 1) 4.8* Niech R ( ) i b( ) oznaczają odpowiednio ryzyko i obciążenie estymatora ˆ. Pokazać, że R( ) Var (ˆ) b( ) 2 . R( ) E (ˆ ) E (ˆ E (ˆ ) E (ˆ ) )2 E ((ˆ E (ˆ ))2 2(ˆ E (ˆ ))( E (ˆ ) ) ( E (ˆ) )2 ) E (ˆ E (ˆ ))2 2 E (ˆ E (ˆ ))( E (ˆ ) ) E ( E (ˆ ) )2 Zauważmy, że: E (ˆ E (ˆ ))2 Var(ˆ ) E (ˆ E (ˆ ))( E (ˆ ) ) ( E (ˆ ) ) E (ˆ E (ˆ )) ( E (ˆ) )( Eˆ EE (ˆ)) ( E (ˆ) )( Eˆ E (ˆ)) 0 bo ( E (ˆ ) ) jest stałe i mogliśmy je wyłączy przed znak wartości oczekiwanej. E ( E (ˆ ) )2 ( E (ˆ) )2 b( ) Bo ( E (ˆ ) ) jest stałe, a wartość oczekiwana stałej jest równa tej stałej. Podsumowując: R( ) Var (ˆ) b( ) 2 .