SIECI NEURONOWE
advertisement
SIECI NEURONOWE WYKORZYSTANIE DO PROGNOZOWANIA WIG Dr Kamila Migdał Najman Dr Krzysztof Najman Katedra Statystyku Wydział Zarządzania Uniwersytet Gdański [email protected] [email protected] SOPOT styczeń – grudzień 2000 Ostatnia dekada XX wieku cechuje się niezwykle dynamicznym rozwojem nauki nad sztuczną inteligencją obejmującą swoją tematyką sieci neuronowe, systemy rozmyte i algorytmy genetyczne. Jest to wynikiem szybkiego rozwoju technologii w dziedzinie komputerów osobistych oraz komputerów o wielkiej mocy obliczeniowej, co umożliwia naukowcom symulowanie i testowanie nowych idei w sposób nie możliwy przed rokiem 1980. Źródłem inspiracji sztucznych sieci neuronowych jest biologia układów nerwowych. Wszystkie żywe istoty posiadają mózgi złożone z komórek zwanych neuronami. Szacuje się, że mózg ludzki może składać się nawet ze 100 miliardów neuronów. Mózg człowieka ma przewagę nad komputerem w wielu zadaniach. Jest odporny na uszkodzenia. Mimo, że codziennie obumiera wiele komórek nerwowych nie ma to znacznego wpływu na pojemność i funkcjonowanie mózgu. Jest elastyczny. Może się z łatwością przystosować do zmiennego otoczenia przez „uczenie się”. Potrafi sobie radzić z informacją rozmytą, losową, zaszumioną lub niespójną. Jest w wysokim stopniu równoległy. Jest mały, zwarty i zużywa bardzo mało energii. Komputer przewyższa mózg tylko w zadaniach opartych na prostych operacjach arytmetycznych. Czasami mówi się, że komputer to bardzo szybki „idiota”, który znajduje rozwiązania zadanych problemów jedynie dzięki błyskawicznej analizie tysięcy prawdopodobnych przypadków. Sieci neuronowe wyrosły z badań prowadzonych nad sztuczną inteligencją. Próbują one naśladować wysoką tolerancję na uszkodzenia i zdolność samouczenia biologicznego systemu neuronowego. W wielu przypadkach stały się one podstawą zastosowania w nietypowych ( z biologicznego punktu widzenia ) dziedzinach jak finanse, inżynieria, geologia czy fizyka. Faktycznie, gdziekolwiek pojawia się problem predykcji, klasyfikacji lub kontroli, sieci neuronowe są brane pod uwagę jako alternatywne do innych metod analitycznych. Często osiąga się znakomite rezultaty. Ten sukces może być przypisany pewnym kluczowym czynnikom jak : odporność i zdolność uczenia. Sieci neuronowe są skomplikowaną techniką modelowania, zdolną do modelowania niezmiernie złożonych systemów. Można je traktować jako nowoczesne systemy obliczeniowe, które przetwarzają informacje wzorując się na zjawiskach zachodzących w mózgu człowieka. Informacje jednak mają tu charakter danych numerycznych. Sieć neuronowa działa na matematycznych zbiorach danych (wektorach, macierzach), które przybierają postać określonych porcji informacji. W odróżnieniu od mózgu, gdzie dane wejściowe są odbierane za pośrednictwem pięciu zmysłów, sztuczne sieci neuronowe odbierają dane wejściowe za pomocą liczb. W wielu zastosowaniach sztucznych sieci neuronowych operują one jedynie zerami i jedynkami, które oznaczają, że dana zmienna jest obecna lub nie. W praktyce, sztuczna sieć neuronowa ( SN ) to program komputerowy, który naśladuje zdolność ludzkiego mózgu do klasyfikacji, rozpoznawania wzorców, analizy i kompresji obrazów, sporządzania prognoz lub podejmowania decyzji na bazie przeszłych doświadczeń. SN to bardzo uproszczony model mózgu składający się z dużej liczby elementów przetwarzających informację. Elementy nazywane są neuronami, chociaż w stosunku do rzeczywistych komórek nerwowych ich funkcje są bardzo uproszczone. Topologia połączeń oraz ich parametry stanowią program działania sieci, zaś sygnały pojawiające się na jej wyjściach w odpowiedzi na określone sygnały wejściowe są rozwiązaniami stawianych jej zadań. Rozmaitość SN badanych obecnie jest ogromna. Poszczególne neurony można modelować jako proste sumatory ważone, złożone układy równań różniczkowych lub dowolne modele pośrednie. Połączenia między neuronami mogą być zorganizowane w warstwy tak, aby informacje przepływały tylko w jednym kierunku, albo tak, aby mogły krążyć po całej sieci w sposób cykliczny. Wszystkie neurony mogą zmieniać stan jednocześnie albo też można wprowadzić opóźnienia. Wszystkie odpowiedzi mogą być ściśle deterministyczne albo dopuszcza się zachowanie przypadkowe. Warianty można mnożyć... SN bywają na ogół lepsze od innych metod analitycznych przy spełnieniu następujących warunków: 1. Dane, z których trzeba wyciągną wnioski są „rozmyte”. Jeżeli danymi wejściowymi są ludzkie opinie, źle określone kategorie lub dane są obarczone dość dużymi błędami, to odporne zachowanie sieci neuronowych jest ich ważną zaletą. 2. Jedną z głównych zalet sieci neuronowej jest jej zdolność do odkrywanie w zbiorze danych wzorców, które są tak niejasne, że są niewykrywalne przez zmysły badaczy i przez tradycyjne metody statystyczne. Np. przewidywanie wypłacalności pożyczkobiorców na podstawie historii ich wydatków i wpływów. Wykazano, że SN lepiej „podejmują decyzje” niż doświadczony personel. 3. Dane wykazują znaczną, nieoczekiwaną nieliniowość. SN mają bardzo duże zdolności adaptacyjne. 4. Dane są chaotyczne. Chaos można wykryć w wahaniach cen na giełdzie. Takie zachowanie nie daje szans większości innych metod, ale SN są na ogół odporne na sygnały wejściowe tego rodzaju. SN nie ma sensu stosować gdy są znane dokładne, klasyczne (deterministyczne) rozwiązania badanych problemów. Wówczas włożony w budowę sieci trud się nie opłaci. Uzyskamy bowiem, co najwyżej, identyczne rezultaty jak w metodach klasycznych. Wiele SN odznacza się zarówno mocnymi podstawami teoretycznymi, jak i użytecznością w praktyce. Wadą SN jest to, że w porównaniu z ludzkim mózgiem, który składa się z miliardów neuronów, sieć ma ich zaledwie kilkaset. Sieć mechanicznie rozwiązuje tylko zadane problemy, i to tylko jedno zadanie w danym czasie. Można, więc raczej mówić o specjalizacji SN. Tak więc buduje się różne sieci dla różnych zastosowań. Dziedziny finansów, w których na szeroką skalę stosuje się sieci neuronowe, to: 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 Oszustwa związane z kartami kredytowymi Prognozowanie bankructw Analiza wniosków o udzielenie pożyczki hipotecznej Marketing produktu Klasyfikacji obligacji przedsiębiorstw Prognozowanie zachowania rynku akcji Prognozowanie upadłości banków Selekcja akcji Wycena nieruchomości Wycena arbitrażowa Analiza kondycji finansowej przedsiębiorstw Wycena opcji Wybór strategii sprzedaży Prognozowanie sprzedaży Podejmowanie decyzji na szczeblu menedżerskim Analiza kondycji biur turystycznych Prognozowanie wskaźników ekonomicznych Przewidywanie przepływów gotówkowych Lokalizowanie podmiotów uchylających się od płacenia podatków Wybór funduszu powierniczego Dodatkowym atutem SN jest wygoda ich programowania poprzez uczenie. Zamiast projektować algorytm wymaganego przetwarzania informacji i dzielić go na moduły nadające się do współbieżnego wykonywania - stawia się sieci przykładowe zadania i automatycznie, zgodnie z założoną strategią uczenia modyfikuje się połączenia elementów sieci ich współczynniki wagowe. W ten sposób sieć programuje się sama, co czasem prowadzi do rozwiązań w bardzo krótkim czasie, a innym razem może wymagać tysięcy iteracji Zawsze jednak przebiega w sposób samoczynny, a więc nie absorbujący dla człowieka poszukującego określonych rozwiązań.1 Większość współcześnie budowanych sieci neuronowych ma budowę warstwową, przy czym ze względu na dostępność w trakcie procesu uczenia wyróżnia się warstwy: wejściową, wyjściową oraz tak zwane warstwy ukryte.2 1 2 Ryszard Tadeusiewicz, Sieci neuronowe, Akademicka Oficyna Wydawnicza, Warszawa 1993, s. 19 tamże, s. 12-13 Rys.1 Na rys.1 przedstawiono przykładową strukturę sieci neuronowej budowaną dla potrzeb prognozowania WIG’u na podstawie przeszłych notowań. 80% wszystkich zastosowań sieci neuronowych dotyczy tzw. sieci wielowarstwowych, które charakteryzują się brakiem sprzężeń zwrotnych. Przesyłają one sygnały od warstwy wejściowej, poprzez warstwy ukryte (jeśli występują), do warstwy wyjściowej. Składają się one z trzech bądź większej liczby warstw neuronów. Pierwsza warstwa, określana mianem warstwy wejściowej, zawiera tyle neuronów, ile jest zmiennych wejściowych. Te wejścia są zazwyczaj nazywane neuronami wejściowymi, które dają sygnały wejściowe. Warstwa ta otrzymuje dane z zewnątrz sieci. Każdy neuron z warstwy wejściowej łączy się ze wszystkimi neuronami z obszaru ukrytego. Obszar ukryty składa się niekiedy z więcej niż jednej warstwy; każdy neuron z pierwszej warstwy ukrytej powiązany jest wówczas ze wszystkimi neuronami warstwy drugiej. Jeżeli obszar ukryty składa się więcej niż dwóch warstw, neurony z drugiej warstwy łączą się ze wszystkimi neuronami z warstwy trzeciej. Najkrócej można powiedzieć, że warstwy te stanowią narzędzie, służące do takiego przetwarzania sygnałów wejściowych, by warstwa wyjściowa mogła łatwiej znaleźć potrzebną odpowiedź. Działanie neuronów warstw pośrednich nie jest bezpośrednio widoczne dla użytkownika sieci – w tym sensie można mówić, że są one ukryte. Neurony warstwy ukrytej pełnią rolę pośredników. Pośredniczą między wejściem i wyjściem oraz wypracowują zestawy wstępnie przetworzonych danych wejściowych, z których korzystać będą neurony dalszych warstw przy określeniu końcowego wyniku. Ostatnia warstwa wchodząca w skład obszaru ukrytego połączona jest z warstwą wyjściową. Istnieje także jeden lub więcej neuronów wyjściowych. Dzięki nim otrzymujemy wynik działania sieci. Każdy neuron wyjściowy przyjmuje sygnały wejściowe, przetwarza je i wytwarza sygnał wyjściowy. Sygnały te stanowią rozwiązania stawianych sieci zadań. Jak to się dzieje, że sieć zdobywa i gromadzi wiedzę? To siła powiązań między różnymi neuronami sprawia, że na pozór identyczne sieci różnią się od siebie. Siłę powiązań między dwoma neuronami określa się mianem wagi. Mocne powiązanie ma większą wagę niż słabe. Ważne zmienne wejściowe otrzymują duże wartości wag. Wyrażają stopień ważności informacji docierających wejściem. Gdy waga jest większa od 1 to sygnał wchodzący określonym wejściem jest wzmocniony, gdy waga ma wartość mniejszą od 1 to sygnał jest stłumiony bądź też można mówić o wejściu hamującym, gdy waga ma wartość ujemną. Neurony są powiązane w sieć za pomocą połączeń ( wag ) modyfikowanych w trakcie uczenia. Każdy neuron ma wiele wejść, za pomocą których odbiera sygnały od innych neuronów oraz sygnały wejściowe podawane do sieci jako dane do obliczeń. Cała sztuka polega na tym aby tak dobrać wagi, aby wszystkie neurony wykonywały dokładnie takie czynności, jakich się od nich wymaga. W sieci jest jednak tyle neuronów, że nie jesteśmy w stanie dla wszystkich wejść zdefiniować potrzebnych wag. Możemy jednak rozpocząć działanie sieci z przypadkowym zestawem wag i stopniowo polepszać te wagi. Neuron sam potrafi określić, które ze swoich wag ma zmienić, w którą stronę i o ile. Proces zmiany wag przebiega w każdym neuronie sieci w sposób spontaniczny i niezależny. Proces uczenia może być powadzony równocześnie we wszystkich neuronach sieci. Pewne elementy w sieci neuronowej są zdeterminowane. Między innymi liczba elementów wejściowych i wyjściowych oraz zasada połączeń między kolejnymi warstwami. Są jednak elementy zmienne, które trzeba określić samemu: liczbę warstw ukrytych (jedna czy kilka) oraz liczbę elementów warstwie (warstwach) ukrytych. Elementy te ustala się zwykle arbitralnie. Nie można jednak zaprojektować sieci o zbyt małej liczbie elementów. Jeżeli występuje za mało neuronów, proces uczenia może się definitywnie nie udać, gdyż sieć nie ma szans odwzorować w swojej strukturze wszystkich niuansów rozwiązywanego zadania. Nie można także "przedobrzyć" Zastosowanie zbyt wielu warstw ukrytych prowadzi do znacznego pogorszenia sprawności procesu uczenia, dlatego często lepsze wyniki dale sieć o mniejszej liczbie warstw ukrytych niż sieć z większą liczbą warstw ukrytych. Również ustalenie nadmiernej liczby neuronów w warstwie ukrytej prowadzi do niekorzystnego efektu nazywanego "uczeniem się na pamięć". Sieć w ten sposób zamiast uogólniania nabywanych wiadomości dokonuje zapamiętania reguł. Cykl działania sieci neuronowej podzielić można na etap nauki, kiedy sieć gromadzi informacje potrzebne jej do określenia, co i jak ma robić, oraz na etap normalnego działania, nazywany czasem egzaminem, kiedy w oparciu o zdobytą wiedzę sieć musi rozwiązywać konkretne nowe zadania. Sieć neuronowa uczy się na dwa sposoby. Najczęstsze jest uczenie pod nadzorem. Polega na tym, że sieci podaje się przykłady poprawnego działania, które powinna ona potem naśladować w swoim bieżącym działaniu. Zbieramy wiele próbek, które odgrywają rolę przykładów. Każda próbka zbioru uczącego całkowicie określa wszystkie wejścia, jak również wyjścia wymagane przy prezentacji tych danych wejściowych. Następnie wybieramy podzbiór zbioru uczącego po kolei i podajemy próbki z tego podzbioru na wejście sieci. Dla każdej próbki porównujemy aktualny sygnał wejściowy sieci z sygnałem wyjściowym, który chcielibyśmy otrzymać. Po przetworzeniu całego podzbioru próbek uczących korygujemy wagi łączące neurony w sieci w celu zmniejszenia miary błędu działania sieci. Jedna prezentacja podzbioru próbek uczących wraz z odpowiednią korekcją wag jest nazywana EPOKĄ. Liczba próbek podzbioru jest nazywana rozmiarem epoki. Epoki uczenia powtarzamy aż do osiągnięcia zadawalającej jakości przetwarzania sieci. Inną podstawową metodą uczenia jest uczenie bez nadzoru. Proces uczenia sieci polega na wykryciu istotnych cech zbioru uczącego i wykorzystaniu ich do grupowania sygnałów wejściowych na klasy, które sieć potrafi rozróżniać. Sieć potrafi wykorzystać same obserwacje wejściowe i zbudować na ich podstawie algorytm działania, automatycznie wykrywający klasy powtarzających się sygnałów wejściowych i rozpoznawać te typowe wzorce sygnałów. Proces sprawdzania użyteczności sieci nazywamy weryfikacją. Proces taki polega na rozdzieleniu zbioru znanych przypadków na dwa zbiory rozłączne. Jeden to zbiór uczący, wykorzystywany do uczenia sieci. Drugi to zbiór testowy, używany do egzaminowania sieci po zakończeniu uczenia. Uczenie i stosowanie sieci wymaga postępowania według etapów: 1. Określenie prognozowanej zmiennej. 2. Gromadzenie zbiorów danych lub szeregów czasowych związanych z prognozowanym zjawiskiem, 3. Wstępne przetwarzanie danych tak, aby łączyły informacje lub przedstawiały je w bardziej użyteczny sposób ( skalowanie, normalizacja, standaryzacja, zmniejszanie wymiarowości problemu). 4. Wyodrębnienie uczącego i testowego zbioru danych, czyli danych do jej uczenia i do przyszłego testowania. 5. Wybór odpowiedniej architektury sieci. Ustalenie liczby warstw, liczby neuronów w warstwach ukrytych. 6. Wybór odpowiedniego algorytmu uczenia (treningowego) i ustalenie jego parametrów. 7. Uczenie sieci. 8. Weryfikacja jakości nauczonej sieci. 9. Zastosowanie sieci. Do nauczonej sieci wczytujemy nowe zbiory danych lub dane bieżące w celu otrzymania prognozy czy dokonania klasyfikacji.3 Jeżeli przestrzegamy powyższych zasad i mamy trochę szczęścia uda nam się zbudować poprawnie działającą sieć. BADANIA EMPIRYCZNE Badania empiryczne zastosowań sieci neuronowych na rynkach kapitałowych są prowadzone od bardzo dawna. Zwykle budując model do celów prognostycznych możemy zastosować dwa podejścia. Pierwsze to podejście autoregresyjne. Oznacza to, że badany proces będziemy modelowali jedynie na podstawie jego własnych opóźnień. A więc prognozujemy WIG jedynie na podstawie przeszłych notowań WIG’u. Drugie podejście to wprowadzenie do modelowania dodatkowych zmiennych objaśniających np. wartości wskaźników technicznych. W dalszej części rozpatrzymy oba przypadki. PROGNOZOWANIE KIERUNKU ZMIAN WIG Dobrym wstępem do badań nad możliwościami zastosowania SN na WGPW jest próba prognozowania kierunku zmian WIG'u. Jest to z pewnością informacja wielce pożądana. Spróbujmy więc zbudować prognozę kierunku zmian na następną sesję. Danymi wejściowymi będą notowania WIG z poprzednich sesji. Liczba notowań, które trzeba uwzględnić jest osobnym problemem i powinna być optymalizowana. Dane należy przegotować tak aby były one dogodne dla wybranego typu sieci. W przeciwieństwie do Gateley’a uważamy, że nie należy stosować wartości –1 i 1 czy 0 i 1 dla oznaczania wzrostu i spadku w sieciach warstwowych uczonych algorytmem propagacji wstecznej. Funkcje aktywacji: logistyczna czy tangens hiperboliczny nie mogą bowiem osiągnąć takich skrajnych wartości. Skutkuje to zwykle tym, że sieć nie nauczy się badanego problemu. Dla problemu klasyfikacyjnego, za jaki można uznać tego typu prognozę, proponujemy wykorzystać sieć probabilistyczną. Dane przygotowujemy więc następująco: sesja wzrostowa: klasa 1, sesja spadkowa: klasa 2. Sesji o identycznych kolejnych wartościach WIG można nie uwzględnić. W całej historii WGPW było ich nieistotnie mało. Analizie poddajemy 1000 próbek począwszy od 3514 sesji. Ponieważ nie wiadomo z góry ile opóźnień uwzględnić w próbce uczącej znajdziemy ją doświadczalnie. Rozpoczniemy od uwzględnienia jedynie notować „wczorajszych” a zakończymy biorąc pod uwagę 200 poprzednich sesji. Prognozujemy zmiany kierunku WIG dla kolejnych 20 sesji. SN na wyjściu poda nam czy „jej zdaniem” następna sesja będzie wzrostowa czy spadkowa. Nie 3 Na podstawie: Ed Gately, Sieci neuronowe. Prognozowanie finansowe i projektowanie systemów transakcyjnych, Warszawa1999, WIG – Press, s. 9-11 4 Pomijamy 350 pierwszych sesji „szalonej hossy”. powinno się ustalać poziomów braku wyraźnego sygnału. Jest to bowiem trzeci wariant odpowiedzi, którego sieć się nie uczyła. Takie poziomy są zresztą zawsze subiektywne5 i bardzo ryzykowne. Rys.2 ( 180 minut pracy komputera6) Widać, że najlepsze prognozy popełniały 25% błędów. Takie wyniki uzyskiwały sieci o 100, 108 i 172 uwzględnionych opóźnieniach WIG’u. Zdając się na ślepy los mielibyśmy 50% szans na wskazanie prawidłowego kierunku zmian. SN pozwoliła nam zyskać dodatkowe 25%. Tu ważna uwaga. Pamiętać należy, że sieć uczy się na przykładach. Jeżeli obserwujemy istotne zmiany jakościowe w kształtowaniu się prognozowanego szeregu w stosunku do przeszłości to nie wymagajmy od SN aby potrafiła je trafnie klasyfikować. W sytuacji takiej należy sieć wytrenować na nowym – poszerzonym zbiorze danych. W praktyce warto to zrobić raz na miesiąc ( czyli po ok. 20 sesjach ). Nie ma więc sensu badanie zdolności SN w dłuższym horyzoncie czasowym – daleko wybiegającym poza okres uwzględniony w zbiorze danych uczących. Jest to jedna z przyczyn dla której gotowe oprogramowanie budujące strategie inwestycyjne na bazie SN najpierw sprawdza się później nie, następnie znowu działa dobrze itd. ... Bardzo przydatna dla inwestora może być informacja o spodziewanym kierunku zmian na rynku w najbliższym tygodniu. Spróbujemy więc zrobić prognozę na najbliższy tydzień. Jest to miara bardzo ogólna wyrażająca jedynie „skłonności” rynku. Poszukiwania optymalnej sieci rozpoczniemy od przygotowania danych. W tym konkretnie celu możliwe są dwa podejścia. Po pierwsze możemy robić prognozy średniej wartości WIG na następny tydzień lub na następne 5 sesji. Różnica jest 5 6 Więcej szczegółów: T.Masters, ‘Sieci neuronowe w praktyce”, WNT W-wa 1996, rozdział 10. Wszystkie testy były wykonywane na następującym zestawie komputerowym: ATHLON 650, 265 Mb RAM, MatLab 5.3.1 + Neural Network Toolbox 3.0.1. istotna. W pierwszym przypadku wyznaczamy średnie wartości WIG dla każdego tygodnia. W drugim przypadku wyznaczamy średnie 5-cio sesyjne. Należy zwrócić uwagę, że posługując się średnimi możemy znacznie skrócić liczbę dostępnych próbek uczących i testowych. Gdybyśmy szacowali średnie tygodniowe to próbek będzie tyle co tygodni a więc liczba danych zmniejszy się pięciokrotnie ! Przy średnich 5-cio sesyjnych strata będzie równa 4 sesje a więc nieistotnie mało. My skupimy się tu na tym pierwszym podejściu. Postaramy się zrobić prognozy średniego poziomu WIG’u na kolejny tydzień. Optymalizację przeprowadzamy podobnie jak poprzednio. Ze względu na znacznie mniejszy zbiór danych uczącym maksymalnie udało się uwzględnić 120 opóźnień. Próba ucząca liczyła 200 tygodni. Prognozy były szacowane na kolejnych 10 tygodni. RYS. 3 ( 120 minut pracy komputera ) Na rysunku 3 widzimy procent błędów jaki popełniały budowane sieci przy prognozach kierunku zmian przeciętnego tygodniowego poziomu WIG’u. Udało się zbudować kilkanaście sieci popełniających jedynie 10% błędów. Jedna sieć o 14 opóźnieniach nie popełniła ani jednego błędu na przestrzeni 10 tygodni ! Analogicznie jak poprzednio należy co ok. 10 tygodni wytrenować sieć ponownie. PROGNOZOWANIE WARTOŚCI WIG Drugim, obok prognoz kierunku zmian, jest problem prognozowania wartości badanego waloru. Jest to uzupełnienie powyższych analiz o wskaźnik skali zmian. Staramy się nie tylko ustalić kierunek zmian ale i ich wielkość. Jest to zadanie dużo trudniejsze ze względu na wymaganą wysoką precyzję. Przeciętne zmiany WIG w badanym okresie wynosiły średnio 190 punktów z sesji na sesję ( co do wartości bezwzględnej ). Rozproszenie tych zmian wyniosło 287 punktów. Gdyby wyrazić te wartości w procentach byłoby to odpowiednio : 1.28% i 2.01 %. Aby prognozy miały istotną wartość to błędy w dłuższych okresach powinny być mniejsze niż 1% z mniejszym niż 2% rozproszeniem ! Jak widać już z tego powodu jest to zadanie bardzo trudne. Analizy poprowadzimy w następujący sposób. Budujemy sieć (RYS.1) w oparciu o wartości WIG z poprzednich sesji. Optymalna liczba uwzględnionych opóźnień będzie wyznaczona eksperymentalnie. Będziemy jej poszukiwać uwzględniając kolejno od 1 do 50-ciu opóźnień. Tym razem zastosujemy sieć jednokierunkową, bez sprzężeń zwrotnych z jedną warstwą ukrytą. Jako algorytm uczący zastosujemy propagację wsteczną w szybko zbieżnej wersji Lavenberga – Marquardta. Ponieważ WIG przyjmuje jedynie wartości dodatnie, dane przeskalujemu do przedziału (0,1) Ponieważ wszystkie wartości są dodatnie wybierzemy funkcję aktywacji logistyczną. Liczbę neuronów ustalamy na pierwiastek kwadratowy z liczby danych wejściowych. Liczbę tą możemy zwiększyć gdyby nie udało się uzyskać zadowalających wyników. Krok uczenia ustalamy na 0.02, maksymalny czas uczenia pojedynczej sieci na 15 minut, maksymalną liczbę epok na 507. Sieć uczymy na 1000 próbek. Prognozy wykonujemy na 50 kolejnych sesji. Każdą próbę uczenia i prognoz powtarzamy 10 razy. Jest to niezbędne, ponieważ sieć rozpoczyna naukę od losowych wartości wag. Jedne kombinacje będą ”szczęśliwsze” inne mniej. Kolejne rysunki wyjaśnią to dokładnie. RYS. 4 ( 50 minut pracy komputera) 7 Liczba ta wydaje się śmiesznie niska. Jednak w każdym z prezentowanych eksperymentów była ona wystarczająca do osiągnięcia zakładanej dokładności lub najwyższej zdolności do generalizacji sieci. Rysunek 4 ukazuje zależności między liczbę danych wejściowych a MAPE8. Niebieskie słupki prezentują strukturę statystyczną prognoz uzyskiwanych dla 10 sieci zbudowanych przy identycznych parametrach. Zaznaczone są ( licząc od dołu ) minimum, kwartyl pierwszy, mediana, kwartyl trzeci i maksimum uzyskanych błędów. Słupek niski oznacza, że w 10 próbach uzyskiwano podobne prognozy. Słupek wysoki oznacza, że wyniki te różniły się znacznie. Ponieważ wiele z nich wskazuje na istotną asymetrię prognoz dodatkowo linią czerwoną oznaczono mediany prognoz. Minimalny błąd równy 0.81% uzyskano dla 26 opóźnień. Wynik jest istotnie lepszy niż założone minimum 1.28%. Należy tu zauważyć, że prognozy dla 26 opóźnień są bardzo zróżnicowane ( wysoki słupek ) a mediana jest „nisko”. Oznacza to, że zdarzały się nieliczne prognozy znacznie gorsze. Sieci z jedną warstwą ukrytą są dość szybkie, jednak mogą być stosunkowo mało czułe. Aby zwiększyć czułość sieci, czyli jej zdolność do uchwycenia delikatnych zmian, można zwiększyć liczbę warstw ukrytych. Niekorzystną konsekwencją takiego zabiegu jest gwałtowne zwiększenie czasu uczenia sieci i jej wymagania co do ilości pamięci w komputerze. Sieć może się zacząć uczyć „szumu” a więc losowych i nieistotnych zmian w danych uczących. Sprawdźmy więc czy dodanie drugiej warstwy ukrytej nie pozwoli zbudować lepszych prognoz. Wszystkie parametry uczenia sieci pozostają bez zmian. Dodajemy drugą warstwę ukrytą z liczbą neuronów równa liczbie w pierwszej warstwie ukrytej. Rys. 5 Nowa sieć. 8 MAPE (Mean Absolute Prediction Error). Średni, absolutny ( tu procentowy) błąd prognozy. Rys.6 ( 142 minuty pracy komputara ) Jak widzimy na wykresie 6 nie udało się uzyskać istotnego polepszenia prognoz. Minimalny błąd 0.79% uzyskano dla 37 opóźnień. Również i tym razem rozproszenie prognoz jest tu spore. Czas analizy zwiększył się jednak trzykrotnie. PROGNOZY WIG’U NA PODSTAWIE WSKAŹNIKÓW TECHNICZNYCH Nawet podstawowe badania byłyby niepełne gdybyśmy nie spróbowali przetestować użyteczności danych technicznych w prognozowaniu wartości WIG. Podstawową trudnością jest dobór wskaźników i ich parametrów. Uznaliśmy, że w prezentowanych badaniach zastosujemy jedynie najpopularniejsze wskaźniki z klasycznymi parametrami podawanymi przez Murphy’ege w jego „Analizie Technicznej”9. Zbiór wskaźników jest następujący : 1. wstęga Bollingera ( 9, 2, -2 ) 2. CCI ( 20, 10, 100, -100 ) 3. MACD ( 12, 26, 9 ) 4. momentum ( 10 ) 5. średnie kroczące ( 4, 8, 9, 12, 18, 24 ) okresowe 6. Ważone średnia krocząca ( 9 ) 7. przesunięta średnia krocząca ( 9, 5 ) 8. wykładnicza średnia krocząca ( 9 ) 9. OBV 10. ROC ( 10 ) 11. RSI ( 14, 20 , 80 ) 12. Ultimate Osc. ( 7, 14, 28 ) 13. Volume Osc. ( 14, 34 ) Z szeregów wyeliminowano stałe ( np. wartości progów RSI 20 i 80, które stanowią dwa szeregi o powtarzających się wartościach odpowiednio 20 i 80 ). W ten sposób pozostało 20 zmiennych objaśniających. Dodatkowo wprowadzono opóźnienia o 2 i 3 okresy wszystkich szeregów. W sumie poddano analizie 60 zmiennych. Analizie poddano sesje od 400 do 1650. Zbiór danych podzielono na 3 części. Sesje 402, 406, 410, 414 ... potraktowano jako zbiór testowy ( 25% obserwacji ). Sesje 404, 408, 412, 416 ... potraktowano jako zbiór próbek korygujących uczenie sieci ( 25% obserwacji ). Pozostałe sesje posłużyły jako zbiór uczący ( 50% obserwacji ). Zbudowano sieć o jednej warstwie ukrytej gdzie na wejściu było 60 neuronów wejściowych. Liczbę neuronów warstwy ukrytej optymalizowano w przedziale (1, 50). Sieć o bieżącej liczbie neuronów uczono dziesięciokrotnie. Na wyjściu jest jeden neuron. Wszystkie dane przeskalowano na przedział (0, 1). Jako funkcje aktywacji zastosowano funkcję logistyczną. Krok uczenia ustalono na 0.02. Proces uczenia był przerywany jeżeli : 1. przekroczony został limit 50 epok ( nie zdarzyło się to ani razu ) 2. przekroczony został czas 10 minut uczenia sieci ( nie zdarzyło się to ani razu ) 3. został osiągnięty maksymalny dopuszczalny błąd sieci ustalony na poziomie 0.0001. 4. po kolejnych 5 epokach mimo dalszego uczenia sieci nie uzyskiwano poprawy generalizacji sieci ( jakości prognoz ). Przy tak dużej sieci gwałtownie wzrosły wymagania co do mocy i pamięci komputera. Pełna analiza zajęła 51 minut. Jednak maksymalny czas jaki mogła ona zająć wynosił 50*10*10/60 = 83.33 godziny10. Należy pamiętać, że tak krótki czas uczenia pojedynczej sieci można ustalić na komputerze wyposażonym w ogromną ilość pamięci. Przy zastosowaniu 64MB, gdy większość operacji jest buforowanych na dysku czas ten należy wydłużyć przynajmniej czterokrotnie. W przeciwnym wypadku SN nie będzie maiła szans na nauczenie się czegokolwiek. Wyniki uzyskane przez najlepszą uzyskaną sieć są jednak gorsze niż poprzednio ( rys.7 ). Zwiększanie liczby neuronów nie dawało żadnej systematycznej poprawy. Sieć o 27 neuronach uzyskała błąd na poziomie 1.4%. Jak widać był to raczej „dobry traf”. Średnia z 10 prób jest tu jedną z najgorszych ze wszystkich uzyskanych. Mimo to zgodność przebiegów WIG’u i jego prognoz była bardzo dobra. Na rysunku 8 widzimy WIG i uzyskane tu prognozy. Prognozowana jest co czwarta sesja od 401 począwszy. 9 J.J.Murphy, „Analiza Techniczna”, WIG-PRES, Wa-wa 1995. Opóźnienia od 1 do 50, każde testowane 10 razy, każdy test maksimum 10 minut. 10 RYS.7 RYS.8 ( Wartość na osi X równa 50 oznacza sesję o numerze 401+50*4 = 601) Widzimy tu typowy fragment prognoz. Wiele z nich jest niemal idealnych ( punkty 27, 34,40,47,49,50). Jednak znajdują się także serie prognoz zupełnie nie udanych ( 28-35 ). Rys. 9 Na rysunku 9 widzimy rozkład procentowych błędów prognoz dla najlepszej uzyskanej w optymalizacji sieci. Widać, że zdecydowana większość błędów zawiera się w przedziale ( –1.5 , 1.5 ) procenta. Jest poniżej 10% błędów przewyższających ± 3%. Linia czerwona pokazuje jak powinny kształtować się liczebności błędów gdyby miały one rozkład Gaussa. Wyniki próby poprawienia wyników przez dodanie drugiej warstwy ukrytej przedstawione są na rysunku 10. W drugiej warstwie ukrytej zastosowano tą samą liczbę neuronów co w warstwie pierwszej. RYS.10 ( 1772 minuty pracy komputera ) Jak widzimy nie udało się uzyskać żadnej poprawy. Minimalny błąd wyniósł 1.43% przy 9 neuronach. Gwałtowny wzrost błędów powyżej 36 neuronów jest spowodowany brakiem pamięci komputera. Gdy sieć zajęła całą dostępną pamięć czas uczenia pojedynczej epoki wzrasta wielokrotnie. Z łatwością przekracza całkowity czas uczenia sieci. W związku z tym sieć nie uczy się „prawie nic” i takie też generuje prognozy. Dane te nie mogą być interpretowane. Podsumowując możemy powiedzieć, że sieć oparta na wskaźnikach technicznych11 nie dała znaczącej poprawy w prognozowaniu WIG’u w stosunku do sieci uwzględniającej jedynie własne opóźnienia WIG. 11 W tym ujęciu. Można oczywiście użyć innych wskaźników. Można także użyć tych samych ale ze zoptymalizowanymi parametrami. Można zwiększyć liczbę opóźnień uwzględnionych w analizie. Nie jest to w żadnym razie dyskwalifikacja AT. SYSTEM INWESTYCYJNY Zestawy prognoz krótko i średnio terminowych prezentowane powyżej pozwalają zbudować wiele mechanicznych systemów inwestycyjnych. Najprostszym rozwiązaniem byłoby potraktowanie tych prognoz jako oscylatorów. Prognozy krótkoterminowe jako oscylator wolny a średnioterminowe jako szybki. Ta nie intuicyjna kolejność spowodowana jest tym ,że przeciwnie niż przy innych wskaźnikach oba te oscylatory są równie wrażliwe. Prognoza na 5 sesji naprzód będzie zawsze „szybsza” niż na jedną sesję. Tak więc, jeżeli linia prognoz średnioterminowych przetnie z dołu krótkoterminową o zadaną liczbę punktów będzie to sygnał kupna. Jeżeli przecięcie nastąpi z góry będzie to sygnał sprzedaży. Aby wykluczyć przypadkowe słabe sygnały należy ustalić wartość progową kiedy sygnał uważamy za ważny. Wysokość progu jest sprawą indywidualną i będzie ustalana arbitralnie. Dla przykładu inwestując w WIG na przestrzeni roku począwszy od sesji 1301 ustalając wartości prognoz optymalnymi sieciami uzyskanymi w powyższej analizie, przyjmując wartość progową mocy sygnału na 150 punktów uzyskano następujące sygnały : Tab.1 PROCENT NR ZYSKU TRANSAKCJI NR SESJI NR SESJI PROCENT KUPNA SPRZEDARZY ZYSKU SKUMULOWANY 1 1323 1336 -2.22 -2.22 2 1342 1345 0.94 -1.28 3 1349 1357 3.19 1.91 4 -14.05 1358 1375 -12.14 5 1377 1380 1.63 -10.51 6 1389 1391 1.22 -9.30 7 1400 1401 -0.09 -9.38 8 1410 1411 -2.89 -12.27 9 1413 1416 1.54 -10.73 10 1418 1421 2.61 -8.13 11 1428 1458 4.11 -4.02 12 1461 1463 -3.96 -7.98 13 18.45 1470 1480 10.48 14 1481 1487 -1.87 8.61 15 1494 1508 -3.35 5.26 16 1509 1511 -0.06 5.20 17 1513 1521 3.75 8.96 18 1525 1541 5.36 14.31 19 11.50 1542 1586 25.82 20 1587 1600 4.94 30.75 21 1617 1625 -1.44 29.32 22 1627 1630 2.45 31.77 23 32.57 1636 1645 0.80 W analizowanym okresie przy powyższych założeniach uzyskaliśmy 23 sygnały. Można było uzyskać 32.57% zysku. Zdecydowana większość transakcji dawała małe zyski a czasem straty. Trzy transakcje były wysokie w tym dwie „udane”. Wyliczenia powyższe nie uwzględniają prowizji maklerskich. Kilka „małych udanych” transakcji w rzeczywistości byłoby „nieudanych”. Rzeczywista efektywność brutto byłaby oczywiście nieco niższa niż 30%. Ocena tego wyniku to już indywidualna sprawa każdego inwestora. Niewątpliwie jest to znacznie lepszy wynik niż obligacje państwowe czy lokaty bankowe. Z pewnością da się jednak znaleźć efektywniejsze strategie. WNIOSKI Przedstawiliśmy wyniki prostych badań nad zdolnościami sieci neuronowych w prognozowaniu indeksu WIG. Dostarczają one dość obiecujących informacji. Udało się zbudować prognozy kierunku zmian WIG’u o ponad 80% skuteczności w krótkim i średnim horyzoncie. Prognozy wartości indeksu również są zadowalające. Oczywiście należy sobie zdawać sprawę, że pokazane tu ujęcie jest tylko jednym z bardzo wielu możliwych. Wyniki te nie są ostateczne a mają jedynie zachęcić do samodzielnych badań. Istnieje wiele innych typów sieci, które należało by przetestować. Powinno się optymalizować również inne parametry sieci niż tylko liczbę neuronów w warstwach ukrytych. Należało by zoptymalizować wartości współczynników technicznych analizowanych w ostatnim przykładzie, sprawdzić wpływ informacji fundamentalnych na możliwości prognostyczne. Można by zbudować sieć „rozpoznającą” formacje techniczne – do wspomagania prognoz długoterminowych. Dróg poprawy prezentowanych wyników jest wiele… Więcej informacji technicznych i merytorycznych dotyczących powyższego artykułu można znaleźć na stronie internetowej: http://www.bg.univ.gda.pl/~Najman/sn/sn.htm Zamieszczamy tam także podstawowe informacje o programowaniu w MATLAB’ie a także kody źródłowe większości analiz prezentowanych w artykule.
