Sztuczne sieci neuronowe

Sztuczne sieci neuronowe
Wprowadzenie
Grzegorz Sztorc
ETI 9.1
25.01.2007
Przepływ informacji w systemie nerwowym
Centralny
system
nerwowy
wewnętrzne
sprzęŜenie
zwrotne
Receptory
Efektory
Narządy
sensoryczne
Narządy
motoryczne
zewnętrzne sprzęŜenie zwrotne
1
Czym jest sztuczna sieć neuronowa?
• to system symulujący pracę
ludzkiego mózgu
• uproszczony model
biologicznego systemu
nerwowego
• posiada zdolność kojarzenia,
rozpoznawania,
przewidywania i sterowania
Mózg
Składa się z komórek nerwowych zwanych neuronami
2
Budowa i działanie mózgu
• Objętość: 1400 cm3
• Powierzchnia: 2000 cm2
• Liczba neuronów: ok.100 miliardów (1011)
• Liczba połączeń między komórkami: 1015
przy przeciętnym dystansie od 0.01 mm do 1 m
• Komórki nerwowe wysyłają i przyjmują impulsy o:
częstotliwości:
1-100 Hz
czasie trwania:
1-2 ms
1-100 m/s
szybkości propagacji:
• Szybkość pracy mózgu:
1018 operacji/s
Fragment systemu neuronowego
Neuron to:
• komórka nerwowa
• podstawowy składnik sieci neuronowej
3
Budowa i funkcjonowanie neuronu
biologicznego
Szczegółowy model sztucznego neuronu
Wejścia
•
•
•
•
•
Wagi
Blok sumujący
Blok aktywacji
Wyjście
WEJŚCIA to dendryty
WAGI to cyfrowe modyfikacje sygnałów przez synapsy
BLOK SUMUJĄCY to jądro
BLOK AKTYWACJI to wzgórek aksonu
WYJŚCIE to akson
4
Model neuronu w terminologii
informatycznej
Sygnały
wejściowe
(synapsy)
PRZETWORNIK
(ciało komórki)
Sygnały
wyjściowe
(akson)
• Mózg – równoległy system złoŜony z około 1011 procesorów
• KaŜdy procesor ma bardzo prosty program i oblicza waŜoną
sumę danych wejściowych pochodzących od innych
procesorów, zwraca jedną liczbę będącą funkcją tej sumy.
• Liczba ta przesyłana jest do innych procesorów i przez nie
przetwarzana w podobny sposób (np. z róŜnymi funkcjami)
• DuŜa gęstość połączeń oznacza, Ŝe błędy niewielkiej liczby
składników będą prawdopodobnie mało znaczące.
Historia
• 1943 – model sztucznego neuronu McCullocha
i Waltera Pittsa
• 1958 – pierwsza sztuczna sieć neuronowa
i pierwszy neurokomputer Mark I Perceptron
• 1960 – Liniowe sieci neuronowe Adaline
• 1969 – Minsky i Papert dowodzą na temat
problemów sieci jednowarstwowych
• 1974 – nowa metoda uczenia się – propagacji
wstecznej Werbos’a
• 1987 – San Diego, pierwsze konferencja na temat
sieci neuronowych
5
Model neuronu McCullocha-Pittsa (1943)
• dyskretne chwile czasu
• budowa dowolnie skomplikowanego urządzenia cyfrowego
Pierwszy neurokomputer Mark I (1958)
6
Rodzaje neuronów i sieci
Neurony liniowe
Neurony nieliniowe:
• dyskretne (formalne)
• ciągłe
Sieci jednokierunkowe:
• jednowarstwowe
i wielowarstwowe
Sieci rekurencyjne
• jednowarstwowe
i wielowarstwowe
Sieć jednokierunkowa jednowarstwowa
Warstwa
wejściowa
Warstwa
wyjściowa
7
Sieć jednokierunkowa wielowarstwowa
Warstwa
wejściowa
Warstwy
ukryte
Warstwa
wyjściowa
Sieć rekurencyjna jednowarstwowa
sieć z jedną warstwą
neuronów (wyjściową)
sygnały wyjściowe neuronów
tworzą jednocześnie wektor
wejściowy dla następnego
cyklu
brak spręŜenia zwrotnego
8
Sieć rekurencyjna dwuwarstwowa
neurony 1…M stanowią
warstwę wyjściową sieci
neurony 1…K stanowią
warstwę ukrytą sieci
wektor wejściowy:
sygnały wejściowe (x),
sygnały wyjściowe warstwy
ukrytej i wyjściowej
Uczenie z nauczycielem (nadzorowane)
Nauczyciel podaje:
wzorcowe obiekty na wejściu
oczekiwane wartości na wyjściu
Sieć:
uczy się wzorców „na pamięć”
nabywa zdolność uogólniania wiedzy
(rozpoznawanie podobnych obiektów)
zmienia wartości wag w celu dopasowania
swojego działania do wzorców (nauczonych wyników)
9
Uczenie bez nauczyciela (bez nadzoru)
brak wzorcowych wag
(sieć generuje je losowo)
sieć odbiera sygnał wejściowy
i na jego podstawie wyznacza
swoje wyjście
sieć ocenia wartość na wyjściu
kaŜdego neuronu warstwy wyjściowej
wagi poszczególnych neuronów zmieniane są
zgodnie z określonymi w danej metodzie zasadami
Zalety i wady sztucznych sieci neuronowych
Zalety:
nie wymagają programowania
są odporne na uszkodzenia
zdolność do uogólniania (uczenia się)
Wady:
są mało precyzyjne
brak „rozumowania” wieloetapowego
10
KONIEC
11