Sztuczne sieci neuronowe

Sztuczne sieci neuronowe
Bartłomiej Goral ETI 9.1
INTELIGENCJA
• Inteligencja naturalna i sztuczna.
• Czy istnieje potrzeba poznania inteligencji
naturalnej przed przystąpieniem do projektowania
ukłładów sztucznej inteligencji ?
• Cechy naturalnej inteligencji.
1
INTELIGENCJA
• Inteligencja jako cecha indywidualna jest zmienna
w dłługich cyklach (kilka lat). Emocje zmieniają
ą się
w ciągu godzin lub minut, nastroje w ciągu dni lub
godzin.
• Definicje inteligencji naturalnej
• Sir Francis Galton (1883) – inteligencja: energia
działania i wraŜliwość umysłowa.
• Alfred Binet (1905) – kluczowa zdolność
intelektualna – umiejętność dokonywania sądów –
zdrowy rozsądek. Myślenie inteligentne –
ukierunkowanie, przystosowanie i kontrola.
INTELIGENCJA
• Inteligencja – przystosowanie się do nowych okoliczności i
zadań.
• Zdolności poznawcze: nabywanie doświadczenia,
wnioskowanie o relacjach i wnioskowanie o
współzaleŜnościach.
• Nabywanie doświadczenia dotyczy sfery: poznawczej,
emocjonalnej i motywacyjnej.
• Wnioskowanie o relacjach: dostrzeganie abstrakcyjnych
zaleŜności między obiektami lub/i sytuacjami.
• Wnioskowanie indukcyjne.
• Wnioskowanie o współzaleŜnościach: wprowadzenie reguł
następstwa zdarzeń i współwystępowania.
2
INTELIGENCJA
• „Inteligencja jest bardzo ogólną zdolnością umysłłową
obejmującą umiejętność rozumowania, planowania,
rozwiązywania zagadnień, abstrakcyjnego myślenia,
rozumienia złoŜonych zagadnień, szybkiego uczenia się
i uczenia się w oparciu włłasne doświadczenia”
Gottfredson (1997)
• Z tej definicji wynika, Ŝe inteligencję moŜna podzielić
na dwie podstawowe zdolności: umiejętność radzenia
sobie w złoŜonych sytuacjach i w nowych sytuacjach.
SZTUCZNA INTELIGENCJA
• Czy moŜna utworzyć sztuczną świadomość lub zdrowy
rozsądek?
• Czy moŜna stworzyć sztuczną inteligencję ogólną ?
• Zwolennicy słabej sztucznej inteligencji dają odpowiedź
przeczącą twierdząc, Ŝe ludzie istnieją w wyniku pewnego
zbiegu okoliczności, którego sztucznie nie moŜna
odtworzyć.
• Zwolennicy silnej sztucznej inteligencji (computational
theory of mind) twierdzą, Ŝe w przyszłości będzie
moŜliwe utworzenie sztucznej inteligencji posiadającej
wszystkie cechy inteligencji naturalnej.
Pozostaje pytanie co do celowoś
celowości i etycznoś
etyczności takiego
dział
działania.
3
Sieć neuronowa ?
Czym jest sieć neuronowa:
• Sieć komórek neuronowych Ŝyjącego organizmu
• System równoległego przetwarzania informacji zawierający
elementy przetwarzające (zwane neuronami) mające lokalną
pamięć i zdolne do lokalnego przetwarzania sygnałów wejściowych.
Elementy te są ze sobą połączone jednokierunkowymi kanałami
przesyłania sygnałów.
• KaŜdy neuron generuje jeden sygnał wyjściowy, który jest
równolegle propagowany do dowolnej liczby innych elementów
sieci.
• Proces przetwarzania sygnałów wejściowych w elemencie moŜe
być zdefiniowany w dowolny sposób jednak musi być całkowicie
lokalny. Znaczy to, Ŝe wynik działania neuronu zaleŜy tylko od
sygnałów wejściowych i lokalnej pamięci elementu.
• Najlepsze rozwiązanie problemu jeśli nie jest znane jego rzeczywiste
rzeczywiste
dokładne rozwiązanie.
Zastosowania sieci neuronowych
• Podstawowe kategorie zastosowań sztucznych
sieci neuronowych:
•
•
•
•
•
•
aproksymacja i interpolacja,
rozpoznawanie i klasyfikacja,
kompresja,
predykcja,
identyfikacja i sterowanie,
asocjacja.
4
Biologiczne inspiracje
Pierwowzorem i jednocześnie niedościgłym wzorem sztucznych sieci
neuronowych był ludzki mózg.
Objętość
~ 1400 cm3
Powierzchnia ~ 2000 cm2
Masa
~ 1.5 kg
Liczba neuronów
~ 1010
Liczba połączeń
Długość połączeń
Częstotliwość
Liczba operacji
~ 1015
~ 0.01mm do 1m
~ 1-100 Hz
~ 1018/sekundę
Biologiczne inspiracje
Fragment systemu neuronowego
5
Neuron
Dendryt
Akson
Synapsa
Soma
• Neuron jest specjalizowaną komórką, która
pobudzana przez jedno lub wiele wejść wytwarza
sygnał wyjściowy przesyłany do innych neuronów.
• Sygnał wyjściowy zaleŜy od natęŜenia kaŜdego sygnału
wejściowego i od natury połączenia na wejściu
(synapsy). Niektóre synapsy mogą mieć zdolność
pobudzania, inne mogą być hamujące. Rzeczywisty
związek między wejściami a wyjściem moŜe być
bardzo złoŜony.
Neuron
Dendryt
Akson
Synapsa
Soma
• KaŜdy neuron posiada ciało zwane somą, wewnątrz którego
znajduje się jądro.
• Z neuronu wyrastają liczne wypustki, pełniące istotną rolę w
komunikowaniu się z innymi komórkami.
• MoŜna wyróŜnić dwa rodzaje połączeń:
• liczne, cienkie i gęsto rozkrzewione dendryty
• grubszy, rozwidlający się na końcu akson
6
Neuron
• Sygnały wejściowe doprowadzone są do komórki za
pośrednictwem synaps, zaś sygnał wyjściowy odprowadzany
jest za pomocą aksonu i jego licznych odgałęzień (kolateral).
• Kolaterale docierają do somy i dendrytów innych neuronów,
tworząc kolejne synapsy.
• Transmisja sygnałów wewnątrz systemu nerwowego jest
procesem chemiczno-elektrycznym.
• Przekazywanie impulsu nerwowego od jednej komórki do
drugiej opiera się na wydzielaniu pod wpływem
nadchodzących od synaps bodźców elektrycznych, substancji
chemicznych (neuromediatorów).
• Substancje te oddziałują na błonę komórki, powodując
zmianę jej potencjału elektrycznego.
Neuron
• Poszczególne synapsy róŜnią się wielkością oraz
moŜliwościami gromadzenia neuromediatora w pobliŜu
błony synaptycznej.
• Taki sam impuls docierający do wejścia komórki za
pośrednictwem róŜnych synaps moŜe powodować silniejsze
lub słabsze jej pobudzenie.
• Miarą stopnia pobudzenia komórki jest stopień polaryzacji
jej błony, zaleŜny od sumarycznej ilości neuromediatora
wydzielonego we wszystkich synapsach.
• Wejściom komórki moŜna przypisać współczynniki liczbowe
(wagi) odpowiadające ilości neuromediatora wydzielonego
jednorazowo na poszczególnych synapsach.
7
Neuron
• Wagi synaptyczne są liczbami rzeczywistymi i mogą
przyjmować wartości zarówno dodatnie, jak i ujemne.
• Jedne z nich oddziałują pobudzająco, a drugie hamująco,
powodując utrudnienie pobudzenia komórki przez inne
sygnały.
• Działanie synapsy pobudzającej moŜna zinterpretować
przyjmując dodatnią wartość wagi synaptycznej, a synapsy
hamującej - wartość ujemną.
Neuron
• W wyniku docierania impulsów wejściowych do poszczególnych
synaps i uwolnienia odpowiednich ilości neuromediatora następuje
pobudzenie elektryczne komórki.
• Jeśli zaburzenie równowagi elektrycznej jest niewielkie lub jeśli
bilans pobudzeń i hamowań jest ujemny, to na jej wyjściu nie
pojawia się Ŝadna zmiana (pobudzenie komórki było mniejsze od
progu jej zadziałania).
• Jeśli suma pobudzeń i hamowań przekracza próg uaktywnienia
komórki, to generowany jest impuls nerwowy, przesyłany
aksonem do innych neuronów połączonych z daną komórką.
• Amplituda sygnału jest niezaleŜna od stopnia przekroczenia progu.
• Po wygenerowaniu impulsu następuje proces refrakcji, podwyŜszenie
progu uaktywnienia do wartości nieskończonej i bezpośrednio po
wygenerowaniu impulsu neuron przez pewien czas nie moŜe
wygenerować następnego.
8
Sztuczny neuron
• Podobnie jak w przypadku układu nerwowego,
podstawowym elementem sztucznych sieci
neuronowych są sztuczne neurony.
• Sztuczne neurony są elementami, których
właściwości odpowiadają wybranym
właściwościom rzeczywistych komórek
nerwowych.
Sieci neuronowe - historia
1943
McCulloch
Walter Pits
Model sztucznego neuronu
1957,
1958
Rosenblatt
Wightman
Pierwsza sztuczna sieć neuronowa i pierwszy pracujący
neurokomputer Mark I Perceptron
1960
Widrow
Liniowy sieci neuronowe ADALINE (ADAptive LINEar
Element)
1969
Minsky
Papert
Dowodzą Ŝe jednowarstwowe sieci neuronowe nie mogą być
zastosowane do rozwiązania pewnej klasy problemów (XOR)
1974
Werbos
Propozycja nowej metody uczenia - propagacji wstecznej
(Error Back Propagation) moŜliwej do zastosowania w
przypadku uczenia sieci wielowarstwowych
1982,
1984
Hopfield
Propozycja sieci rekursywnych (Feed-back network)
1987
San Diego
Pierwsza otwarta konferencja na temat sieci neuronowych
(IEEE International Conference on Neural Networks), 1700
uczestników
1990
IEEE Transactions on Neural Networks
9
Sieci neuronowe - historia
MARK I
Sieci neuronowe - historia
MARK I
10
Sieci neuronowe - historia
MARK I
Rodzaje sieci neuronowych
10
Sztuczne sieci
neuronowe
Sieci jednokierunkowe
Feed-Forward
Liniowe
Linear
Nieliniowe
Nonlinear
Uczone pod
nadzorem
Supervised
Sieci rekurencyjne
Feed-back
Sieć
Hopfielda
Uczone bez
nadzoru
Unsupervised
Sieci samoorganizujące się
Self Organizing
Sieć
Boltzmana
• Połączone ze sobą wzajemnie neurony
tworzą układ określany terminem
sztuczna sieć neuronowa.
• W zaleŜności od połączenia i sposobu
organizacji neuronów oraz metody
uczenia rozróŜniamy róŜne typy sieci.
11
Sieci neuronowe - proces uczenia
• Algorytm uczenia sieci neuronowej (ang. learning rule,
training algorithm) - algorytm doboru wartości wag (ang.
weights) i polaryzacji (ang. biases). Celem procesu uczenia
jest spowodowanie aby sieć realizowała określone zadania.
• WyróŜniamy dwie podstawowe strategie uczenia:
• Uczenie pod nadzorem (ang. supervised learning)
• Uczenie bez nadzoru (ang. unsupervised learning)
• W trybie uczenia pod nadzorem dany jest zbiór danych
uczących (ang. training set):
{ x1, d1 }, { x2, d2 }, . . . ,{ xM, dM }
gdzie: xi - wektor sygnałów wejściowych (ang. inputs)
di - odpowiadający im wektor zadanych sygnałów
wyjściowych (ang. targets, destination)
Liniowa sieć neuronowa - Madaline
• Z pojedynczych elementów Adaline moŜna zbudować sieć
nazywaną Madaline.
• Działanie tej sieci polega najczęściej na tym, Ŝe pojawienie się
określonego wektora wejściowego x powoduje powstanie
sygnałów wyjściowych yi na wszystkich neuronach.
• Maksymalny sygnał wyjściowy pojawia się na tym neuronie,
którego wektor wag jest najbardziej podobny do wektora
wejściowego.
• Sieć moŜe rozpoznawać S róŜnych klas obiektów.
• O tym do której klasy naleŜy zaliczyć aktualnie prezentowany
wektor, decyduje numer wejścia, na którym pojawia się sygnał
wyjściowy o maksymalnej wartości.
• Neurony dokonujące omówionej tu klasyfikacji nazywane są
Grandmother Cells.
12
Liniowa sieć neuronowa - Madaline
• Sieć Madaline dokonuje liniowego odwzorowania sygnału
x w sygnał y
• Sieć moŜe nauczyć się tylko liniowej zaleŜności między
sygnałami wejściowymi i wyjściowymi.
• NaleŜy pamiętać Ŝe znacząca część przekształceń
stosowanych w teorii przetwarzania sygnałów jest liniowa.
• Przekształcenie sygnału x w sygnał y moŜna traktować
jako filtrację.
• Jeśli zaleŜność jest nieliniowa to sieć dokonuje
aproksymacji
liniowej
minimalizującej
błąd
średniokwadratowy.
Nieliniowe sieci jednokierunkowe
• W zaleŜności od sposobu zorganizowania neuronów sieci mogą być jedno lub
wielowarstwowe.
• Historycznie, jako pierwsze, powstały sieci jednowarstwowe (perceptron)
• Neurony ułoŜone w jednej warstwie praktycznie działają niezaleŜnie od
siebie, ułatwia to proces uczenia ale powoduje równieŜ znaczne ograniczenia
ich przydatności (problem w przypadku nieseparowalności liniowej danych
uczącyh np. funkcja EXOR)
y1
y2
yN
N1
N2
NN
ξ
x1
x2
x3
x4
xR
13
Sieci wielowarstwowe
• Ograniczenia
sieci
jednowarstwowych
skłoniły
do
konstrukcji sieci wielowarstwowej.
• Problemem był jednak przez długi czas brak efektywnego
algorytmu uczenia neuronów znajdujących się w warstwach
ukrytych.
• Rozwiązaniem było zaproponowanie przez Werbos-a w 1970
roku algorytmu wstecznej propagacji (back propagation).
• Algorytm ten zyskał szeroką popularność dopiero w latach
osiemdziesiątych XX wieku.
• Algorytm back propagation jest rozszerzeniem wcześniej
omówionego algorytmu delta rule.
• Dla zilustrowania algorytmu wstecznej propagacji
rozpatrzymy sieć wielowarstwową składającą się z P warstw
Sieci wielowarstwowe
y1
yN
1P
NP
Warstwa wyjściowa (P)
1P-1
NP-1
Warstwa ukryta (P-1)
ξi
p
Warstwa ukryta (p)
ip
11
N1
Warstwa ukryta (1)
Warstwa (0)
zawierająca R wejść
x1
xR
14
Uczenie sieci wielowarstwowej
1. FAZA INICJALIZACJI: Nadaj początkowe wartości
wszystkim wagom
2. FAZA PREZENTACJI: Podaj na wejście sieci wektor próbki
uczącej i wyznacz odpowiedź kolejnych warstw aŜ do
uzyskania sygnału warstwy wyjściowej
3. FAZA PORÓWNANIA: Wyznacz róŜnicę pomiędzy
aktualnym wektorem sygnałów wyjściowych a wartościami
zadanymi. Oblicz sumę kwadratów błędów - kryterium Q.
Zakończ proces jeśli wartość Q obliczona dla wszystkich
próbek uczących jest mniejsza od zadanego błędu lub została
osiągnięta maksymalna liczba iteracji.
4. FAZA PROPAGACJI WSTECZNEJ: Oblicz wektor δ dla
warstwy wyjściowej i dokonaj jego wstecznej propagacji do
wcześniejszych warstw.
5. FAZA UCZENIA: Wyznacz nowe wagi i kontynuuj proces od
kroku 2.
Właściwości sieci
jedno- i wielo- warstwowej
Liczba
warstw
1 warstwa
Typ obszaru decyzyjnego
EXOR
A
B
B
A
A
B
B
A
A
B
B
A
Półprzestrzeń ograniczonaHiperpłaszczyzną
Przykład
B
A
2 warstwy
Obszry wypukłe jednospójne (simpleksy)
B
A
3 warstwy
Dowolnie złoŜone obszary (niewypukłe,
Niejednospójne)
B
A
15
Sieci wielowarstwowe modelowanie w Matlabie
x1
0
0
1
1
x2
0
1
0
1
d
0
1
1
0
X = [ 0 0 1 1; ...
0 1 0 1]; % Zmienna z wektorami wejściowymi
D =[ 0 1 1 0]; % Zmienna z wartościami wyjściowymi
clear net % usunięcie starej definicji sieci
% Tworzenie sieci z dwoma wejściami, Sieć zawiera 3 neurony w warstwie ukrytej i
% 1 neuron w warstwie wyjściowej, funkcje aktywacji sigmoidalne, uczenie metodą trainlm
net = newff( minmax(X), [3,1], {'logsig', 'logsig'}, 'trainlm‘ );
net = init(net); % inicjalizacja wag i polaryzacji domyślnymi funkcjami
% definiowanie parametrów uczenia
net.trainParam.epochs = 1200;
net.trainParam.goal = 1e-8;
net = train(net, X, D); % uczenie sieci
% Oblicz odpowiedź sieci na
% dane zawarte w wektorze X
Y = sim(net, X);
% Odczytaj wartości wag i polaryzacji
Sieci wielowarstwowe - modelowanie w Matlabie
net = newff( minmax(X), [2,1], {'logsig', 'logsig'}, 'trainlm‘ );
16
Sieci wielowarstwowe - modelowanie w Matlabie
net = newff( minmax(X), [2,1], {'logsig', 'logsig'}, 'trainlm‘ );
net = newff( minmax(X), [2,1], {'logsig', ‘purelin'}, 'trainlm‘ );
Sieci wielowarstwowe - modelowanie w Matlabie
net = newff( minmax(X), [2,1], {'logsig', 'logsig'}, 'trainlm‘ );
net = newff( minmax(X), [2,1], {'logsig', ‘purelin'}, 'trainlm‘ );
17
Sieci wielowarstwowe - modelowanie w Matlabie
net = newff( minmax(X), [2,1], {'logsig', 'logsig'}, 'trainlm‘ );
net = newff( minmax(X), [5,1], {'logsig', 'logsig'}, 'trainlm‘ );
Optymalizacja
•Problem optymalizacji wyraŜany jako problem
poszukiwania ekstremum jest podejmowany od
wielu wieków.
•Zastosowanie komputerów pozwoliło na uŜycie
metod optymalizacji do rozwiązania zagadnień
praktycznych.
18