Arithmetic - Ohio University

Inteligentne Systemy
Autonomiczne
Przetwarzanie informacji
przez mózgi
W oparciu o wykład
Prof. Randall O'Reilly
University of Colorado oraz
Prof. Włodzisława Ducha
Uniwersytet Mikołaja Kopernika
1
EE141
Janusz
A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie
Podstawowe mechanizmy
Mikroorganizacja: podstawowe zasady, podobne w całym mózgu.
Makroorganizacja: zróżnicowanie i oddziaływania różnych obszarów.
Na poziomie mikro w modelu Laebra mamy 6 zasad:
2
EE141
Zasady
 Mózg nie jest uniwersalnym komputerem.
 Neurony dopasowały się ewolucyjnie do wykrywania specyficznych
własności analizowanych sygnałów.
 Kompromis pomiędzy specyficznością i wbudowanymi oczekiwaniami
a ogólnością i uniwersalnością.
 Kompromis pomiędzy szybkością hipokampusa reprezentującego
sekwencje czasowe a powolnością kory integrująca wiele wydarzeń
 Kompromis pomiędzy aktywną pamięcią i kontrolą rozumienia
Jak z neuronów zbudować wszystkie potrzebne elementy, specyficzne i
uniwersalne?
Dynamiczne zasady na poziomie makro:
 Spełnianie ograniczeń, w tym wewnętrznych, wiedzy a priori.
 Wzmacnianie kontrastów, atraktory, aktywna pamięć.
 Mechanizmy uwagi, konkurencja wzajemnie się hamująca.
3
EE141
Makropoziom
Warstwy neuronów-detektorów wzmacniających/osłabiających różnice.
 Hierarchiczne sekwencje transformacji.
 Specjalne transformacje dla różnych sygnałów.
 Wyspecjalizowane ścieżki przesyłania informacji.
 Interakcje wewnątrz ścieżek.
 Przetwarzanie i pamięć wbudowane w ten sam hardware
 Obszary skojarzeniowe na wyższym poziomie.
 Rozproszone reprezentacje na dużych obszarach.
Silne sprzężenia między obszarami powodują, że to tylko przybliżone
4
rozróżnienia, niezmienniczość reprezentacji, specjalizacja i hierarchia.
EE141
Hierarchia i specjalizacja
Procesy umysłowe: wynik hierarchicznej i wyspecjalizowanej
transformacji sygnałów zmysłowych, stanów wewnętrznych (kategorii)
i podejmowanych działań.
Warstwy neuronów-detektorów przetwarzają dochodzące do nich
od receptorów sygnały wzmacniając/osłabiając różnice.
Powstające stany wewnętrzne dostarczają interpretacji stanów
środowiska - hierarchiczne przetwarzanie konieczne jest do osiągnięcia
niezmienniczości reprezentacji, pomimo zmiennych sygnałów, np.
słuchowego (fonemy), czy wzrokowego (kolor, obiekty).
Transformacje i wyspecjalizowane strumienie przetwarzania informacji
pobudzają wewnętrzne reprezentacje kategorii i dostarczają danych do
podejmowania działań, np. reakcji ruchowych. Jednocześnie
przetwarzane informacje modyfikują sposób przetwarzania.
5
EE141
Rozproszenie i interakcja
Specjalizacja zwiększa sprawność działania, ale oddziaływania
pomiędzy strumieniami są niezbędne do koordynacji, zdobywania
dodatkowych stabilnych informacji na różnym poziomie, np. orientacja
przestrzenna i rozpoznawanie obiektów.
Na wyższym poziomie mamy heterogeniczne obszary kojarzeniowe.
Wiedza związana z rozpoznaniem
np. czytanego słów rozproszona
jest w całym mózgu, tworząc
system pamięci semantycznej.
Na mikro i makro-poziomie jest
podobnie: interpretacja całości
jest wynikiem rozproszonej
aktywności wielu elementów.
Wiedza = Przetwarzanie,
program ~ dane.
EE141
6
Zasady dynamiczne
Dobrze znane pobudzenia wywołują natychmiastową reakcję.
Nowe mogą wymagać iteracyjnego szukania najlepszego kompromisu
spełniającego ograniczenia wynikające z posiadanej wiedzy =
możliwych do osiągnięcia stanów dynamicznych mózgu.
Istnieje wiele lokalnych, alternatywnych lub sub-optymalnych, rozwiązań
=> kontekst lokalny (wewnętrzny) zmienia interpretację.
Napadł na bank.
Time flies like an arrow
Rozbił bank.
Fruit flies like a banana
Pamięć trwała jest wynikiem uczenia, jest to pamięć synaptyczna.
Pamięć aktywna (dynamiczna) jest wynikiem chwilowych wzajemnych
pobudzeń aktywnych obszarów; jest krótkotrwała bo neurony się
męczą i angażują w wiele procesów; bezpośrednio wpływa na procesy
zachodzące w innych obszarach mózgu.
Taki mechanizm powoduje niepowtarzalność przeżyć = interpretacji
wewnętrznych, stany kontekstowe są zawsze trochę odmienne.
7
Uwaga
(skupienie)
jest
wynikiem
oddziaływań
hamujących.
EE141
Ogólne funkcje kory
Obszary Brodmana
w korze
Cztery platy kory
i ich funkcje
Nazewnictwo różnych części w zależności od ich lokalizacji
Podsumowanie f. kory
EE141
http://www.is.umk.pl/~duch/Wyklady/Mozg/09-4-funkcje-kory.htm
8
Ogólne funkcje kory
Widoczne płaty półkuli
mózgu :
płat czołowy
płat potyliczny
płat ciemieniowy
płat skroniowy
Płat czołowy odpowiada za: planowanie myślenie pamięć, wolę
działania i podejmowanie decyzji ocenę emocji i sytuacji, pamięć
wyuczonych działań ruchowych, np. taniec, nawyki, specyficzne
schematy zachowań, wyrazy twarzy przewidywanie konsekwencji
działań konformizm społeczny, takt uczucia błogostanu (układ
nagrody), frustracji, lęku i napięcia.
Płat potyliczny odpowiada za: widzenie, analizę koloru, ruchu, kształtu
9
głębi,
skojarzenia
wzrokowe
EE141
Ogólne funkcje kory
płat ciemieniowy
płat skroniowy
Płat ciemieniowy odpowiada za: orientację przestrzenną
rozpoznawanie ruchu, czucie temperatury, dotyku, bólu, umiejscowienie
wrażeń czuciowych, integrację ruchu czucia i wzroku
rozumienie pojęć abstrakcyjnych.
Płat skroniowy odpowiada za: mowę, pamięć werbalną, rozpoznawanie
obiektów, słuch i wrażenia dźwiękowe, analizę zapachów.
10
EE141
Obszary podkorowe
Pień mózgu (brain stem):
jądra szwu – serotonina,
twór siatkowaty: ogólna
przytomność.
Śródmózgowie
(mesencephalon): część
nakrywki (VTA) – dopamina,
wartość
obserwacji/działania.
Wzgórze (thalamus): wejścia sygnałów zmysłowych, uwaga
Móżdżek (cerebellum): uczenie się ruchu, sekwencje czasowe ruchu.
11
EE141
Obszary podkorowe
Basal ganglia (striatum, globus
pallidus, substantia nigra)
Basal ganglia inicjuje czynności
motoryczne a jej cześć
substantia nigra odpowiada za
kontrole uczenia
 Ciało migdałowate: emocje, skojarzenia afektywne.
 Jądra podstawy: sekwencje, antycypacja, kontrola
ruchu, modulacja aktywności kory przedczołowej,
wybór i inicjacja nowej aktywności.
 Hipokamp: szybkie uczenie, pamięć epizodyczna i
przestrzenna.
12
EE141
3 podstawowe obszary architektury mózgu
Posterior cortex PC – tylna kora
ciemniowa i kora ruchowa; działania
sensomotoryczne, specjalizacja,
rozproszenie reprezentacji
Frontal cortex FC – kora
przedczołowa, wyższe czynności
poznawcze, izolowane reprezentacji
Hipokamp HC – formacja
hipokampa i okolice, pamięć,
szybkie uczenie, rzadkie reprez.
Uczenie musi być powolne by uchwycić statystycznie istotne zależności,
precyzyjnie analizować dane ze zmysłów i kontrolować ruch, ale
potrzebny jest też mechanizm szybkiego uczenia.
Kompromis: wolne uczenie korowe i szybkie w hipokampie.
Utrzymywanie aktywnej informacji i jednocześnie przyjmowanie nowej w
rozproszonym systemie, unikanie interferencji.
13
EE141
Wolne/szybkie uczenie
Neuron uczy się prawdopodob.
warunkowego, korelacji
pomiędzy pożądaną
aktywnością a sygnałami
wejściowymi; optymalna wartość
0.7 osiągana jest szybko tylko
przy małej stałej uczenia 0.005
 Każde przeżycie to mały fragment niepewnej potencjalnie przydatnej
wiedzy o świecie => stabilność obrazu świata wymaga powolnego
uczenia, integracja prowadzi do zapominania indywidualnych zdarzeń.
 Istotne nowe informacje uczymy się po jednokrotnej ekspozycji.
 Lezje formacji hipokampa wywołują amnezję następczą.
 System neuromodulacji osiąga kompromis stabilności/plastyczności.
14
EE141
Aktywna pamięć
Rozproszone nakładające się reprezentacje w PC
mogą sprawnie zapisać informacje o świecie, ale ...
zbyt wiele skojarzeń i połączeń zmniejsza możliwości
precyzyjnego odnajdywania informacji, może ją też
zacierać z upływem czasu.
FC – kora przedczołowa, przechowuje izolowane
reprezentacje; większa stabilność pamięci.
Hamowanie => pamięć aktywna musi być wybiórcza, efektem jest
„skupienie uwagi”.
Uwaga nie jest wynikiem działania odrębnych mechanizmów
związanych z wolą, jest procesem emergentnym wynikającym z
konieczności spełnienia wielu ograniczeń jednocześnie.
EE141
15
Architektura poznawcza
Hierarchiczna struktura dla danych zmysłowych, rekurencja w FC,
16
zapisywanie
kontekstu.
EE141
Działanie
Kora ciemniowa: uczy się powoli, tworzy rozległe, nakładające się
reprezentacje w gęsto połączonej sieci.
Dynamiczne stany PC to pamięć krótkotrwała, głównie relacji
przestrzennych, szybko ulegająca zaburzeniu i dezintegracji.
Kora czołowa: uczy się powoli, przechowuje izolowane reprezentacje,
aktywizacja pamięci jest stabilniejsza, mechanizm nagrody przełącza
dynamicznie jej aktywność, pozwalając dłużej aktywnie pamiętać.
Hipokamp zapamiętuje szybko tworząc rzadkie reprezentacje,
odróżniając nawet podobne do siebie zdarzenia.
Taka uproszczona architektura pozwoli na modelownie wielu zjawisk
dotyczących percepcji, pamięci, używania języka, efektów
17
oddziaływania różnych obszarów.
EE141
Działania kontrolowane/automatyczne
Automatyczne: rutynowe, proste, niskiego poziomu, sensor-motoryczne,
odruchy warunkowe, skojarzenia – łatwe do modelowania przez sieci.
Kontrolowane: świadome, elastyczne, wymagające sekwencji działań,
wyboru elementów z dużego zbioru możliwości – zwykle realizowana w
opisowy sposób za pomocą systemów regułowych, symbolicznych.
Modele postulujące centralne procesy: jak w komputerze, pamięć
robocza z centralnym nadzorcą mająca wpływ na wiele obszarów.
Tu: procesy emergentne, wynik globalnego spełniania ograniczeń, brak
centralnego mechanizmu.
Kora przedczołowa może jednak wywierać wpływ kontrolny na
aktywność innych obszarów, jest więc zaangażowana w działania
kontrolowane, w tym reprezentację „ja” vs. „inni”, relacji społecznych itd.
18
EE141
Inne rozróżnienia - świadomość
 Wiedza deklaratywna vs. proceduralna.
Deklaratywna: często wyrażalna symbolicznie (słowa, gesty).
Proceduralna jest bardziej zorientowana na sekwencje działań.
 Wiedza jawna vs utajona.
Działanie kontrolowane opiera się na wiedzy jawnej i deklaratywnej.
Działania automatyczne odnoszą się do wiedzy utajonej, proceduralnej.
Świadomość => stany istniejące zauważalnie długo, integrujące
informacje zmysłowe o różnych modalnościach, raportowalne, mające
wpływ na inne procesy w mózgu.
 Każdy system, który ma stany wewnętrzne i jest na tyle złożony, by
moc je komentować, będzie twierdził, że jest świadomy.
 Procesy w korze przedczołowej i hipokampie dają się przywołać jako
stan mózgu, epizod, dają się skomentować (skojarzyć z rep. pojęć).
19
EE141
Różne potencjalne problemy
Są rzeczy łatwe, dla których wystarczą proste modele, i rzeczy trudne
wymagające szczegółowych modeli.
Pokutuje dużo nieporozumień: sieci neuronowe MLP nie są modelami
mózgu, są tylko luźno inspirowane przez uproszczone spojrzenie na
aktywność sieci neuronów; właściwy model neuronowy musi mieć
odpowiednia architekturę i reguły uczenia się.
Przykład: katastroficzne zapominanie skojarzeń z list, dużo silniejsze w
sieciach MLP niż u ludzi => prawidłowa architektura, uwzględniająca
dwa rodzaje pamięci (hipokamp + kora) nie ma z tym problemu.
Ludzkie poznanie nie jest doskonałe i dobre modele pozwalają
przeanalizować liczne kompromisy, przed jakimi stoi mózg.
Mózgi są dość elastyczne, chociaż opierają swoje działanie w
większości na reprezentacji specyficznej wiedzy o świecie.
EE141
20
Problem integracji
 Binding problem: świat postrzegamy
całościowo, a informacja w mózgu po
wstępnym przetworzeniu nigdzie się
nie schodzi.
 Prawdopodobnie synchronizacja
rozproszonych procesów.
 Uwaga to mechanizm kontrolny
wybierający obszary, które powinny
być w danym momencie aktywne.
 Kodowanie istotnych kombinacji
aktywnych obszarów.
Jednoczesna aktywność = dynamiczna synchronizacja, częściowe
odtworzenie stanu mózgu w czasie epizodu.
Błędy integracji zdarzają się często.
EE141
21
Wyzwania
 Przerwania: wielopoziomowe przejście od jednej czynności do
drugiej i powrót do wcześniejszej, lub rekurencyjne powtarzanie
kilkukrotnie tej samej czynności.
 Łatwe dla programu komputerowego (pętle, podprogramy), gdy dane
i programy są oddzielone, ale trudniejsze dla sieci, gdzie nie ma
takiego oddzielenia.
 PFC i HCMP pamiętają poprzedni stan i do niego wracają.
 Trudne zadanie, często zapominamy, co chcieliśmy powiedzieć
kiedy kogoś słuchamy, zdania mają niezbyt złożone zagnieżdżenia.
The rat the cat the dog bit chased squeaked.
Szczur goniony przez kota którego pies ugryzł zapiszczał.
Jak i co uogólnić? Rozproszone reprezentacje łączą różne cechy.
Psy gryzą, a nie tylko Burek, nie tylko kundle, nie tylko czarne ...
EE141
22