Arithmetic - Ohio University
advertisement
Inteligentne Systemy Autonomiczne Kognitywistyka W oparciu o wykład Prof. Randall O'Reilly University of Colorado, Prof. Włodzisława Ducha Uniwersytet Mikołaja Kopernika oraz http://wikipedia.org/ http://grey.colorado.edu/CompCogNeuro/index.php/CECN_CU_Boulder_OReilly http://grey.colorado.edu/CompCogNeuro/index.php/Main_Page EE141 Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie 1 Omówiliśmy Pojęcie inteligencji obudowanej (EI) Uwarunkowania EI Zasady projektowania mechanizmów EI W pozostałej części wykładu omówimy EE141 Podstawy kognitywistyki i jej psychologiczne uwarunkowania Modele i mechanizmy inteligencji obliczeniowej Modele pamięci i uczenia Organizacje i budowę mózgu 2 Wymagania Laboratorium do wykładu w oparciu o ćwiczenia programu Emergent do 10% oceny Oceniany przez asystenta Projekt koncowy wykladu w oparciu o “Goal Creation Experiment” Obecność na wykładzie Egzamin końcowy składa się z Części opisowej na ostatnich zajęciach dotyczącej przerobionego na wykładzie materiału Części opisowej dotyczącej ćwiczeń laboratoryjnaych z przygotowana lista pytań na które studenci odpowiadają w samodzielnie sporządzonym raporcie złożonym na ostatnich zajęciach Strona wykładu http://www.ent.ohiou.edu/~starzyk/network/Class/ee690/ISA II/index.htm 3 EE141 Podstawy rozwoju inteligentnych systemów Z ksiązki Rolf Pfeifer “Understanding of Intelligence” Współdziałanie ze złożonym otoczeniem Tania budowa Balans ekologiczny Zasada nadmiarowości Równoległe, luźno połączone procesy Asynchronizm Współdziałanie czujników i przekaźników Zasada wartości EE141 Agent 4 Rysunek Ciarán O’Leary- Dublin Institute of Technology Zasady projektowania autonomicznych systemów inteligentnych Z książki Rolf Pfeifer “Understanding of Intelligence” Zasady Projektowania Podejście syntetyczne Perspektywa czasowa Wyłanianie sie Różnorodność Nisza ekologiczna Projektowanie Agentów Projekt jest tani Ma balans ekologiczny Zasada nadmiarowości Równoległe, luźno powiązane procesy Współdziałanie sensoryczno-motoryczne Zasada wartości działania 5 EE141 Inteligencja Obudowana Definicja Inteligencja Obudowana (EI) jest to mechanizm który uczy sie jak przetrwać w nieprzychylnym otoczeniu – Mechanizm: biologiczny, mechaniczny albo wirtualny agent z wbudowanymi czujnikami i siłownikami – EI oddziaływuje na otoczenie i odczuwa wyniki swojego działania – Nieprzychylność otoczenia nie zanika i stymuluje EI do działania – Nieprzychylność: agresja, ból, ograniczone środki, itp. – EI uczy sie, musi wiec mieć asocjacyjną samoorganizującą sie pamięć – Wiedza jest zdobywana przez EI (pochodna inteligencji) 6 EE141 Obudowa Umysłu Obudowa zawiera połączenia sensoryczne i motoryczne którymi rdzeń inteligencji kontroluje przy współdziałaniu z otoczeniem. Konieczna do rozwoju inteligencji Niekoniecznie stała lub w formie fizycznego ciała. Jej granice są zmienne i wpływają na samookreślenie mózgu. Embodiment Intelligence core Environment 7 EE141 Uczenie Motywowane Definition: Uczenie motywowane (Motivated learning ML) jest oparta o motywacje tworzeniem celow dzialnia i uczeniem sie w obudowanych agentach. Maszyna wytwarza abstrakcyjne cele w oparciu o sygnaly bolu Otrzymuje wewnetrza nagrode za spelnienie celow dzialania (pierwotnych i abstrakcyjnych) ML stosuje sie do EI dzialajavych w nieprzychylnym srodowisku Sygnaly bolu konkuruja z sygnalami percepcji i wewnetrznymi o uwage Wynikim tej konkurencji jest przelaczanie uwagi. Swiadome postrzeganie jest wspomagane przez zwycieski sygnal uwagi EE141 Uczenie ze Wzmocnieniem Jedna funkcja wartosci Uczenie Motywowane Dla wszystkich celow Nagrody sa mierzalne Przewidywalne Cel postawiony przez projektanta Maksymalizacja nagrody Po jednej dla celu Potencjanie niestabilne Wysilek uczenia rosnie ze zlozonoscia problemu Zawsze aktywne EE141 Wiele funkcji wartosci Nagrody sa wewnetrzne Nieprzewidywalne Maszyna okresla wlasne cele Rozwiazuje zadnie minimaksu Zawsze stabilne Uczy sie latwiej niz RL Dziala tylko gdy potrzeba http://www.bradfordvts.co.uk/images/goal.jpg Tworzenie Celow Pierwotnych szlauch napelnij smieci konewka usiadz podlej wanna Bol wtorny Sucha ziemia Wzmacnianie wlasciwej akcji EE141 + Bol Poziom pierwotny wylej Tworzenie Celow Abstrakcyjnych Sciezka czuciowa (postrzeganie, czucie) Celem jest zmniejszenie prymitywnego poziomu bólu Abstrakcyjne cele są wytwarzane w oparciu o niższe cele zaspakajają prymitywne cele Sciezka motoryczna (akcja, reakcja) lodowka Otworz - + Jedzenie hamuje wzbudzone centrum bolu abstrakcyjnego Bol abstrakcyjny (i pamiec bolu) Jedzenie Jesc - Asocjacja Hamowanie Wzmocnienie Pobudzenie Oczekiwanie Poziom II Poziom I + Wtorny bol Bol Poziom pierwotny zoladek 11 EE141 Abstrakcyjna Hierarchia Celow Hierarchia abstrakcyjnych celow Sciezka czuciowa Sciezka motoryczna zbiornik tworzy sie w oparciu o cele pierwotne - Asocjacja Stymulacja Hamowanie Wzmocnienie Pobudzenie Potrzeba Oczekiwanie Sucha ziemia EE141 odkrec Poziom II podlej Poziom I + konewka - Poziom III + kurek - nalej + Poziom pierwotny Cele Pierwotne Competing need signals 0.12 Dirty Thirsty Drought Threshold Need signal level 0.1 0.08 0.06 0.04 0.02 0 0 50 100 150 200 250 300 Iterative step Water Abstract Needs Wash in Water Primitive Needs EE141 Dirty Reservoir Drink Water Irrigate Thirsty Drought Cele Abstrakcyjne Well Public Money Draw own Water Water Abstract Needs Wash in Water Primitive Needs EE141 Spend Money to Buy Dirty Spend Money to Build Reservoir Drink Water Irrigate Thirsty Drought Cele Abstrakcyjne Ground Water Well Building Water Supply Tourists' Attractions Wealthy Taxpayers Dig a Well Well Wash in Water EE141 Spend Money to Buy Water Abstract Needs Dirty Build Water Recreation Public Money Draw own Water Primitive Needs Build Ecotourism Rise Taxes Spend Money to Build Reservoir Drink Water Irrigate Thirsty Drought Cele Abstrakcyjne Management Resource Management and Planning Planning Policy Regulate Use Ground Water Receive Salary Well Building Water Supply Employment Opportunities Develop Infrastructure Tourists' Attractions Wealthy Taxpayers Dig a Well Well Wash in Water EE141 Spend Money to Buy Water Abstract Needs Dirty Build Water Recreation Public Money Draw own Water Primitive Needs Build Ecotourism Rise Taxes Spend Money to Build Reservoir Drink Water Irrigate Thirsty Drought Eksperyment Tworzenia Celow EI Architecture Pain Perceive Goal Creation Competing goals Act Planning INPUT OUTPUT Task Environment Simulation or Real-World System 17 EE141 Eksperyment Tworzenia Celow WTA WTA Mk 1 Pk 10 Sk 1 Gk 1 Pl Bk S P B G M Połączenia pomiędzy neuronami sensorycznymi S, ruchowymi M, torującymi B, bolu P i celow działania G. EE141 18 Eksperyment Tworzenia Celow 1 S2 1 10 P2 wBP2 B2 S1 1 1 G wPP2 wPG 10 B1 UA 10 M2 P1 wBP1 Dopasowanie wag torujących ośrodki bolu 19 EE141 Eksperyment Tworzenia Celow Zadaniem jest napisanie programu realizującego ten eksperyment dla dowolnej ilości wejść i wyjść Zadane w eksperymencie parametry będą użyte do ilustracji konkretnego uczenia Program ma zademonstrować działanie maszyny w zmieniającym sie środowisku W procesie uczenia należy wykorzystać parametry środowiska podane w eksperymencie Maszyna będzie testowana przy nowych parametrach środowiska Pomiar skuteczności działania określony będzie poprzez integracje prymitywnego bolu 20 EE141 (Neuro)kongitywizacja Powoli udaje się nam zrozumieć naturę ludzką. Wszystkie dziedziny ulegają „kognitywizacji”: Neurofilozofia, filozofia umysłu. Psychologia (neuro)kognitywna. Lingwistyka (neuro)kognitywna. Nowe dziedziny: Kognitywna matematyka. Kognitywna fizyka. Kognitywna historia, antropologia, socjologia. Kognitywna ekonomia i neuromarketing. Neuroestetyka. Neuroetyka. Neuroteologia. 21 +Wiele innych dziedzin...bez zrozumienia siebie nie da się rozumieć! EE141 Mózgi ... Najbardziej interesujące i najbardziej złożone obiekty w znanym wszechświecie Jak można zrozumieć działanie mózgu? Na jakim poziomie się do tego zabrać? Zewnętrzny opis niewiele da. Jak można zrozumieć działanie telewizora lub komputera? Eksperymenty nie wystarczą, konieczny jest schemat i zrozumienie zasad działania. Aby się upewnić, że rozumiemy jak działa, trzeba zrobić model. 22 EE141 Skąd coś wiemy? Niezwykle ważne pytanie: skąd coś wiemy? Przykład: cudowna dieta dr K, chińska medycyna ludowa (bardzo popularna w Singapurze) i inne cuda medyczne. Skąd wiemy, że działa? Skąd wiemy, że nasze opinie odpowiadają rzeczywistości? Gall zauważył, że kształt czaszki decyduje o zdolnościach. Tysiące przypadków potwierdziły jego obserwacje. => Kranioskopia: mierzenie kształtu czaszki i określanie zdolności. Oto mapa głównych ośrodków ... Czy naprawdę wiem, czy tylko mi się wydaje? Czy mogę poprzestać na niepewności, czy muszę się zdeklarować? Niepewność pozwala się uczyć, pewność znacznie uczenie utrudnia (widać to na modelach). Jeśli zdajemy sobie sprawę z tego, jak łatwo się samemu oszukiwać, możemy uniknąć fanatyzmu (naukowego i nie tylko). 23 EE141 Jak zrozumieć mózg? Zrozumieć: zredukować do prostszych mechanizmów? Jakich mechanizmów? Analogii z komputerem? RAM, CPU? Logika? To marne analogie. Psychologia: najpierw trzeba opisać zachowanie, poszukuje wyjaśnień najczęściej na poziomie opisowym, ale jak je zrozumieć? Redukcjonizm fizyczny: mechanizmy mózgu. Rekonstrukcjonizm: używając mechanizmy odtworzyć funkcje mózgu Na wiele pytań można odpowiedzieć tylko z perspektywy ekologicznej i ewolucyjnej: dlaczego świat jest taki, jaki jest? Bo taki się zrobił ... Dlaczego kora ma budowę kolumnową i warstwową? Stworzyć: co trzeba wiedzieć by stworzyć sztuczny mózg? EE141 24 Od molekuł poprzez sieci neuronow... 10-10 m, poziom molekularny: kanały jonowe, synapsy, własności błon komórkowych, biofizyka, neurochemia, psychofarmakologia; 10-6 m, pojedyncze neurony: neurochemia, biofizyka, LTP, neurofizjologia, modele neuronów, detektory specyficznej aktywności, wylanianie sie. 10-4 m, małe sieci: synchronizacja aktywności neuronów, rekurencja, neurodynamika, układy wielostabilne, generatory wzorców, pamięc, zachowania chaotyczne, kodowanie neuronowe; neurofizjologia ... 10-3 m, funkcjonalne grupy neuronów: kolumny korowe (104-105), synchronizacja grup, kodowanie populacyjne, mikroobwody, Local Field Potentials, neurodynamika wielkiej skali, pamiec sekwencyjna, neuroanatomia i neurofizjologia. 25 EE141 … do zachowania 10-2 m, sieci mezoskopowe: mapy czuciowo-ruchowe, samoorganizacja, teorie pola średniego, pamiec asocjacyjna, teorie ośrodków ciągłych, EEG, MEG, metody obrazowania PET/fMRI ... 10-1 m, pola transkorowe, obszary funkcjonalne mózgu: uproszczone modele kory, struktury podkorowe, działania sensomotoryczne, integracja funkcji, wyższe czynności psychiczne, pamięć robocza, świadomość; (neuro)psychologia, psychiatria komputerowa ... Zjawiska poznawcze Zasady oddziaływań Mechanizmy neurobiologiczne 26 EE141 Poziomy opisu Podsumowanie (Churchland, Sejnowski 1988) 27 EE141 Poziom systemowy Słowniczek nazw Polsko - Łacińskich części mózgu http://www.kognitywistyka.net/mozg/slowniczek.html 28 oraz innych informacji o budowie i funkcjonowaniu mózgu EE141 … do umysłu Teraz zdarza się cud ... 1 m, CUN, cały mózg i organizm: powstaje świat wewnętrzny, zachowania intencjonalne, działania celowe, myślenie, język, wszystko co bada psychologia behawioralna. Przybliżenia modeli neuronowych: Finite State Automata, reguły zachowania, modele oparte na wiedzy mechanizmów poznawczych w sztucznej inteligencji. Gdzie podziała się psyche, perspektywa wewnętrzna? Lost in translation: sieci => automaty skończone => zachowanie 29 EE141 Źródła wiedzy o mózgu Anatomia mózgu: metody klasyczne, neuroanatomia porównawcza; tomografia komputerowa (CT scan), USG mózgu; Rezonans Magnetyczny (MRI). Metody badania funkcji mózgu: • Obserwacje rezultatów uszkodzeń (wypadki, udary, guzy mózgu, operacje mózgu). • Obserwacje neuropsychologiczne, choroby psychiczne. • Systematyczne uszkodzenia mózgów zwierząt. • Bezpośrednie stymulacje mózgu (TMS, elektrody) i zmysłów, obserwacje reakcji fizjologicznych (introspekcja, GSR, EMG, oczy). • Bezpośrednie obserwacje elektrycznej aktywności kory mózgu: ECoG, optyczne, pomiary wieloelektrodowe. • Obserwacje aktywności dużych grup neuronów EEG, MEG. • Nieinwazyjne metody pośrednie: fMRI, PET, SPECT. 30 EE141 Podejście neurokognitywne Computational cognitive neuroscience: szczegółowe modele funkcji poznawczych i neuronów. Informatyka neurokognitywna: uproszczone modele wyższych czynności poznawczych, myślenia, rozwiązywania problemów, uwagi, języka, kontroli zachowania i świadomości. Wiele spekulacji, ale modele jakościowe wyjaśniające rezultaty eksperymentów psychofizycznych oraz przyczyny chorób psychicznych rozwijają się szybko. Nawet proste mózgo-podobne przetwarzanie informacji daje rezultaty podobne do prawdziwych! Przestroga przed nadmiernym optymizmem opartym na modelach behawioralnych. 31 EE141 Model transformacji Przetwarzanie informacji, pomijane sprzężenia zwrotne: redukcja ilości informacji (kategoryzacja), działania senso-motoryczne. Output weights ~ p(MI|X) 0.7 Myocardial Infarction (atak serca) Input weights Inputs: EE141 -1 65 Sex Age 1 5 3 1 Smoking Pain Elevation Pain 32 Intensity Duration ECG: ST Model samoorganizacji Topograficzne reprezentacje w licznych obszarach mózgu: bodźców czuciowych, w korze ruchowej i móżdżku, wielomodalne mapy orientacji w wzgórkach czworaczych górnych, mapy w układzie wzrokowym i mapy kory słuchowej. o Model (Kohonen 1981): konkurencja między grupami neuronów i lokalna kooperacja. x=dane o=pozycje wag neuronów x o o o o x o o x o xo N-wymiarowa przestrzeń danych o o o Neurony reagują na sygnały dostrajając swoje parametry tak, by bodźce do siebie podobne pobudzaly sąsiednie neurony. wagi wskazują na punkty w N-D siatka neuronów w 2-D 33 EE141 Model dynamiczny Silne sprzężenia zwrotne, neurodynamika. Model Hopfielda: pamięć skojarzeniowa, uczenie w oparciu o regułę Hebba, dynamika synchroniczna, neurony dwustanowe. Wektor potencjałów wejściowych V(0)=Vini , czyli wejście = wyjście. Dynamika (iteracje) sieć Hopfielda osiąga stany stacjonarne, czyli odpowiedzi sieci (wektory aktywacji elementów) na zadane pytanie Vini (autoasocjacja). Jeśli połączenia są symetryczne to taka sieć dąży do stanu stacjonarnego (atraktor punktowy). Vi t 1 sgn I i t 1 sgn t = dyskretny czas. EE141 j WijV34j - j Model biofizyczny – spiking neurons Synapses Soma I syn (t ) Spike EPSP, IPSP Rsyn Csyn Spike Cm Rm “Spiking Neuron Models”, W. Gerstner and W. Kistler Cambridge University Press, 2002 http://icwww.epfl.ch/~gerstner//SPNM/SPNM.html EE141 35 Podstawy molekularne Potencjały akcyjne sa wynikiem prądów które przepływają przez kanały jonowe w błonie komórkowej Hodgkin i Huxley zmierzyli te prądy i opisali ich dynamikę równaniami różniczkowymi -70mV Na+ Potencjał akcyjny K+ Jony/białka EE141 Ca2+ 36 Model Hodgkin-Huxley 100 wewnatrz I Ka mV C gK gNa gl 0 Kanaly jonowe Na Na zewnatrz Pompa jonowa pobudzenie sod I Na potas IK wyciek I leak du C g Na m3h(u - ENa ) g K n 4 (u - EK ) gl (u - El ) I (t ) dt dh dn dm hnm---hn0m ()u ) 0((u 0u) --dt dt dt hn((muu()u) ) EE141 Prawdopodobienstwo ze kanal jest otwarty jest opisane przez dodatkowe zmienne m, n, i h. 37 Model odpowiedzi impulsowej Aktywizacja j t - ti^ i ui Pobudzenie: EPSP t - t f j Pobudzenie: EPSP t - t Aktywizacja: AP t - t ^ i ui t t - t ui t EE141 w t - t ij j Firing: Wszystkie impulsy i neurony Poprzedni impuls i ^ i f j f j liniowy f t t ^ i progowy 38 Model integracji i akywizacji Aktywizacja j i ui I reset Pobudzenie : EPSP d ui -ui RI (t ) dt ui t Fire+reset EE141 liniowy t - t jf progowy 39 Zjawiska psychologiczne Percepcja wzrokowa: oglądając naturalne obrazy należy zrozumieć sposoby kodowania obiektów i scen. Uwaga przestrzenna: uwzględnienie interakcji pomiędzy strumieniami informacji wzrokowej pozwoli symulować skupianie uwagi. Pamięć: modelowanie struktur hipokampa pozwala na zrozumienie różnych aspektów pamięci epizodycznej, a mechanizmy uczenia pokazują jak dochodzi do powstawania pamięci semantycznej. Pamięć robocza: wyjaśnienie zdolności do jednoczesnego utrzymywania w umyśle kilku liczb w czasie obliczen wymaga specyficznych mechanizmów w modelu neuronowym. 40 EE141 Zjawiska psychologiczne Czytanie słów: sieć będzie się uczyć czytania i wymowy słów a następnie uogólniać swoją wiedze na wymowę nowych słów oraz odtwarzać pewne formy dysleksji. Reprezentacje semantyczne: analizując tekst na podstawie kontekstu występowania poszczególnych słów sieć nauczy się semantyki wielu pojęć. Podejmowanie decyzji i wykonywanie zadań: model kory przedczołowej potrafi utrzymywać uwagę na wykonywanych zadaniach pomimo czynników przeszkadzających. Rozwój reprezentacji kory ruchowej i somatosensorycznej: przez uczenie i kontrolowaną samoorganizację; 41 EE141 Zalety modelowych symulacji Modele pomagają zrozumieć zjawiska: umożliwiają nowe inspiracje, wgląd w problem pozwalają na symulację efektów uszkodzeń i zaburzeń (leków, zatruć). pomagają zrozumieć zachowanie, modele można formułować na różnych poziomach złożoności, modele zjawisk zachodzących w ciągły sposób (np ruchu czy percepcji), modele umożliwiają szczegółową kontrolę warunków eksperymentu i dokładną analizę wyników Modele wymagają dokładnej specyfikacji, unaocznienia założeń pozwalają na nowe przewidywania dokonują dekonstrukcji koncepcji psychologicznych (pamięć robocza?) pozwalają zrozumieć złożoność problemu pozwalają na uproszczenia umożliwiając analize złożonego systemu dostarczają jednolitego, spójnego schematu postępowania 42 EE141 Wady symulacji Modele są zwykle za proste, powinny obejmować wiele poziomów. Modele mogą być zbyt złożone, czasami teoria pozwala na prostsze wyjaśnienia (czemu na równiku nie ma huraganów?). Nie zawsze wiadomo co należy uwzględnić w modelowaniu. Modele nawet jeśli działają to jeszcze nie znaczy, że rozumiemy mechanizmy Wiele alternatywnych choć całkiem różnych modeli może wyjaśnić to samo zjawisko. Ważne są ogólne zasady, parametry są ograniczone przez neurobiologię na różnym poziomie, im więcej zjawisk model tłumaczy tym jest bardziej prawdopodobny i uniwersalny. Uwzględnianie oddziaływań i wyłanianie (konstrukcja) są bardzo ważne. Wiedza zdobywana dzięki modelom powinna ulegać kumulacji 43 EE141 Motywacja Kognitywistyczna Pomimo ze proces myślowy wydaje się szeregowym przetwarzaniem informacji dokładniejsze modele przewidują równolegle przetwarzanie Stopniowe przejście pomiędzy świadomymi i podświadomymi procesami Równolegle przetwarzanie sygnałów sensoryczno motorycznych przez dziesiątki milionów neuronów Wyspecjalizowane obszary pamięci odpowiedzialne za rożne reprezentacje np kształt, kolor, miejsce, czas Stopniowość reprezentacji symbolicznych bardziej rozmyta niż logika binarna Mechanizmy uczenia jako podstawa kognitywistyki Kiedy się uczysz zmieniasz sposób przetwarzania informacji w mózgu Rezonans pomiędzy reprezentacja “od dołu” i rozumieniem “od góry” Przewidywanie i kompetycja pojęć 44 EE141
