Informatyka Neurokognitywna Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika, Toruń Google: W. Duch Studencki Festiwal Informatyczny, Kraków, 12-14.03.2009 Plan 1. 2. 3. 4. 5. 6. 7. 8. 9. Co to jest? Informatyka kognitywna i pokrewne dziedziny. Intencje, reprezentacje, mózgi i komputery. Mózg – umysł, neurodynamika i geometria. Kategoryzacja: psychologia i mózgi. Neurokognitywny model wyższych czynności psychicznych. Intuicja, wyobraźnia, kreatywność. Inspiracje i zastosowania. Przyszłość ... Co mają wspólnego Dwie rzeczy: 1. Kiedy się urodziliście nie było ich w powszechnym użytku. 2. Powstały dzięki fizyce i informatyce. Cywilizacja = fizyka + informacja Większość przedmiotów powszechnego użytku mamy dzięki fizyce: • • • • • • Energia to domena fizyki: od poszukiwania złóż ropy (geofizyka), przez generacje (elektrownie wszelkiego rodzaju, nowe źródła), gromadzenie (baterie, akumulatory), przesyłanie, do wykorzystania w urządzeniach mechanicznych i elektrycznych. Transport: samochody, pociągi, samoloty … Komunikacja: fale radiowe, światłowody, satelity … Edukacja i praca: komputery, telefony komórkowe, WWW … Rozrywka: elektronika, telewizja, wirtualne instrumenty ... Medycyna: prześwietlenia, tomografia, EKG, EEG, USG … Wszystko to istnieje dzięki fizyce i informatyce. • Fizyka pozwala zrozumieć, opisać, zbudować. • Informatyka pozwala organizować, wyszukać, obliczyć, przetwarzać, sterować, tworzyć wirtualną rzeczywistość. Informatyka kognitywna Co to jest? Informatyka to ... „systematyczne badanie procesów algorytmicznych, które charakteryzują i przetwarzają informację ... ". ACM 1989. Niektóre takie procesy sztuczne systemy robią lepiej niż ludzie, ale nadal w wielu obszarach naturalne systemy są znacznie lepsze. I to nas strasznie wkurza ... International Journal of Cognitive Informatics and Natural Intelligence, kwartalnik, od 2007 roku, ale nie ma wyraźnego profilu, od AI, uczenia maszynowego, do kwantowych obliczeń, bioinformatyki, świadomości. Informatyka neurokognitywna: badanie procesów przetwarzania informacji przez mózgi, uproszczone modele czynności poznawczych, myślenia, rozwiązywania problemów, uwagi, języka, kontroli zachowania i świadomości => praktyczne algorytmy + lepsze rozumienie tych procesów. Czeka nas bardzo głęboka rewolucja w rozumieniu natury ludzkiej. Neuro-info Co tu nowego? Są już takie dziedziny! • AI? Zupełnie nie interesuje się mózgiem, zajrzyjcie do podręcznika. • Sieci neuronowe? Inspiracje na poziomie pojedynczych neuronów. • Neuroinformatyka? Wspomaganie badań nad mózgiem. • Computational cognitive neuroscience? Biofizyczne modele neuronów, powiązania z biofizyką molekularną, neurodynamika, modele powstawania sygnałów EEG, MEG, fMRI ... Szczegółowe modele neuronów i prostych czynności poznawczych, pierwsza doroczna konferencja 11/2005. • Inteligencja obliczeniowa? Niższe czynności poznawcze+optymalizacja. • HCI, współpraca człowiek-maszyna? Głównie ograniczenia poznawcze. • Obliczenia afektywne? Częściowo, emocje pomagają w myśleniu. • Neuroinformatyka kognitywna tylko częściowo się z nimi pokrywa. O co chodzi? Informatyka neurokognitywna powinna pomóc w zrozumieniu wyższych czynności poznawczych i czerpać z tego inspiracje. • Różne rodzaje pamięci: rozpoznawcza, epizodyczna, semantyczna, robocza, krótkotrwała, proceduralna, emocjonalna, utajona ... • Reprezentacja różnych form wiedzy. • Język, rozumienie pojęć, związek z percepcją. • Procesy myślenia, rozwiązywania problemów, działania sekwencyjne. • Kontrola uwagi, selekcja informacji, sterowanie przez dane (dataflow). • Kontrola i planowanie zachowania, wyobraźnia, świadomość. Czy to się da zrobić? Przecież nie znamy szczegółów procesów zachodzących w mózgu? Nadal wiele spekulacji, ale sporo wiemy, są modele jakościowe wyjaśniające przyczyny syndromów neuropsychologicznych oraz chorób psychicznych, rozwijające się szybko od ~ 1995 roku. Co dzieje się w mózgu? Symulacje Neurony, sieci, symulatory: szczegóły - wykład z neuropsychologii komputerowej, Google: W. Duch => Notatki do Wykładów. Pamięć skojarzeniowa 1. Zdolność do rozpoznawania uszkodzonych wzorców – adresowalność kontekstowa. 2. Uszkodzenie części macierzy połączeń nie prowadzi do zapomnienia konkretnych wzorców - brak lokalizacji. 3. Czas (szybkość kojarzenia) nie zależy od liczby zapamiętanych wzorców, ale może się wydłużyć dla nieużywanych wzorców. 4. Interferencja (mylenie się) dla podobnych wzorców jest częstsza niż dla wzorców odmiennych. 5. Przepełnienie pamięci (macierzy wag) prowadzi do chaotycznego zachowania. Wniosek: Nawet proste mózgo-podobne rozproszone przetwarzanie informacji wykazuje interesujące podobieństwa do psychologicznych obserwacji. Złożoność mózgu nie jest głównym problemem! Im dokładniejsze modele tym więcej funkcji. INKa pomoże zrozumieć ... • • • • • • • • • • Problem ciała-umysłu => transformacja neurodynamiki w percepcję wewnętrzną (przestrzenie psychologiczne), Brain-Computer Interfaces. Przepływ informacji w mózgu: rola poszczególnych struktur: do czego służą, czyli co robią z informacją? Psychiatria generatywna: jakie jest efekt zaburzeń? Intuicja, wgląd, myślenie. Torowanie, psychologia eksperymentalna i kreatywność. Nabywanie umiejętności i świadomość. Dynamika uczenia się – jak nowicjusz staje się ekspertem? Talent, amuzja, wyobraźnia dźwiękowa. Rozwój umysłu niemowląt i dzieci. Obliczenia afektywne. Liczne zastosowania: od inspiracji dla uczenia maszynowego, analizy sygnałów, problemów językowych, do robotyki kognitywnej. Internet, łączność, rozrywka, biznes ... to mało interesująca część informatyki, zmiany będą przyspieszać. BCI Wiesz co trzeba zrobić zanim wiesz co robisz ... ale tylko mając pomiary wewnątrz czaszki, lub badając obszary zajmujące się planowaniem ... Intencje w mózgu Hayens i inn, Current Biology 2007: dostaniesz za chwilę dwie liczby, możesz je dodać lub od siebie odjąć ... a aktywność przyśrodkowej kory czołowej pokaże, jakie są Twoje intencje ... Wiesz co trzeba zrobić zanim wiesz co robisz ... wzrokowa droga grzbietowa jest szybsza! Obserwując korę przedczołową poznam Twoje plany 10 s. przed Tobą! Brain-Computer Interfaces: jakie są relacje pomiędzy stanami mózg a stanami umysłu? Projekt TOBI: Tools for BCI, EU FP7, 2009-2012 Neuroobrazowanie słów? Predicting Human Brain Activity Associated with the Meanings of Nouns," T. M. Mitchell et al, Science, 320, 1191, May 30, 2008 • • • • Czy możemy zobaczyć reprezentacje pojęć w mózgu? Po raz pierwszy udało się zobaczyć w miarę stabilne obrazy fMRI ludzi, którzy widzą, słyszą lub myślą o jakimś pojęciu. Czytanie słów, jak i oglądanie obrazków, które przywodzą na myśl dany obiekt, wywołuje podobne aktywacje - mózgowy kod sensu pojęć. Indywidualne różnice są spore ale aktywacje pomiędzy różnymi ludźmi są na tyle podobne, że klasyfikator może się tego nauczyć. Model nauczony na ~10 fMRI skanach + dużym korpusie słów (1012) przewiduje aktywność fMRI dla ponad 100 rzeczowników. Aktywacje mózgu dla różnych słów mogą służyć za rozkłady bazowe pozwalające za pomocą korelacji pomiędzy słowami przewidzieć aktywacje dla nowych pojęć; pobudzenia mózgu = naturalna baza reprezentacji. Przykłady fMRI dla czasowników . Modele funkcji mózgu Uwzględnia się wiele obszarów, np. dla wzroku LGN, V1, V2, V4/IT, V5/MT Można zbadać możliwe zaburzenia funkcji => psychiatria generatywna. Modele intuicji, wyobraźni, sensu słów, powstawania wrażeń, świadomości … Analiza sygnałów EEG, wykorzystanie do sterowania (BCI). Model biofizyczny Synapses Soma I syn (t ) Spike EPSP, IPSP Rsyn Spike Csyn Cm ,ext I AMPA,ext (t ) g AMPA,ext (Vi (t ) VE ) wij s AMPA (t ) j j ,rec I AMPA,rec (t ) g AMPA,rec (Vi (t ) VE ) wij s AMPA (t ) j j Rm s AMPA (t ) d AMPA s j (t ) j (t t kj ) dt AMPA k s NMDA (t ) d NMDA s j (t ) j x j (t )(1 s NMDA (t )) j dt NMDA,decay x NMDA (t ) d NMDA x j (t ) j (t t kj ) dt NMDA,rise k g NMDA,rec (Vi (t ) VE ) NMDA,rec w s (t ) ij j 2 sGABA (t ) d GABA (1 [ Mg ]exp( 0.062Vi (t ) / 3.57)) j s j (t ) j (t t kj ) dt GABA k ,rec I GABA,rec (t ) gGABA,rec (Vi (t ) VE ) wij s GABA ( t ) j I NMDA,rec (t ) j Problemy z umysłem • Problemy klasyczne i współczesne: • Problem wolnej woli i odpowiedzialności – „wolne”, bo nie da się przewidzieć ze względu na złożoność neurodynamiki? Błąd utożsamiania się z ego, a nie całym mózgiem ++ • Problem jedności poczucia istnienia „ja”: tożsamy z problem integracji percepcji? Skoro różne aspekty postrzegania analizowane są przez różne obszary mózgu dlaczego świadomość w normalnym stanie wydaje się monolityczna? Czego nas uczą syndromy neuropsychologiczne i choroby psychiczne? • Problem psychofizyczny – przebrzmiały? Umysł jest jedną z wielu rzeczy, którą robi mózg, ale potrzebujemy pomostu pomiędzy psychologią i neurobiologią; geometryczny model umysłu? • Problem adekwatnego języka opisu umysłu, brak prostych modeli. Umysł to nie katapulta, centrala telefoniczna czy komputer. Architektura mózgopodobna Stany mózgu są czasoprzestrzennymi rozkładami pobudzeń tkanki neuronów. Procesy poznawcze operują na znacznie przetworzonych sygnałach dochodzących od zmysłów. • Czerwień, słodycz, ból ... to fizyczne (relacyjne) stany mózgu. • Widzę, słyszę i czuję tylko stany mózgu! Np. złudzenia optyczne. Kora: zbiór mikroobwodów, rezonatorów tworzących stany kolektywne, pojedyncze neurony mają niewielkie znaczenie. Aktywna część kory: pamięć robocza, całkiem odmienna od pamięci w komputerach. Rejestry komputera to nie są stany dynamiczne, które automatycznie prowadzą do skojarzeń. BICA =Brain Inspired CA • IBCA (Integrated Biologically-based Cognitive Architecture), (O'Reilly, Y. Munakata 2000): wyróżnia 3 typy pamięci. • W korze ciemieniowej (PC), zazębiające się, rozproszone lokalne moduły, hierarchiczne, sensomotoryczne wielomodalne działania. • W korze czołowej (FC) izolowana lokalna rekurencyjna reprezentacja odpowiedzialna za pamięć roboczą, wkład kombinatoryczny. • W hipokampie (HC) rzadka, koniunktywna organizacja globalna, scalająca wszystkie pobudzenia w PC i FC (pamięć epizodyczna). • Różne formy uczenia: korelacyjny model środowiska, redukcję błędów do uczenia umiejętności i dynamikę konkurencyjną (kWTA). • Moduły PC & FC: powolne uczenie się regularności w obserwacjach. • Moduł HC: szybkie uczenie, zapamiętywanie i rozróżnianie epizodów. Współpraca HC - FC/PC realizuje komplementarne strategie uczenia. • Wyższe czynności poznawcze wynikają z aktualizacji reprezentacji modułu FC umożliwiającego samo-regulację. • Jedynie podstawowe fakty psychologiczne; cele? emocje? skalowanie? BICA jako aproksymacja • Znaczne postępy poczyniono wykorzystując inspiracje z badań nad mózgiem do analizy percepcji, mniejsze dla wyższych czynności poznawczych. • Neurokognitywne podejście do lingwistyki stosowano do analizy zjawisk lingwistycznych, ale ma to niewielki wpływ na NLP. • Potrzebne są nowe matematyczne techniki by opisać procesy obliczeniowe w terminach “wzorców stanów mózgu” i rozchodzenia się aktywacji między takimi wzorcami. Jak to zrobić? • Prototypy dla stanów neuronowych? Możliwe, dobre rezultaty z analizy EEG => ruchy ręki lub ruchy oczu. • Quasi-stacjonarne fale pobudzeń opisujące globalne stany mózgu w określonym kontekście (w,Cont)? • Jak wyglądają ścieżki rozchodzenia się aktywacji w mózgu? Praktyczny algorytm rozszerza rep. pojęcia o te kategorie skojarzeń, które są pomocne w klasteryzacji i klasyfikacji (Duch i inn, Neural Networks 2008), usuwając słabe skojarzenia przez filtrowanie cech. Metafora systemu dynamicznego Umysł/mózg jak system dynamiczny: • • • Thelen E. and Smith L.B. A Dynamic Systems Approach to the Development of Cognition and Action. MIT Press 1994. Smith L.B. and Thelen E, Eds. A Dynamic Systems Approach to the Development. MIT Press 1994. J. A. Scott Kelso, Dynamic Patterns. The Self-Organization of Brain and Behavior. MIT Press 1995 Jak połączyć neuro i psyche ? • • • R. Shepard (BBS, 2001): uniwersalne prawa należy sformułować w odpowiednich abstrakcyjnych przestrzeniach psychologicznych; próba uproszczenia neurodynamiki => geometryczne modele umysłu. K. Lewin, koncepcyjna reprezentacja i pomiary siły psychologicznych (1938), stan kognitywny jako ruch w p-ni fenomenologicznej. George Kelly (1955), personal construct psychology (PCP), geometria p-ni psychologicznych jako alternatywa dla logiki. Ciało-umysł Poznanie wszystkich szczegółów na poziomie molekularnym lub pojedynczych neuronów nie wystarczy! Potrzebujemy prostego modelu obrazującego relacje pomiędzy mózgiem i umysłem. Tysiące konkretnych zjawisk ma wyjaśnienia i konkretne modele, w tym również struktura i przyczyna powstawania wrażeń. Model geometryczny opiera się na prostej metaforze: Umysł jest cieniem neurodynamiki. Modele geometryczne prowadzą do fizyki „przestrzeni mentalnych”. Ciekawe problemy matematyczne dotyczące opisu takich przestrzeni. Czy są to modele wystarczająco proste by dało się je zrozumieć? Model umysłu Model hierarchiczny, geometryczny, w p-niach psychologicznych, których wymiary dają się powiązać z doświadczanymi stanami wewnętrznymi jak i aktywacją różnych obszarów mózgu. • wykrywanie cech - mapy topograficzne, kora sensoryczna • rozpoznawanie obiektów - pamięć długotrwała • pamięć robocza - bieżąca kontrola, przeżywana teraźniejszość. Uczenie się kategorii Kategoryzacja w psychologii – duża dziedzina, wiele teorii. Klasyczne eksperymenty: Shepard et. al (1961), Nosofsky et al. (1994) Problemy kategoryzacji o wzrastającym stopniu złożoności, mamy 3 binarne własności: kolor (czarny/biały), rozmiar (mały/duży), kształt (, ), oraz zbiór przykładów podzielonych na dwie kategorie C1, C2. Typ I : jedna własność określa kategorię, np. kolor. Typ II: dwie własności, z logiką XOR, np. Kat A: (czarny,duży) lub (biały,mały), kształt dowolny. Typ III-V: jedna własność + coraz więcej wyjątków. Typ VI: brak logicznej reguły, trzeba pamiętać przykłady. Trudności i szybkość uczenia się w eksperymentach: Typ I < II < III ~ IV ~ V < VI Dynamika kanoniczna Co dzieje się w mózgu w czasie uczenia się definicji kategorii na przykładach? Złożona neurodynamika <=> najprostsza dynamika (kanoniczna). Dla wszystkich reguł logicznych można napisać odpowiednia równania. Dla problemów typu II, czyli XOR: 1 2 2 2 2 V x, y, z 3 xyz x y z 4 V x 3 yz x 2 y 2 z 2 x x V y 3 xz x 2 y 2 z 2 y y V z 3 xy x 2 y 2 z 2 z Przestrzeń z cech, A=x, B=y C=A.xor.B Dziwne decyzje Lista symptomów i chorób: C (częsta), R (Rzadka), Symptomy: PC (zawsze dla C), PR (zawsze dla R), I (nieistotne, przypadkowe). PC, I => C, np. Gorączka, Katar => Grypa PR, I => PR, np. Ból gardła, Katar => Angina Niech C występuje 3 razy częściej niż R. Pokazujemy kombinację symptomów i pytamy o diagnozę: PC => C; I => C, PC, I => C PC+I+PR => C (60%) Jest to zgodne z oczekiwaniami opartymi na częstościach, ale: PC+PR => R (60%) ! Zaskakujące przewidywania, wbrew większości (Medin, Edelson 1988). Atraktory, na pomoc! Co się dzieje? Decyzje możemy racjonalizować, ale stoi za nimi dynamika działania mózgu – konieczna do zrozumienia ludzkich decyzji. Trzeba zbadać baseny atraktorów neurodynamiki. Rozkład prawdopodobieństwa w przestrzeni {C, R, I, PC, PR}. Stan umysłu: punkt w przestrzeni, baseny atrakcji – dołki, w które ten punkt wpada, z przypadkowego startu wpada zwykle w PC, bo jest to rozległy basen atrakcji, R jest głębszym i węższym, bo inaczej by się nie odróżnił od C. Interpretacja psychologiczna (Kruschke 1996): PR ma znaczenie ponieważ jest to symptom wyróżniający, chociaż PC jest częstszy. Niestety psycholodzy na wszystko znajdą pozorne wyjaśnienia ... Uczenie Neurodynamika Psychologia I+PC=>C, pojawia się często więc Symptomy I, PC są typowe dla C ma silniejsze połączenia ponieważ są częściej synaptyczne, powstają większe i obserwowane. głębsze baseny atraktorów. I+PR=>R, ponieważ formuje się atraktor dla I+PC prowadzący do C, nauczenie skojarzenia I+PR=>R wymaga powstania głębszego i bardziej zlokalizowanego atraktora. Dla rzadkiej choroby R symptom I występujący też z C jest mylący, uwaga skupia się na symptomie PR skojarzonym z R. Punkty widzenia Neurodynamika Psychologia I=>C, bo dłuższe uczenie skojarzenia I+PC=>C tworzy większy wspólny basen atrakcji niż I+PR=>R. I => C, w zgodzie z większą częstością, bo częstsza stymulacja I+PC=>C jest częściej przypominana. I+PC+PR prowadzi często do C bo I+PC umieszcza system w środku dużego basenu skojarzonego z C i pomimo silnego gradientu wymiarze PR trajektorie zwykle kończą w C. I+PC+PR => zwykle do C ponieważ obecne są wszystkie symptomy a C jest częstsze (argument oparty na częstości). PR+PC prowadzi częściej do R ponieważ w kierunku R jest silny gradient i z punktu (PR,PC) dla małego I łatwiej skończyć w R. PC+PR => R ponieważ R jest symptomem dyskryminującym, chociaż PC jest częstsze (ale PC też takim jest?). Modele mentalne Neurodynamika jest odpowiedzialna za rozumowanie; tylko proste skojarzeniowe formy rozumowania są łatwe. A=>B i B=>C to kojarzymy, że A=>C, ale weźmy schemat: • • • Wszyscy akademicy to uczeni. Żaden mędrzec nie jest akademikiem. Co możemy powiedzieć o relacjach pomiędzy uczonymi i mędrcami? Po tygodniach namysłu studenci nadal nie potrafią odpowiedzieć. Na egzaminie pomimo wcześniejszych wyjaśnień ponad połowa podaje błędną odpowiedź. Wniosek: myślenie biegnie utartymi drogami, trudno jest myśleć nieschematycznie. Wyobraźnia wzrokowa Jak i gdzie tworzą się obrazy wzrokowe? • Borst, G., Kosslyn, S. M, Visual mental imagery and visual perception: structural equivalence revealed by scanning processes. Memory & Cognition, 36, 849-862, 2008. Konkluzja: reprezentacja wzrokowa i wyobrażona jest bardzo podobna. • Cui, X et al. (2007) Vividness of mental imagery: Individual variability can be measured objectively. Vision Research, 47, 474-478. Testy Vividness of Visual Imagination (VVIQ) dobrze się korelują z aktywnością kory wzrokowej względem całkowitej aktywności mózgu w fMRI (r=-0.73), i wynikach testów psychofizycznych. Warto zwracać uwagę na indywidualne różnice. Słaba wyobraźnia: dlaczego? Zbyt słabe pobudzenia zwrotne? Niezdolność rysowania z pamięci, opisu szczegółów, różnic, twarzy itp. Kiedy powstają świadome wrażenia? Konieczna aktywność kory zmysłowej, np. V4=kolor, MT/V5=ruch. Strumienie wstępujące i zstępujące łączą się, tworząc stany rezonansowe. Co dzieje się gdy przepływ infromacji w jedną ze stron jest słaby? C. Gilbert, M. Sigman, Brain States: Top-Down Influences in Sensory Processing. Neuron 54(5), 677-696, 2007 Przetwarzanie informacji ze zmysłów w korze i wzgórzu podlega silnym wpływom "odgórnym", w których złożone hipotezy zmieniają procesy na niskim poziomie. Kora funkcjonuje jako system adaptacyjny, zmieniając aktywność pod wpływem uwagi, oczekiwań, zadań związanych z percepcją. Stany mózgu tworzą się przez interakcję pomiędzy wieloma obszarami, w tym modulację lokalnych mikroobwodów przez sprzężenia zwrotne. Zakłócenia tego przepływu informacji mogą prowadzić do zaburzeń behawioralnych. Dehaene i inn, Conscious, preconscious, and subliminal processing. TCS 2006 Siła wpływu informacji wstępującej i uwaga (informacja zstępująca), dają 4 sytuacje, w których bodźce i uwaga są konieczne do świadomej percepcji. Uwaga wzrokowa • Normalna percepcja wymaga uwagi, informacji zstępującej, oczekiwań. • Co się dzieje jeśli kora zmysłowa jest słabo pobudzana przez PC/FC? • To nie jest zwykła agnozja, raczej agnozja wyobraźni, nieopisany stan! Czym się takie słabe sprzężenie będzie charakteryzować? Problemy z uwagą? Jeśli połączenia są bardzo słabe rozpoznawanie obiektów przy słabym świetle może być znacznie utrudnione. Zwykle tylko słaba wyobraźnia wzrokowa, pamięć widzianych szczegółów, trudności z rysowaniem z pamięci, przypominaniem i opisywaniem rzeczy, notowaniem zmian, słabe wyniki w układankach i grach pamięciowych, trudności w postrzeganiu ukrytych obrazków 3D, być może skłonności introwertyczne. Typ bardziej koncepcyjny niż percepcyjny … Pamięć rozpoznawcza normalna. Na poziomie PC/FC mniej interferencji z obszarów zmysłowych, może być lepsza niż przeciętna wyobraźnia, kreatywność i rozumowanie. Wyobraźnia muzyczna i talent Aktywacje fMRI rosną w czasie testu wyobraźni dźwiękowej wykonanego w ciszy, w przedniej części górnego zakrętu skroniowego kory słuchowej. Zatorre & Halpern, Mental Concerts: Musical Imagery and Auditory Cortex, Neuron 47, 9-12, 2004. Wyobrażenia dźwięków są ważnym aspektem rozwoju muzycznego. "Celem występu muzycznego jest reprodukcja wewnętrznego obrazu dźwiękowego" (D.R. Allen, praca doktorska z muzykologii, 2007). Testy słuchu muzycznego nie wystarczają, można mieć dobry słuch i wzrok, przyjemność z oglądania/słuchania muzyki, lecz mimo tego trudności w nauce. Talent wymaga dobrego działania i współdziałania wszystkich struktur mózgu, fMRI jest za drogie, potrzebujemy prostych testów! Testy przesiewowe • Problem: znaczny procent dzieci cierpi na zaburzenia rozwojowe np. na dysleksję >10% populacji, utratę słuchu stwierdza się średnio dopiero >2 lat, ponad 200 mln dzieci na świecie nie jest zdolna do nauki! • Czas wykrycia problemu decyduje o możliwościach rehabilitacji. • Konieczne są tanie testy przesiewowe na dużą skalę. • Planujemy testy oparte na reakcjach fizjologicznych, pozwalające na wczesną identyfikację problemów rozwojowych: zaburzeń słuchu, zwłaszcza fonematycznego; zaburzeń uwagi, pamięci roboczej, koordynacji. • Technologia: komputer, PDA lub telefon + tanie urządzenia pomiarowe lub serwer usługowy. • Testy czasów reakcji, synchronizacji procesów mózgowych, są w fazie opracowań. Automatyzacja działań Uczenie się: początkowo świadome działania angażują cały mózg, w końcu działania automatyczne, podświadome, zlokalizowane. Formowanie się nowych kwazistabilnych stanów mózgu w czasie uczenia się => modele neuronowe. Uczenie się wymaga wzmacniania zachowań pożądanych, obserwacji i oceny złożonych stanów mózgu. Powiązanie obecnego działania z zapamiętanymi skutkami podobnych działań wymaga ocen i porównań, a następnie reakcji emocjonalnych, które wyzwolą neurotransmitery (dopaminę) jako sygnał wzmacniający, zwiększający szybkość uczenia modułów neuronowych. Pamięć robocza w tak złożonym procesie jest niezbędna. Błędy należy zapamiętać, zwłaszcza gorzki smak porażki. Nie ma żadnego transferu od świadomego do nieświadomego! Jest tylko (świadomy) proces oceny potrzebny do wzmocnienia. Kismet Naturalne interakcje z ludźmi wymagają analizy i ekspresji emocji: projekt Kismet doprowadził do zrobienia głowy robota, który reaguje na emocje, oraz robota Nexi. Nasze próby na NTU. Słowa w mózgu Eksperymenty psycholingwistyczne dotyczące mowy pokazują, że w mózgu mamy dyskretne reprezentacje fonologiczne, a nie akustyczne. Sygnał akustyczny => fonemy => słowa => koncepcje semantyczne. Aktywacje semantyczne następują 90 ms po fonologicznych (N200 ERPs). F. Pulvermuller (2003) The Neuroscience of Language. On Brain Circuits of Words and Serial Order. Cambridge University Press. Sieci działania – postrzegania, wnioski z badań ERP i fMRI. Fonologiczna gęstość otoczenia słowa = liczba słów brzmiących podobnie jak dane słowo, czyli dająca podobne pobudzenia mózgu. Semantyczna gęstość otoczenia słowa = liczba słów o podobnym znaczeniu (rozszerzona podsieć aktywacji). Wglądy i mózgi Można badać aktywność mózgu w czasie rozwiązywania problemów, które wymagają wglądu lub które rozwiązywane są schematycznie. E.M. Bowden, M. Jung-Beeman, J. Fleck, J. Kounios, „New approaches to demystifying insight”. Trends in Cognitive Science 2005. Po rozwiązaniu problemu badani za pomocą EEG i fMRI sami określali, czy w czasie rozwiązywania pojawił się wgląd, czy nie. Około 300 ms przed pojawieniem się wglądu w zakręcie skroniowym górnym prawej półkuli (RH-aSTG) obserwowano salwę aktywności gamma. Interpretacja autorów: „making connections across distantly related information during comprehension ... that allow them to see connections that previously eluded them”. Moja: lewa półkula reprezentująca w STG konkretne obiekty nie może znaleźć pomiędzy nimi związku =>impas; prawa STG widzi jej aktywność na meta-poziomie, ogólne abstrakcyjne kategorie, które może powiązać; salwa gamma zwiększa jednoczesną aktywność reprezentacji w lewej półkuli, emocje Eureka konieczne są do utrwalenia bezpośrednich koneksji. Pamięć i kreatywność Mózgi osób kreatywnych reagują na więcej sygnałów dochodzących ze środowiska, nie blokują mocno sygnałów, które wcześniej były nieistotne, nie ulegając łatwo habituacji (Carson, 2003). Może się to wiązać z bogatszą reprezentacją koncepcji i sytuacji w umysłach osób kreatywnych. Podobne zachowania obserwowano u mnichów Zen. PRIMA, technika skojarzeń par słów pozwala badać, czy w mózgu danej osoby jest ścieżka, łącząca dane koncepcje. A. Gruszka, E. Nęcka, Creativity Research Journal 2002. Słowo 1 Torowanie 0,2 s Słowo 2 Słowa mogą być łatwe lub trudne do skojarzenia; słowa torujące mogą być pomocne lub neutralne; pomocne to skojarzenie semantyczne lub fonologiczne (hogse do horse); neutralne mogą być bezsensowne lub nie związane z prezentowaną parą. Rezultaty dla grupy ludzi silnie/słabo kreatywnych są zadziwiające … Skojarzenia i kreatywność Hipoteza: kreatywność zależy od pamięci skojarzeniowej, zdolności do łączenia odległych koncepcji ze sobą. Rezultat: kreatywność jest skorelowana ze zdolnością do skojarzeń i podatnością na torowanie; trudniejsze skojarzenia mają dłuższe latencje. Torowanie neutralne działa dziwnie: • dla prostych skojarzeń nonsensowne słowa torujące przeszkadzają osobom kreatywnym, pomagają reszcie; w pozostałych przypadkach pomagają! • dla odległych skojarzeń torowanie zawsze zwiększa siłę skojarzeń, u osób kreatywnych dając najsilniejszy efekt. Podobnie zagadkowe są wyniki dla czasów reakcji. Konkluzje autorów: Gęstsze połączenia => lepsze skojarzenia => większa kreatywność. Wyniki dla neutralnych słów torujących są niezrozumiałe. Skojarzenia - powtórka Dlaczego torowanie neutralne dla prostych skojarzeń i nonsensownych słów torujących pogarsza wyniki osób kreatywnych? Słaba kreatywność = słabe skojarzenia (połączenia) miedzy oscylatorami; dodanie szumu (nonsensownych słów) wzmacnia już zachodzące oscylacje umożliwiając wzajemne pobudzenia, dla silniej połączonej sieci neuronowej i prostych skojarzeń prowadzi do zamieszania, gdyż pobudza wiele stanów. Dla trudnych skojarzeń dodawanie szumu u osób słabo kreatywnych nie pomoże ze względu na brak połączeń, słowa torujące powodują jedynie chaos. Dla osób kreatywnych wywołanie rezonansu miedzy odległymi mikroobwodami jest możliwe: mamy tu rezonans stochastyczny! Dla słów torujących ortograficznie podobnych przy bliskich skojarzeniach pobudza to aktywność reprezentacji drugiego słowa, zawsze zwiększając szansę rezonansu i skracając latencję. Nie pomaga to jednak dla odległych skojarzeń, nie pobudzając pośrednich obwodów, które muszą być aktywne by powstał rezonans, za to słowa nonsensowne wzmagają efekt torowania. Projekty lingwistyczne Open Mind Common Sense Project (MIT): projekt kolaboracyjny WWW , ponad 15 000 autorów, którzy wpisali ponad 710 000 faktów; wyniki posłużyły do utworzenia ConceptNet, bardzo dużej sieci semantycznej. Commonsense Computing @ MediaLab, MIT, miał stworzyć skalowalny system oparty na zdroworozsądkowej wiedzy, zbieranej z tekstów, zautomatyzowanych obserwacji i w projektach kolaboracyjnych. LifeNet zbiera informację o wydarzeniach w życiu, opiera się na wersji Multi-Lingual ConceptNet używając sieci semantycznej, która ma 300 000 węzłów; informacja o zdarzeniach ma być zbierana z sensorów. Honda Open Mind Indor Common Sense zbiera nadal info zadając pytania. Inne projekty: HowNet (Chinese Academy of Science), FrameNet (Berkeley), różne duże ontologie, MindNet (Microsoft), początkowo do tłumaczenia. Próbują zgromadzić fakty o świecie, ale mózgi robią to inaczej ... Słowa: prosty model Cele: • zrobić najprostszy model kreatywnego myślenia; • tworzyć interesujące nowe nazwy, oddające cechy produktów; • zrozumieć nowe słowa, których nie ma w słowniku. Model zainspirowany przez procesy zachodzące w mózgu w czasie wymyślania nowych słów. Dany jest zbiór słów kluczowych, które pobudzają korę słuchową. Fonemy (allofony) są rezonansami, uporządkowane pobudzenie fonemów aktywuje zarówno znane słowa jak i nowe kombinacje; kontekst + hamowanie w procesie zwycięzca bierze wszystko zostawia jedno słowo. Kreatywność = wyobraźnia (fluktuacje) + filtrowanie (konkurencja) Wyobraźnia: wiele chwilowych rezonansów powstaje równolegle, aktywując reprezentacje słów i nie-słów, zależnie od siły połączeń oscylatorów. Filtrowanie: skojarzenia, emocje, gęstość fonologiczna/semantyczna. Twórz, maszyno, twórz Zrozumienie sposobu analizy i tworzenia słów w mózgach pozwala na sformułowanie algorytmów, które w podobny sposób będą tworzyć nowe słowa, np. na podstawie opisów produktów lub usług. Przykład pośredniego etapu radosnego słowotwórstwa sieci neuronowej: ardyczulać ardychstronnie, ardywialić ardyklonnie, ardywializować ardywianacje, argadolić argadziancje, arganiastość arganastyczna, arganianalność arganiczna, argasknie argasknika, argulachny argatywista, argumialent argumiadać argumialenie argumialiwić argumowny argumofon argumował argumowalność Czy "argumiadać" to nie piękne słowo? Kojarzy się z kimś, kto argumentuje tak intensywnie, że ujada. Proces tworzenia słów da się analizować teoretycznie i eksperymentalnie. Zabawy słowne Gry słowne były popularne na długo przed komputerami ... Były bardzo przydatne do rozwoju zdolności analitycznego myślenia. • Budowa pamięci semantycznej na dużą skalę: podstawa wszystkich zastosowań wymagających rozumienia tekstu i mowy. Co można wtedy osiągnąć? • • • Gra w 20 pytań i inne gry słowne, tekstowe i mówione. Testy szkolne, kwizy realizowane na serwerach przez telefon. Uściślanie zapytań dla wyszukiwarek internetowych: znajdywanie dobrych pytań wymaga wiedzy i kreatywności. Identyfikacja obiektów na podstawie ich opisu, np. roślin czy ptaków. Boty prezentujące informację, boty w środowiskach wirtualnych. Osobiste awatary przekazujące wiadomości i negocjujące. Serwer do tworzenia nowych, oryginalnych nazw dla produktów, stron internetowych czy firm, na podstawie ich opisu. Zbudować Internet semantyczny, w którym wyszukiwarki będą rozumieć co szukają, tworzyć sensowne sieci powiązań między projektami/ludźmi. • • • • • Słowa: algorytm Jak to modelować? Sieci skojarzeniowe, model adaptacyjnego rezonansu (~ ARTWORD). Uproszczone modele sieci skojarzeniowych, modele statystyczne. • Utworzyć model sieci prawdopodobieństw łączących fonemy i sylaby • utworzyć funkcję oceny gęstości fonologicznej i semantycznej wyrazów. Algorytm szukania nowych słów: • • • • • Przeczytać początkową pulę słów opisujących danych obiekt. Rozszerzyć ją o słowa skojarzone fonologicznie i semantycznie. Rozbić słowa na fragmenty składające się z fonemów, sylab, morfemów. Wyobraźnia: tworzyć kombinacje fragmentów zgodnie z P(n-gram). Filtrowanie: utworzyć ranking na podstawie gęstości semantycznej wokół morfemów tworzących nowy wyraz. Serwer: http://www-users.mat.uni.torun.pl/~macias/mambo/index.php Słowa: eksperymenty Mając opis lub słowa kluczowe: I am looking for a word that would capture the following qualities: portal to new worlds of imagination and creativity, a place where visitors embark on a journey discovering their inner selves, awakening the Peter Pan within. A place where we can travel through time and space (from the origin to the future and back), so, its about time, about space, infinite possibilities. FAST!!! I need it sooooooooooooooooooooooon. creativital, creatival (creativity, portal), używane creatival.com creativery (creativity, discovery), creativery.com (strategy+creativity) discoverity = {disc, disco, discover, verity} (discovery, creativity, verity) digventure ={dig, digital, venture, adventure} , nowe! imativity (imagination, creativity); infinitime (infinitive, time) infinition (infinitive, imagination), nazwa firmy learnativity (taken, see http://www.learnativity.com) portravel (portal, travel); sportal (space, sport, portal), używane timagination (time, imagination); timativity (time, creativity) 2/3 słów wcześniej użytych przez ludzi => podobne rezultaty. Aaron – malarz Meeting On Gauguin's Beach, Olej, 1988 Aaron, with Decorative Panel, Olej 1992 Sztuka • Potęga ewolucji … czy telewizor może odczytać nasze myśli i tworzyć interesujące obrazy? Tworzyć złudzenia? Kilka zwariowanych projektów • • • • Programy Sztuka Mózgi Ludzie • Programy: podstawy inteligencji obliczeniowej, systemy uczące się, integracja metod uczenia, selekcji informacji i meta-uczenia, czyli tego jak się nauczyć uczyć (neuro)komputery. • Sztuka: obrazy i dźwięki tworzone przez komputer lub interaktywnie. • Mózgi: symulacja, pień mózgu i procesy oddychania, przytomności, informatyka neurokognitywna, rozumienie, intuicja, wyobraźnia i kreatywność programów. • Ludzie: obserwacja niemowląt, kierowanie ich rozwojem, testy zdolności poznawczych dzieci, badanie talentu. Ghostminer • Strona projektu w FQS - Google: ghostminer • Zrealizowany w KIS w latach 1998-2004, w kategorii data mining, wspomaganie decyzji, business intelligence. • GhostMiner sprzedawany jest przez Fujitsu jako narzędzie do analitycznej eksploracji danych (data mining). • Klienci: uniwersytety, politechniki, instytuty badawcze, banki i firmy w Polsce, Austrii, Australii, Chinach, Czechach, Holandii, Indiach, Japonii, Kanadzie, Niemczech, Norwegii, Singapurze, Wielkiej Brytanii i USA. • Np. Abbott Laboratories używa GhostMiner'a do badań oraz odkrywania właściwości wielowymiarowych danych naukowych. Intemi (Inteligent Miner), nasz program nowej generacji, oparty na ideach meta-uczenia powinien zostawić konkurencję daleko w tyle … Neurony uczą się złożonej logiki Systemy uczące się rozpoznają wzorce ale mają trudności z nauką funkcji logicznych, np. określenia czy liczba bitów =1 w ciągu jest parzysta; to przykład funkcji wysoce nieseparowalnej, ciągi różniące się 1 bitem są z innej klasy. Parzystość dla 2-4 wymiarów. Nauczyć się liczyć? Wystarczy znaleźć dobry punkt widzenia. Projekcja na W=(111 ... 111) daje grupy mające 0, 1, 2 ... n bitów; neurokognitywne inspiracje => uniwersalne systemy uczące się. Parzystość n=9 Proste uczenie gradientowe maksymalizujące indeks QPC. Ludzie mogą zrozumieć prawa łączące 3-5 zmiennych ale nie więcej! Rozumienie tekstów Neurokognitywne podejście do rozumienia języka (projekt IP FP7): słowa, koncepcje, pobudzają skojarzone z nimi koncepcje; ważne jest prawdopodobieństwo rozkładu, koncepcje odnoszące się do tego samego tematu lepiej do siebie pasują, tworząc graf spójnych koncepcji aktywnej części pamięci semantycznej z hamowaniem i rozchodzeniem się aktywacji. Dla tekstów medycznych mamy >2 mln koncepcji, 15 mln relacji … Pytania Pamięć semantyczna Zastosowania, szukanie, gry słowne, 20 pytań. HIT – naturalny interfejs interfejs graficzny http://diodor.eti.pg.gda.pl Oznaczanie części mowy+ ekstrakcja fraz Organizuj weryfikuj poprawiaj Parser Słowniki w sieci, ontologie, aktywne szukanie, dialog z użytkownikiem, gry słowne. HIT • HIT = Humanized InTerfaces, czyli naturalne interfejsy w komputerach i telefonach. • Cel daleki: budowa sztucznego umysłu, czyli systemu z którym będziemy mogli mieć podobne relacje jak z ludźmi. • Cel bliski: integracja wielu technologii, stworzenie modularnej platformy dla HIT, składającej się z mówiącej głowy, syntezy mowy, kontroli zachowania, wyrazu twarzy, gestów, percepcji słuchowej, wzrokowej, rozpoznawania mowy, lokalizacji obiektów, rozpoznawania osób po głosie i twarzy, dostępu do baz danych i informacji z Internetu, pamięci i kojarzenia faktów. • Liczne zastosowania, ale wąsko określone, nie uniwersalna AI. • Wielki rynek programów dla urządzeń przenośnych, bez klawiatury, które mają zbyt wiele możliwości by je wykorzystać. • Współpraca z NTU Singapur/SNU Seoul, Korea. Architektura HIT/DREAM Web/text/ databases interface NLP functions Natural input modules Cognitive functions Text to speech Behavior control Talking head Control of devices Affective functions Specialized agents DREAM: funkcje poznawcze + kontrola w czasie rzeczywistym, część oprogramowania HIT do percepcji, języka i funkcji afektywnych. Symulowana głowa i gra w 20 pytań • Mówiąca głowa oparta na awatarach Hapteka. Rozpoznawanie i synteza dźwięku nie jest problemem, kontrola symulowanej głowy również, kluczowa jest wiedza o świecie i wymyślanie inteligentnych pytań. Zawody Q/A: komputery szukają odpowiedzi, ale równie ważne są pytania! Co to jest? Jak zidentyfikować takie obiekty za pomocą wyszukiwarki? Kodowanie ICD-9 Annotacja tekstów medycznych i automatyczne przypisywanie kodów ICD dla firm ubezpieczeniowych: czy można to zrobić automatycznie? Na zorganizowanym przez nas w 2007 roku konkursie 5 programów poradziło sobie równie dobrze jak 3 firmy komercyjne! Telemetric pacifier la-la … la-ra-ra… sound sequences Database of speech sounds Rozwój niemowląt Wireless communication receiver D/A converter A/D converter Control unit Speaker • Projekt inteligentnej kołyski i zabawek RAM Non-volatile Database of kognitywnych, Audiovisual do wczesnej diagnostyki, memory reward patterns device (reward) wykrywania nieprawidłowości rozwoju, ciągłego monitorowania dziecka i ukierunkowania rozwoju. • Inteligentna kołyska: czujniki ruchu, smoczek telemetryczny, mikrofony i kamery. • Stymulacja słuchu, wzroku i dotyku, analiza reakcji. • Stymulacje rozwoju słuchu fonematycznego umożliwią dzieciom naukę dowolnego języka, w tym języków tonalnych. • Stymulacje rozwoju słuchu muzycznego. • Rozwój inteligencji przez stymulację pamięci roboczej. • Rozwój ciekawości i potrzeby działania dziecka. • Patent: Układ aktywnego stymulatora ośrodków mowy, zwłaszcza niemowląt i dzieci (2002). Psychiatria generatywna Kwas glutaminowy otwiera kanały Na+, pobudzająco, GABA działa na kanały Cl- hamując pobudzanie. Siatkówka • • • • Siatkówka nie jest pasywną matrycą rejestrującą obrazy. Kluczowa zasada: wzmacnianie kontrastów podkreślających zmiany w przestrzeni i czasie, wzmacnianie krawędzi, jednolicie oświetlone obszary są mniej istotne. Fotoreceptory w czopkach i pręcikach, 3-warstwowa sieć, komórki zwojowe =>LGN. Pole recepcyjne: obszar, który pobudza daną komórkę. Kombinacja sygnałów w siatkówce daje pola recepcyjne typu centrum-otoczka (on-center) i odwrotnie, wykrywa krawędzie. Każde z pól indywidualnych komórek można modelować Gaussem, więc takie pola otrzymuje się jako różnicę (DOG). Wzrok • Z siatkówki przez ciało kolankowate boczne (część wzgórza) informacja trafia do pierwotnej kory wrokowej V1 i stamtąd wędruje dwiema drogami. Złożony model rozpoznawania Prezentacja dwóch obiektów, uwzględnia LGN, V1, V2, V4/IT, V5/MT Model ma dodatkowe dwie warstwy: Spat1 połączone z V1 Spat2 połączone z V2. Spat1 ma pobudzenia wewnątrz warstwy, skupia się na obiekcie. Przeniesienie uwagi z jednego obiektu na drugi jeśli wszystko dobrze działa; łatwo badać możliwe problemy. Efekty ... Brak akomodacji neuronów spowoduje trudności z przeniesieniem uwagi, a w efekcie u dziecka: • skupienie tylko na jednym, absorbcja; • schematyczne, powtarzalne ruchy; • niechęć do zróżnicowanej stymulacji czy zabaw; • brak kontaktu z opiekunem; • trudności językowe; • echolalię; • traktowanie ludzi tak jak przedmioty; • brak „teorii umysłu”, normalnych relacji. Co to przypomina? Autyzm, lub podobne formy spektrum autyzmu 6:1000 dzieci. Zaburzenia budowy kanałów upływu? Istotnie, stwierdzono mutacje genów zarówno w kanałach potasowych (gen CASPR2) jak i sodowych (gen SCN2A): http://www.autismcalciumchannelopathy.com/ Czy AI ... … potrafi sprostać ludzkiej głupocie? Tylko ludzie mogą ... a raczej mogli kiedyś robić wiele rzeczy, które teraz robią komputery ... co roku lista tych rzeczy się wydłuża. Dlaczego komputery nie miałyby tworzyć i myśleć sprawniej niż ludzie? Bardzo chcielibyśmy, żeby tak było ... Niedawno zrobiono … • • • • • • • • Roboty - zabawki, pieski AIBO, roboty domowe – Wakamaru; roboty rozpoznające emocje i reagujące w emocjonalny sposób; superkomputery o szybkościach 1015 op/sek, pamięciach ~1TB RAM, szybkość/pamięć rzędu ludzkiego mózgu. pokazano możliwości budowy kwantowego komputera, jeśli by się udało spadnie wiele kartek; implanty do nerwu ucha stosuje się rutynowo; sztuczna siatkówka znajduje się w fazie testów, przeszczepiono głowę małpie (niedługo nam?); znacznie postępy w sprzężeniu mózg-komputer, bezinwazyjnie (EEG) jak i podłączając kamerę bezpośrednio do kory wzrokowej; mózg małpy steruje robotem na odległość 900 km; ewolucja robotów: zaprojektowane przez komputerowe programy, zbudowane przez roboty, obserwowane w środowisku i automatycznie ulepszane przez programy; Powstają projekty globalnych symulatorów mózgu. Stopniowo w bliskiej przyszłości • • • • • • • • • komputery osobiste osiągną wydajność rzędu Tflp (1/1000 mózgu), superkomputery szybkością znacznie przewyższą mózgi; powstaną roboty-zabawki i roboty opiekuńcze rozpoznające i wyrażające całą gamę emocji; tłumaczenie maszynowe na żywo (przez telefon) stanie się popularne; większość transakcji w elektronicznych sklepach i urzędach zachodzić będzie pomiędzy ludźmi i awatarami; komputer stanie się partnerem pomagającym myśleć, wyszuka informację, inteligentne odpowie na pytania, podsunie skojarzenia; tradycyjne nauczanie zastępowane będzie komputerowym; bezpośrednie sprzężenie mózg-komputer będzie używane przez niewidomych, głuchych, sparaliżowanych, furiatów … rozwinie się twórczość komputerowa; powstaną zupełnie nowe zawody, zabraknie projektantów osobowości awatarów ... Niech moc będzie z Wami! Nadchodzą interesujące czasy! Dziękuję za zsynchronizowanie swoich neuronów Google: W Duch => Prace, referaty, wykłady