0903-Neuroinf-Krakow

Informatyka kognitywna
Co to jest? Informatyka to ...
„systematyczne badanie procesów algorytmicznych,
które charakteryzują i przetwarzają informację ... ". ACM 1989.
Niektóre takie procesy sztuczne systemy robią lepiej niż ludzie,
ale nadal w wielu obszarach naturalne systemy są znacznie lepsze.
I to nas strasznie wkurza ...
International Journal of Cognitive Informatics and Natural Intelligence,
kwartalnik, od 2007 roku, ale nie ma wyraźnego profilu, od AI, uczenia
maszynowego, do kwantowych obliczeń, bioinformatyki, świadomości.
Informatyka neurokognitywna: badanie procesów przetwarzania informacji
przez mózgi, uproszczone modele czynności poznawczych, myślenia,
rozwiązywania problemów, uwagi, języka, kontroli zachowania i
świadomości => praktyczne algorytmy + lepsze rozumienie tych procesów.
Czeka nas bardzo głęboka rewolucja w rozumieniu natury ludzkiej.
Neuro-info
Co tu nowego? Są już takie dziedziny!
•
AI? Zupełnie nie interesuje się mózgiem, zajrzyjcie do podręcznika.
•
Sieci neuronowe? Inspiracje na poziomie pojedynczych neuronów.
•
Neuroinformatyka? Wspomaganie badań nad mózgiem.
•
Computational cognitive neuroscience?
Biofizyczne modele neuronów, powiązania z biofizyką molekularną,
neurodynamika, modele powstawania sygnałów EEG, MEG, fMRI ...
Szczegółowe modele neuronów i prostych czynności poznawczych,
pierwsza doroczna konferencja 11/2005.
•
Inteligencja obliczeniowa? Niższe czynności poznawcze+optymalizacja.
•
HCI, współpraca człowiek-maszyna? Głównie ograniczenia poznawcze.
•
Obliczenia afektywne? Częściowo, emocje pomagają w myśleniu.
•
Neuroinformatyka kognitywna tylko częściowo się z nimi pokrywa.
O co chodzi?
Informatyka neurokognitywna powinna pomóc w zrozumieniu
wyższych czynności poznawczych i czerpać z tego inspiracje.
• Różne rodzaje pamięci: rozpoznawcza, epizodyczna, semantyczna,
robocza, krótkotrwała, proceduralna, emocjonalna, utajona ...
• Reprezentacja różnych form wiedzy.
• Język, rozumienie pojęć, związek z percepcją.
• Procesy myślenia, rozwiązywania problemów, działania sekwencyjne.
• Kontrola uwagi, selekcja informacji, sterowanie przez dane (dataflow).
• Kontrola i planowanie zachowania, wyobraźnia, świadomość.
Czy to się da zrobić?
Przecież nie znamy szczegółów procesów zachodzących w mózgu?
Nadal wiele spekulacji, ale sporo wiemy, są modele jakościowe
wyjaśniające przyczyny syndromów neuropsychologicznych oraz chorób
psychicznych, rozwijające się szybko od ~ 1995 roku.
Symulacje
Neurony, sieci, symulatory:
szczegóły - wykład z neuropsychologii komputerowej,
Google: W. Duch => Notatki do Wykładów.
Pamięć skojarzeniowa
1. Zdolność do rozpoznawania uszkodzonych wzorców –
adresowalność kontekstowa.
2. Uszkodzenie części macierzy połączeń nie prowadzi do
zapomnienia konkretnych wzorców - brak lokalizacji.
3. Czas (szybkość kojarzenia) nie zależy od liczby zapamiętanych
wzorców, ale może się wydłużyć dla nieużywanych wzorców.
4. Interferencja (mylenie się) dla podobnych wzorców jest częstsza niż
dla wzorców odmiennych.
5. Przepełnienie pamięci (macierzy wag) prowadzi
do chaotycznego zachowania.
Wniosek:
Nawet proste mózgo-podobne rozproszone
przetwarzanie informacji wykazuje interesujące
podobieństwa do psychologicznych obserwacji.
 Złożoność mózgu nie jest głównym problemem!
 Im dokładniejsze modele tym więcej funkcji.
INKa pomoże zrozumieć ...
•
•
•
•
•
•
•
•
•
•
Problem ciała-umysłu => transformacja neurodynamiki w percepcję
wewnętrzną (przestrzenie psychologiczne), Brain-Computer Interfaces.
Przepływ informacji w mózgu: rola poszczególnych struktur:
do czego służą, czyli co robią z informacją?
Psychiatria generatywna: jakie jest efekt zaburzeń?
Intuicja, wgląd, myślenie.
Torowanie, psychologia eksperymentalna i kreatywność.
Nabywanie umiejętności i świadomość.
Dynamika uczenia się – jak nowicjusz staje się ekspertem?
Talent, amuzja, wyobraźnia dźwiękowa.
Rozwój umysłu niemowląt i dzieci.
Obliczenia afektywne.
Liczne zastosowania: od inspiracji dla uczenia maszynowego, analizy
sygnałów, problemów językowych, do robotyki kognitywnej.
Internet, łączność, rozrywka, biznes ... to mało interesująca część
informatyki, zmiany będą przyspieszać.
Intencje w mózgu
Hayens i inn, Current Biology 2007:
dostaniesz za chwilę dwie liczby,
możesz je dodać lub od siebie odjąć
... a aktywność przyśrodkowej kory czołowej
pokaże, jakie są Twoje intencje ...
Wiesz co trzeba zrobić zanim wiesz
co robisz ... wzrokowa droga
grzbietowa jest szybsza!
Obserwując korę przedczołową
poznam Twoje plany 10 s. przed Tobą!
Brain-Computer Interfaces:
jakie są relacje pomiędzy stanami
mózg a stanami umysłu?
Projekt TOBI: Tools for BCI,
EU FP7, 2009-2012
Neuroobrazowanie słów?
Predicting Human Brain Activity Associated with the Meanings
of Nouns," T. M. Mitchell et al, Science, 320, 1191, May 30, 2008
•
•
•
•
Czy możemy zobaczyć reprezentacje pojęć w mózgu? Po raz pierwszy
udało się zobaczyć w miarę stabilne obrazy fMRI ludzi, którzy widzą,
słyszą lub myślą o jakimś pojęciu.
Czytanie słów, jak i oglądanie obrazków, które przywodzą na myśl dany
obiekt, wywołuje podobne aktywacje - mózgowy kod sensu pojęć.
Indywidualne różnice są spore ale aktywacje pomiędzy różnymi ludźmi
są na tyle podobne, że klasyfikator może się tego nauczyć.
Model nauczony na ~10 fMRI skanach + dużym korpusie słów (1012)
przewiduje aktywność fMRI dla ponad 100 rzeczowników.
Aktywacje mózgu dla różnych słów mogą służyć za rozkłady bazowe
pozwalające za pomocą korelacji pomiędzy słowami przewidzieć aktywacje
dla nowych pojęć; pobudzenia mózgu = naturalna baza reprezentacji.
Przykłady fMRI dla czasowników .
Modele funkcji mózgu
Uwzględnia się wiele obszarów, np. dla wzroku LGN, V1, V2, V4/IT, V5/MT
Można zbadać możliwe
zaburzenia funkcji =>
psychiatria generatywna.
Modele intuicji,
wyobraźni, sensu słów,
powstawania wrażeń,
świadomości …
Analiza sygnałów EEG,
wykorzystanie do sterowania
(BCI).
Model biofizyczny
Synapses
Soma
I syn (t )
Spike
EPSP, IPSP
Rsyn
Spike
Csyn
Cm
,ext
I AMPA,ext (t )  g AMPA,ext (Vi (t )  VE ) wij s AMPA
(t )
j
j
,rec
I AMPA,rec (t )  g AMPA,rec (Vi (t )  VE ) wij s AMPA
(t )
j
j
Rm
s AMPA
(t )
d AMPA
s j (t )   j
   (t  t kj )
dt
 AMPA
k
s NMDA
(t )
d NMDA
s j (t )   j
  x j (t )(1  s NMDA
(t ))
j
dt
 NMDA,decay
x NMDA
(t )
d NMDA
x j (t )   j
   (t  t kj )
dt
 NMDA,rise k
g NMDA,rec (Vi (t )  VE )
NMDA,rec
w
s
(t )

ij j
2
sGABA
(t )
d GABA
(1  [ Mg ]exp( 0.062Vi (t ) / 3.57)) j
s j (t )   j
   (t  t kj )
dt
 GABA
k
,rec
I GABA,rec (t )  gGABA,rec (Vi (t )  VE ) wij s GABA
(
t
)
j
I NMDA,rec (t ) 
j
Problemy z umysłem
• Problemy klasyczne i współczesne:
•
Problem wolnej woli i odpowiedzialności – „wolne”, bo nie da się
przewidzieć ze względu na złożoność neurodynamiki?
Błąd utożsamiania się z ego, a nie całym mózgiem ++
•
Problem jedności poczucia istnienia „ja”: tożsamy z problem
integracji percepcji? Skoro różne aspekty postrzegania
analizowane są przez różne obszary mózgu dlaczego świadomość
w normalnym stanie wydaje się monolityczna? Czego nas uczą
syndromy neuropsychologiczne i choroby psychiczne?
•
Problem psychofizyczny – przebrzmiały? Umysł jest jedną z wielu
rzeczy, którą robi mózg, ale potrzebujemy pomostu pomiędzy
psychologią i neurobiologią; geometryczny model umysłu?
•
Problem adekwatnego języka opisu umysłu, brak prostych modeli.
Umysł to nie katapulta, centrala telefoniczna czy komputer.
Architektura mózgopodobna
Stany mózgu są czasoprzestrzennymi rozkładami pobudzeń tkanki
neuronów. Procesy poznawcze operują na znacznie przetworzonych
sygnałach dochodzących od zmysłów.
• Czerwień, słodycz, ból ... to fizyczne (relacyjne) stany mózgu.
• Widzę, słyszę i czuję tylko stany mózgu! Np. złudzenia optyczne.
Kora: zbiór mikroobwodów,
rezonatorów tworzących stany
kolektywne, pojedyncze neurony
mają niewielkie znaczenie.
Aktywna część kory: pamięć
robocza, całkiem odmienna od
pamięci w komputerach.
Rejestry komputera to nie są
stany dynamiczne, które
automatycznie prowadzą do
skojarzeń.
BICA =Brain Inspired CA
• IBCA (Integrated Biologically-based Cognitive Architecture),
(O'Reilly, Y. Munakata 2000): wyróżnia 3 typy pamięci.
• W korze ciemieniowej (PC), zazębiające się, rozproszone lokalne
moduły, hierarchiczne, sensomotoryczne wielomodalne działania.
• W korze czołowej (FC) izolowana lokalna rekurencyjna reprezentacja
odpowiedzialna za pamięć roboczą, wkład kombinatoryczny.
• W hipokampie (HC) rzadka, koniunktywna organizacja globalna,
scalająca wszystkie pobudzenia w PC i FC (pamięć epizodyczna).
• Różne formy uczenia: korelacyjny model środowiska, redukcję błędów
do uczenia umiejętności i dynamikę konkurencyjną (kWTA).
• Moduły PC & FC: powolne uczenie się regularności w obserwacjach.
• Moduł HC: szybkie uczenie, zapamiętywanie i rozróżnianie epizodów.
Współpraca HC - FC/PC realizuje komplementarne strategie uczenia.
• Wyższe czynności poznawcze wynikają z aktualizacji reprezentacji
modułu FC umożliwiającego samo-regulację.
• Jedynie podstawowe fakty psychologiczne; cele? emocje? skalowanie?
BICA jako aproksymacja
• Znaczne postępy poczyniono wykorzystując
inspiracje z badań nad mózgiem do analizy percepcji,
mniejsze dla wyższych czynności poznawczych.
• Neurokognitywne podejście do lingwistyki stosowano do analizy
zjawisk lingwistycznych, ale ma to niewielki wpływ na NLP.
• Potrzebne są nowe matematyczne techniki by opisać procesy
obliczeniowe w terminach “wzorców stanów mózgu” i rozchodzenia się
aktywacji między takimi wzorcami. Jak to zrobić?
• Prototypy dla stanów neuronowych? Możliwe, dobre rezultaty
z analizy EEG => ruchy ręki lub ruchy oczu.
• Quasi-stacjonarne fale pobudzeń opisujące globalne
stany mózgu w określonym kontekście (w,Cont)?
• Jak wyglądają ścieżki rozchodzenia się aktywacji w mózgu?
Praktyczny algorytm rozszerza rep. pojęcia o te kategorie skojarzeń,
które są pomocne w klasteryzacji i klasyfikacji (Duch i inn, Neural
Networks 2008), usuwając słabe skojarzenia przez filtrowanie cech.
Metafora systemu dynamicznego
Umysł/mózg jak system dynamiczny:
•
•
•
Thelen E. and Smith L.B. A Dynamic Systems Approach to the
Development of Cognition and Action. MIT Press 1994.
Smith L.B. and Thelen E, Eds. A Dynamic Systems Approach to the
Development. MIT Press 1994.
J. A. Scott Kelso, Dynamic Patterns. The Self-Organization of Brain
and Behavior. MIT Press 1995
Jak połączyć neuro i psyche ?
•
•
•
R. Shepard (BBS, 2001): uniwersalne prawa należy sformułować w
odpowiednich abstrakcyjnych przestrzeniach psychologicznych; próba
uproszczenia neurodynamiki => geometryczne modele umysłu.
K. Lewin, koncepcyjna reprezentacja i pomiary siły psychologicznych
(1938), stan kognitywny jako ruch w p-ni fenomenologicznej.
George Kelly (1955), personal construct psychology (PCP), geometria
p-ni psychologicznych jako alternatywa dla logiki.
Ciało-umysł
Poznanie wszystkich szczegółów na poziomie
molekularnym lub pojedynczych neuronów nie wystarczy!
Potrzebujemy prostego modelu obrazującego relacje
pomiędzy mózgiem i umysłem.
Tysiące konkretnych zjawisk ma wyjaśnienia i konkretne
modele, w tym również struktura i przyczyna powstawania wrażeń.
Model geometryczny opiera się na prostej metaforze:
Umysł jest cieniem neurodynamiki.
Modele geometryczne prowadzą do fizyki „przestrzeni mentalnych”.
Ciekawe problemy matematyczne dotyczące opisu takich przestrzeni.
Czy są to modele wystarczająco proste by dało się je zrozumieć?
Model umysłu
Model hierarchiczny, geometryczny, w p-niach psychologicznych,
których wymiary dają się powiązać z doświadczanymi stanami
wewnętrznymi jak i aktywacją różnych obszarów mózgu.
• wykrywanie cech - mapy topograficzne, kora sensoryczna
• rozpoznawanie obiektów - pamięć długotrwała
• pamięć robocza - bieżąca kontrola, przeżywana teraźniejszość.
Uczenie się kategorii
Kategoryzacja w psychologii – duża dziedzina, wiele teorii.
Klasyczne eksperymenty: Shepard et. al (1961), Nosofsky et al. (1994)
Problemy kategoryzacji o wzrastającym stopniu złożoności, mamy
3 binarne własności: kolor (czarny/biały), rozmiar (mały/duży), kształt
(, ), oraz zbiór przykładów podzielonych na dwie kategorie C1, C2.
Typ I : jedna własność określa kategorię, np. kolor.
Typ II: dwie własności, z logiką XOR, np.
Kat A: (czarny,duży) lub (biały,mały), kształt dowolny.
Typ III-V: jedna własność + coraz więcej wyjątków.
Typ VI: brak logicznej reguły, trzeba pamiętać przykłady.
Trudności i szybkość uczenia się w eksperymentach:
Typ I < II < III ~ IV ~ V < VI
Dynamika kanoniczna
Co dzieje się w mózgu w czasie uczenia się definicji kategorii na
przykładach?
Złożona neurodynamika <=> najprostsza dynamika (kanoniczna).
Dla wszystkich reguł logicznych można napisać odpowiednia równania.
Dla problemów typu II, czyli XOR:
1 2
2
2 2
V  x, y, z   3 xyz   x  y  z 
4
V
x
 3 yz   x 2  y 2  z 2  x
x
V
y
 3 xz   x 2  y 2  z 2  y
y
V
z
 3 xy   x 2  y 2  z 2  z Przestrzeń
z
cech, A=x, B=y
C=A.xor.B
Dziwne decyzje
Lista symptomów i chorób:
C (częsta), R (Rzadka),
Symptomy:
PC (zawsze dla C),
PR (zawsze dla R),
I (nieistotne, przypadkowe).
PC, I => C, np. Gorączka, Katar => Grypa
PR, I => PR, np. Ból gardła, Katar => Angina
Niech C występuje 3 razy częściej niż R.
Pokazujemy kombinację symptomów i pytamy o diagnozę:
PC => C; I => C,
PC, I => C
PC+I+PR => C (60%)
Jest to zgodne z oczekiwaniami opartymi na częstościach, ale:
PC+PR => R (60%) !
Zaskakujące przewidywania, wbrew większości (Medin, Edelson 1988).
Atraktory, na pomoc!
Co się dzieje? Decyzje możemy racjonalizować, ale stoi za nimi dynamika
działania mózgu – konieczna do zrozumienia ludzkich decyzji.
Trzeba zbadać baseny atraktorów neurodynamiki.
Rozkład prawdopodobieństwa w przestrzeni {C, R, I, PC, PR}.
Stan umysłu: punkt w przestrzeni,
baseny atrakcji – dołki, w które ten
punkt wpada, z przypadkowego startu
wpada zwykle w PC, bo jest to
rozległy basen atrakcji,
R jest głębszym i węższym, bo
inaczej by się nie odróżnił od C.
Interpretacja psychologiczna (Kruschke 1996):
PR ma znaczenie ponieważ jest to symptom wyróżniający, chociaż PC jest
częstszy. Niestety psycholodzy na wszystko znajdą pozorne wyjaśnienia ...
Uczenie
Neurodynamika
Psychologia
I+PC=>C, pojawia się często więc Symptomy I, PC są typowe dla C
ma silniejsze połączenia
ponieważ są częściej
synaptyczne, powstają większe i obserwowane.
głębsze baseny atraktorów.
I+PR=>R, ponieważ formuje się
atraktor dla I+PC prowadzący do
C, nauczenie skojarzenia
I+PR=>R wymaga powstania
głębszego i bardziej
zlokalizowanego atraktora.
Dla rzadkiej choroby R symptom I
występujący też z C jest mylący,
uwaga skupia się na symptomie
PR skojarzonym z R.
Punkty widzenia
Neurodynamika
Psychologia
I=>C, bo dłuższe uczenie
skojarzenia I+PC=>C tworzy
większy wspólny basen atrakcji niż
I+PR=>R.
I => C, w zgodzie z większą
częstością, bo częstsza
stymulacja I+PC=>C jest częściej
przypominana.
I+PC+PR prowadzi często do C
bo I+PC umieszcza system w
środku dużego basenu
skojarzonego z C i pomimo
silnego gradientu wymiarze PR
trajektorie zwykle kończą w C.
I+PC+PR => zwykle do C
ponieważ obecne są wszystkie
symptomy a C jest częstsze
(argument oparty na częstości).
PR+PC prowadzi częściej do R
ponieważ w kierunku R jest silny
gradient i z punktu (PR,PC) dla
małego I łatwiej skończyć w R.
PC+PR => R ponieważ R jest
symptomem dyskryminującym,
chociaż PC jest częstsze (ale PC
też takim jest?).
Modele mentalne
Neurodynamika jest odpowiedzialna za rozumowanie;
tylko proste skojarzeniowe formy rozumowania są łatwe.
A=>B i B=>C to kojarzymy, że A=>C, ale weźmy schemat:
•
•
•
Wszyscy akademicy to uczeni.
Żaden mędrzec nie jest akademikiem.
Co możemy powiedzieć o relacjach pomiędzy uczonymi i mędrcami?
Po tygodniach namysłu studenci nadal nie potrafią odpowiedzieć.
Na egzaminie pomimo wcześniejszych wyjaśnień ponad połowa podaje
błędną odpowiedź.
Wniosek: myślenie biegnie utartymi drogami, trudno jest myśleć
nieschematycznie.
Wyobraźnia wzrokowa
Jak i gdzie tworzą się obrazy wzrokowe?
• Borst, G., Kosslyn, S. M, Visual mental imagery and visual perception:
structural equivalence revealed by scanning processes.
Memory & Cognition, 36, 849-862, 2008.
Konkluzja: reprezentacja wzrokowa i wyobrażona jest bardzo podobna.
• Cui, X et al. (2007) Vividness of mental imagery: Individual variability can be
measured objectively. Vision Research, 47, 474-478.
Testy Vividness of Visual Imagination (VVIQ) dobrze się korelują z aktywnością
kory wzrokowej względem całkowitej aktywności mózgu w fMRI (r=-0.73), i
wynikach testów psychofizycznych.
Warto zwracać uwagę na indywidualne różnice.
Słaba wyobraźnia: dlaczego? Zbyt słabe pobudzenia zwrotne?
Niezdolność rysowania z pamięci, opisu szczegółów, różnic, twarzy itp.
Kiedy powstają świadome wrażenia?
Konieczna aktywność kory zmysłowej, np. V4=kolor, MT/V5=ruch.
Strumienie wstępujące i zstępujące łączą się, tworząc stany rezonansowe.
Co dzieje się gdy przepływ infromacji w jedną ze stron jest słaby?
C. Gilbert, M. Sigman, Brain States: Top-Down Influences in Sensory Processing.
Neuron 54(5), 677-696, 2007
Przetwarzanie informacji ze zmysłów w korze i wzgórzu podlega silnym wpływom
"odgórnym", w których złożone hipotezy zmieniają procesy na niskim poziomie.
Kora funkcjonuje jako system adaptacyjny, zmieniając aktywność pod wpływem
uwagi, oczekiwań, zadań związanych z percepcją. Stany mózgu tworzą się przez
interakcję pomiędzy wieloma obszarami, w tym modulację lokalnych mikroobwodów przez sprzężenia zwrotne. Zakłócenia tego przepływu informacji mogą
prowadzić do zaburzeń behawioralnych.
Dehaene i inn, Conscious, preconscious, and subliminal processing. TCS 2006
Siła wpływu informacji wstępującej i uwaga (informacja zstępująca), dają 4
sytuacje, w których bodźce i uwaga są konieczne do świadomej percepcji.
Uwaga wzrokowa
• Normalna percepcja wymaga uwagi,
informacji zstępującej, oczekiwań.
• Co się dzieje jeśli kora zmysłowa jest
słabo pobudzana przez PC/FC?
• To nie jest zwykła agnozja, raczej agnozja
wyobraźni, nieopisany stan!
Czym się takie słabe sprzężenie będzie charakteryzować?
Problemy z uwagą? Jeśli połączenia są bardzo słabe rozpoznawanie obiektów przy
słabym świetle może być znacznie utrudnione.
Zwykle tylko słaba wyobraźnia wzrokowa, pamięć widzianych szczegółów,
trudności z rysowaniem z pamięci, przypominaniem i opisywaniem rzeczy,
notowaniem zmian, słabe wyniki w układankach i grach pamięciowych, trudności
w postrzeganiu ukrytych obrazków 3D, być może skłonności introwertyczne.
Typ bardziej koncepcyjny niż percepcyjny … Pamięć rozpoznawcza normalna.
Na poziomie PC/FC mniej interferencji z obszarów zmysłowych, może być lepsza
niż przeciętna wyobraźnia, kreatywność i rozumowanie.
Wyobraźnia muzyczna i talent
Aktywacje fMRI rosną w czasie testu
wyobraźni dźwiękowej wykonanego
w ciszy, w przedniej części górnego
zakrętu skroniowego kory słuchowej.
Zatorre & Halpern, Mental Concerts:
Musical Imagery and Auditory
Cortex, Neuron 47, 9-12, 2004.
Wyobrażenia dźwięków są ważnym aspektem rozwoju muzycznego.
"Celem występu muzycznego jest reprodukcja wewnętrznego obrazu
dźwiękowego" (D.R. Allen, praca doktorska z muzykologii, 2007).
Testy słuchu muzycznego nie wystarczają, można mieć dobry słuch i wzrok,
przyjemność z oglądania/słuchania muzyki, lecz mimo tego trudności w nauce.
Talent wymaga dobrego działania i współdziałania wszystkich struktur mózgu,
fMRI jest za drogie, potrzebujemy prostych testów!
Testy przesiewowe
• Problem: znaczny procent dzieci cierpi na zaburzenia
rozwojowe np. na dysleksję >10% populacji,
utratę słuchu stwierdza się średnio dopiero >2 lat,
ponad 200 mln dzieci na świecie nie jest zdolna do nauki!
• Czas wykrycia problemu decyduje o możliwościach rehabilitacji.
• Konieczne są tanie testy przesiewowe na dużą skalę.
• Planujemy testy oparte na reakcjach fizjologicznych,
pozwalające na wczesną identyfikację problemów rozwojowych:
zaburzeń słuchu, zwłaszcza fonematycznego;
zaburzeń uwagi, pamięci roboczej, koordynacji.
• Technologia: komputer, PDA lub telefon + tanie urządzenia
pomiarowe lub serwer usługowy.
• Testy czasów reakcji, synchronizacji procesów mózgowych,
są w fazie opracowań.
Automatyzacja działań
Uczenie się: początkowo świadome działania
angażują cały mózg, w końcu działania
automatyczne, podświadome, zlokalizowane.
Formowanie się nowych kwazistabilnych stanów
mózgu w czasie uczenia się => modele neuronowe.
Uczenie się wymaga wzmacniania zachowań pożądanych, obserwacji i
oceny złożonych stanów mózgu.
Powiązanie obecnego działania z zapamiętanymi skutkami podobnych
działań wymaga ocen i porównań, a następnie reakcji emocjonalnych,
które wyzwolą neurotransmitery (dopaminę) jako sygnał wzmacniający,
zwiększający szybkość uczenia modułów neuronowych.
Pamięć robocza w tak złożonym procesie jest niezbędna.
Błędy należy zapamiętać, zwłaszcza gorzki smak porażki.
Nie ma żadnego transferu od świadomego do nieświadomego! Jest
tylko (świadomy) proces oceny potrzebny do wzmocnienia.
Pamięć i kreatywność
Mózgi osób kreatywnych reagują na więcej sygnałów dochodzących ze
środowiska, nie blokują mocno sygnałów, które wcześniej były nieistotne,
nie ulegając łatwo habituacji (Carson, 2003).
Może się to wiązać z bogatszą reprezentacją koncepcji i sytuacji w umysłach
osób kreatywnych.
Podobne zachowania obserwowano u mnichów Zen.
PRIMA, technika skojarzeń par słów pozwala badać, czy w mózgu danej
osoby jest ścieżka, łącząca dane koncepcje.
A. Gruszka, E. Nęcka, Creativity Research Journal 2002.
Słowo 1
Torowanie 0,2 s
Słowo 2
Słowa mogą być łatwe lub trudne do skojarzenia;
słowa torujące mogą być pomocne lub neutralne;
pomocne to skojarzenie semantyczne lub fonologiczne (hogse do horse);
neutralne mogą być bezsensowne lub nie związane z prezentowaną parą.
Rezultaty dla grupy ludzi silnie/słabo kreatywnych są zadziwiające …
Skojarzenia i kreatywność
Hipoteza: kreatywność zależy od pamięci skojarzeniowej,
zdolności do łączenia odległych koncepcji ze sobą.
Rezultat: kreatywność jest skorelowana ze zdolnością do skojarzeń i
podatnością na torowanie; trudniejsze skojarzenia mają dłuższe latencje.
Torowanie neutralne działa dziwnie:
• dla prostych skojarzeń nonsensowne słowa torujące przeszkadzają osobom
kreatywnym, pomagają reszcie; w pozostałych przypadkach pomagają!
• dla odległych skojarzeń torowanie zawsze zwiększa siłę skojarzeń,
u osób kreatywnych dając najsilniejszy efekt.
Podobnie zagadkowe są wyniki dla czasów reakcji.
Konkluzje autorów:
Gęstsze połączenia => lepsze skojarzenia => większa kreatywność.
Wyniki dla neutralnych słów torujących są niezrozumiałe.
Skojarzenia - powtórka
Dlaczego torowanie neutralne dla prostych skojarzeń i
nonsensownych słów torujących pogarsza wyniki osób kreatywnych?
Słaba kreatywność = słabe skojarzenia (połączenia) miedzy oscylatorami;
dodanie szumu (nonsensownych słów) wzmacnia już zachodzące oscylacje
umożliwiając wzajemne pobudzenia, dla silniej połączonej sieci neuronowej i
prostych skojarzeń prowadzi do zamieszania, gdyż pobudza wiele stanów.
Dla trudnych skojarzeń dodawanie szumu u osób słabo kreatywnych nie
pomoże ze względu na brak połączeń, słowa torujące powodują jedynie
chaos. Dla osób kreatywnych wywołanie rezonansu miedzy odległymi
mikroobwodami jest możliwe: mamy tu rezonans stochastyczny!
Dla słów torujących ortograficznie podobnych przy bliskich skojarzeniach
pobudza to aktywność reprezentacji drugiego słowa, zawsze zwiększając
szansę rezonansu i skracając latencję. Nie pomaga to jednak dla odległych
skojarzeń, nie pobudzając pośrednich obwodów, które muszą być aktywne
by powstał rezonans, za to słowa nonsensowne wzmagają efekt torowania.
Projekty lingwistyczne
Open Mind Common Sense Project (MIT):
projekt kolaboracyjny WWW , ponad 15 000 autorów,
którzy wpisali ponad 710 000 faktów; wyniki posłużyły do utworzenia
ConceptNet, bardzo dużej sieci semantycznej.
Commonsense Computing @ MediaLab, MIT, miał stworzyć skalowalny
system oparty na zdroworozsądkowej wiedzy, zbieranej z tekstów,
zautomatyzowanych obserwacji i w projektach kolaboracyjnych.
LifeNet zbiera informację o wydarzeniach w życiu, opiera się na wersji
Multi-Lingual ConceptNet używając sieci semantycznej, która ma 300 000
węzłów; informacja o zdarzeniach ma być zbierana z sensorów.
Honda Open Mind Indor Common Sense zbiera nadal info zadając pytania.
Inne projekty: HowNet (Chinese Academy of Science),
FrameNet (Berkeley), różne duże ontologie,
MindNet (Microsoft), początkowo do tłumaczenia.
Próbują zgromadzić fakty o świecie,
ale mózgi robią to inaczej ...
Słowa: prosty model
Cele:
• zrobić najprostszy model kreatywnego myślenia;
• tworzyć interesujące nowe nazwy, oddające cechy produktów;
• zrozumieć nowe słowa, których nie ma w słowniku.
Model zainspirowany przez procesy zachodzące w mózgu w czasie
wymyślania nowych słów. Dany jest zbiór słów kluczowych, które pobudzają
korę słuchową.
Fonemy (allofony) są rezonansami, uporządkowane pobudzenie fonemów
aktywuje zarówno znane słowa jak i nowe kombinacje; kontekst +
hamowanie w procesie zwycięzca bierze wszystko zostawia jedno słowo.
Kreatywność = wyobraźnia (fluktuacje) + filtrowanie (konkurencja)
Wyobraźnia: wiele chwilowych rezonansów powstaje równolegle, aktywując
reprezentacje słów i nie-słów, zależnie od siły połączeń oscylatorów.
Filtrowanie: skojarzenia, emocje, gęstość fonologiczna/semantyczna.
Twórz, maszyno, twórz
Zrozumienie sposobu analizy i tworzenia słów w mózgach pozwala na
sformułowanie algorytmów, które w podobny sposób będą tworzyć nowe
słowa, np. na podstawie opisów produktów lub usług.
Przykład pośredniego etapu radosnego słowotwórstwa sieci neuronowej:
ardyczulać ardychstronnie, ardywialić ardyklonnie,
ardywializować ardywianacje, argadolić argadziancje,
arganiastość arganastyczna, arganianalność arganiczna,
argasknie argasknika, argulachny argatywista,
argumialent argumiadać argumialenie argumialiwić
argumowny argumofon argumował argumowalność
Czy "argumiadać" to nie piękne słowo?
Kojarzy się z kimś, kto argumentuje tak intensywnie, że ujada.
Proces tworzenia słów da się analizować teoretycznie i eksperymentalnie.
Kilka zwariowanych projektów
•
•
•
•
Programy
Sztuka
Mózgi
Ludzie
•
Programy: podstawy inteligencji obliczeniowej, systemy uczące się,
integracja metod uczenia, selekcji informacji i meta-uczenia, czyli tego
jak się nauczyć uczyć (neuro)komputery.
•
Sztuka: obrazy i dźwięki tworzone przez komputer lub interaktywnie.
•
Mózgi: symulacja, pień mózgu i procesy oddychania, przytomności,
informatyka neurokognitywna, rozumienie, intuicja, wyobraźnia i
kreatywność programów.
•
Ludzie: obserwacja niemowląt, kierowanie ich rozwojem, testy
zdolności poznawczych dzieci, badanie talentu.
Rozumienie tekstów
Neurokognitywne podejście do rozumienia języka (projekt IP FP7):
słowa, koncepcje, pobudzają skojarzone z nimi koncepcje;
ważne jest prawdopodobieństwo rozkładu, koncepcje odnoszące się do
tego samego tematu lepiej do siebie pasują, tworząc graf spójnych
koncepcji  aktywnej części pamięci semantycznej z hamowaniem i
rozchodzeniem się aktywacji.
Dla tekstów medycznych mamy >2 mln koncepcji, 15 mln relacji …
Pytania
Pamięć semantyczna
Zastosowania, szukanie,
gry słowne, 20 pytań.
HIT – naturalny interfejs
interfejs graficzny
http://diodor.eti.pg.gda.pl
Oznaczanie części
mowy+ ekstrakcja fraz
Organizuj
weryfikuj
poprawiaj
Parser
Słowniki w sieci,
ontologie, aktywne
szukanie, dialog z
użytkownikiem,
gry słowne.
Nadchodzą
interesujące
czasy!
Dziękuję za
zsynchronizowanie
swoich neuronów
Google: W Duch => Prace, referaty, wykłady