Schematy przetwarzania informacji językowej

Schematy przetwarzania
informacji językowej
Łukasz Goraczewski, Antoni Wójcik | Toruń 2012
Komunikacja u zwierzęt
Funkcje
● sygnały związane z
reprodukcją (płeć,
gotowośc do
reprodukcji)
● sygnały terytorialne
● sygnały ostrzegawcze
● komunikacja z
potomstwem
Rodzaje sygnałów
● wizualne
● chemiczne
● dźwiękowe
● dotykowe
Prawie wszystkie sygnały są wrodzone
Funkcje język u ludzi
● Zaawansowana komunikacja
● Zaawansowane myślenie
Hipotezy ewolucyjne
Oderwanie od tu i teraz wymagało wytworzenia
reprezentacji własnych działań i świata
zewnętrznego.
Reprezentacje obiektów będących poza
zasięgiem zmysłów → pojęcia
Relacje pomiędzy pojęciami → pamięć
semantyczna
Przetwarzanie języka w mózgu
Lateralizacja
Większość przetwarzania języka
zachodzi w dominującej półkuli. U
praworęcznych ludzi jest to zwykle
lewa półkula.
Pacjenci po komisurotomii potrafią
nazywać tylko obiekty znajdujące się w
prawym polu widzenia.
Prawa półkula jest jednak związana z
subtelnymi analizami, odczytywaniem
metafor i poczuciem humoru.
Ośrodek Broki i Wernickego
Tradycyjne rozróżnienie uznawano ośrodek
Broki za generator mowy, a ośrodek
Wernickego za odbiornik.
Nie można traktować kompetencji językowych
w sposób modularny. Centrum motoryczne
języka, czyli ośrodek Broki, aktywuje się
również podczas percepcji mowy. Natomiast
centrum odbioru – ośrodek Wernickego podczas produkowania mowy.
Połączenia obszarów związanych z
przetwarzaniem języka
af - pęczek łukowaty
slf - pęczek podłużny górny
Friederici (2009)
Koaktywacja ośrodku Broki i
Wernickego
Pullvermuller (2005)
Połączenia z obszarami
sensorycznymi i motorycznymi
Rozproszenie funkcji językowych
Młodsze ewolucyjnie funkcje bazują na bardziej
rozproszonych obszarach aktywacji (Anderson 2010).
U ludzi występują znacznie bogatsze połączenia ośrodków
korowych związanych z przetwarzaniem języka
(Friederici 2009)
Dwa szlaki przetwarzania informacji
( Hickok
2007)
Dwa szlaki przetwarzania informacji
Szlak brzuszny
● przetwarzanie sygnałów mowy dla rozumienia
● bilateralny, różne w przetwarzaniu informacji pomiędzy
półkulami
Szlak grzbietowy
● mapowanie akustycznych sygnałów do obszarów
artykulacyjnych w płacie czołowym
● silna lateralizacja, półkula dominująca
Kodowanie wyrazów w mózgu
Word webs
Sieć neuronalna kodująca wyrazy (word web),
to sieć będąca ich biologicznym substratem,
czyli zespół neuronów łączący funkcje:
fonologiczne i percepcyjne wraz z informacją o
działaniu lub obrazie.
Pullvermuller (2002)
Po lewej stronie - do układu Wernicke – Broki
włączane są obszary kory przedruchowej i
kodują słowa związane z działaniem. Po
prawej, słowa odnoszące się do aspektów
wizualnych, aktywują oprócz układu Wernicke –
Broki, dolne obszary kory skroniowej oraz płat
potyliczny. Konkretne obszary są włączane do
tej sieci w zależności od kategorii słowa.
Funkcjonalna kategoryzacja słów
Podział na klasy gramatyczne AW i VRW
wydaje się bardziej odzwierciedlać sposób
kategoryzowania słów przez mózgi niż
proponowany przez językoznawstwo podział na
części mowy - czasowniki, rzeczowniki,
przymiotniki, zaimki.
Action words
Pullvermuller (2005)
Rozkład sieci leżących u podstaw AW
związany jest z działaniem poszczególnych
części ciała i ma swoje odzwierciedlenie na
mapie aktywności kory zgodnie z rozkładem
somatotopowym.
● słowa związane z twarzą – tylna część
dolnego zakrętu czołowego, tuż nad bruzdą
boczną;
● słowa związane z ręką/ramieniem – boczna
część płata czołowego;
● słowa związane z nogą/stopą – górna część
kory czołowo – ciemieniowej;
Neurony lustrzane
U ludzi dochodzi do aktywacji neuronów
lustrzanych nie tylko podczas obserwacji
działania, czy słuchania dźwięków tegoż
działania ale również podczas analizy
semantycznej wypowiedzi, czy tekstu
zawierającego AW.
Visually related words, czyli gdzie
jest jabłko?
●
●
●
●
czerwony-manipulowanie;
niebieski-schronienie;
zielony-jedzeie;
żółty-długość słowa;
Just (2010)
Bazowe cechy semantyczne
●
●
●
manipulacyjne
związane z jedzeniem
związane ze schroniniem
Każda z kategorii ma 3 - 4 lokalizacji
neuronalnych związanych z
nielingwistyczmnymi obszarami, określającymi
znaczenie pojęć.
Znaczenie pojęć jako wypadkowa bazowych
cech semantycznych.
Pojęcie jest wynikiem aktywacji o różnym
stopniu trzech bazowych domen
semantycznych. Domeny odzwierciedlają
kategorie ewolucyjnie istotne.
Trzy bazowe domeny semantyczne cechują
ludzkie mózgi, choć mogą mieć różną
lokalizację to sposób kodowania pojęć jest
wspólny.
Informacje skaładające się na pojęcie, w
mózgu reprezentowane są w sposób rozsiany i
przy zaangażowaniu obszarów, które
specjalizują się w innych funkcjach niż
lingwistyczne. Tak proste pojęcie jak jabłko,
może angażować obszary wizualne ale też, te
które kodują jego przeznaczenie, a to jaka sieć
zostanie pobudzona zależy w dużej mierze od
kontekstu.
Odgadywanie słów
Znaczenie konkretnych rzeczowników
reprezentowane jest przez trzy bazowe
domenty semantyczne i kodowane za pomocą
subdomen rozproszonych po 12 miejscach
kory. Na podstawie wzorców aktywności można
"odczytywać" słowa nie pojawiające sie
podczas treningu.
Przewidywanie aktywności mózgu dla
rzeczowników, czyli gdzie jest seler?
Mitchell
(2008)
Model przewidywania aktywacji fMRI dla
rzeczowników
1. Zakodowanie znaczenia słowa za pomocą
pośrednich semantycznych własności
wydobytych z korpusu tekstów
2. Przewidywanie aktywacji fMRI jako
kombinacji aktywacji dla każdej z
semantycznych własności danego słowa
Przetwarzanie gramatyki w mózgu
Klasy gramatyczne
Vigliocco (2011)
Klasy gramatyczne
Klasyfikowanie gramatyczne
pojedyńczych wyrazów.
Rzeczowniki i czasowniki maja
przynajmniej częściowo oddzielne
reprezentacje neuronalne. Gdzie
rzeczowniki kodowane są w sieci
znajdującej się w leweych obszarach
skroniowych, natomiast czasowniki w
lewych dolnych obszarach czołowych.
To podejście zakładało ponadto, że to
rozróżnienie będzie równiez
odzwierciedlać klasy gramatyczne.
Damasio (1996).
Vigliocco (2011)
Klasy gramatyczne
Podział morfologiczno-syntaktyczny
całych fraz.
Sieci morfologiczno-syntaktyczne
kodującące strukturę gramatyczną znajdują
się w obszarach kodujących znaczenia
danych słów. Obszary czołówe odpowiadać
będą za tworzenie fraz czasownikowych,
skroniowe - rzeczownikowych. Obszary
odpowiadają za tworzenie i przetwarzanie
całych fraz, a nie pojedyńczych wyrazów.
Shapiro (2006)
Vigliocco (2011)
Wspólna sieć przetwarzająca frazy AW i
VRW.
Klasy gramatyczne
Wspólna sieć będzie odpowiednio
przetwarzać dany rzeczownik, czy czasownik
w zależności od kontekstu w jakim się pojawi.
Sieć neuronów odpowiedzialna za
przetwarzanie gramatyki w zależności od
informacji semantycznej i pragmatycznej
będzie będzie tworzyć odpowiednie struktury
gramatyczne.
Tyler (2008)
Vigliocco (2011)
Klasy gramatyczne
Klasy garmatyczne takie jak rzeczowniki,
czasowniki, przymiotniki nie są najlepszym
sposobem opisu uniwersum języka jako
struktury wyłaniającej się z procesów
mózgowych. W różnych językach występują
różne części mowy oraz różne rozróżnienia
między rzeczownikami i czasownikami.
Integracja zwrotów
Klasy gramatyczne to informacje o tym jak
prawidłowo używać słów w zdaniach, czyli jak
łączyć je ze sobą. Informacja wynikająca z
klasy gramatycznej jest konieczna dla
zrozumieia zdania, nie jest jednak konieczna w
wypadku przetwarzania pojedyńczych słów.
Obecnie badania z zakresu neuroobrazowania
pokazują, że słowa z różnych klas
gramatycznych są przetwarzane przez wspólne
sieci neuronalne.
Architektury kognitywne.
Architektury kognitywne.
Wykorzystując i integrując wiedzę o działaniu
umysłu tworzy się komputerowe modele jego
funkcjonowania - są to właśnie architektury
kognitywne (cognitive architecture, CA).
Podział CA
Duch (2010)
Podział CA
S
P
CA
ined
a
r
t
ns
o
C
sed
a
y
t
b
i
c
apa tivation
C
l
ica
Ac
t
r
o
t
C
rren ystem
u
c
Con ction S
u
Prod
4
Duch (2010)
4CAPS - krótka historia
4CAPS to najnowsza członek rodziny
architektur kognitywnych CAPS i 3CAPS.
CAPS
● CAPS – jego mechanizm obliczeniowy zawierał:
● zmienne wiązane (zmienne wiążąca się z określoną
wartością lub wartościami);
● reprezentacje elementów struktury (reprezentacje
formalnych struktur gramatycznych zdania w
odniesieniu do jego poszczególnych części);
● aktywacje: ich poziom, wagi, wartości progowe;
● przetwarzanie równoległe;
CAPS stosowano z powodzeniem w modelach:
przetwarzania języka, rozwiązywania złożonych
problemów, przekształceń przestrzennych.
3CAPS
Następcą CAPS był 3CAPS. Nowym elementem jest tu uwzględnienie
ograniczonych zasobów na utrzymywanie i przetwarzanie reprezentacji.
Pozwala to na modelowanie zadań z uwzględnieniem indywidualnych różnic,
np.:
● przetwarzanie zadań językowych przez dzieci i dorosłych, których
charakteryzuje różna pojemność pamięci roboczej;
● modelowanie możliwości językowych u osób z afazją;
● modelowanie przetwarzani dyskursu językowego u dzieci;
● rozwiązywanie problemów u osób zdrowych oraz z uszkodzonymi
strukturami czołowymi;
3CAPS pozwala na modelowanie procesów poznawczych z uwzględnieniem
skończonych zasobów biologicznych mózgu.
4CAPS
W odróżnieniu od swoich poprzedników 4CAPS
korzysta z wyników neuroobrazowania, co
pozwala porównywać wyniki modelowania z
aktywnością kory. 4CAPS to model ośrodków
korowych, które aktywują się w danym zadaniu.
Każdy ośrodek jest systemem symboliczno –
koneksjonistycznym oraz posiada swoje stałe
zasoby poznawcze i bioenergetyczne.
Podstawowe zasady
1.0. Myślenie jest produktem jednoczesnej aktywności wielu obszarów
mózgu, które współpracują w obrębie rozległej sieci korowej.
1.1. Jeden obszar kory może wykonywać więcej niż jedną funkcję, oraz
poszczególne funkcje poznawcze mogą być wykonywane przez więcej niż
jeden obszar.
1.2. Każdy obszar korowy ma ograniczone zdolności obliczeniowe
ograniczające jego aktywność.
1.3. Topologia sieci (rozumianej globalnie, jako całość kory) zmienia się
dynamicznie podczas procesów poznawczych, adaptując się do nich zgodnie z
uwzględnieniem ograniczonych zasobów poszczególnych obszarów oraz
funkcjonalnych wymagań danego zadania.
1.4. Infrastruktura komunikacyjna sieci również podlega prawom ograniczonych
zasobów, rozumianych jako ograniczenia w przepustowości.
1.5. Aktywacja kory różni się w zależności od poznawczego obciążenia, co
może być mierzona za pomocą obrazowania fMRI lub PET. Metody
obrazowania pozwoliły na weryfikację modeli na podstawie badane aktywności
kory, która waha się w zależności on obciążeń poznawczych.
Ad. 1.0. Myślenie jest produktem jednoczesnej
aktywności wielu obszarów mózgu, które
współpracują w obrębie rozległej sieci korowej.
Podstawowymi wyzwaniami dla tego punktu
jest odpowiedź dlaczego dany zestaw
obszarów jest aktywny przy danym zadaniu.
Dalej należy się przyjrzeć jak obszary ze sobą
współpracują, ponieważ jest to coś więcej niż
koaktywacja, obszary współpracują ze sobą
aktywnie – mierzona jest korelacja czasowa
aktywności poszczególnych obszarów.
Ad. 1.1. Jeden obszar kory może wykonywać więcej niż jedną funkcję,
oraz posczególne funkcje poznawcze mogą być wykonywane przez
więcej niż jeden obszar.
Jeden obszar może wykonywać kilka funkcji – obszar Brocka –
przetwarzanie składni i artykulacja. W przypadku rozumienia mowy
odpowiedzi ośrodka Wernickego następują zarówno podczas odbioru
syntaktyki i leksyki.
Jedna funkcja może być spełniana przez kilaka ośrodków przez
pewnego rodzaju redundancja zasobów w całej korze. Nadmiar ten
pozwala na wykonywanie konkretnej funkcji przez więcej niż jeden
ośrodek. Zjawisko to widocznie jest przy uszkodzeniach, np.
uszkodzenie ośrodka Brocki może powodować aktywację analogicznej
struktury po prawej stronie. Tego rodzaju nadwyżka może leżeć u
podłoża procesów plastyczności. Proces wykorzystywanie nadwyżki
widać również w zdrowych mózgach. Kiedy zadanie poznawcze
przekroczy pewien próg trudności, zostają wyczerpane zasoby
obliczeniowe danego obszaru dochodzi do aktywacji
prawopółkulowych struktur.
Ad. 1.2. Każdy obszar korowy ma ograniczone zasoby
obliczeniowe ograniczające jego aktywność. Mózg
podobnie jak wszystkie inne układy biologiczne ma
ograniczone zasoby obliczeniowe. Podczas nadmiernego
wykorzystywania jakiegoś obszaru odpowiedzialnego za
daną funkcję jej wykonanie stawało by się mniej efektywne,
jednak zdolność mózgu do dynamicznego konfigurowania
w odpowiedzi na ograniczenia. Pozwala to lepiej się
adaptować i lepiej wykorzystywać potencjał poznawczy. W
teście N-back widać wyraźnie wzrost aktywności wraz ze
wzrostem trudności w obszarach przedczołowych
związanych z pamięcią roboczą. Oczywiście zasoby, które
zostają zaprzęgnięte podczas trudnych zadań również nie
są niewyczerpane. Podczas testu N-beck w próbie 3-beck
dochodzi do załamania zdolności przetwarzania, zadanie
nie jest wykonywane dobrze, a aktywność spada
Ad. 1.3. Topologia sieci (rozumianej globalnie, jako całość kory) zmienia się
dynamicznie podczas procesów poznawczych, adaptując się do nich zgodnie z
uwzględnieniem ograniczonych zasobów poszczególnych obszarów oraz
funkcjonalnych wymagań danego zadania.
Biologiczny substrat procesów poznawczych jest „ruchomy”. Zmienia się on
między jednym a drugim zadaniem (takim samym) ale również w trakcie
trwania zadania. Ta dynamiczna rekonfiguracja jest odpowiedzią na wahania w
dostępności zasobów bioenergetycznych.
● Np. kiedy poziom trudności wzrasta w zadaniach rozumienia mowy,
aktywuje się ośrodek homologiczny do ośrodka Wernickego – aktywność
ta wzrasta wraz z podnoszeniem się stopnia trudności. Kiedy zasoby
obszarów dobrze wyspecjalizowanych w jakimś zadaniu kończą się
dochodzi do włączenia w sieć mniej wyspecjalizowanych ośrodków.
● Ponadto topologia sieci może zmieniać się kiedy dochodzi do jakościowej
zmiany zadania. Kiedy do zadania językowego dochodzi inne zadaie
wymagające myślenia strategicznego do sieci językowej dołączane są
kolejne obszary, np. związane z pamięcią roboczą i wykonawczą
(grzbietowo boczna kora przedczołowa).
Ad. 1.4. Infrastruktura komunikacyjna sieci również podlega
prawom ograniczonych zasobów, rozumianych jako
ograniczenia w przepustowości.
Te ograniczenia widać zwłaszcza podczas wykonywania na
raz dwóch złożonych zadań. Można przypuszczać, że
suma aktywności podczas wykonywania zadania po
zadaniu oraz obu zadań równocześnie będzie taka sama (a
nawet większa w wypadku dual-task przez nadkładanie się
aktywności). Okazuje się jednak, że kiedy zadania
wykonywane są równocześnie aktywność jest mniejsza. Ta
zmniejszona suma aktywności może być tłumaczona
ograniczoną przepustowością infrastruktury sieci.
Ad. 1.5. Aktywacja kory różni się w zależności
od poznawczego obciążenia i mierzona jest
za pomocą obrazowania fMRI lub PET.
Bibliografia
●
●
●
●
●
●
●
●
●
●
●
Anderson, M. L. (2010). Neural reuse: a fundamental organizational principle of the brain. The
Behavioral and brain sciences, 33(4), 245-66; discussion 266-313.
Duch. W. (2010). Architektury kognitywne, czyli jak zbudować sztuczny umysł.
Neurocybernetyka teoretyczna.
Friederici, A. D. (2009). Pathways to language: fiber tracts in the human brain. Trends in
cognitive sciences, 13(4), 175-81.
Hickok, G. (2007). The cortical organization of speech processing. Nature Reviews
Neuroscience, 8(May), 393-402.
Just, Marcel Adam, and Sashank Varma. 2007. “The organization of thinking: what functional
brain imaging reveals about the neuroarchitecture of complex cognition.” Cognitive, affective &
behavioral neuroscience 7(3):153-91.
Just, Marcel Adam, Vladimir L Cherkassky, Sandesh Aryal, and Tom M Mitchell. 2010. “A
neurosemantic theory of concrete noun representation based on the underlying brain codes.”
PloS one 5(1):e8622.
Mitchell, T. M., Shinkareva, S. V., Carlson, A., Chang, K.-M., Malave, V. L., Mason, R. a, &
Just, M. A. (2008). Predicting human brain activity associated with the meanings of nouns.
Science (New York, N.Y.), 320(5880), 1191-5.
Pulvermüller, F. 2002. The neuroscience of language: on brain circuits of words and serial order.
Cambridge Univ Pr Retrieved March 9,
Pulvermüller, F. 2005. “Brain mechanisms linking language and action.” Nature Reviews
Neuroscience 6(7):576–582.
Tettamanti, Marco et al. 2005. “Listening to action-related sentences activates fronto-parietal
motor circuits.” Journal of cognitive neuroscience 17(2):273-81.
Vigliocco, Gabriella, David P Vinson, Judit Druks, Horacio Barber, and Stefano F Cappa. 2011.
“Nouns and verbs in the brain: a review of behavioural, electrophysiological, neuropsychological
and imaging studies.” Neuroscience and biobehavioral reviews 35(3):407-26.