Treningi poznawcze i badania dzieci z użyciem

Treningi poznawcze i badania dzieci
z użyciem komputerów i urządzeń mobilnych
Jacek Matulewski
kierownik Laboratorium Neurokognitywistycznego (LNK): Włodzisław Duch
psychologowie : Bibianna Bałaj, Małgorzata Gut, Joanna Dreszer, Magdalena Jawor
kognitywiści (doktoranci): Łukasz Goraczewski, Karolina Finc, Natalia Pawlaczyk
studenci (WFAiIS): Jakub Majewski, Ewelina Bendlin, Piotr Cholewa, Alicja Majka, Piotr Redmerski
studenci (WH): Magdalena Szmytke, Agnieszka Ignaczewska, Julia Stępińska, Magdalena Kmiecik
Pracownia Gier Terapeutycznych i Badania Procesów Poznawczych (GameLab)
Instytut Fizyki, Wydział Fizyki, Astronomii i Informatyki Stosowanej
Interdyscyplinarne Centrum Nowoczesnych Technologii (ICNT)
Uniwersytet Mikołaja Kopernika w Toruniu
Projekty:
1. Dyskalkulia, test przesiewowy TPRD i trening poznawczy (gra)
2. Gaze Controlled Application Framework (GCAF),
Case study: Różnicowanie dźwięków mowy u niemowląt
3. Badania orientacji przestrzennej u osób 65+ (labirynty VR)
4. Automatyczna analiza nagrań z eyetrackerów nagłownych
5. Gra słuchowa
6. Interaktywna zabawka dla niemowląt i małych dzieci
Homo sapiens
człowiek rozumny, Karol Darwin (1859)
Homo faber
working man, człowiek twórczy, Appiusz Klaudiusz (IV/III w. p.n.e.)
Homo ludens
playing man, człowiek bawiący się, Johan Huizinga (1938)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Związek liczb i przestrzeni
Zwykliśmy przedstawiać liczby w przestrzeni (cf. Florian Krause 2015).
W jednym wymiarze taki sposób prezentacji prowadzi do rysowania osi liczbowej.
Osie liczbowe pokazują porządek zawarty w liczbach.
„Porządek” to fundamentalna idea arytmetyki (jako gałęzi matematyki).
Zdolność do porządkowania jest też niezbędna, aby dziecko rozwinęło umięjętności:
liczenia, porównywania wartości czy prostych operacji arytmetycznych (np. +).
Idea osi liczbowej (związku przestrzenno-liczbowego) ma reprezentację w umyśle:
pojęcie mentalnej osi liczbowej (ang. mental number line, MNL)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
SNARC
Przejaw obecności mentalnej osi liczbowej: efekt SNARC
(ang. Spatial-Numerical Association of Response Codes):
ludzie szybciej reagują na mniejsze liczby lewą dłonią/nogą,
a na większe – prawą dłonią/nogą (także po ich skrzyżowaniu).
Ten związek jest wyćwiczony, zależny od kultury, dotyczy głównie liczb z zakresu 1-9.
http://grahamshawcross.com/2014/02/23/spatial-representation-of-number/usersgrahamshawcrossdocumentsblog_draftssnarc-effectincong-3/
Inne manifestacje MNL: efekt dystansu, efekt wielkości
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Dyskalkulia
U niektórych dzieci nie dochodzi do wytworzenia mentalnej osi liczbowej.
To prowadzi do dyskalkulii tj. zaburzenia nabywania podstawowych umiejętności
matematycznych nie wynikające z obniżonej inteligencji
Nieprawidłowość w strukturze mózgu u młodych dyskalkulików (Butterworth et. al, 2011)
Uszkodzenia płatów ciemieniowych (np. w wypadkach) prowadzą do akalkulii.
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Dyskalkulia
Dyskalkulię można rozumieć jako nieprawidłowe wykształcenie poczucia liczby
(ang. number sense), czyli intuicyjnego rozumienia liczb, ich wartości,
związków między nimi i związku z ilością obiektów oraz operacji na liczbach.
Zwykle wyróżnia się dwa rodzaje poczucia liczby:
• szacowanie (ang. aproximate number sense, ANS)
na podstawie percepcji i kontekstu
• wartości konkretne (ang. exact number sense, ENS)
automatyczne zliczanie i automatyczne obliczenia
W pewnym zakresie (z wyłączeniem zliczania) poczucie liczby mają także zwierzęta.
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Dyskalkulia
Definicja:
Dyskalkulia rozwojowa to zaburzenie dziedziczne powodujące
trudności w nabywaniu umiejętności arytmetycznych.
Przyczyna (hipoteza):
Osoby z dyskalkulią nie rozwinęły
typowej reprezentacji mentalnej osi liczbowej
(Butterworth 2005, Dehaene 1997)
Występowanie:
3-10% (pokazane w wielu eksperymentach)
u 30% z nich – dyskalkulia czysta, reszta – współwystępująca
Diagnoza:
inteligencja (w normie lub powyżej),
porządkowanie (nie tylko liczb),
„poczucie liczby” (number sense, ENS i ANS),
proste operacje arytmetyczne (abstrakcyjne i na konkretach)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Dyskalkulia
Problem:
Ostateczna diagnoza dyskalkulii może być ustalona dopiero u nastolatków,
gdy jest praktycznie za późno ma jakąkolwiek skuteczną terapię.
Wcześniej można orzekać „ryzyko dyskalkulii”.
Wówczas można rozpocząć terapię w pierwszych klasach podstawówki.
W Polsce (ale nie tylko) nie ma programu przesiewowej diagnozy dyskalkulii.
Nasze cele:
• stworzyć komputerowy test przesiewowy ryzyka dyskalkulii (TPRD),
darmowy, ale z ograniczonym dostępem
• stworzyć krótki i intensywny trening poznawczy mentalnej osi liczbowej
dla dzieci w wieku od 6 do 9 lat (Kalkulilo)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Test Przesiewowy Ryzyka Dyskalkulii
Test składa się z 7 zadań (kilkaset prób ) – klawiatura i mysz
Zajmuje około 45 min.
Różne formaty bodźców: cyfry, uporządkowane i losowo ułożone kropki.
Program może łączyć się z okulografem firmy SMI
Śledzenie ścieżek spojrzenia, np. podczas liczenia kropek, może być ważną
informacją diagnostyczną (pozwala ustalić np. strategie liczenia)
Test jest długi i nudny (jeszcze przed normalizacją) - grywalizacja
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Trening poznawczy – gra „Kalkulilo”
Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci
mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych.
Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Trening poznawczy – gra „Kalkulilo”
Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci
mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych.
Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Trening poznawczy – gra „Kalkulilo”
Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci
mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych.
Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Trening poznawczy – gra „Kalkulilo”
Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci
mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych.
Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Trening poznawczy – gra „Kalkulilo”
Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci
mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych.
Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Trening poznawczy – gra „Kalkulilo”
Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci
mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych.
Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Trening poznawczy – gra „Kalkulilo”
Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci
mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych.
Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Trening poznawczy – gra „Kalkulilo”
Kluczowe cechy / czynniki terapeutyczne:
- oś pozioma (sterowanie) i oś pionowa (efekt)
- opóźnienie między akcją a efektem
- „oś” dźwiękowa (efekt SMARC) – tony – orientacja pozioma
- akcja, atrakcyjność i grywalizacja
- sterowanie wzrokiem (problemy!)
i sterowanie ciałem (Kinect)
- PC, tablety (iOS), telefony komórkowe
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Badania pilotażowe
Cel eksperymentu:
• wstępne porównanie sterowania „zwykłego” i z użyciem eyetrackera
• badanie wpływu krótkiego treningu poznawczego
(tylko jedno przejście gry, około 3 godzin w kilku 20-30 minutowych sesjach)
Badani:
19 dzieci (8 chłopców i 11 dziewczynek) na koloniach letnich w wieku 6-11 lat
tylko 11 z nich zostało przebadane z użyciem eyetrackera, z tego 2 wykluczonych
Procedura:
1. pretest (TPRD)
2. jedno przejście gry
3. posttest (TPRD)
Dwie grupy dla dwóch rodzajów sterowania (bez grupy kontrolnej)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Badania pilotażowe
Wyniki:
Tak, ale…
1. Czy trening działa?
2. Czy sterowanie wzorkiem jest lepsze?
Nie
Kłopot ze sterowaniem wzrokiem:
Dzieci są ruchliwe  to powoduje szybką dekalibrację eyetrackera  irytacja dzieci
Dzieci nie lubią sterowania eyetrackerm (wolą mysz i klawiaturę)  Kinect
Wpływ treningu na wykonanie testu TPRD
- zmniejszenie czasu reakcji w zadaniach wymagających
porównywania liczb prezentowanych w różnych formatach
- brak wpływu na zadania z myszą (oś liczbowa)  zmiany w grze
- bardzo mała grupa badanych
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Badania pilotażowe
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Badania
Od lutego 2016 rozpoczynamy w szkołach podstawowych
badania efektywności gry (podobna procedura, świetlice)
Zapraszamy do badań!
(kartka)
Koordynator: Małgorzata Gut (psycholog)
kontakt: [email protected]
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
GCAF/GIML
Gaze Controlled Application Framework (GCAF)
platforma służąca do łatwego przygotowywania
spersonalizowanych aplikacji obsługiwanych wzrokiem
(badania kognitywne niemowląt i osoby niepełnosprawne)
• można przygotować aplikację sterowaną wzrokiem (gry) lub interaktywny film
z wieloma scenami, obszarami aktywnymi i różnymi scenariuszami zmian scen
• każdy region może być w trzech stanach (normalny, aktywowany (spojrzenie) i
reakcji (dłuższe spojrzenie) z ustalanymi progami czasowymi
• każdy stan obszaru może mieć przypisany osobny
obraz, dźwięk, film, animację i zmianę pozycji
• można wyczernić scenę poza obszarem w stanie reakcji (sterowanie uwagą)
• opis sceny za pomocą języka GIML (oparty na XML)
Zespół: Jacek Matulewski, Rafał Linowiecki, Bianka Bałaj
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
GCAF/GIML
Gaze Controlled Application Framework (GCAF)
platforma służąca do łatwego przygotowywania
spersonalizowanych aplikacji obsługiwanych wzrokiem
(badania kognitywne niemowląt i osoby niepełnosprawne)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
GCAF/GIML
Gaze Controlled Application Framework (GCAF)
platforma służąca do łatwego przygotowywania
spersonalizowanych aplikacji obsługiwanych wzrokiem
(badania kognitywne niemowląt i osoby niepełnosprawne)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
GCAF/GIML
Gaze Controlled Application Framework (GCAF)
platforma służąca do łatwego przygotowywania
spersonalizowanych aplikacji obsługiwanych wzrokiem
(badania kognitywne niemowląt i osoby niepełnosprawne)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
NeuroPerKog
Grant NCN (Symfonia) - NeuroPerKog
Rozwój słuchu fonematycznego i pamięci roboczej u niemowląt i dzieci
Zespół: W. Duch, J. Dreszer, B. Bałaj, J. Matulewski, Ł. Goraczewski i wiele innych
Badania niemowląt (10-12 msc) i dzieci 6-letnich
– zdolności rozpoznawania fonemów
„swoich” i „obcych”
– trening interaktywny (podtrzymanie zdolności
rozpoznawania fonemów „obcych”)
– odwrócenie procesu u niemowląt
Możliwe zastosowania m.in.
– w usprawnianiu umiejętności językowych,
– nauka języków obcych
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
NeuroPerKog
Grant NCN (Symfonia) - NeuroPerKog
Rozwój słuchu fonematycznego i pamięci roboczej u niemowląt i dzieci
Zespół: W. Duch, J. Dreszer, B. Bałaj, J. Matulewski, Ł. Goraczewski i wiele innych
Kuhl, P. (2006)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
NeuroPerKog
Grant NCN (Symfonia) - NeuroPerKog
Rozwój słuchu fonematycznego i pamięci roboczej u niemowląt i dzieci
Zespół: W. Duch, J. Dreszer, B. Bałaj, J. Matulewski, Ł. Goraczewski i wiele innych
Bergelson, E., & Swingley, D. (2012)
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
NeuroPerKog
Grant NCN (Symfonia) - NeuroPerKog
Rozwój słuchu fonematycznego i pamięci roboczej u niemowląt i dzieci
Eksperymenty w paradygmacie „Wyprzedzających ruchów gałek ocznych”
(AEM, od ang. anticipatory eye movement paradigm)
Eksperyment „Elmo”
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
NeuroPerKog
Grant NCN (Symfonia) - NeuroPerKog
Rozwój słuchu fonematycznego i pamięci roboczej u niemowląt i dzieci
Eksperymenty w paradygmacie „Wyprzedzających ruchów gałek ocznych”
(AEM, od ang. anticipatory eye movement paradigm)
Eksperyment „Elmo”
Eksperyment „Dwa obszary”
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
NeuroPerKog
Grant NCN (Symfonia) - NeuroPerKog
Rozwój słuchu fonematycznego i pamięci roboczej u niemowląt i dzieci
Sterowanie wzrokiem jest u niemowląt naturalne. U dorosłych - nie
Eksperyment „Czerwona kropka”
Interaktywna bajka dla niemowląt
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Badania
Trwają badania niemowląt – stały nabór chętnych
(zapisy także mam w ciąży)
Koordynator: Joanna Dreszer (psycholog)
kontakt: http://babylab.icnt.umk.pl/, telefon: 56 665 60 03
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Badania orientacji przestrzennej (65+)
Uwaga i orientacja przestrzenna u osób starszych,
wczesna diagnoza choroby Alzheimera, anhedonia
Zespół: Joanna Dreszer, Natalia Pawlaczyk, Piotr Redmerski,
Dawid Rutkowski, Magdalena Szmytke
Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych
Kontakt
Jacek Matulewski
E-mail: [email protected]
WWW: http://www.fizyka.umk.pl/~jacek
Podyplomowe Studium Programowania
i Zastosowań Komputerów
180 h, tylko soboty, grupy 15 osób
darmowe oprogramowanie (DreamSpark Premium)
http://pspizk.fizyka.umk.pl, telefon: 056 611 32 81 (w godz. 9-14)
The Gaze Controlled Game as a Cognitive Training for Children with Math Difficulties
GameLab – other project
IDFtxt Editor – reading and exporting, common and custom transforms, free
The Gaze Controlled Game as a Cognitive Training for Children with Math Difficulties
GameLab – other project
Software for detecting the monitor position and transforming movie for further gaze analysis
developed for prof. Piotr Francuz (KUL, Lublin)
by team of Marek Sternal (leader developer), Jacek Matulewski, Bibianna Bałaj
See poster on this subject by Bibianna Bałaj (today’s poster sessions)