Interfejs mózg-komputer - Instytutu Informatyki UJ

Interfejs mózg-komputer
Seminarium BioInformatyka, 21 IV 2015 - Bartosz Dec
Interfejs mózg-komputer – czym jest?
- (ang. brain-computer interface, BCI) – interfejs pozwalający na bezpośrednią
komunikację między mózgiem a odpowiednim urządzeniem zewnętrznym.
Celem badań nad interfejsem mózg-komputer są usprawnienie lub naprawa
ludzkich zmysłów albo czynności ruchowych. W komercyjnych celach
technologia dostępna jest np. jako zamienniki joysticka lub klawiatury.
Historia – od czego się zaczęło?
 Historia interfejsów mózg-komputer rozpoczyna się od odkrycia przez Hansa
Bergera aktywności elektrycznej w mózgu człowieka oraz rozwoju
elektroencefalografii.
 W 1924 roku Berger był pierwszym, który zarejestrował aktywność ludzkiego
mózgu za pomocą elektroencefalografu (EEG). Analizując wyniki EEG,
Berger był w stanie zidentyfikować aktywność mózgu taką jak fale alfa (812 Hz) znane również jako fale Bergera.
 Pierwsze urządzenie stworzone przez naukowca było niezwykle proste.
Berger umieszczał srebrne przewody pod czaszkami pacjentów.
Miguel Nicolelis
 Miguel Nicolelis, profesor Uniwersytetu Duke'a w Durham w Północnej Karolinie
 Był orędownikiem korzystania z wielu elektrod rozmieszczonych na większym
obszarze mózgu, w celu uzyskania sygnałów neuronowych do kierowania BCI.
Takie zespoły neuronowe zwiększają precyzję i ułatwiają kontrolę interfejsu
mózg-komputer.
 Po przeprowadzeniu wstępnych badań na szczurach w 1990 Nicolelis i jego
koledzy opracowali BCI, które dekodowało aktywności mózgu małp sowich i
używało zewnętrznego urządzenia do odtworzenia ruchów małp w ramionach
robotów.
 Małpy mają zaawansowane umiejętności chwytania i sięgania i dobre
umiejętności manipulacyjne rąk, co czyni je idealnymi obiektami badań do
tego rodzaju pracy. Eksperymenty Nicoleisa pozwoliły odtworzyć ruchy
małp na ramionach robotów.
 Małpy rezus uznawane są za lepsze obiekty do badań ze względu na ich
budowę mózgu zbliżoną do ludzkiego. Małpy wstępnie operowały
ramieniem używając joysticka i widząc obraz na ekranie komputera. Później
pokazano im robota bezpośrednio i nauczono kontrolować ramię poprzez
obserwowanie jego ruchów. BCI wykorzystało prognozy prędkości z
poprzedniego badania, by kontrolować zasięg uchwytu, a także siłę
zacisku „dłoni”.
Inne badania
 Oprócz przewidywania kinematycznych i kinetycznych parametrów
ruchów kończyn rozwijane są interfejsy mózg-komputer do przewidywania
elektromiograficznej lub elektrycznej aktywności mięśni naczelnych.
 Takie BCI może być stosowane w celu przywrócenia mobilności w
sparaliżowanych kończynach przez elektryczną stymulację mięśni.
 Największą przeszkodą dla technologii BCI na początku drugiej dekady XXI
wieku był brak modalności czujnika, który zapewniał bezpieczny, dokładny
i solidny dostęp do sygnałów mózgowych.
Badania BCI na ludziach
Inwazyjne interfejsy – wzrok
 Inwazyjne badania BCI wykorzystywane były między innymi w naprawie
uszkodzonego wzroku i zapewnienie nowej funkcjonalności dla osób z
porażeniem wzroku
 Bezpośrednie implanty mózgowe były stosowane w leczeniu ślepoty
nabytej
 Jednym z pierwszych naukowców, którzy wyprodukowali działający interfejs
BCI umiejący przywrócić wzrok był prywatny badacz William Dobelle
 Pierwszy prototyp Dobelle'a został wszczepiony „Jerry'emu”
 Początkowo implant pozwolił Jerry'iemu zobaczyć odcienie szarości w
ograniczonym polu widzenia na w niskiej ilości klatek na sekundę
 W 2002 roku Jens Naumann stał się pierwszym
pacjentów, którzy otrzymali implanty Dobelle'a
drugiej generacji
 Natychmiast po otrzymaniu implantu, Jens był w
stanie wykorzystać jego niedoskonale odtworzoną
wizję, by kierować powoli samochodem wokół
parkingu instytutu badawczego
Badania BCI na ludziach
Inwazyjne interfejsy – ruch
 Interfejsy mózg-komputer
koncentrując się na neuroprotetyce
ruchowej, dążą do przywrócenia
ruchu u osób z porażeniem lub
dostarczenia urządzenia, aby im
pomóc w życiu codziennym,
używając np. interfejsów z
komputerów lub ramion robota
Badania BCI na ludziach –
Nieinwazyjne interfejsy
 Nieinwazyjne neuroobrazowanie jako interfejsu BCI
 Elektroencefalografia (EEG) – najbardziej przebadany nieinwazyjny interfejs
 Wady: wrażliwość technologii na hałas, intensywne szkolenie wymagane,
by użytkownicy mogli pracować w tej technologii
 MEG i fMRI – Magnetoencefalografia (MEG) i funkcjonalne obrazowanie
rezonansem magnetycznym (fMRI)
Czy będziemy w stanie nagrywać sny?
 W 2008 badania opracowywane
w Laboratorium Komputerowej
Neurologii do Zaawansowanych
Badań Telekomunikacyjnych
(ATR) w Kyoto, w Japonii,
pozwoliło naukowcom
zrekonstruować obrazy
bezpośrednio z mózgu i
wyświetlać je na komputerze
Badania BCI na ludziach –
Częściowo inwazyjne interfejsy
 Częściowo inwazyjne interfejsy mózg-komputer są wszczepiane w czaszkę, ale reszta
zostaje na zewnątrz mózgu, a nie w istocie szarej
 Elektrokortykografia (wewnątrzczaskowe EEG – EcoG) – wypróbowali u ludzi w 2004
roku Eric Leuthardt i Daniel M oran z Uniwersytetu Waszyngtońskiego w St Luis –
nastolatek gra w Space Invaders.
Komercjalizacja
 John Donoghue i wpół-badacze
założyli Cyberkinetics. Firma sprzedaje
swoje siatki elektrod pod nazwą
BrainGate i postawiła na rozwój
praktycznych interfejsów mózgkomputer dla ludzi, jako jej główny cel.
BrainGate jest oparty na macierzy Utah
opracowanej przez Dicka Normanna.
 Midnball to produkt opracowany
i skomercjalizowany przez
szwedzką firmę Interactive
Productline, w której gracze
rywalizują o kontrolę ruchu piłki
w całej planszy, poprzez
stawanie się bardziej
zrelaksowanym i skupionym.
Celem Interactive Productline
jest rozwój i sprzedaż
nieskomplikowanych produktów
EEG, które trenują skupienie i
relaksację.
 Hiszpańska firma Starlab, pojawiła się na rynku w 2009 roku razem z
bezprzewodowym 4-kanałowym systemem o nazwie Enobio. W 2011 Enobio 8 i 20-
kanałowe (CE Medical) zostało wydane i jest obecnie w handlu dzięki
wyodrębnionej ze Starlab firmie Neuroelectrics. Zaprojektowany dla celów
medycznych i naukowych system zapewnia rozwiązanie uniwersalne oraz platformę
dla rozwoju aplikacji.
 W roku 2009, pierwszy na świecie osobisty system translacji bazowany na EEG wszedł
na rynek: IntendiX. System może pracować z pasywnymi, aktywnymi, lub nowymi
suchymi elektrodami EEG
 W marcu 2012 g.tec pokazał nowy moduł intendiX o nazwie Screen Overlay Control
Interface (SOCI), który umożliwia użytkownikom grać w World of Warcraft lub Angry
Birds
And the Japaneses – of course..
Interfejs mózg-komputer-mózg
 Christophera Jamesa z
Uniwersytetu w Southampton –
2012
 Międzynarodowy zespół
badaczy (Francja, Indie) – 2014
Względy etyczne
 uzyskanie świadomej zgody od osób, które mają trudności w komunikacji
 zastosowania terapeutyczne i ich możliwości przekroczenia
 kwestie etyki badań, które powstają, gdy przechodzi się z doświadczeń na
zwierzętach do zastosowania u ludzi
 czytanie myśli i prywatność
 kontrola umysłu
 korzystanie z technologii w zaawansowanych technikach przesłuchań przez
władze rządowe
 selektywne wzmocnienie i rozwarstwienie społeczne,
 komunikacja z mediami
Miguel Nicolelis
 Pomysł – szczytna idea
 Szkolona małpa Aurora – „supergwiazda” dziedziny sterowania myślą
 Zabawa z joystickiem
 O krok dalej – mechaniczne ramie
 Wirtualna małpa – Awatar
 Badanie trzech kręgów
 Robot sterowany przez Internet
Miguel Nicolelis:
„Where is this going? We have no idea. We're just scientists. We are
paid to be children, to basically go to the edge and discover what is
out there”.
Koniec
Dziękuję za uwagę