vOICe – to see… …with your ears…

vOICe – to see…
…with your ears…
Łukasz Trzciałkowski
[email protected]
2007-10-30
Zmysł słuchu…
• …to zmysł umożliwiający odbieranie (percepcję) fal
dźwiękowych.
• Jest on wykorzystywany przez organizmy żywe do
komunikacji oraz rozpoznawania otoczenia.
• Narządami słuchu u człowieka są uszy:
– Narządy odbierające fale dźwiękowe
i przekształcające je w drgania mechaniczne,
a następnie w impulsy nerwowe.
Łukasz Trzciałkowski
2
•
•
•
•
•
•
•
•
•
•
•
•
Ucho - budowa
1 - czaszka
2 - przewód słuchowy zewnętrzny
3 - małżowina uszna
4 - błona bębenkowa
5 - okienko owalne
6 - młoteczek
7 - kowadełko
8 - strzemiączko
9 - kanał półkolisty
10 - ślimak
11 - nerw słuchowy
12 - trąbka Eustachiusza
Łukasz Trzciałkowski
3
Na czym polega słyszenie ?
• Ucho zewnętrzne – małżowina, przewód słuchowy
i błona bębenkowa – gromadzi fale dźwiękowe z
otoczenia (powietrze).
• Ucho środkowe – młoteczek, kowadełko
strzemiączko – błona powodują przeniesienie
drgań przez ucho środkowe aż do ucha
wewnętrznego (powietrze).
• Ucho wewnętrzne - błona podstawna, komórki
słuchowe – reagują na różne tony i przetwarzają je
na impulsy elektryczne (ciecz)
Łukasz Trzciałkowski
4
Zmysł wzroku…
• …–zmysł umożliwiający odbieranie bodźców
świetlnych ze środowiska oraz ogół czynności
związanych z analizą tych bodźców.
• Narządem wyspecjalizowanym do rejestrowania
obrazu jest oko.
– rozpoznawanie kształtów,
– ocena odległości obiektów od oka,
– rozróżnianie barw.
Łukasz Trzciałkowski
5
Oko - budowa
Łukasz Trzciałkowski
6
Na czym polega widzenie ?
• Ludzkie oko można z grubsza przyrównać do aparatu
fotograficznego, którego obiektyw tworzą dwie soczewki
plusowe – rogówka i soczewka. Jako system czuciowy, oko
jest głównym narzędziem, dzięki któremu odnosimy się do
otaczającego nas świata.
• To, co tak naprawdę widzimy to nie są obrazy odbite w
siatkówce, lecz wynik ich kompleksowego przetwarzania
przez ośrodkowy układ nerwowy.
• Obraz, który powstaje na siatkówce jest obrazem
rzeczywistym, odwróconym i pomniejszonym.
Łukasz Trzciałkowski
7
Synestezja
• …zdolność, w której doświadczenia jednej
modalności zmysłowej wywołują również
doświadczenia, charakterystyczne dla innych
modalnośći zmysłowych.
– np. odbieranie niskich dźwięków wywołuje wrażenie
miękkości,
– barwa niebieska odczuwana jest jako chłodna
• Niektóre osoby charakteryzują się szczególnym
nasileniem tej zdolności. John Lennon.
Łukasz Trzciałkowski
8
Synestezja
• Istnieją dwie teorie tłumaczące owe zjawisko:
– Jedna mówi, że istnieje więcej połączeń synaptycznych
pomiędzy neuronami przenoszacymi "zmysłowe
informacje",
– a druga - że ilość połączeń synaptycznych jest taka
sama, a mieszanie się odbieranych doswiadczeń wynika
z tego iż zachwiana jest równowaga pomiędzy
hamowaniem i wyciszaniem docierajacych impulsów w
mózgu.
Łukasz Trzciałkowski
9
Co z niewidomymi ?
• • Jak „dźwięki” otaczającego świata mogą
informować niewidomego ?
• Co pomaga niewidomym walczyć z kalectwem i
„unormalniać” codzienne życie ?
• Czy istnieje rozwiązanie ?
• Może implanty odbierające
bodźce wzrokowe ?
Łukasz Trzciałkowski
10
Implant oka
• Naukowcy z Uniwersytetu Stanford w Kaliforni przedstawili
projekt implantu oka, który ma zająć miejsce
światłoczułych komórek znajdujących się w siatkówce
chorego oka. Inne implanty wykorzystują moduł, który
przekształca światło w elektroniczne impulsy, które
dochodzą do mózgu przez włókna nerwowe. Ten zaś działa
inaczej. Będzie umieszczony w siatkówce i będzie zmieniał
światło w substancje, stymulujące komórki nerwowe.
Wykorzysta do tego elektrody. Implant będzie wykonany z
polimerowego materiału, który jest przyjazny dla oka.
Wciąż trwają prace badawcze nad implantem.
Łukasz Trzciałkowski
11
Czy każdy niewidomy jest
synestetą ?
• Odpowiedź brzmi NIE – raczej rzadko się to
zdarza. Możnaby powiedzieć: „Wszyscy jesteśmy
synestetami ale nieliczni z nas sobie to
uświadamiają”
• Jednak wiele przypadków wskazuje na to iż słuch
osoby niewidomej jest bardzo wyostrzony.
http://serwisy.gazeta.pl/kraj/1,34314,573764.html
– INTERNET i NIEWIDOMI
Łukasz Trzciałkowski
12
The vOICe
• System wykorzystujący kamerę wideo do
przetwarzanie zbieranych w czasie rzeczywistym
obrazów generować dźwięki.
• Działanie systemu ma na celu umożliwienie osobom
niewidomym powrót do „normalnego” życia.
(oczywiście nadal w ograniczonym znaczeniu)
Łukasz Trzciałkowski
13
The vOICe
Łukasz Trzciałkowski
14
The vOICe
• Projekt ten stanowi również pewnego rodzaju ścieżkę
do poznania właściwości ludzkiego mózgu – w
kontekście uczenia się z wykorzystaniem zmysłu
słuchu jako zmysłu bazowego.
• Istnieje przekonanie, że zmysł słuchu oraz pozostałe
zmysły u osób niewidomych „wyostrzają się” i jest to
proces naturalny – dlatego projekt vOICe – budzi tak
wiele emocji i jest pozytywnie traktowany przez wiele
organizacji z całego świata.
Łukasz Trzciałkowski
15
The vOICe – Learning Edition
• The vOICe Learning Edition tłumaczy obrazy pochodzące z
kamery video na dźwięki. Co umożliwia widzenie za pomocą
uszu, gdziekolwiek się znajdujemy. Używając notebooka albo
PDA system stał się mobilny.
• W jakim stopniu osoba niewidoma może się nauczyć widzieć
dzięki the Voice zależy tylko od niej, a przekonać się o
sposobie działania może dzięki The vOICe Learning Edition
dostępnej za darmo!
• Widzenie za pomocą dźwięku ma wiele praktycznych
zastosowań ale nie tylko, prowadzi ono do „doświadczeń
wizualnych” – mamy wrażenie że widzimy to co przedstawia
kamera.
Łukasz Trzciałkowski
16
The vOICe
• Wykonane samodzielnie lub
gotowe okulary do systemy
The vOICe
Łukasz Trzciałkowski
17
The vOICe
• Niektórzy niewidomi używają vOICe codziennie, pod postacią
specjalnych okularów by „widzieć” środowisko w jakim żyli
zanim stracili wzrok, podczas gdy niewidomi od urodzenia maja
możliwość po raz pierwszy doświadczyć czym może być
widzenie.
• Niektórzy używają vOICe do odświeżenia wspomnień i
doświadczeń dotyczących rzeczy które mogli obserwować
dawniej.
• Inni stosują go do odczytywania wykresów, rysunków i grafów
• Niewidomi mogą przyłączyć się do grupy dyskusyjnej, oraz
wysłuchać kilkunasto minutowych głosowych pokazów
możliwości the vOICe prowadzonych przez niewidomego
Jonathana Mosena, Pata Fletchera i innych.
Łukasz Trzciałkowski
18
Jak działa vOICe ?
• Istnieją trzy metody skanowania obrazu
• Left and Right – Obraz jest udźwiękawiany od lewej do prawej,
domyślnie 1 obraz na sekundę. Dźwięk jest stereofoniczny i
przechodzi od lewego do prawego ucha by uwydatnić
przestrzenność.
• Up and Down – Podczas każdego skanowania, pitch oznacza
wznoszenie: wyższy pitch określa wysokość wzorca.
• Dark and Light – Głośność określa jaskrawość, im głośniejszy
dźwięk tym jaśniejszy – cisza oznacza czerń.
• Innymi słowy, The vOICe skanuje każdą klatkę od lewej do
prawej, dodatkowo uwydatniając obraz różnymi tonami oraz
różną głośnością.
Łukasz Trzciałkowski
19
Łukasz Trzciałkowski
20
Referencje
1. http://gaia.oticon.pl/eprise/main/Oticon/PL_pl/SEC_AboutHearing/Lear
nAboutHearing/Products/SEC_Gaia/AboutHearing/HearingAndHearing
Loss/REUSE02_HowTheEarWorks
– Jak działa ucho ?
2. http://www.widzimisie.pl/index/section/233/0/0/jak+dzia+a+wzrok.html?
Finlife=9b468ab51519e475bcec5d8f8f53e3cc
– Jak działa wzrok ?
3. http://www.oko.info.pl/index.php?body=4301
– Oko człowieka
4. http://www.seeingwithsound.com/
- vOICe
5. http://pl.wikipedia.org/
– Ogólne informacje
Łukasz Trzciałkowski
21