Samoświadomość maszyn Wiesław Galus Umysł w działaniu W

advertisement
Samoświadomość maszyn
Wiesław Galus
Umysł w działaniu
W poprzednim artykule/rozdziale starałem się zwrócić uwagę na duże znaczenie instynktu
„ciekawości” wykazywanego przez organizmy żywe, a właściwie przez ich mózgi. Wskazywałem
na korelację pomiędzy występującą „ciekawością” organizmów żywych przejawiającą się w
eksploracji środowiska, motywacji do uruchamiania zasobów poznawczych, poszukiwania
alternatywnych rozwiązań, a kształtowaniem (samo)świadomości.
W literaturze przedmiotu niewiele jest odniesień do głównej tezy dotyczącej znaczenia
ciekawości w kształtowaniu świadomości. I nie chodzi mi o to, iż przejawiana ciekawość
przyczynia się do rozwoju inteligencji w rozwoju osobniczym.
Ja upatruję w ciekawości jednego z głównych czynników kreujących świadomość. W dodatku
jest to czynnik zupełnie niedoceniany, żeby nie powiedzieć, ignorowany. Z wyjątkiem kilku bardzo
ograniczonych prób, nie analizowano sposobów modelowania „ciekawości” w maszynach ani
potencjału, który jej implementacja tworzy. Przeglądając dostępną literaturę stwierdziłem, że temat
ten traktowany jest po macoszemu. Dość rzadko występuje definicja „Ciekawości” w drukowanych
dotychczas encyklopediach i to nawet specjalistycznych. Nie ma też wiele na ten temat w pracach
czołowych kognitywistów, Cricka, Searle'a, Blocka., Damasio, Casacuberta, i innych. A przecież
jakże inaczej wyglądałyby te same rozważania uwzględniające efekt działania tej podstawowej
funkcji mózgu:
(Samo)świadomość jest stopniowalna. Prymitywniejsze umysły mogą posiadać stany
świadomego postrzegania bez świadomości tego, że są ich świadome. Pozbawione są refleksji
dotyczącej własnej odrębności, będącej istotą samoświadomości. Dla umysłów o wyższej
inteligencji dostępna staje się samoświadomość. Tu można spekulować o uświadomieniu sobie
potrzeby bycia ciekawym i narzuceniu sobie zadania poznania środowiska w celu uzyskania
poczucia bezpieczeństwa, dominacji, skuteczności działania itp.
Znamy skuteczne strategie ewolucyjne, które pozwalają istnieć istotom o tak różnych stopniach
świadomości. Jednakże, pod warunkiem, że ich umysły kształtowały się pod wpływem ciekawości.
Ale jak to się realizuje!? Jakie jest materialne podłoże ciekawości? Oto pytania, na które należy
znaleźć odpowiedź w celu zrozumieniu jak powstaje świadomość.
Zdumiewającą hipotezę Cricka, że procesy myślowe są produktem mózgu, w świetle
współczesnych badań można uszczegółowić, pamiętając, iż mózgi zwierząt tworzone są głównie
przez astrocyty łączące się wzajemnie oraz z receptorami i efektorami przy pomocy neuronów.
Można w uproszczeniu przyjąć, że w astrocytach i w synapsach neuronów rejestrowane są ślady
chemiczne działalności mózgu, a bodźce elektryczne przewodzone są pomiędzy astrocytami
głównie za pomocą neuronów. Taki podział funkcji astrocytów i neuronów sugeruje, iż pamięć
długookresowa związana jest z chemicznymi stanami astrocytów oraz synaps neuronowych, a
przetwarzanie informacji i pamięć krótkookresowa z ich stanami elektrycznymi oraz stanami
pobudzenia elektrochemicznego neuronów.
Zdolność logicznego przetwarzania w mózgu realizowana jest nie dzięki złożonym programom
funkcjonowania poszczególnych astrocytów lub neuronów ale głównie poprzez odpowiednią
strukturę licznych połączeń stosunkowo prostych elementów. Astrocyty, mając wpływ na
1
funkcjonowanie neuronów i na wzmacnianie lub blokowanie połączeń synaptycznych mogą
dostosowywać tę strukturę połączeń do bieżących zadań i rezultatów dotychczasowych
doświadczeń. W rezultacie struktura połączeń w systemie jest modyfikowana przez stany
chemiczne astrocytów, a więc to sieć systemu, jako całość, jest siedliskiem pamięci. Struktura
połączeń decyduje o wszystkich funkcjach mózgu jak rozpoznawanie złożonych bodźców, pamięć,
selekcja, funkcje uogólniania informacji (generalizacji) i skojarzeń (asocjacji). Sposób połączeń
neuronalnych i budowa mózgu pozwala wyodrębnić wyspecjalizowane pola, w których
przetwarzane są docierające do nich sygnały w postaci elektrochemicznego pobudzenia astrocytów
i elektrycznego pobudzenia prowadzących do nich neuronów. Badania neurologiczne odsłoniły
zręby struktury mózgu i szlaków komunikacji pomiędzy poszczególnymi ośrodkami, które dają
nam pogląd na niezwykły stopień komplikacji i jego piękno.
Ta hierarchiczna struktura funkcjonalna znajduje odzwierciedlenie w warstwowej strukturze
kory mózgowej a także w kolejności przekazywania informacji do kolejnych obszarów mózgu
odpowiedzialnych za jego poszczególne funkcje. To tam dokonywane jest grupowanie bodźców w
postaci pobudzeń grup komórek nerwowych, selekcja bodźców podlegających obróbce i
rozpoznaniu na zasadzie mechanizmu konkurencji, asocjacje z podobnym lub powiązanymi
bodźcami tworzące skojarzenia oraz ich uogólnienie (generalizacja). Uogólnienia te osiągają coraz
wyższy poziom abstrakcji i umożliwiają tworzenie nowych modeli rzeczywistości lub nowych
pojęć.
Świadomość wzrokowa – rozpoznawanie obrazów
Przykładem może być sposób powstawania obrazu w ludzkim bądź zwierzęcym mózgu.
Poszczególne struktury nerwowe, do których przekazywane są sygnały wzbudzane przez bodźce
otrzymywane z receptorów, wyspecjalizowane są w rozpoznawaniu specyficznych cech obrazu
takich jak położenie punktów, linie pionowe i poziome, linie krzywe i ich sploty i przecięcia,
kontury, specyficzne figury i wzory, kolory, ruch, itp. Struktury te tworzone są przez pola komórek
siatkówki i pola neuronów otoczonych astrocytami będącymi odbiorcami tych sygnałów. Tworzą
one pola mające formę map przestrzennych odtwarzających w pewnym stopniu przestrzenne
rozmieszczenie komórek siatkówki oka (nazywamy je mapami retinoskopowymi). Sygnały z tych
struktur przekazywane są w formie stanów pobudzeń impulsami elektrycznymi neuronów
transmitujących impulsy elektryczne i elektrochemiczne do astrocytów. Stwierdzono także liczne
połączenia aksonowe zwrotne do struktur wcześniej reagujących na bodziec a więc zakładamy, iż
niżej znajdujących się w tej hierarchii przetwarzania. Informacje przekazywane są głównie w
kierunku warstw korowych a następnie pól przetwarzających coraz wyżej umieszczonych w
hierarchii przetwarzania. Stwierdzono jednakże intensywny zwrotny strumień informacji płynący ze
struktur wyższego rzędu do struktur niższego rzędu. Może on zmieniać warunki percepcji,
dostosowując je do warunków widzenia. Być może też, strumień ten odpowiedzialny jest za
występujące sny, wspomnienia i wyobrażenia.
Przyjmuje się, że ośrodki leżące wyżej w hierarchii przetwarzania integrują i analizują sygnały
otrzymywane z wyspecjalizowanych struktur niższego rzędu. W ten sposób np. w ciele
kolankowatym (jedna z licznych struktur mózgowych występująca u naczelnych) mogą być
przetwarzane informacje ze struktur wyspecjalizowanych w rozpoznawaniu prostych składników
obrazu. Można założyć, że ze składowych tych, poprzez sumowanie pobudzeń, tworzone będą
kompleksy odpowiadające bardziej złożonym cechom obrazu. Można także przyjąć, że następuje
stopniowe przejście od pól zajmujących się pojęciami i wydarzeniami ogólnymi do tych, które
zajmują się unikalnymi, niepowtarzalnymi obiektami i zdarzaniami.
Ta wysunięta przez Damasio hipoteza podchwycona jest przez Cricka, który wychodząc od
opisu funkcjonowania pojedynczego pola wzrokowego, tak opisuje działanie tej hierarchicznej
2
struktury:
„Każde pole tworzy nowe cechy danego obiektu, zestawiając cechy skonstruowane już przez inne pola (na
ogół zajmujące niższe miejsca w hierarchii), które przesyłają sygnały do jego warstw środkowych.
Idąc w górę tej hierarchii, przechodzimy na przykład od pola V1 kory mózgowej, które zajmuje się dość prostymi,
powszechnie występującymi cechami bodźca wzrokowego (takimi jak orientacja linii składowych, np. krawędzi),
do rejonów, których domeną są znacznie rzadziej pojawiające się obiekty, jak twarze, a w końcu docieramy do
części kory związanej z hipokampem, reagującej na różne kombinacje sygnałów (zarówno wzrokowych, jak i
innych), których przeważająca większość odpowiada pojedynczym, niepowtarzalnym zdarzeniom.” F. Crick:
„Zdumiewająca hipoteza, czyli nauka w poszukiwaniu duszy” 1997., Pruszyński S-ka, Warszawa
Łatwo wyobrazić sobie, iż tak przebiegający proces widzenia, rozpoznawania obrazu w formie
pobudzenia elektrycznego komórek nerwowych, neuronów i astrocytów, pozostawi ślady
pamięciowe, zarówno chemiczne w astrocytach, jak i w postaci zmiany struktury połączeń
neuronalnych poprzez oddziaływanie na synapsy. O ile stany pobudzenia komórek identyfikować
można z pamięcią krótkotrwałą, to wymienione wyżej ślady pamięciowe odpowiedzialne są za
pamięć obrazową długotrwałą.
Należy zwrócić uwagę na fakt, że na wyższych piętrach dokonujących przetwarzania informacji
nie tworzy się nic, co odzwierciedlałoby obserwowany przez oko i rzutowany na siatkówkę obraz.
Po prostu pobudzane są komórki nerwowe reprezentujące uogólnione symbole dostrzeganych cech
obiektów. W ten sposób umysł rejestruje fakt rozpoznania składowych obrazu. Wyodrębnia je po
charakterystycznych zestawach pobudzonych komórek rozpoznających bardziej elementarne cechy.
Zorganizowanie tych zestawów następuje poprzez odpowiednie połączenia komórek zmysłowych
(np. czopków lub pręcików siatkówki oka) z komórkami pól wzrokowych. Połączenia te
odpowiadają zasadom grupowania sygnałów stosowanym w sieciach neuronowych imitujących
działanie zmysłów, w tym widzenia. Mają one prawdopodobnie charakter wrodzony i tworzą się w
okresie wzrostu mózgu. Komórki nerwowe wszystkich poziomów hierarchii pól wzrokowych nie
przywiązują wielkiej wagi do tego, gdzie w polu widzenia występuje pobudzająca je cecha. Mimo
tego, powstająca w mózgu symboliczna reprezentacja oglądanej rzeczywistości posiada doskonałą
organizację przestrzenną pozwalającą na stworzenie jej pełnego, trójwymiarowego obrazu.
Ciekawym przykładem takiego sposobu funkcjonowania mózgu jest tworzenie obrazu otoczenia
na podstawie odbieranych odbitych sygnałów ultradźwiękowych w mózgu nietoperza. Sygnały te w
żadnym razie nie odzwierciedlają przestrzennego kształtu otaczającego środowiska. A jednak ze
skuteczności i sprawności poruszania się nietoperza w tym środowisku można wnioskować, że w
jego mózgu tworzy się taki obraz.
Podobny, choć nieco prostszy schemat działania, prowadzi do powstania przestrzennej sceny
dźwiękowej w wyobraźni ludzkiej. Dzięki słyszeniu dwuusznemu jesteśmy w stanie odtworzyć
ustawienie instrumentów w orkiestrze symfonicznej. Daleko nam jednak do zlokalizowania ćmy
przelatującej przed sceną, choć dla nietoperza nie stanowi to problemu.
Sygnały pobudzenia z niższych warstw, usytuowanych bliżej pól rejestrujących sygnały
docierające bezpośrednio z komórek receptorowych, trafiają do komórek nerwowych wyższej
warstwy lub też nowego pola wyżej umiejscowionego w hierarchii przetwarzania. Neurologiczny
mechanizm tego pobudzenia nie jest klarowny, ze względu na niezbyt dobrze poznaną rolę
astrocytów w tym procesie. Wcześniejsze prace wskazują na występowanie stanów pobudzeń
neuronów łączących się z komórkami wysyłającymi te sygnały. Obecnie sugeruje się, że to właśnie
astrocyty łączące się z neuronami wyższych warstw są adresatami tych sygnałów. Wydaje się
uzasadnione przypuszczenie, iż niezależnie od szczegółowego mechanizmu, to komórka nerwowa
(astrocyt lub neuron) przyjmuje także stan pobudzenia demonstrujący się zmianą charakteru
wysyłanych sygnałów. Jej pobudzenie zależy od wielkości docierających sygnałów a także ich
3
synchronizacji w czasie. Stan pobudzenia objawia się zmianą charakterystyki częstotliwościowej
generowanych impulsów elektrycznych lub, w przypadku astrocytów wstrzyknięciem porcji jonów
wapniowych inicjujących przesyłanie sygnałów elektrochemicznych do innych komórek
nerwowych. Ponieważ, jak stwierdzono, reakcja receptorów zależy od kontekstu, czyli od
odbieranych sygnałów przez sąsiednie receptory (czopki lub pręciki siatkówki w przypadku
widzenia), to można wnioskować, iż wyższe pola wzrokowe przesyłają sygnały zwrotne do
komórek pól niższych. Sygnały te zmieniać mogą siłę połączeń synaptycznych doraźnie, a czasami
trwale je wzmacniając, w czym upatruje się jeden z mechanizmów pamięci trwałej bądź też
chwilowo je blokując, przez co tworzą zmienioną sieć połączeń a więc zmieniają warunki
grupowania. Mogą w ten sposób zmieniać także warunki propagacji sygnałów, przez co ulec może
zmianie charakter reagowania na docierające sygnały, przez co grupa komórek uzyska możliwość
wykonywania złożonych operacji logicznych, podczas gdy pojedyncza komórka nerwowa zdolna
jest do reagowania lub nie reagowania na pobudzenie. W sztucznych sieciach neuronowych
odpowiada to zastosowaniu mechanizmu tzw. zwrotnej propagacji, to jest zwrotnemu przesyłaniu
informacji o skutkach zmiany stanu sieci transmisyjnej do niższych pięter percepcyjnych.
Sekwencja działań logicznych dokonywanych przez grupy komórek nie jest zdeterminowana przez
algorytm procesora (odpowiednik procesora w ogóle tutaj nie występuje), a poprzez zmianę
połączeń w systemie przekazywania informacji równolegle we wszystkich kanałach jej
przetwarzania. Dynamika zmiany tych połączeń decyduje o możliwości reakcji na rozpoznawane
obrazy.
Aby zapewnić istnienie użytecznych życiowo korelatów nerwowych obserwowanych obrazów,
konieczne jest właściwe zorganizowanie sieci połączeń na wyższych szczeblach hierarchii
przetwarzania. Wytworzenie takiej sieci może być efektem uczenia się rozpoznawania obiektów w
okresie rozwojowym. Dla zdobycia pełnego obrazu środowiska, w którym porusza się zwierzę
konieczne jest skojarzenie obrazów rejestrowanych w bieżąco obserwowanej scenie z obrazami
miejsc sąsiadujących przestrzennie lub czasowo. Obrazy te przechowywane muszą być w jego
pamięci. Dla ich przywołania konieczne jest wysłanie wstecznych sygnałów pobudzających
komórki niższych szczebli odpowiedzialnych za tworzenie tych obrazów w chwili ich
rejestrowania. Pobudzenie ich spowoduje powstanie takiego samego wrażenia wzrokowego z
przeszłości, przetwarzanego równolegle z obrazem aktualnie obserwowanym, przez co możliwe jest
porównywanie tych obrazów, wyszukiwanie części wspólnych i inne zaawansowane operacje
przetwarzania. Nie ma tu mowy o wysyłaniu tych sygnałów pobudzających na przykład
bezpośrednio do receptorów. Wystarczy przywołać wrażenia rejestrowane na wyższych piętrach ich
rozpoznawania, a poziom do którego sięga umysł wyznaczony jest przez stopień szczegółowości
porównywania obrazów. Pobudzając zwrotnie komórki, w których przechowywany jest inny, lecz
podobny obraz otoczenia, oraz obrazy obszarów sąsiadujących, umysł może stworzyć model
otoczenia i określić swoje w nim położenie.
Ale jaki mechanizm zmusza umysł do ciągłego pobudzania innych ośrodków w celu
wygenerowania wrażeń wiążących się z aktualnie analizowaną informacją pochodzącą z pola
widzenia? Mechanizmem tym jest „Ciekawość”.
Ośrodek porównujący i tworzący obraz może wysyłać sygnały do efektorów powodujących
poruszanie się zwierzęcia i zmuszających zwierzę do zmiany kąta widzenia, lepszej akomodacji
oka, zbliżenia się do obserwowanego przedmiotu w celu uzyskania większej ilości informacji
umożliwiającej jego rozpoznanie. Działanie tego „przymusu” poznania nazywam ciekawością. Przy
takim zdefiniowaniu tej cechy zrozumiałe się staje, że nie jest to emocja jak dotychczas sądzono,
lecz przemożny instynkt umożliwiający umysłowi zbudowanie modelu rzeczywistości. Oczywiście
takiemu zachowaniu systemu rozpoznającego jakim jest zwierzę w tym aspekcie, mogą
towarzyszyć emocje mające nawet fizjologiczne odwzorowanie. Stanie się tak, kiedy sygnał
kierowany będzie również do efektorów w postaci gruczołów wydzielania dokrewnego. Wówczas
4
zachowanie zwierzęcia może zostać zdynamizowane poprzez wzrost poziomu adrenaliny, lub
innych hormonów wpływających na jego sposób reakcji. Ciekawość zmuszać będzie zwierzę do
aktywności zwiększającej jego potencjał poznawczy.
Świadomość – rozpoznawanie stanów umysłu
Jeśli ten hipotetyczny schemat tworzenia i rozpoznawania obrazu zaakceptujemy, dlaczego
mielibyśmy nie rozszerzyć tego schematu na tworzenie pojęć i odczuć o wyższym stopniu
abstrakcji? Na tej drodze mogą być rozpoznawane inne sygnały. Na przykład dźwiękowe,
zapachowe, dotykowe i wszelkie inne. W ten sposób mogą być także rozpoznawane struktury
złożonego języka logicznego. Na tej drodze wreszcie, mogą być także rozpoznawane bardziej
złożone stany umysłu odpowiadające pojęciom abstrakcyjnym, takim jak symetria, piękno,
poczucie znajomości obiektu, a także stany emocjonalne, takie jak strach, czyli poczucie
nieznajomości obiektu lub sytuacji, zachwyt lub dobro, zło czy miłość.
Synchronizacja sygnałów o podobnym charakterze z grup komórek nerwowych
(prawdopodobnie astrocytów) przechowujących informacje o podobnych obiektach pozwala na
uzyskiwanie wzmocnionych lub osłabionych sygnałów, które jeśli osiągną wymagane progi
pobudzenia, to zapamiętane zostaną jako uogólnienie informacji zawartej w tych grupach komórek.
Także natężenie biegnących z różnych grup komórek sygnałów może powodować dominacje
prowadzonych równolegle procesów przetwarzania dotyczących określonej grupy informacji.
Odpowiadać to będzie „skupieniu uwagi” na myśleniu na określony temat. Spodziewać się można,
że w mózgu istnieje „ośrodek uwagi”, to jest kolejne pole, w którym skupiają się komórki
zapamiętujące wrażenie „skupienia uwagi” i które mają zdolność wysyłania sygnałów blokujących
częściowo informację płynącą z innych, konkurencyjnych ośrodków. Istnienie takiego ośrodka
uwagi radykalnie wzmocniłoby działanie konkurencji sygnałów. Wówczas zasada „zwycięzca
bierze wszystko”, wynikająca z progowych właściwości komórek odbierających sygnały,
spotęgowana byłaby działaniem tego centralnego ośrodka. W efekcie, umysł uzyskałby możliwość
niezwykłej koncentracji na wykonywanym zadaniu.
Ośrodki wysokiego poziomu, reprezentujące stany umysłu nie muszą być tak liczne, jak
komórki wszystkich pól, w których przetwarzane są kolejne fazy rozpoznawania informacji. Ze
względu na hierarchiczną strukturę, blokowane mogą być tylko sygnały z obszarów
odpowiedzialnych za pośredni stopień uogólnienia informacji. Chyba że z pól niżej umieszczonych
w hierarchii przetwarzania, mimo blokady, przebiją się sygnały tak silne, że uwaga przełączy się na
nowy problem, poszukując znów zespołów sygnałów o ustalonym wzorcu odpowiadającym innej
komórce symbolizującej znany już obiekt. Dotarcie tego wzorca do adresata, może wygenerować
sygnał do ośrodka uwagi koncentrując ją na nowym zadaniu.
Ciekawość, poszukując alternatywnych rozwiązań, porusza i uruchamia różne przypadkowe
struktury pamięciowe, które wstecznie pobudzają pola wcześniejsze, a te z kolei wytwarzają
wrażenia przypominane. Prawdopodobnie nieustannie pobudzane są równolegle prawie wszystkie
struktury dolnych poziomów. Odpowiada to procesowi „eksploracji otoczenia”, jednakże
prowadzonemu w naszej wyobraźni. Równoległe pobudzenie różnych ośrodków wywoływać może
nawet odległe skojarzenia, jeśli tylko umysł odnajdzie połączenia, którymi prześle sygnały
pobudzające. Wyobraźmy sobie przywoływanie skojarzenia: czerwone wiśnie – kwaśny smak.
Spowodowane ono może być wysyłaniem sygnału z komórki pobudzanej na widok wiśni, to jest w
momencie jej rozpoznania. Przesłanie sygnałów do niższych pięter pól wzrokowych przywołać
może obraz wiśni. Przesłanie sygnałów do wyższych poziomów hierarchii a stąd do ośrodków
smaku przywołać może poczucie smaku słodko-kwaśnego. Impuls początkowy może też zostać
wygenerowany przez struktury logiczne języka. Może to być efekt wyszukiwania np.
rzeczowników i przyporządkowywania im cech. Nawet jeśli jest to tylko zabawa logiczna w sferze
5
nazw lub cech ich zapisu, możliwe jest w każdej chwili włączenie marzeń i przywołanie
wyobrażenia owocu i jego smaku.
Wywoływane w wyobraźni wrażenia docierają do wyższych pięter, gdzie sumowane i
porównywane, w zależności od wyniku przesyłane są do pól i rejonów uogólniających. Ośrodki
odpowiedzialne za abstrakcyjne myślenie przeprowadzają proces kojarzenia asocjacyjnego, po
czym zapamiętują je jako wrażenia wyższego rzędu, takie jak „poczucie rozpoznania”,
„zrozumienie”, „model”, „satysfakcja twórcza” itp. Tworząc zestawienia odtwarzanych wrażeń, nie
występujące w doświadczanej rzeczywistości, umysł doprowadza do kreacji nowych modeli. Tak
objawiać się mogą zdolności twórcze.
Dla zaistnienia dynamicznej aktywności pobudzającej umysł do tych twórczych skojarzeń musi
występować „ciekawość”, jako wykraczanie poza zakres sygnałów aktualnie porównywanych.
Działać ona będzie poprzez wysyłanie wstecznych sygnałów pobudzenia do różnych struktur
wykazujących pokrewieństwo (połączenia) ze strukturami pamiętającymi problem aktualnie
przetwarzany. To wysyłanie sygnałów musi być wrodzoną koniecznością, dlatego „ciekawość” tak
zrodzoną, nazwać można instynktem. Ma ona charakter nieuświadomiony, działa automatycznie i
poniekąd chaotycznie. Ciekawość tak zdefiniowana odpowiada ciekawości perceptualnej (według
Berlyne) lub fizycznej (Dewey). Powyższa interpretacja jej funkcjonowania nadaje definicji
Dewey'a nowy sens.
Aby umysł miał dostęp do zapamiętywanych stanów umysłowych, tworzone muszą być
połączenia neuronowe struktur pamięciowych odpowiedzialnych za rejestrację tych stanów ze
strukturami na wyższych piętrach, które tworzą następnie nową kombinację tych stanów,
odpowiadającą bardziej złożonym stanom umysłu. Te bardziej ogólne stany umysłu odpowiadające
procesowi generalizacji są zapamiętywane w nowych, jeszcze wyższych polach. Połączenia te
muszą mieć kanały zwrotne, umożliwiające komórce z wyższego piętra pobudzenie zespołu z piętra
niższego, przez co wygenerowane zostanie wrażenie, lub stan umysłu podlegający ponownemu
przetworzeniu: zapamiętaniu i porównaniu logicznemu z innymi sygnałami. Sygnały te płyną z
równolegle działających struktur przetwarzających inne informacje, ale przynajmniej ze względu na
synchronizację czasową, powiązane są z analizowanym właśnie sygnałem. Ta synchronizacja
czasowa i koordynacja przestrzenna prawdopodobnie jest istotnym elementem mechanizmów
grupowania. Następuje oczywiście naturalna konkurencja tych sygnałów o „uwagę”, jak to opisano
powyżej.
To właśnie wysyłane do niższych struktur sygnały wspomagane przez procesy modyfikacji sieci
połączeń komórek pamięciowych, które dynamicznie zmieniają transmisję tych połączeń, tworzyć
mogą emergentne zjawisko ciekawości całego układu integralnie wynikające z jego struktury. Jest
to nowa funkcja tych komórek pamięciowych, które odpowiedzialne są za przechowywanie
fundamentalnych informacji o zaistnieniu i ciągłości świadomości. Astrocyty, bo o nich tu mowa,
dysponują możliwością kreowania nowych połączeń neuronowych, jak również ich unicestwiania
lub blokowania a prawdopodobnie, oddziałując na synapsy, mają możliwość radykalnej zmiany
charakterystyki propagacji sygnałów wewnątrz mózgu. Może się to odbywać na wielu drogach,
chociażby poprzez wpływanie na powstawanie osłonek mielinowych polepszających warunki
transmisji sygnałów w aksonach. Stwierdzono także liczne podziały astrocytów a przez to
tworzenie nowych komórek pamięciowych i nowych szlaków przekazywania informacji. Szlaki te
prowadzić mogą do innych, wysoce wyspecjalizowanych struktur mózgowych.
W mózgach żywych organizmów nowym rodzajom rozpoznawanych wrażeń towarzyszy nie
tylko powstawanie nowych struktur zdolnych do zapamiętywania tych wrażeń, ale przede
wszystkim powstawanie nowych połączeń pomiędzy komórkami w jakikolwiek sposób
powiązanymi ze strukturami, w których te wrażenia są zapamiętywane. Powiązania te, być może
6
powstają na zasadzie bliskości przestrzennej, ponieważ uogólnione wrażenia lokowane są w
sąsiedztwie struktur zajmujących się podobnymi „zagadnieniami”. Mogą w ten sposób powstawać
pola zawierające „mapy problemów”, którymi zajmuje się mózg, analogiczne do tych tworzonych
dla przetwarzania sygnałów wzrokowych i rozpoznawania obrazów (mapy retinoskopowe).
Jedynym, jak dotychczas uzasadnieniem tej hipotezy, jest poszukiwanie prostoty rozwiązań,
pamiętając o ewolucyjnej genezie mózgów zwierzęcych. Mózgi zwierząt ewoluowały w kierunku
umożliwiającym im odgadywanie najbardziej wiarygodnej interpretacji otrzymywanych bodźców i
danych przechowywanych w ich pamięci przy pomocy jak najprostszych środków. Wykorzystanie
bliskości przestrzennej wydaje się bardzo prostym lecz jednocześnie skutecznym środkiem.
Sąsiedztwo pól odpowiedzialnych za rozpoznawanie złożonych pojęć może mieć bardzo istotne
znaczenie dla ich kojarzenia, dzięki łatwości ich pobudzania generowanymi przez astrocyty falami
jonów wapniowych, które są podstawowym środkiem komunikacji astrocytów praktycznie ze
wszystkimi sąsiednimi astrocytami. Wspólna lokalizacja komórek nerwowych odpowiedzialnych za
zapamiętywanie i przetwarzanie pojęć ogólnych i abstrakcyjnych sugeruje istnienie na najwyższym
szczeblu hierarchii specjalnego ośrodka tych pojęć. Wydaje się naturalne, że zapamiętane tam
korelaty neuronowe pojęć wykorzystane mogą zostać do realizowania innych, ważnych życiowo
funkcji. Oczywiście nie stoi to w sprzeczności z faktem, że pobudzając grupy komórek związanych
z konkretnym pojęciem, wrażeniem czy obrazem, pobudzamy równocześnie komórki w innych
ośrodkach, do których szlak przekazywania bodźców został wcześniej ustalony. Należy
przypuszczać, że dzieje się tak za pośrednictwem struktury hierarchicznej. Tak więc spodziewać się
można, że „drzewu” powiązań pól przetwarzania „w górę” towarzyszy „drzewo” powiązań
zstępujących do innych ośrodków, a tam w dół hierarchii przetwarzania.
System wyposażony może być w „generator mowy”, czyli ośrodek przetwarzania, który tworzyć
może symbole odpowiadające zestawom stanów struktur pamięciowych na najwyższym szczeblu
przetwarzania. Jeśliby ośrodek uwagi połączony był z takim „ośrodkiem”(generatorem) mowy, to
każdorazowo, gdy pobudzona jest określona struktura pamięciowa na skutek wysłania sygnału
przez ośrodek uwagi, generator „wypowiadałby” odpowiadające mu „słowo”(symbol).
Wystarczyłoby to dla systemu mającego za zadanie rozpoznawanie obiektów, procesów, problemów
i ich sygnalizowanie.
Trudniejszym zadaniem będzie „nauczenie” porozumiewania się ze zrozumieniem celu.
Żeby to osiągnąć, system musi rozpoznawać sekwencję zdarzeń, czyli musi umieć uszeregować
otrzymywane bodźce według kolejności ich pojawiania się. Dla praktycznych celów, to ustalenie
kolejności powinno być umiejscowione w czasie. Wówczas będzie możliwe definiowanie relacji
czasowych pomiędzy zdarzeniami i w efekcie wprowadzenie reguł składni sygnalizujących te
relacje. Relacji czasowych dostarcza nam kojarzenie obserwowanych zdarzeń z sygnałami
dźwiękowym rejestrowanymi przez uszy. Kolejność docierających dźwięków, szczególnie
pojawiających się rytmicznie, pozwala nadać wymiar czasowy obserwowanym równocześnie
zjawiskom z dużo lepszą precyzją. Zbieżne jest to z wymaganiami jakie stanowi rozpoznawanie
mowy. Receptory słuchu zdolne są do przekazania informacji pozwalających polom wyższego
rzędu wyodrębniać fonemy i morfemy, a z nich składać wyrazy zapamiętując ich kolejność w
czasie. Pola zapamiętanych wyrazów bez wątpienia łączą się z polem „generatora mowy”, w
którym przechowywane są instrukcje wydobywania dźwięków odpowiadających rozpoznawanym
fonemom. Ich połączenie we właściwej kolejności generować może słowa zrozumiałe jako język
komunikacji. Należy przypuszczać, iż osobniki dysponujące umiejętnością pisania mają trwale
skojarzone odpowiednie komórki kolejnego pola pamięci. Pamięci symboli określających litery,
sylaby, wyrazy odnoszące się do zapamiętanych słuchowo ich brzmień. I wreszcie wszystkie te pola
muszą mieć możliwość wymiany sygnałów koincydencyjnego pobudzenia z polem wrażeń
definiowanych przez stany pobudzeń komórek sygnałami docierającymi poprzez receptory i niższe
pola ze świata zewnętrznego. Niewykluczone, że oprócz pól zawierających elementarne składowe,
litery i fonemy, w wymienionych powyżej polach zapamiętywane są całe słowa a nawet określenia
7
pasujące do rozpoznawanych w polach receptorowych obiektów. Olbrzymia pamięć, jaką dysponuje
mózg zwierzęcy umożliwia rozrzutność tworzącą olbrzymią redundancję, ale ułatwiającą i
przyśpieszającą komunikację.
Zdolność lokalizowania zdarzeń w czasie jest niezbędna dla świadomości własnej historii. Toteż
zazwyczaj „zdajemy sobie sprawę” i zapamiętujemy w jakim czasie nastąpiło dane zdarzenie. Dla
zjawisk trwających krótko wystarczy zapamiętanie sekwencji zdarzeń. Bezwzględny upływ czasu
ma wówczas charakter subiektywny. Dla rejestracji zdarzeń w pamięci trwałej konieczne jest
odniesienie zdarzenia do innych zjawisk cyklicznych. Pobudzając struktury przypominające to
zdarzenie pobudzamy równocześnie komórki z nim kojarzone. Uzyskujemy w ten sposób
możliwość określenia bezwzględnego terminu zajścia tego zdarzenia.
Operowanie symbolami reprezentującymi rozpoznane zjawiska odpowiada stosunkowo
prymitywnemu poczuciu świadomości. Jak już wielokrotnie wspominałem, świadomość jest
stopniowalna a jej przyrost skorelowany jest z rozwojem języka komunikacji oraz zdolnościami
poznawczymi, które z kolei napędzane są „instynktem ciekawości”.
Toteż rozwinięcie języka logicznego pozwala uzyskać wyższy stopień świadomości nazywany
samoświadomością, poczuciem własnego „Ja”, zdawaniem sobie sprawy z własnej odrębności.
Możliwe, że pewien stopień samoświadomości jest dostępny także dla istot operujących jedynie
najprostszym językiem symbolicznym. Przecież łatwo sobie wyobrazić spostrzeżenie konsekwencji
własnego zachowania w złożonym środowisku nawet bez werbalizacji własnych odczuć. Jednakże
wyobrażenia takie zawsze będą miały charakter subiektywny i spekulatywny, ponieważ brak języka
komunikacji wzajemnej uniemożliwia rozpoznanie stopnia takiej świadomości.
Do czego umysł wykorzystuje ciekawość?
Umysł ciągle poszukuje wzorców charakteryzujących się tym, że stany pobudzeń komórek
niższych poziomów wykazują podobieństwo do zespołu bodźców aktualnie generowanych przez
zmysły lub przez wyobraźnię pobudzoną mechanizmem ciekawości. Oznacza to nieustanne
poszukiwanie podobieństw. Grupa bodźców musi być czemuś przyporządkowana. To także jest
objaw ciekawości. Nieprzyporządkowany niczemu obiekt przyciąga uwagę umysłu. Zmysły
próbują uzyskać na jego temat więcej informacji. Np. w ciemnym lesie majaczące w mroku cienie
muszą być rozpoznane jako drzewa, krzaki, zwierzęta. Póki tak się nie stanie, to staramy się im
przyjrzeć, chyba, że nierozpoznane, budzą strach, i wówczas staramy się od nich oddalić.
Jeśli są to bodźce wewnętrzne, generowane przez niższe pola mózgowe, to umysł także stara się
nadać im znaną już formę. Dlatego w marzeniach sennych rozpoznajemy oglądane już elementy
świata, choć dalekie od realności. Na wyższym poziomie abstrakcji, gdy nasze myślenie dotyka
pojęć ogólnych, przyporządkowanie tych pojęć do jakiegoś modelu wytłumaczenia zjawiska
pozwala zestawiać złożone konstrukcje teoretyczne i logiczne owocujące powstawaniem całych
dziedzin wiedzy, tworzących opis złożonych zjawisk przyrodniczych. Dążenie do ciągłego
uzupełniania bazy wyobrażeń, pojęć, modeli niezbędnych do kompletnego opisu rzeczywistości w
sposób zgodny z obserwowanymi faktami jest siłą napędową rozwoju nauki.
Wreszcie przesyłanie sygnałów zgodności poszczególnych opisów podnoszących różne
aspekty zjawiska daje poczucie zrozumienia. Póki takiego poczucia nie osiągniemy, to umysł
koncentruje się na tym zadaniu. Intensywność myślenia osiąga najwyższy poziom. Ujawniają się
tutaj znane nam funkcje mózgu, a jest to nie tylko kategoryzacja ale i uogólnienie (generalizacja)
oraz myślenie asocjacyjne, poszukiwanie skojarzeń, podobieństw w różnych aspektach. Tu
przydatna jest ciekawość uświadomiona czyli sformułowana językowo intelektualna potrzeba
poznania. Takie pojęcie ciekawości odpowiada „ciekawości epistemicznej” według klasyfikacji
8
Berlyne lub „intelektualnej” według Dewey'a. Można przyjąć, że to poczucie zrozumienia
rejestrowane jest także w odpowiednim ośrodku zrozumienia grupującym komórki nerwowe
„zrozumienia” podobnie jak „komórki babci” znane z opisów naszego widzenia i rozpoznawania
obrazów. Dysponując modelami rzeczywistości dającymi poczucie zrozumienia własnej pozycji w
środowisku i własnej odrębności tworzymy nowy zestaw pobudzeń komórek najwyższego rzędu
odpowiadający wrażeniu świadomości. Oczywiście poczucie takie także może być zapisane w
odrębnej „komórce świadomości”, której stan pobudzenia w jakimś momencie czasowym, będzie
nam przypominał, że jesteśmy świadomi. Swoboda wyboru tego momentu oraz pamięć o tym, że
już taki sygnał odbieraliśmy będzie rejestrowana jako „trwałość bytu” i oczywiście zapisana w
komórce „trwałości bytu”. Czy szereg ten nie ma końca? Dla nas ludzi, już się prawdopodobnie
kończy łańcuch abstrakcyjnych uogólnień. Jednakże dla istot od nas lotniejszych, dysponujących
większym potencjałem intelektualnym, możliwe są wyższe stany kontemplacji świata. Poczucie
„jedności ze światem”, „nirwana” itd..
Sztuczna świadomość
Jakie procesy przesyłania informacji pomiędzy strukturami mózgu towarzyszą tym zjawiskom?
Czy jesteśmy w stanie skonstruować elektroniczny model mózgu przejawiający ciekawość,
świadomość i inne stany umysłu charakterystyczne dla mózgów istot żywych?
Badania nad sztuczną inteligencją wykazują oszałamiające postępy. Skonstruowano wiele
maszyn wykonujących zadania, do wykonania których człowiek używa inteligencji. Osiągnięto
znaczące rezultaty w rozwinięciu systemów sztucznego widzenia i rozpoznawania obrazów.
Zbudowano urządzenia do odczytywania pisma, generacji mowy ludzkiej oraz dokonywania
tłumaczeń pomiędzy różnymi językami (choć na razie na niesatysfakcjonującym poziomie).
Systemy eksperckie stawiają diagnozy przewyższające celnością zespoły ludzkich specjalistów.
Maszyny sterowane sztuczną inteligencją wykonują samodzielnie, złożone misje nie wymagając
ciągłej, bezpośredniej ingerencji człowieka. Gry komputerowe symulują zachowanie występujących
w nich bohaterów, miast i całych krain fantastycznych. Jednakże zdajemy sobie sprawę, że brakuje
im rozumienia zadań, które wykonują oraz poczucia odrębności ich własnego „Ja” tak
charakterystycznego dla samoświadomości.
Większość tych systemów to systemy algorytmiczne. Nie istnieją dotychczas algorytmy
symulujące stan świadomości. Istnieje uzasadnione podejrzenie, że na drodze algorytmicznej nie
będzie możliwe uzyskanie takiego stanu. Naszym środowiskiem jest Świat w całej swej złożoności.
Bogactwo świata, obejmuje zjawiska wysoce chaotyczne a więc niedeterministyczne. Do
zbudowania modelu rzeczywistości, który pozwoliłby określić i zrozumieć nasze miejsce w tym
środowisku, potrzebne byłyby procedury tworzące opis równie złożony i niedeterministyczny.
W ostatnich latach znaczącego postępu w naśladowaniu procesów przebiegających w umysłach
istot żywych dokonano w dziedzinie sieci neuronowych kognitywnych. Architektura tych sieci w
dużej mierze przypomina, a lepiej powiedzieć intencjonalnie naśladuje budowę mózgu. Większość
tych sieci składa się ze stosunkowo prostych elementów – komórek, połączonych wzajemnie w
sposób umożliwiając przesyłanie sygnałów do dużej liczby podobnych komórek odpowiadających
neuronom. Własności przetwarzania sygnałów determinowane są strukturą sieci połączeń
neuronów. Połączenia te mogą mieć zmienną charakterystykę transmisji poprzez elementy, zwane
przez analogię z mózgiem, synapsami. Sieci posiadają budowę warstwową, od niższych poziomów
sprzężonych z receptorami do poziomów wyższych. Posiadają one możliwość przekazywania
bodźców reprezentujących stany mentalne w górę hierarchii od pól sprzężonych z receptorami do
wyższych poziomów przetwarzania. Stany mentalne to konfiguracje stanów pobudzeń neuronów
docierające do komórek wyższej warstwy. Są one wyznaczane przez matryce określające stany
blokowania lub transmisji synaps, które zapamiętywane są w pamięci trwałej. Przekazywane w ten
9
sposób do wyższych warstw informacje o odbieranych wrażeniach tworzą drzewiastą strukturę
odpowiadającą hierarchicznej organizacji wzorców mentalnych. Taką budową odznacza się np.
tworzona sieć kognitywna w ramach projektu „The Novamente AI Engine” (Goertzel 2006).
Sieci te podzielone są zwykle na ośrodki wyspecjalizowane w przetwarzaniu informacji o
specyficznych właściwościach dotyczących zróżnicowanych aspektów i różnych stopni uogólnienia
strumienia stanów mentalnych płynących z niższych poziomów. Umożliwiają one wymianę i
kojarzenie pojęć lub wrażeń o różnym stopniu uogólnienia dotyczących różnych aspektów
odbieranej przez receptory i analizowanej rzeczywistości. Sieci te uczone są rozpoznawania
wzorców obiektów, obrazów, symboli poprzez technologię uczenia „pod nadzorem” lub „z
krytykiem”. Są też próby wyposażania sieci o architekturze symbolicznej w bazy danych
zawierających olbrzymią ilość informacji o świecie o charakterze encyklopedycznym (baza CYC).
Większe perspektywy stwarzają systemy o architekturze emergentnej. Baza danych/wzorców
powstaje w nich w procesie uczenia. Możliwe jest także łączenie zalet obu rodzajów architektury w
systemach mieszanych (architektura hybrydowa). W tych zaawansowanych systemach, podobnie
jak w mózgu ludzkim świadomość wyłania się emergentnie, jako proces tworzenia wzorca
środowiska i zadań realizowanych przez system. Realizowanych jest obecnie wiele projektów,
których zadaniem jest uzyskanie inteligentnych systemów rozpoznawania i reagowania na złożone
bodźce w dynamicznie zmiennym środowisku. Ich inteligencja zapewnia olbrzymią skuteczność,
niezawodność i elastyczność, czyli dostosowanie reakcji do zmian warunków realizacji.
Aczkolwiek wykonywanym przez te systemy funkcjom przypisujemy cechę świadomości
„doznawanych” wrażeń, to jednak w dalszym ciągu ich świadomość nie przypomina ludzkiej. My
mamy świadomość, iż świadomość zaprojektowanych przez nas systemów różni się od naszej. Brak
jest samoświadomości i zrozumienia wykonywanych funkcji, nawet gdy ich skuteczność
przewyższa działania ludzkie w danych warunkach. Klucz do różnicy w zachowaniu człowieka i
maszyny tkwi w dopisku „w danych warunkach”, bowiem nie możemy być pewni jak sobie poradzi
system w warunkach odbiegających od tych, które dotychczas zakładaliśmy.
Na pozór wydaje się, że wszystkie warunki do osiągnięcia wysokich stanów samoświadomości
są spełnione. Systemy wykonują inteligentne funkcje kategoryzacji, selekcji, kojarzenia i
generalizacji, rozpoznają i generują mowę ludzką. Posiadają wspomniane wyżej cechy architektury
sieci neuronowej wzorowane na budowie ludzkiego mózgu. Budowane są rozległe sieci zawierające
znaczącą liczbę komórek i jeszcze większą liczbę synaps. Stosowane są wyszukane funkcje
modulacji synaps ze sprzężeniem zwrotnym obejmującym pojedyncze komórki lub warstwy a także
mechanizmy wstecznej propagacji błędów. Odznaczają się pamięcią epizodyczną i długoterminową
zarówno rozproszoną jak i zlokalizowaną lub modularną. W pamięci epizodycznej dochodzi do
synchronizacji lub rezonansu stanów mentalnych z różnych ośrodków, pozwalających na kojarzenie
różnych aspektów pojęć i zdarzeń. Jednakże efekty, mimo wieloletnich starań nie są zadowalające.
Może się wydawać, że to zbyt ograniczone zasoby pamięci i komórek w warstwach
przetwarzania tworzą ograniczenie dla wypełniania tych wyższych funkcji. Że postępy technologii
prowadzące do zwiększenia złożoności sieci, zwiększenia liczby warstw i komórek analizujących w
poszczególnych warstwach, lub też połączenie w większą całość struktur wykonujących dotychczas
różne funkcje, doprowadzi do osiągnięcia celu niejako samoistnie. Ta hipoteza ekstensywnego
wzrostu skali może prawdopodobnie doprowadzić do zamierzonego skutku. Jednakże wielu
badaczy, kognitywistów uważa, że to nie w złożoności mózgu kryje się problem i nie w skali liczby
jego komórek i połączeń. Zresztą technologia miniaturyzacji podzespołów elektronicznych już w
najbliższym czasie pozwoli na gęstość upakowania pamięci porównywalną do systemów
biologicznych. Można także minimalizować wymagania na układy przetwarzania zmniejszając
szczegółowość i rozdzielczość analizowanych sygnałów. Sztuczny świat sztucznej inteligencji
10
będzie nieco uboższy, ale obrazy można rozpoznawać przy rozdzielczości 200x300 pikseli, nie
koniecznie w jakości HD. Uważa się, że brak nam zrozumienia gdzie i jak tworzy się
samoświadomość lub, że brak nam jakiegoś czynnika, który sprawi, iż takowa nagle się pojawi.
Próby tłumaczenia, że niedostateczny rozwój technologii i stopień złożoności budowanych
dotychczas sieci kognitywnych jest wyłączną przyczyną ich gorszych rezultatów w porównaniu z
mózgiem ludzkim nie wytrzymuje krytyki.
Hipoteza o niezbędności instynktu ciekawości dla osiągania samoświadomości
W artykule „Postrzeganie, świadomość, samoświadomość, inteligencja”, zwróciłem uwagę na
pewien szczególny niedostatek budowanych dotychczas kognitywnych sieci neuronowych. Jedną z
cech, w którą wszystkie one konsekwentnie nie zostały wyposażone, jest zainteresowanie tym co
robią, co jest równoznaczne z brakiem „ciekawości”.
W artykule niniejszym przedstawiam hipotezę, że uzyskanie świadomości jest naturalnym
procesem, jeśli zdamy sobie sprawę z roli instynktu „ciekawości” tworzącego wewnętrzną
motywację do realizowania funkcji poznawczych. Sztuczny mózg musi być wyposażony w
mechanizm penetracji zasobów pamięciowych nazywany mechanizmem „ciekawości”. Musi mieć
zdolność podążania za asocjacjami znaczeniowymi we własnej pamięci, wykraczania poza teren,
na którym był szkolony, wykraczania poza obszar problemowy aktualnie rozpatrywany i sięgania
po nowe zadania, które same sobie formułuje.
Wydaje się, że predestynowane do takich zadań są złożone, wielowarstwowe sieci posiadające
zdolność elastycznej modyfikacji swojej struktury. Komórki takiej sieci (neurony) powinny mieć
możliwie prostą strukturę i reagować skokowo na pojawiające się bodźce na wejściach dając na
wyjściu stan występowania lub braku pobudzenia. Synapsy, umożliwiając lub blokując transmisję
sygnałów, praktycznie modyfikowałyby strukturę sieci, włączając bądź odcinając komórki niższej
warstwy. Niewykluczone, iż celowe będzie rozdzielenie funkcji zapamiętywania wzorców stanów
w postaci matryc włączenia synaps, poprzez wprowadzenie towarzyszącym neuronom
„astrocytów”, czyli komórek pamięci trwałej. Wówczas to one stanowiłyby pamięć trwałą
zapamiętując stany mentalne. Stany pobudzeń neuronów stanowiłyby pamięć epizodyczną
współpracującą z górnym piętrem pól przetwarzania informacji o większym stopniu uogólnienia.
Trzy mechanizmy mogą być odpowiedzialne za realizację funkcji „ciekawości”.
Pierwszy to automatyczny mechanizm eksploracji zasobów pamięciowych poprzez wysyłanie
fal pobudzeń do niższych struktur bliższych neuronom czuciowym.
Drugi, to automatyczny mechanizm pobudzeń komórek sąsiednich szczególnie astrocytów
zawierających informację trwale zapamiętane. Powodować on będzie rodzaj dyfuzji bodźców
docierających do określonej grupy komórek, w których przechowywana jest pamięć o powiązanej
grupie obiektów, pojęć, zdarzeń itp. Przypomnieć tu należy prezentowaną powyżej hipotezę o
korelacji przestrzennej wrażeń i pojęć o podobnym charakterze.
Trzeci mechanizm to długodystansowe pobudzenie astrocytów przechowujących informacje w
jakikolwiek sposób powiązane z problemem znajdującym się w polu uwagi. Powiązanie owe
oznacza istnienie wytworzonych uprzednio szlaków przekazywania informacji pomiędzy tymi
strukturami. Szlaki te powstać mogą w procesie uczenia się i rozwoju sieci a także w wyniku
doświadczeń behawioralnych lub eksperymentów myślowych, wyobrażeń itp. Tak pobudzone
odległe astrocyt mogą stać się źródłami nowych spontanicznych fal pobudzeń astrocytów
sąsiednich, przez co powstawać mogą nowe, nawet najbardziej zaskakujące skojarzenia.
Pobudzenia struktur trwałej pamięci w pobliżu neuronów czuciowych generuje zwrotną,
wstępującą falę bodźców ze wszystkich tych obszarów. Powstaje strumień pobudzeń do kolejnych
warstw porównujących, selekcjonujących i uogólniających a przez to kompresujących płynącą
11
informację. Sztuczny umysł, realizuje te funkcje poprzez przesyłanie stanów pobudzeń komórek
pomiędzy kolejnymi warstwami i polami przetwarzania i zapamiętywania tych stanów w ramach
hierarchicznej struktury tych pól, od receptorów aż do ośrodków pojęć najbardziej ogólnych.
Tworzy się w ten sposób „drzewo” połączeń od pól czuciowych, rozpoznających obrazy wzrokowe
i sygnały generowane przez inne zmysły aż do pól pojęć najbardziej ogólnych oraz
charakteryzujących stany umysłu takie jak satysfakcja, zrozumienie i właśnie samoświadomość.
Aby uzyskać możliwość wykonywania podstawowych funkcji umysłu, mózg musi stworzyć sieć
przekazywania zwrotnych sygnałów o modyfikacji tego systemu połączeń. Tworzone musi być
zwrotne drzewo połączeń od pojęć ogólnych do komórek w polach odpowiedzialnych za
rozpoznawanie najbardziej elementarnych cech rejestrowanych w receptorach obrazów. Ta sieć,
oprócz sygnałów modyfikujących jej strukturę na zasadzie mechanizmu wstecznej propagacji, musi
przekazywać sygnały pobudzeń od pól pojęć ogólnych do pól leżących niżej w hierarchii.
Pobudzenia takie odpowiedzialne są za odtworzenie wrażeń recepcyjnych z pamięci,
umożliwiających ich porównanie z obrazami aktualnie analizowanymi a przez to ich
rozpoznawanie. Zgodność tworzonego modelu rzeczywistości z konstruktami generowanymi przez
wrażenia z pamięci daje możliwość konstruowania modelu rzeczywistości wyższego rzędu a przez
to określenie własnego położenia w środowisku.
Właściwa sieć połączeń umożliwiająca zapamiętywanie i przetwarzanie złożonych informacji
wymagać będzie uczenia we wszystkich formach stosownych dotychczas w treningu kognitywnych
sieci neuronowych. Może tu być stosowane uczenie pod nadzorem, w celu wprowadzenia bazy
pojęć o świecie skojarzonej z ich reprezentacjami mentalnymi wprowadzanymi przez zmysły. Dalej
spontaniczne uczenie się pod wpływem ciekawości może być korygowane poprzez nauczanie z
krytykiem. Należy też dopuścić w najszerszej formie samouczenie się sieci. Jeśli w wyniku tych
procesów powstawać będą nowe pojęcia lub wzorce rzeczywistości to sieć musi posiadać
możliwość zapamiętywania ich w nowych astrocytach, które wobec tego, występować muszą w
dostatecznej ilości, aby nie ograniczać funkcji poznawczych sieci. Ewentualnie stosowana powinna
być architektura rozszerzenia możliwości pamięciowych poprzez dynamiczną kreację astrocytów.
W sieciach sztucznych, prawdopodobnie mogących uzyskiwać bezbłędną pamięć trwałą, proces
uczenia, być może, przebiegać będzie mógł szybciej, niż w mózgach naturalnych. Należy też
pamiętać, że uczenie skojarzeniowe w strukturach drzewiastych umożliwia niezwykłą kompresję
informacji. Możliwe też będzie łatwiejsze sprzęganie struktury pamięciowej sieci z istniejącymi
bazami danych o charakterze symbolicznym, encyklopedycznym (np. typu CYC).
Można więc pokusić się o zdefiniowanie pożądanej architektury sieci neuronowej, kognitywnej:
1. Struktura hierarchiczna, warstwowa, podzielona na pola i ośrodki funkcji
specjalistycznych typu emergentnego lub hybrydowego.
2. Dostatecznie wielka pamięć i rozległa hierarchia pól przetwarzania lub ewentualnie,
dynamiczna kreacja astrocytów.
3. Sieć z rozdzielonymi funkcjami pamięci operacyjnej, epizodycznej, nietrwałej
nazywanej neuronową oraz pamięci długoterminowej, adresowanej do odrębnych
komórek zwanych astrocytami.
4. Sieć umożliwiająca transmisję pobudzeń długodystansowych poprzez połączenia
neuronalne w strukturach drzewiastych wstępujących i zstępujących. Mechanizm
wstecznej propagacji błędów dla selekcji uprzywilejowanych konfiguracji stanów
mentalnych. Mechanizm ten ustanawiał będzie reguły grupowania pobudzeń niezbędny
dla operacji logicznych wykonywanych przez sieć.
5. Sieć umożliwiająca spontaniczną dyfuzję stanu pobudzeń sąsiadujących astrocytów.
6. Mechanizm zapamiętywania wrażeń o podobnym charakterze w astrocytach zbliżonych
przestrzennie.
12
7. Mechanizm wzmacniania szlaków transmisji sygnałów często wykorzystywanych,
skorelowany z mechanizmem grupowania transmitowanych konfiguracji pobudzeń.
8. Pobudzone komórki generować muszą regularnie sygnały pobudzenia do dolnych pięter
hierarchii oraz do innych wyspecjalizowanych ośrodków przetwarzania.
Wymagania te dalece odbiegają od stosowanych dotychczas architektur sieci kognitywnych.
Jednakże ich techniczna realizacja nie powinna nastręczać zasadniczych trudności. Tak
zaprojektowana sieć zdolna będzie do tworzenia doraźnych modeli środowiska poprzez
odwzorowanie ich w konfiguracji stanów mentalnych. Doprowadzenie do zgodności konfiguracji
pobudzeń neuronów będących reprezentacją tych modeli umożliwia generowanie stanu
„zrozumienia” a wreszcie poczucia samoświadomości, podobnie jak dla umysłów istot żywych.
Skutki ciekawości
Przyjmując hipotezę o korelacji samoświadomości i instynktu ciekawości zastanówmy się nad
konsekwencjami takiego założenia i poszukajmy odniesień do tej tezy w zjawiskach
psychologicznych obserwowanych w zachowaniu człowieka lub zwierząt.
Jak może się kojarzyć porzeczka z zapachem porzeczki, słowem porzeczka, i jej obrazem? Co
może spowodować, że przypominamy sobie taki dziwny owoc? Co ze słowami podobnymi, jak
pożyczka, poprzeczka i innymi? Co ma to wspólnego z ciekawością?
Jaki jest udział ciekawości w życiu codziennym? W zaspokajaniu potrzeb fizjologicznych? W
realizacji zaplanowanych działań? W rozważaniach filozoficznych (ciekawość zwerbalizowana)? W
rozwiązywaniu zdań logicznych i matematycznych?
Zadając te pytania nie mam na myśli odpowiedzi dotyczących zachowań systemu jako całości a
próbuję rozważyć jak mogą przebiegać szlaki pobudzeń komórek sieci, aby osiągnąć spodziewany
skutek. Otóż myśl o porzeczce, czyli proces pobudzeń komórek dotyczących pojęcia porzeczka,
może być wywołany widokiem porzeczki. Czyli zestaw sygnałów odpowiadających porzeczce
docierający z pól receptorowych docierać musi do komórek reprezentujących porzeczkę w formie
uogólnionej a stamtąd sygnał reprezentujący obiekt kierowany będzie utartymi wcześniej szlakami
do obszarów decydujących o tym co zrobić z tą dobrą wiadomością, z tym obiektem, lub z tym
pojęciem. Co to za utarte szlaki? To połączenia z ośrodkami, które spowodowały, że na porzeczkę
zwróciliśmy uwagę. Najpewniej wówczas, kiedy pierwszy raz ją zobaczyliśmy uczeni przez
rodziców lub nauczyciela, możliwe, że zapoznając się z nią w procesie „uczenia pod nadzorem”.
Ośrodkami powiadomionymi w ten sposób mogą być pola wyższego rzędu dokonujące uogólnienia
i zdolne rozpoznać w przesyłanym sygnale kwaśny owoc, obiekt geometryczny zbliżony do
zielonej kulki, obiekt o nazwie „porzeczka” itp. Pola te mogą tworzyć strukturę hierarchiczną typu
porzeczka – kwaśny owoc – zdrowe jedzenie. Lub też mogą stanowić struktury oboczne, do których
informacja kierowana jest równolegle typu: porzeczka – rzeczownik na literę „p”– rzeczownik –
słowo. Jest to przykład drzewa połączeń wstępujących, o którym pisałem powyżej.
Według hipotezy o nieustającym działaniu mechanizmu „ciekawości” pobudzenie komórek
będących reprezentacją porzeczki może się rozprzestrzenić na sąsiednie komórki reprezentujące
podobne obiekty jak białe i czarne porzeczki, jagody, pieprz. Ośrodek pamięci epizodycznej
ulokowany wysoko w hierarchii pojęć abstrakcyjnych zablokuje napływające sygnały
konkurencyjne przy pomocy mechanizmu wstecznej propagacji błędu. Dlaczego właśnie
pobudzenie z komórki porzeczka miałoby być wyselekcjonowane do dalszego przetwarzania?
Ponieważ, być może, pobudzenie to będzie kojarzone z sygnałem z ośrodka głodu szlakiem: chcę
jeść – chcę owoc – chcę porzeczkę lub też z ośrodka mowy szlakiem: szukam słowa – rzeczownika
– rzeczownika na literę „p”. Jest to przykład drzewa połączeń zstępujących. Z ośrodka mowy
13
sygnał będzie zapewne przesłany do generatora mowy i tam skorelowany z sygnałem „chcę mówić”
doprowadzi do wygenerowania słów „chcę porzeczkę”.
Natomiast czego można się spodziewać, gdy wygenerowane innym szlakiem pojęcia zawładną
pamięcią epizodyczną skorelowaną z mechanizmem uwagi? Jeśli będą to wrażenia niespójności
obrazu porzeczki z przechowywanymi w pamięci trwałej wzorcami, to umysł w różny sposób może
starać się usunąć te niespójności. Wysłane zostaną sygnały pobudzenia zgodnie z drzewem
połączeń zstępujących aż do innych pól przechowujących percepty pozwalające rozpoznać kolor,
fakturę i inne cechy szczególne obiektu. Pobudzane mogą być także pola pamięciowe innych
obiektów weryfikujące, czy jednak nie są to jagody. Wysyłane sygnały do efektorów mogą wreszcie
powodować poprawę warunków widzenia.
I tak ciekawość pobudza bezustannie niższe pola poznania powodując masowe generowanie
wrażeń. Pobudzenia te propagują się torami pamięci trwałej. Ze względu na dyfuzję pobudzeń
powstaje wstępujący szeroki strumień informacji o wrażeniach, zjawiskach, obiektach podobnych.
Ten zaś strumień epizodyczny wstępuje utrwalonymi wcześniej szlakami neuronowymi.
Równocześnie z innych ośrodków napływa podobnie szeroki strumień informacji dotyczących
innych aspektów „problemu porzeczka”. Umysł ma wybór wśród olbrzymiej ilości informacji
docierających na wyższe piętra uogólniania. Łącząc wybrane strumienie, na przykład tła
obserwowanego obrazu, może dojrzeć i rozpoznać obraz grona porzeczek na tle krzewu rosnącego
w ogrodzie lub leżącego w pokoju na talerzu. Jeśli kojarzenie odbywa się w okolicach ośrodka
mowy, to kojarzenie strumienia „obrazowego” ze słowami, może powodować myślenie opisowe
dające się łatwo zwerbalizować. Po skojarzeniu z potrzebą ekspresji, może to dać opis słowny lub w
postaci pisma, zapisu literowego a po skojarzeniu z polami dźwiękowymi (subiektywnie
wybranymi, co z kolei odpowiada muzycznej wyobraźni), zapisu nutowego. Jeśli fale pobudzeń
skojarzą to z innymi klasami obiektów, to możemy zobaczyć nasze porzeczki, jako błyszczące
żarówki wielkiego żyrandola lub jako girlandy gwiazd porzeczkowej galaktyki. Myśli będą
przełączały się burzliwie po generowanych obrazach, gdy puszczamy wodze fantazji. Fale
pobudzeń wstępujące i zstępujące po szczeblach hierarchii warstw komórek, pól i rozprzestrzeniane
do wyspecjalizowanych ośrodków będą się krzyżowały i poprzez synchronizację czasową i
przestrzenną, umożliwiały liczne skojarzenia. Tym bardziej, że mechanizm ciekawości powoduje
także propagację fal pobudzenia na najwyższym szczeblu abstrakcji, w pobliżu ośrodków, w
których powstają skojarzenia kierowane do komórek świadomości. Te zaś bodźce powodują
przełączanie uwagi umysłu na wciąż nowe skojarzenia tworząc wrażenie niepohamowanej fantazji,
bądź też zmuszające umysł do podejmowania przypomnianych zadań lub działań. Można także
przyjmować, iż występujące trudności w uzgodnieniu wzorców, skutkujące tym, iż ośrodek
„zrozumienia” nie może być pobudzony, skutkować będzie pobudzeniem innej komórki, którą
nazywać możemy komórką „ciekawości”. Wówczas grupując sygnał z tej komórki z dowolnym
zagadnieniem przetwarzanym przez umysł otrzymamy uświadomioną ciekawość tego zagadnienia.
Może ona być zwerbalizowana poprzez zadawanie pytań. W myśli, mowie, piśmie lub w działaniu,
czyli w próbach zdobycia większej ilości informacji dla uzgodnienia wzorców rzeczywistości.
Do naszej świadomości będzie docierała myśl dominująca, pasująca do modelu rzeczywistości,
który na najwyższych piętrach zawładnął naszą uwagą. Filtrem dyskryminującym będzie tu
poczucie „zrozumienia”, czyli zgodności wzorców pobudzeń z zapamiętanymi wzorcami i
pobudzenie komórki „zrozumienia”, jak to już wyżej opisywałem, antycypując działanie ludzkiego
mózgu. Tak więc do naszej świadomości docierać będzie znikomy promil generowanych przez
mechanizm ciekawości wrażeń i bodźców. Pozostałe generowane lecz zablokowane strumienie
informacji tworzą naszą podświadomość.
Oczywiście silny bodziec konkurencyjny może powstrzymać ten potok skojarzeń. Może to być
upływający czas, potrzeba fizjologiczna, inny obraz lub dźwięk nagle postrzeżony i powodujący
14
równie silne skojarzenia, lub inne silne wspomnienie pojęcia lub zadania. Zadaniem takim może
być konieczność wykonania w danym momencie czasowym zaplanowanej czynności lub podjęcie
innego działania.
Wydaje się, że tak szerokie pobudzenie komórek sieci spowoduje zatkanie filtru
dyskryminacyjnego w każdym, nawet niezbyt rozbudowanym mózgu. Jednakże należy pamiętać, że
bodźce przepływają głównie szlakami umocnionymi przez przeszłe doznania z fazy uczenia się lub
z przeszłych doświadczeń. Ponadto mechanizm uogólniania w drzewiastej strukturze hierarchicznej
powoduje olbrzymią kompresję informacji. Dodatkowo mechanizm wstecznej propagacji blokować
będzie olbrzymią część bodźców nie tworzących sensownych, znanych już sieci, wzorców wrażeń.
Tak więc wybór problemu, którym zajmuje się nasza świadomość może nie być tak trudny, jak to
się w pierwszej chwili wydaje.
Jeśli organizm postrzega cokolwiek dzięki ciekawości motywującej go do eksploracji otoczenia,
to dostrzegając i rozpoznając bodźce dające mu informację o środowisku, osiąga satysfakcję
zaspokajając swą ciekawość. Wzbogaca tą drogą swą „wiedzę” a być może także podnosi swą
inteligencję. Jest ciekawe czy istnienie mechanizmu „nagrody” materializującego ową satysfakcję
jest dodatkowym warunkiem koniecznym uzyskania motywacji do włączenia „ciekawości”. Czy
można czerpać „satysfakcję” z samego faktu wypełnienia obowiązku bycia ciekawym?
Oczywiście, gdy sugeruję, że komputery należy wyposażyć w funkcję "ciekawości" i dać im
wolność myślenia, mam na myśli wolność w zbieraniu danych i przeprowadzania prób
(wykraczania poza teren eksploracji), choćby myślowych. Jednakże wydaje się oczywiste, że
maszyny powinny mieć cel do osiągnięcia. Należy poważnie rozważyć znaczenie wewnętrznej
motywacji do aktywności. Czy jakikolwiek system, pozbawiony motywacji, może wykazywać
zainteresowanie czymkolwiek? Jak taka motywacja może powstać w toku ewolucji lub jak ją
wszczepić martwemu systemowi przetwarzania danych od którego oczekujemy inteligentnego
działania z wewnętrznej przyczyny. Motywację tę można stworzyć przez wyznaczenie celu
istnienia, najlepiej wskazania „sensu życia”. Takie zewnętrzne narzucenie motywacji byłoby
zgodne z kreacjonistyczną hipotezą powstania życia, ale jak to interpretować w przypadku
inteligentnych robotów? Czy powinniśmy się im zaprezentować jako Stwórca – Wielki
Konstruktor? Czy byłyby one wówczas zupełnie wolne? Utrzymanie ich w tym przeświadczeniu
mogło by się nie powieść w dłuższym horyzoncie czasowym. Uważam, iż tego rodzaju prymitywne
rozwiązanie w formie narzucenia z „góry” celu działania, byłoby pójściem na łatwiznę.
Moje spostrzeżenia, prezentowane w wymienianym już artykule „Postrzeganie, świadomość,
samoświadomość, inteligencja”, wskazują, że celem życia może być wyłącznie zaspokojenie
ciekawości. Ciekawość może być siłą napędową, motorem działania, nawet maszyn. W tym celu
korzystne może być wytworzenie mechanizmu nagrody pobudzanego wówczas, gdy osiągamy
zgodność tworzonych modeli rzeczywistości z zapamiętanymi wzorcami rzeczywistości. Zgodność
taka rejestrowana byłaby w tak zwanej „komórce zaspokojenia ciekawości”. Jednakże wyżej
wskazywaliśmy, że takie „uzgodnienie” jest samoistnie nieustannym celem każdego umysłu
wyposażonego w ciekawość, nawet sztucznego. Dlatego też należy przypuszczać, że komórka
rejestrująca stan zaspokojenia ciekawości wytworzy się także samoistnie, a samo jej pobudzenie
będzie równoważnikiem poczucia zadowolenia. Dlatego „my” - zwierzęta, odczuwamy satysfakcję
z poznawania świata i dlatego tę samą satysfakcję odczuwały będą prawdziwie myślące maszyny.
Abstrahując od definicji ciekawości (która podana jest w przypisie), istotne jest zrozumienie, że
„ciekawość” nie jest jedną z emocji, które przejawiają się jako „efekt uboczny” istnienia
świadomości działającej na tle naszej prymitywnej, zwierzęcej natury. „Ciekawość”, jak starałem
się przedstawić w poprzednim artykule, jest jednym z najbardziej pierwotnych instynktów,
umożliwiających przetrwanie osobnika i całego gatunku. Rola ciekawości w rozwoju osobniczym i
15
ewolucyjnym została szeroko opisana w dostępnej literaturze. Ponieważ, jak sugeruję, jest ona
ściśle powiązana z istnieniem świadomości, to jej znaczenie należy rozszerzyć na zrozumienie
konieczności występowania sprzężenia pomiędzy ciekawością i świadomością przynajmniej na
etapie kształtowania świadomości. Jeśli przyjmiemy taką hipotezę, to powstaje pytanie, czy
chwilowy brak poczucia zaciekawienia oznacza zagrożenie dla naszej świadomości? Raczej nie.
Ciekawość ma znaczenie dla ukształtowania świadomości, jednakże, jeżeli stan świadomości
zostanie osiągnięty, to staje się on składnikiem obrazu naszej rzeczywistości. Po prostu
zapamiętujemy, że jesteśmy wyodrębnionym bytem, a utwierdzać nas w tym przekonaniu może
pamięć długookresowa. Sięgając do niej, nasza chwilowa świadomość może sobie przypomnieć, że
mamy imię i nazwisko, gdzie mieszkamy, jaka jest historia naszego życia. Każdego ranka, budząc
się ze snu istnieje ryzyko, że nie zidentyfikujemy siebie samych. Jednakże niezawodność naszej
pamięci długookresowej, polegającej na zmianie stanów chemicznych astrocytów, daje nam prawie
pewność, że rozpoznamy własne istnienie po okres nieświadomości powodowanej snem, środkami
odurzającymi, czy silnym urazem mózgu. Wyjątkiem są stany amnezji, gdy na wskutek trwałych
uszkodzeń części mózgu, ginie część niezbędnej dla samoidentyfikacji informacji o naszej historii.
Czy wobec tego komputer, w którego pamięci zapiszemy jego pochodzenie i historię jego
istnienia będzie mógł po podłączeniu zasilania „przypomnieć” sobie kim jest? Oczywiście, nie.
Ponieważ nie mając bieżącej, chwilowej świadomości, jego wspomnienie, nie może być porównane
z modelem istnienia, z żadnym wzorcem rzeczywistości i skierowane do obszarów
umożliwiających zidentyfikowanie go jako „rozumienie realności” w stworzonym uprzednio
modelu świata. W przypadku mózgu świadomej istoty żywej, wrażenie istnienia może być w każdej
chwili poddane testowi „ciekawości” weryfikującej zgodność poczucia świadomości z odbieranymi
bodźcami zmysłowymi. Staje się tak często po nagłym przebudzeniu, przy przechodzeniu od
marzeń sennych do życia na jawie. Jeśli nasza ciekawość zostaje zaspokojona pozytywnie, to nasz
umysł przesyła sygnał do ośrodków „zrozumienia” dających nam poczucie bezpieczeństwa i
satysfakcji. Gdy taka weryfikacja nie daje pozytywnych rezultatów usiłowań zrozumienia modelu
otaczającej na rzeczywistości, to umysł jest skłonny do różnych reakcji charakterystycznych dla
chorób umysłowych, czyli zbudowania alternatywnego, nierzeczywistego wytłumaczenia
otaczającego nas świata, czasem do paniki, zachowań agresywnych i innych.
Istnienie świadomości wyjaśniano czasem funkcjonowaniem pętli przesyłania informacji
pomiędzy wyższymi piętrami jej przetwarzania i niższymi polami mózgu, a także pomiędzy
różnymi jego strukturami. Pętla taka, w której odbywał by się ciągły przepływ informacji w
pewnym okresie, odpowiedzialna by była za ciągłość poczucia świadomości w tym odcinku czasu.
Dlatego też istnienie świadomości wiązano z pamięcią krótkotrwałą. A więc czymś nietrwałym i
ulotnym.
Według modelu prezentowanego powyżej istnienie takich pętli jest oczywistym warunkiem
pobudzania skojarzeń bodźców aktualnie docierających do mózgu z reprezentacjami nerwowymi
zapamiętanych obiektów powiązanych z rejestrowanymi informacjami. Ich wzbudzanie kierowane
może być mechanizmem „ciekawości” i ograniczane mechanizmem selekcji, odpowiadającym
wyborowi najsilniejszych bodźców w poszczególnych polach ich przetwarzania, co z kolei
odpowiada działaniu funkcji „uwagi”. Jednakże mechanizm ten byłby niewystarczający dla
poczucia świadomości. Tak wyselekcjonowane wrażenia powinny być porównywane ze wzorcami
modelu rzeczywistości i klasyfikowane jako zgodne ze wzorcem „zrozumienia” i wzorcem
„poczucia świadomości” i jako takie zapamiętywane w trwałych strukturach pamięciowych. Tak
więc poczucie świadomości, byłoby czymś utrwalonym w naszej pamięci, podlegającym ciągłej
weryfikacji przez tę świadomość, co odpowiada naszym subiektywnym wrażeniom.
16
Download
Random flashcards
123

2 Cards oauth2_google_0a87d737-559d-4799-9194-d76e8d2e5390

ALICJA

4 Cards oauth2_google_3d22cb2e-d639-45de-a1f9-1584cfd7eea2

bvbzbx

2 Cards oauth2_google_e1804830-50f6-410f-8885-745c7a100970

2-2=0

2 Cards jogaf85537

Create flashcards