Podsłuchiwanie cudzych myśli

Mowa jest związana z procesami zachodzącymi w korze mózgowej człowieka. Od dawna naukowcy byli przekonani, że możliwe jest jej rozpoznanie na podstawie sygnałów nerwowych i odróżnienie ich od innych funkcji, choćby takich jak słuchanie. Jednak dotąd problem dekodowania mowy i wyodrębnienia z towarzyszących jej procesów pozostawał nierozwiązany.

Badacze z niemieckiego Karlsruher Institut für Technologie (KIT) i Wadsworth Center w USA udowodnili, że jest to możliwe, za pomocą badania sygnałów mózgowych metodą śródczaszkową – ECoG.

Fale mózgowe związane z z generowaniem mowy rejestrowali bezpośrednio przez elektrody umieszczone na powierzchni kory mózgowej. Na łamach magazynu naukowego „Frontiers in Neuroscience" badacze opisali opracowany przez siebie system Brain-to-Text.

– Spekulacje na temat, czy ludzie mogą się komunikować z maszynami jedynie za pomocą aktywności mózgu, trwały od lat – powiedziała Tanja Schultz z Cognitive Systems Lab KIT. – Ale teraz mamy pewność, że tak. Jako główny krok w tym kierunku można uznać nasze ostatnie wyniki. Potwierdzają one, że zarówno pojedyncze głoski i słowa, jak również wypowiadane pełne zdania można rozpoznać na podstawie aktywności mózgu.

Wyniki, którymi chwalą się badacze, to efekt współpracy naukowców z różnych dziedzin – specjalistów z informatyki, neurologii i medycyny.

– Opracowaliśmy modele, które pozwalają na szczegółową analizę obszarów mózgu zaangażowanych w procesy mowy – podkreślają Christian Herff i Dominic Heger, którzy współuczestniczyli w budowaniu systemu Brain-to-Text w ramach studiów doktoranckich.

Ich praca pozwoliła na opracowanie systemu dekodowania sygnałów płynących z kory mózgowej podczas procesu mówienia i przekształcenia go w formę tekstową.

Informacja płynąca z kory została skonfrontowana z wiedzą na temat języka i algorytmami maszynowego uczenia się. To pozwoliło wyodrębnić najbardziej prawdopodobną sekwencję słów towarzyszącą konkretnym procesom w mózgu. Uzyskane przez niemieckich naukowców wyniki są ważnym pierwszym krokiem do rozpoznawania mowy jedynie na podstawie rejestracji myśli.

Badania z udziałem ludzi prowadzone były w USA. Wzięło w nich udział siedmiu wolontariuszy. Byli to pacjenci z epilepsją, którzy zgodzili się na prowadzenie badań podczas leczenia metodą ECoG. To bardzo inwazyjna metoda opracowana jeszcze w latach 50. ubiegłego wieku. Ale stosowana jest do dzisiaj do badania i stymulowania obszarów w mózgu. Jest używana jako metoda terapeutyczna epilepsji.

Niezależnie od tego, czy metoda ma być stosowana do leczenia czy badań, konieczne jest odsłonięcie mózgu. Na jego powierzchni umieszcza się siatkę elektrod.

Kiedy pacjenci, którzy brali udział w pracach nad projektem Brain-to-Text, czytali na głos przykładowe teksty, komputer rejestrował sygnały płynące z ośrodka mowy. Specjalny program pozwalał na dokładne umieszczenie na trójwymiarowej mapie mózgu miejsca pojawienia się sygnału oraz podawał czas jego trwania.

Potem badacze w Karlsruhe przeanalizowali te dane. Dzięki temu mogli opracować system Brain-to-Text.

– Stworzenie tego systemu to ważny krok w kierunku komunikacji człowiek–maszyna na podstawie cyfrowego odwzorowania procesów mowy w mózgu – uważa Tanja Schultz.