Forskning: KI oversatte hjernebølger til tale

Forskere ved Radboud University og UMC Utrecht i Nederland har lyktes i å transformere hjernesignaler til hørbar tale, og mener dette prosjektet er et betydelig fremskritt på veien mot å gi mennesker som har mistet taleevnen, stemmen tilbake.

Funnene er nylig publisert i Journal of Neural Engineering og blant annet omtalt i Neuroscience News.

– Forskningen viser en lovende utvikling innen hjerne-datamaskingrensesnitt, sier hovedforfatter bak studien, forsker Julia Berezutskaya.

Kan få stemmen tilbake

Berezutskaya sier målet er å gjøre slik teknologi tilgjengelig for pasienter som har motoriske problemer, lammelser eller av annen grunn ikke er i stand til å snakke selv.

– Dette er en meget interessant og lovende studie. Siden disse metodene er basert på registrering fra motoriske hjerneområder som styrer musklene som produserer tale, kan de hjelpe pasienter som ikke kan snakke på grunn av muskellammelser og andre rent motoriske problemer, sier hjerneforsker og professor i nevrofysiologi Johan Frederik Storm ved Universitetet i Oslo til NTB.

Simultanoversetter

For å teste ut kvaliteten på teknologien, brukte forskerne implantater plassert dypt i hjernen, i språkområdet hos pasienter som kan snakke. Personene skulle si tolv ord høyt, samtidig som elektrodene i hjernen registrerte hjerneaktiviteten deres.

I kombinasjon med kunstig intelligens (KI) klarte teknologien å tolke hva personene var i ferd med å si, med 92–100 prosent nøyaktighet. Det er første gang slike avanserte KI-modeller har oversatt hjerneaktivitet direkte til hørbar tale.

– Det betyr at vi ikke bare kunne gjette hva folk sa, men vi kunne umiddelbart forvandle disse ordene til meningsfulle, forståelige lyder. I tillegg hørtes den rekonstruerte talen til og med ut som den opprinnelige personen i tonefall og stemmebruk, sier Berezutskaya.

Har begrensninger

Hun understreker at teknologien foreløpig har sine klare begrensninger.

– Generelt er det mindre komplisert å forutsi enkeltord enn å forutsi hele setninger. I framtiden vil større språkmodeller som brukes innen KI, komme til nytte, sier forskeren.

– Denne studien vil trolig snart bli fulgt at nye, store fremskritt, basert på rask i fremgang både innen datateknologi og kunstig intelligens, som maskinlæring og språkmodeller, og også nye, mer avanserte metoder for detaljert registrering av hjernens signaler, sier Storm.

Store framskritt med KI

Forsøkspersonene under testingen var epilepsipasienter som hadde midlertidige implantater plassert et stykke inni hjernen for registrering av aktivitet.

Epilepsipasienter var også med da forskere for første gang klarte å kode om hjernens signaler til tale. Den gangen – for 11 år siden – var det elektroder plassert på hjernens overflate som registrerte aktivitet mens testpersonene lyttet til musikk og tale.

Nevrolog og psykologiprofessor Robert Knight og klarte for første gang å rekonstruere ord personene hørte. Tidligere i sommer klarte han og forskere ved Berkeley-universitetet i California for første gang å rekonstruere musikk, med de samme hjerneregistreringene fra 2012.

Gjenskapte Pink Floyd

Igjen spilte KI en rolle, og tolket utskrifter av hjernebølger fra hjernens lyttesenter for musikk. Forsøkspersonene hadde hørt på Pink Floyd-klassikeren «The Wall». KI rekonstruerte frasen «All in all it was just a brick in the wall» såpass bra at den er gjenkjennelig: rytme, intonasjon og trykk på stavelser kommer fram, mens teksten lyder temmelig grumsete.

– Det høres litt ut som om de snakker under vann, men det er vårt første forsøk på dette, sier Knight, som mener kvaliteten vil bli mye bedre med flere og mer avanserte elektroder.

Tankelesing neste

Forskerne håper avansert teknologi vil kunne tolke hjernens signaler og oversette både det personer prøver å si, det de tenker å si og med en stemme lik personens egen, inkludert stemmeleie, tonefall og trykk på stavelser.

Det vil bety mye å kunne ikke bare si akkurat det man vil, men også uttrykke følelser med måten det blir sagt. Men vil så avansert teknologi noen gang kunne tolke annen mental aktivitet?

– Det er trolig bare et tidsspørsmål før det meste av dette til en viss grad vil kunne måles og gjenskapes, inkludert lyd og bilder, med stadig mer avanserte metoder. Dette gjelder også tanker, drømmer, fantasier og det vi husker, sier Storm.

Vi behøver imidlertid ikke frykte at noen vil spille av tankene våre på TV-skjermen med det første.

– Nei, det er enorme forskjeller mellom en grov klassifisering og en detaljert avlesing, omtrent som mellom de første primitive TV-bildene på 1920- og 30-tallet og kvaliteten nå. Det er uhyre langt fram før det meste kan måles og dekodes, sier hjerneforskeren.