Der Computer hört mit Gedanken hören – Forscher wandeln Hirnsignale in Sprache um

tafi

28.4.2019

Mit einem ausgeklügelten Computermodell ist es Forschern aus Kalifornien gelungen, Gedanken in hörbare Sprache umzuwandeln.
Mit einem ausgeklügelten Computermodell ist es Forschern aus Kalifornien gelungen, Gedanken in hörbare Sprache umzuwandeln.
University of Califonia in San Francisco

Jetzt können Computer also wirklich Gedanken lesen: Wissenschaftler aus Kalifornien haben es geschafft, die Gehirnsignale von Probanden in hörbare Sprache umzuwandeln.

Neurowissenschaftler von der University of California in San Francisco haben es mit einer neuartigen Gehirn-Maschine-Schnittstelle geschafft, aus Gehirnsignalen von Probanden eine natürlich klingende synthetische Sprache zu erzeugen. In anderen Worten: Ein Computer kann aus Gedanken hörbare Worte machen. 

«Unsere Studie zeigt zum ersten Mal, dass es möglich ist, ganze gesprochene Sätze basierend auf der Gehirnaktivität einer Person zu generieren», freute sich Dr. Edward Chang, in dessen Labor das Wissenschaftlerteam um Dr. Gopala Anumanchipalli und Josh Chartier arbeitete, in einer Medienmitteilung der Universität. «Wir haben den Beweis erbracht, dass wir technologisch bereits in der Lage sind, ein Gerät zu bauen, das Patienten mit einer klinischen Störung ihre Sprachfähigkeit zurückgibt.»

Dr. Gopala Anumanchipalli und sein Team haben sich bei ihrer Forschung auf die Bewegung der Muskeln konzentriert, die für das Sprechen gebraucht werden.
Dr. Gopala Anumanchipalli und sein Team haben sich bei ihrer Forschung auf die Bewegung der Muskeln konzentriert, die für das Sprechen gebraucht werden.
UCSF

Neuer Ansatz konzentriert sich auf Sprechmuskeln

Anumanchipalli und Chartier hatten erkannt, dass frühere Versuche, gedachte Sprache direkt in akustische Signale zu übersetzen, nur begrenzt erfolgreich waren, weil sie sich nur auf die Gehirnströme konzentrierten, die beim Denken erzeugt werden. Die beiden Neurowissenschaftler wählten daher einen anderen Ansatz und untersuchten die Gehirnregionen, die für die Koordination der Muskeln zuständig sind, die beim Sprechen gebraucht werden.

«Die Beziehung zwischen den Bewegungen des Stimmtraktes und den erzeugten Sprachlauten ist sehr komplex», sagt Anumanchipalli. «Wir erkannten, dass das Gehirn eher Muskelbewegungen codiert statt Klänge.» Die Forscher schlussfolgerten deswegen, dass sie beim Dekodieren der Signale den selben Ansatz wählen mussten.



Um Gehirnsignale in Sprache umzuwandeln, haben die Forscher daher ein zweistufiges System entwickelt. In einem ersten Schritt liest ein Decoder – im Gerin verankerte Elektroden – die neuronalen Signale aus, mit denen das Gehirn die Bewegung von Lippen, Kiefer, Zunge und Kehlkopf steuert. Mit diesen Daten wird in einem Computer ein virtueller Sprechapparat gesteuert. Ein zweiter Algorithmus erzeugt daraus dann in einem Synthesizer die akustisch wahrnehmbare Sprache.

Hohe Verständlichkeit

Für ihre im Fachblatt «Nature» veröffentlichten Studie liessen die Wissenschaftler Probanden hunderte Sätze laut sprechen. Dabei wurden die entsprechenden neuronalen Aktivitäten gemessen und aufgezeichnet. Die daraus gewonnen Daten kombinierten die Forscher mit linguistischen Gesetzmässigkeiten, um die Bewegungen des Stimmtraktes künstlich zu erzeugen.

Mit einer speziellen Elektrode wurden die Gehirnströme der Probanden gemessen.
Mit einer speziellen Elektrode wurden die Gehirnströme der Probanden gemessen.
UCSF

Ihr Computermodell lernte, was wirklich nötig ist, um menschliche Sprache zu simulieren: die Lippen hier zusammenzudrücken, Stimmbänder dort zu straffen, die Zungenspitze zu verschieben, den Mund zu entspannen. Daraufhin sollten die Versuchspersonen Sätze nur noch denken und nicht mehr aussprechen: Die Algorithmen erzeugten Sätze, die bei einem umfassenden Hörtest von hunderten Menschen zum grössten Teil verstanden wurden.

Die Studie wurde an Forschungsteilnehmern mit intakter Sprache durchgeführt, aber die Technologie könnte eines Tages die Stimmen von Menschen wiederherstellen, die aufgrund von Lähmungen und anderen Formen neurologischer Schäden die Sprechfähigkeit verloren haben. Sorgen machen, dass sich Gedanken mithilfe von Sensoren immer und überall mitlesen lassen, muss sich übrigens niemand. Das neue System erkennt lediglich wenige, zuvor festgelegte Wörter – und auch nur dann, wenn sie freiwillig mitmachen.

Bilder des Tages

Zurück zur Startseite