KI wird besser darin, Gedanken zu lesen

In einem kürzlich durchgeführten Experiment verwendeten Forscher große Sprachmodelle, um Gehirnaktivität in Wörter zu übersetzen.

VideoWissenschaftler nahmen MRT auf. Daten von drei Teilnehmern, die sich 16 Stunden erzählende Geschichten anhörten, um das Modell darauf zu trainieren, die Gehirnaktivität und semantische Merkmale abzubilden, die die Bedeutung bestimmter Sätze und die damit verbundene Gehirnreaktion erfassten.CreditCredit...Jerry Tang und Alexander Huth

Denken Sie an die Wörter, die Ihnen durch den Kopf schwirren: dieser geschmacklose Witz, den Sie beim Abendessen klugerweise für sich behalten haben; Ihr unausgesprochener Eindruck vom neuen Partner Ihres besten Freundes. Stellen Sie sich nun vor, jemand könnte zuhören.

Am Montag unternahmen Wissenschaftler der University of Texas in Austin einen weiteren Schritt in diese Richtung. In einer in der Zeitschrift Nature Neuroscience veröffentlichten Studie beschrieben Forscher eine KI, die die privaten Gedanken menschlicher Versuchspersonen übersetzen konnte, indem sie fMRTs analysierte, die den Blutfluss zu verschiedenen Regionen des Gehirns messen.

Forscher haben bereits Methoden zur Sprachdekodierung entwickelt, um die Sprechversuche von Menschen mit Sprachverlust zu erfassen und gelähmten Menschen das Schreiben zu ermöglichen, während sie über das Schreiben nachdenken. Doch der neue Sprachdecoder ist einer der ersten, der nicht auf Implantate setzt. In der Studie war es in der Lage, die imaginäre Sprache einer Person in echte Sprache umzuwandeln, und wenn Probanden Stummfilme gezeigt wurden, konnte es relativ genaue Beschreibungen dessen erzeugen, was auf dem Bildschirm passierte. p>

"Es ist nicht nur ein sprachlicher Reiz", sagte Alexander Huth, ein Neurowissenschaftler an der Universität, der an der Leitung der Forschung beteiligt war. „Wir reden über Bedeutung, etwas über die Idee dessen, was vor sich geht. Und dass dies möglich ist, ist sehr spannend.“

Im Mittelpunkt der Studie standen drei Teilnehmer, die über mehrere Tage für 16 Stunden in Dr. Huths Labor kamen, um zuzuhören „The Moth“ und andere erzählende Podcasts. Während sie zuhörten, zeichnete ein fMRT-Scanner die Blutsauerstoffwerte in Teilen ihres Gehirns auf. Die Forscher verwendeten dann ein großes Sprachmodell, um Muster der Gehirnaktivität mit den Wörtern und Sätzen abzugleichen, die die Teilnehmer gehört hatten.

Große Sprachmodelle wie GPT-4 von OpenAI und Bards von Google sind auf große Schreibmengen trainiert, um das nächste Wort in einem Satz oder einer Phrase vorherzusagen. Dabei erstellen die Modelle Karten, die zeigen, wie die Wörter zueinander in Beziehung stehen. Vor einigen Jahren bemerkte Dr. Huth, dass bestimmte Elemente dieser Karten – die sogenannten Kontextintegrationen, die die semantischen Merkmale oder Bedeutungen von Sätzen erfassen – verwendet werden könnten, um vorherzusagen, wie das Gehirn als Reaktion auf Sprache aufleuchtet. /p>

In einem grundlegenden Sinne, sagte Shinji Nishimoto, ein Neurowissenschaftler an der Universität Osaka, der nicht an der Forschung beteiligt war, „ist die Gehirnaktivität eine Art verschlüsseltes Signal, und Sprachmodelle bieten dies Möglichkeiten, es zu entschlüsseln."

In ihrer Studie kehrten Dr. Huth und seine Kollegen den Prozess effektiv um und verwendeten eine andere künstliche Intelligenz. Übersetzen Sie die fMRI-Bilder des Teilnehmers in Wörter und Sätze. Die Forscher testeten den Decodierer, indem sie die Teilnehmer neue Aufnahmen anhören ließen und dann sahen, wie gut die Übersetzung mit der tatsächlichen Transkription übereinstimmte.

Fast jedes Wort n war in der Decodierung fehl am Platz Drehbuchtext, aber die Bedeutung der Passage wurde konsequent beibehalten. Im Wesentlichen paraphrasierten die Decoder.