Stellen Sie die Stimme einer Person mithilfe einer Gehirn-Computer-Schnittstelle wieder her
Die Fähigkeit zu vokalisieren ist einer der wesentlichsten Teile der menschlichen Erfahrung. Von Säuglingen wird erwartet, dass sie bereits vor dem Alter von einem Jahr mit dem Plappern ihrer ersten Wörter beginnen, und ein Großteil ihres späteren Lebens ist der Interaktion mit anderen gewidmet, bei der es um unterschiedliche Lautäußerungen geht Grad des Wortschatzes und der Sprachkompetenz. Dies macht die Beeinträchtigung oder den Verlust dieser Fähigkeit schwierig bis verheerend, wie es beim Interlock-Syndrom (LIS), der Amyotrophen Lateralsklerose (ALS) und ähnlichen Erkrankungen der Fall ist, bei denen das Sprechen und Vokalisieren unmöglich ist oder werden wird.
In einer Reihe paralleler Studien wird der Einsatz einer Gehirn-Computer-Schnittstelle (BCI) untersucht, um Patienten mit LIS (Sean L. Metzger et al., 2023) und ALS (Francis R. Willett et al.) zu helfen. , 2023), um die Sprache wiederzuerlangen. Mithilfe chirurgisch implantierter Mikroelektroden-Arrays (Utah-Arrays) werden elektrische Impulse in Bezug auf die an der Sprache beteiligten Muskeln des Patienten aufgezeichnet und Phonemen zugeordnet, den Bausteinen, aus denen Sprache besteht. Jedes dieser Phoneme erfordert eine spezifische Konfiguration der Muskeln des Stimmapparats (z. B. Lippen, Zunge, Kiefer und Kehlkopf), die mit einem ziemlich guten Maß an Genauigkeit gemessen werden kann.
Ann beobachtet, wie der Avatar die mit dem BCI aufgezeichneten Sätze spricht. (Quelle: Noah Berger, UCSF)Im Fall der Studie von Sean L. Metzger et al. Wie kürzlich in Nature veröffentlicht, beschreibt der begleitende Forschungsartikel auf der Website der University of California, San Francisco die Geschichte ihrer Patientin: Ann. Im Alter von 30 Jahren erlitt Ann einen Schlaganfall, der sie praktisch vollständig gelähmt machte. Als LIS-Patientin war sie lange Zeit nicht einmal in der Lage, ihre Gesichtsmuskeln zu bewegen.
Obwohl im Laufe der Jahre einige Funktionalitäten zurückgekehrt sind, ist sie aufgrund ihrer Unfähigkeit, ihren Stimmapparat zum kohärenten Vokalisieren und Sprechen zu nutzen, größtenteils nicht in der Lage, eine Verbindung zu ihrer damals kleinen Tochter aufzubauen, außer über die synthetisierte Stimmbasis. Mit dem experimentellen System werden Anns Phoneme dekodiert und über ein Sprachsynthesenetzwerk übertragen, das mit Anns Originalstimme trainiert wurde, die aus einem alten Hochzeitsvideo stammt. Obwohl das aktuelle BCI-System kabelgebunden und klobig ist, hoffen wir, dass eine zukünftige kabellose Version ihr und vielen anderen wie ihr eine tragbare Version geben könnte, die den Alltag noch einfacher machen würde.
Header-Bild: Lokalisierung des Mikroelektroden-Arrays (Utay) und Entschlüsselung der entsprechenden Aktionen. (Francis R. Willet et al., 2023)
Die Fähigkeit zu vokalisieren ist einer der wesentlichsten Teile der menschlichen Erfahrung. Von Säuglingen wird erwartet, dass sie bereits vor dem Alter von einem Jahr mit dem Plappern ihrer ersten Wörter beginnen, und ein Großteil ihres späteren Lebens ist der Interaktion mit anderen gewidmet, bei der es um unterschiedliche Lautäußerungen geht Grad des Wortschatzes und der Sprachkompetenz. Dies macht die Beeinträchtigung oder den Verlust dieser Fähigkeit schwierig bis verheerend, wie es beim Interlock-Syndrom (LIS), der Amyotrophen Lateralsklerose (ALS) und ähnlichen Erkrankungen der Fall ist, bei denen das Sprechen und Vokalisieren unmöglich ist oder werden wird.
In einer Reihe paralleler Studien wird der Einsatz einer Gehirn-Computer-Schnittstelle (BCI) untersucht, um Patienten mit LIS (Sean L. Metzger et al., 2023) und ALS (Francis R. Willett et al.) zu helfen. , 2023), um die Sprache wiederzuerlangen. Mithilfe chirurgisch implantierter Mikroelektroden-Arrays (Utah-Arrays) werden elektrische Impulse in Bezug auf die an der Sprache beteiligten Muskeln des Patienten aufgezeichnet und Phonemen zugeordnet, den Bausteinen, aus denen Sprache besteht. Jedes dieser Phoneme erfordert eine spezifische Konfiguration der Muskeln des Stimmapparats (z. B. Lippen, Zunge, Kiefer und Kehlkopf), die mit einem ziemlich guten Maß an Genauigkeit gemessen werden kann.
Ann beobachtet, wie der Avatar die mit dem BCI aufgezeichneten Sätze spricht. (Quelle: Noah Berger, UCSF)Im Fall der Studie von Sean L. Metzger et al. Wie kürzlich in Nature veröffentlicht, beschreibt der begleitende Forschungsartikel auf der Website der University of California, San Francisco die Geschichte ihrer Patientin: Ann. Im Alter von 30 Jahren erlitt Ann einen Schlaganfall, der sie praktisch vollständig gelähmt machte. Als LIS-Patientin war sie lange Zeit nicht einmal in der Lage, ihre Gesichtsmuskeln zu bewegen.
Obwohl im Laufe der Jahre einige Funktionalitäten zurückgekehrt sind, ist sie aufgrund ihrer Unfähigkeit, ihren Stimmapparat zum kohärenten Vokalisieren und Sprechen zu nutzen, größtenteils nicht in der Lage, eine Verbindung zu ihrer damals kleinen Tochter aufzubauen, außer über die synthetisierte Stimmbasis. Mit dem experimentellen System werden Anns Phoneme dekodiert und über ein Sprachsynthesenetzwerk übertragen, das mit Anns Originalstimme trainiert wurde, die aus einem alten Hochzeitsvideo stammt. Obwohl das aktuelle BCI-System kabelgebunden und klobig ist, hoffen wir, dass eine zukünftige kabellose Version ihr und vielen anderen wie ihr eine tragbare Version geben könnte, die den Alltag noch einfacher machen würde.
Header-Bild: Lokalisierung des Mikroelektroden-Arrays (Utay) und Entschlüsselung der entsprechenden Aktionen. (Francis R. Willet et al., 2023)
What's Your Reaction?
