腦機接口新里程碑
水 登 |
| | | 
|
?言語與手勢在運動
皮層上“部分重疊”的
電極活動圖譜
|
| | 
|
研究人員對一名癱瘓受試者的
神經活動進行了即時解碼，從而
控制其個性化虛擬化身，使其能
夠通過語音和手勢進行交流。
|
| | 
|
即時對話範式下，虛擬化身按解碼結果一邊“說話”一邊“揮手”
|
| | 
|
通過腦電信號驅動數字臉開口說話
|
| | 
|
單個腦植入裝置可同步解碼癱瘓患者的言語和手勢
|
| 腦機接口新里程碑 全球首次實現言語與手勢同步解碼 人類的交流，幾乎從來不是“單聲道”的。一個人說“請坐”時，手往往已經抬起；答一句“還行"時，頭可能正輕輕點着。語言、手勢、表情疊加在一起發生，是健康人毫不費力的事。但對嚴重癱瘓者，這套疊加的表達被切斷了。 過去二十年的腦機介面，大體也在做同一道“單選題”：要麼把腦信號翻譯成語言，要麼翻譯成動作。幾乎團隊在探討一個問題——能不能用同一套系統，把“說”和“動”同時解出來？ 《自然·神經科學》雜誌日前發表了一項神經科學最新研究成果：單個腦植入裝置可同步解碼癱瘓患者的言語和手勢。美國研究團隊對一名癱瘓受試者的神經活動進行了即時解碼，從而控制其個性化虛擬化身，使其能夠通過語音和手勢進行交流。該研究結果推動了腦機介面的進步，有望説明癱瘓患者以更自然的方式進行交流。 人類的自然交流經常結合言語與手勢，例如揮手、點頭或其他上半身動作。中風和神經退行性疾病，如肌萎縮側索硬化症，可能同時損害言語和身體運動能力，削弱患者的社會交往能力。 腦機介面旨在將腦活動轉化為操控外部設備的指令，從而恢復喪失的功能。腦機介面技術已有十餘年積累。此前方向多用皮層表面電極或刺入皮層的微電極，記錄發音相關運動區的神經活動，再經機器學習把想說的音、詞、句轉成文字或合成語音；運動方向則長期圍繞手臂、手部區域做游標、機械臂或抓握控制。 但言語和上肢／頭面運動，在感覺運動皮層部分重疊，單獨訓練“只說話”或“只動手”的解碼器，並行時可能互相串擾。此前的研究也大多分別聚焦於言語或運動。 此次，美國加州大學三藩市分校團隊使用置於感覺運動皮層上方的腦植入裝置，記錄了三名聲道和肢體癱瘓參與者的神經活動。他們首先證明，單個植入裝置能採集與多種運動類型相關的信號，包括上肢運動和與言語相關的嘴部及面部運動，如聳肩、握拳揮動或點頭；隨後，團隊在其中兩名參與者中使用並行的言語和手勢解碼器，驅動一個全身虛擬形象，參與者被要求嘗試做出特定手勢、回應對話提示，或同時完成兩者。 在對話任務中，該系統準確解碼了兩名參與者的言語和手勢：其中一名參與者在三個對話任務區塊中，言語和手勢解碼的中位準確度均達到百分之一百。 團隊發現，同時使用言語和手勢資料訓練系統可提高性能並減少錯誤。他們指出，這項技術在投入應用之前，還需納入更多參與者，並使用規模更大的詞彙集和手勢集進行測試。 水登
|