您的位置：首頁 > 熱點 > 正文

語言解碼器重建“想象中的語言”

來源：環球網時間：2023-05-04 09:17:59

【資料圖】

科技日報北京5月3日電（記者張夢然）英國《自然·神經科學》發表的一篇論文，描述了一種非侵入性的語言解碼器，可通過功能性磁共振（fMRI）數據，重建感知到或想象出的語言。

過去的語音解碼器被用于侵入性神經外科手術后記錄神經活動，這限制了它們的用途。其他使用非侵入性腦活動記錄的解碼器限制在解碼單個詞匯或短語，還不清楚此類解碼器是否可用于連續的自然語言。

美國得克薩斯大學奧斯汀分校研究人員開發了一個解碼器，可通過來自fMRI數據獲得的腦模式重建連續語言。他們記錄了3名參與者傾聽16小時敘事故事的fMRI數據，以訓練模型在腦活動和語義特征之間進行映射，捕捉特定詞組含義和相關的大腦響應。這一解碼器模型隨后測試了參與者聽新故事的腦響應，這些故事沒有用在初始訓練數據集中。使用這一腦活動，解碼器可生成詞匯序列，捕捉到新故事的含義，還生成了一些精確的故事詞匯和短語。他們發現，解碼器可從大多數已知處理語言的腦區和網絡的活動中推斷連續語言。

這一解碼器還可通過fMRI數據預測某個參與者想象的故事的含義，或觀看一部無聲電影的內容。當一名參與者主動聽一個故事，忽略其他同時播放的故事，解碼器可識別出那個被主動聽的故事的含義。

團隊對解碼器作了隱私分析，發現當它基于一名參與者的fMRI數據進行訓練時，對預測另一名參與者數據的語義內容預測表現不佳。他們總結說，參與者的合作在訓練和應用這些非侵入性解碼器中非常關鍵，而未來此類技術的發展，亦需要政策保護心理隱私。

關鍵詞：