大数据文摘出品

编译：张秋玥、笪洁琼

对付许多无法发生发火声音的人来说，他们想说的话会通过某种旗子暗记隐蔽在大脑中。

人类无法直接破译这些旗子暗记。
但是，最近有三个研究小组在“破译”这种大脑措辞密码上取得了一定进展。

Science杂志最新宣布了哥伦比亚大学（Columbia University）、德国不莱梅大学（Bremen）和加州大学旧金山分校的三个研究小组的干系研究：通过手术，他们在大脑上放置电极，搜集电极产生的数据，再将其通过打算机变成语音信息；接着通过神经网络模型，他们重修了在某些情形下，可以被人类听众所理解的单词和语句。

通过打算机让失落去措辞能力的人表达自己并不罕见，物理学家斯蒂芬·霍金在世时，就会通过拉紧他的脸颊肌肉，以触发安装在眼镜上的开关。
对付经历中风或其他疾病失落去说话能力的人，他们可以利用他们的眼睛或做出其他小幅动浸染来掌握光标或选择屏幕上的字母。

但是，如果脑机接口直接重塑语音，这样的患者可能会重新得到更多曾经损失的能力：例如，掌握腔调变革，或者参与一个快速的对话。

研究该问题的道路困难重重。
哥伦比亚大学（Columbia University）打算机科学家Nima Mesgarani说：“我们正试图找出在不同韶光点打开与关闭神经元的模式，并由此推断语音内容。
” “神经元间的映射并不浅近直白。
” 这些旗子暗记如何转换为语音声音因人而异，因此模型必须针对每个人进行独特“演习”。

这些模型将在非常精确的数据上表现最好——而搜集这些精准的数据须要打开我们的头盖骨。

研究职员只能在极少数情形下才会进行此类危险性记录：一种情形是在移除脑肿瘤期间，暴露在外的大脑产生的电读数能够帮助外科年夜夫定位以避开关键的语音及运动区；另一种情形是在手术前为癫痫患者植入电极并保持数天以确定癫痫产生发火起因。

瑞士日内瓦大学神经工程师Stephanie Martin表示说，“我们最多只有20分钟，最多30分钟来网络数据——真的非常非常受限。
”

新论文背后的研究组只管即便最大化利用数据、将信息供应给神经网络；神经网络通过将信息通报到打算“节点”层来处理繁芜的行为模式。
网络通过调度节点之间的连接来学习。
本实验则利用人类产生或听到的语音以及与此同时大脑活动的数据来演习神经网络。

Mesgarani的团队的研究利用了五名癫痫患者的数据。

随着病人们听到故事录音以及0至9数字录音，他们的神经网络同步剖析其听觉皮层（该皮层在语音和听力过程中都很生动）活动。
随后打算机仅根据神经数据来重新天生数字。
有一组听众会在打算机“说出”数字同时对其进行评估；其精确度大约为75%。

由德国不莱梅大学（Bremen）打算机科学家Tanja Schultz领导的另一个团队利用了六名接管脑肿瘤手术的人的数据。

他们让被测试者朗读单音单词，用麦克风捕捉他们的声音。
同时，大脑的语音方案区和运动区产生的电极会被记录下来（这些电极向声道发送命令以清楚地表达单词）。

现在正与马斯特里赫特大学（Maastricht）互助的打算机科学家Miguel Angrick和Christian Herff演习了一个将电极读数映射到录音然后从以前看不见的大脑数据中重修单词神经网络。
根据一项打算机评分系统，大约40％的打算机天生单词是可以理解的。

末了，加州大学旧金山分校的神经外科年夜夫Edward Chang和他的团队根据由三名癫痫患者大声朗读语音引起的、从措辞及运动区域捕获的大脑活动，重修了全体句子。

在线上测试中，有166人听懂了个中一个句子，并从10项笔墨选项中进行选择。
超过80％的情形下模型都能够精确识别句子。
研究职员还进一步改进了模型：他们利用它根据人类的唇语来重新创建句子。
Herff说，这是一项主要的结果——“离我们所有人都设想到的‘措辞修复’更近了一步。
”

然而，“我们真正想知道的是当患者不能说话时，（这些方法）将能够如何起浸染”，加州圣地亚哥州立大学研究措辞天生的神经科学家Stephanie Riès说。

一个人默默说话或在自己脑入耳到自己声音时的旗子暗记，与真正说话或听到某些内容时产生的旗子暗记并不是完备相同的。
如果没有外部声音来匹配大脑活动，打算机乃至可能连理清内部语音开始与结束位置这种任务都很难完成。

奥尔巴尼纽约州卫生部国家自适应神经技能中央的神经工程师Gerwin Schalk说，解码大脑中的演讲将须要“科学大跃进”：“根本不清楚如何做到这一点。
”

Herff说，有一种可能的方法，是向大脑-打算机交互界面的用户供应反馈：如果他们能够实时听到打算机的语音阐明，他们可能能够即时调度他们的想法以得到空想结果。

通过对用户和神经网络的充分演习，大脑和打算机可能终极能达成同等。

干系宣布：

https://www.sciencemag.org/news/2019/01/artificial-intelligence-turns-brain-activity-speech?fbclid=IwAR0bYvZR***ArCULCmbmboMNUDOw9lONPiJGObWagma6tDNuNQIl5oHhHKw4