◎ 都 芃

6月26日，中国科学院举办学部第九届学术年会，中国科学院外籍院士盖博·施德潘作学术报告。
他一边用英语讲，同传系统一边将他的报告内容实时翻译为中文，呈现在大屏幕上。
内容准确，翻译迅速，纵然是专业名词也不在话下。

该同传系统所采取的技能正来自于不久前得到2023年度国家科学技能进步奖一等奖的“多语种智能语音关键技能及家当化”项目。

该项目由科大讯飞牵头，联合中国科学技能大学、清华大学、华为、中移（杭州）公司等高校及行业领军企业联合完成。
项目历时10余年研发成功，占领多项关键技能，构建起具有中国自主知识产权的多语种智能语音技能体系，为我国智能家当升级发展奠定坚实技能根本。

繁芜场景下识别准确率显著提升

语音是人类最自然便捷的沟通办法，也是智能时期人机交互的关键入口。
如今我们只需张张嘴，机器就能代替人类完成一系列任务。
在这“丝滑”的交互体验背后，是一系列关键技能的创新打破。

要让机器听清、听懂人类措辞并不是一件随意马虎的事。
语音识别研究中有一道最具寻衅性的范例难题被称为“鸡尾酒会”效应，即远场环境、噪声滋扰、多人语音混叠等征象导致的语音识别困难。
“比如在一个喧华的鸡尾酒会上，很多人同时说话，背景音乐也很响，如何让机器在这样的环境中精准识别出须要的声音？这是很常见的运用处景，也是非常有寻衅性的难题。
”科大讯飞副总裁、研究院院长刘聪先容，针对这一范例难题，研发团队提出了多通道语音旗子暗记时空分离建模方法，即先将人声和不同的噪音分离，再进行建模。
同时，团队还提出多维度语音属性解耦表征方法。
“大略来说便是解耦、提取内容、韵律、音色等语音属性，以便更准确地识别和传达语音信息，办理了‘鸡尾酒会’效应难题，使得繁芜场景下语音识别准确率得到显著提升。
”他说。

刘聪向展示的一个范例运用处景中，在人声喧华的大型会议现场，三人同时就不同主题进行混叠发言，此时正凡人已难以分辨讲话人的详细内容。
但智能语音技能不仅可以实现三人重叠语音的角色分离，还可以对每个人的发言进行实时转写，准确率在86%以上。

多语种翻译是智能语音技能另一高频、高需求运用处景，也是最能表示智能语音技能实力的场景之一。
数据是语音技能演习的关键成分之一，但部分小语种演习知识匮乏、演习数据稀缺，成为困扰技能发展的瓶颈。

2014年，科大讯飞等单位开始研究包括中国部分民族措辞在内的小语种智能语音技能。
他们从维语和藏语等民族措辞切入，与北京外国语大学、上外洋国语大学等建立密切互助，积累了宝贵资源，沉淀大量技能。

在此根本上，研发团队设计出全新的多语种通用音素体系和基本措辞单元，实现多语种统一音素韵律体系的构建。
“我们将不同的小语种进行分类，找到同类语种的共同规律，在此根本上进行剖析建模和演习。
终极在演习数据数量、质量有限的情形下，显著提升了小语种语音系统性能。
”刘聪先容。

此外，为办理繁芜运用处景下语音交互、语音翻译面临的深层次语义理解困难、专业性不敷等难题，研发团队还提出了多源知识增强的可信文本天生技能，提升专有词汇及领域知识引用的准确率。
为办理利用国产芯片开展智能语音算法模型演习和推理面临的性能低、适配难等问题，团队通过软硬件协同优化的动态张量算子自动领悟、多硬件联合的量化打算仿照等方法，办理了智能语音技能硬件平台受制于人的问题。

大模型使智能语音更具“人情味”

近年来，大模型引发的人工智能浪潮席卷多个领域。
智能语音技能同样也在大模型助力下不断取得新打破。
“大模型+语音”的发展模式，被认为将给智能语音技能和家当带来新一轮革命性打破。

“比如大模型可以实现语音技能的超拟人合成，让机器说话不再有浓厚的朗读腔，能够像真人一样自然对话。
而全双工交互，则可以同时、瞬时进行旗子暗记的双向传输，让人机对话可以随时打断和连续等。
这些都让大模型在智能语音领域备受关注。
”科大讯飞研究院常务副院长高建清先容说，智能语音技能的关键创新与大模型技能相结合后，二者可以相互补充、相互促进。

例如，借助语音属性解耦、语音旗子暗记时空分离等技能打破，可以将语音旗子暗记经由编码后输入到大措辞模型中，显著提升语音大模型的效果。
“原来的语音合成、语音识别、机器翻译等单点技能，借助大模型后台的理解能力、文本天生能力，在语义理解、指令跟随、多轮对话、感情感知、超拟人合成等方面实现了显著提升，使语音交互体验得到极大改进。
”高建清说。

着眼未来，大模型技能可以在繁芜语义理解、长文本建模能力上进一步提升语音识别、合成和翻译的效果。
同时基于大模型强大的语义理解、知识问答、多轮对话、多模态建模能力，它也能进一步提升智能语音技能的利用场景和运用代价，支撑实现语音同传、自动客服、辅学答疑、家庭年夜夫、虚拟员工、陪伴机器人、做事机器人等未来智能产品创新，造就出更多家当机会，加速通用人工智能时期到来。
高建清认为，大模型时期的语音技能实质上是一次推动万物互联和原有人机交互场景重构的巨大家当机会，是语音家当的全新计策机遇。

目前，科大讯飞自主研发的多语种智能语音技能已支持69个语种，除了6个联合国通用语种（汉语、英语、法语、西班牙语、俄语、阿拉伯语）之外，还包括挪威语、丹麦语等小语种63个，均达到利用门槛。
搭载干系技能的智好手机海内外累计激活超10亿台，车载智能化产品累计前装超5300万套，支持奇瑞、比亚迪、长安等车企超200万套“出海”订单。

来源： 科技日报