不久前的云栖大会上，马云宣乐成立“以科技，创新天下”的阿里巴巴达摩院。

最近，阿里巴巴在自然措辞处理技能取得的两项新成绩：在环球顶级的知识库构建测评KBP2017中，斩获英文实体创造测评环球冠军；在中文语法缺点自动诊断大赛（Chinese Grammatical Error Diagnosis，以下简称 CGED）三个level中全面独占鳌头，核心指标比其他参赛机构赶过一倍。

CGED官网

比赛中利用的分词、词性标注和句法剖析等根本NLP工具都是由该团队自主研发的AliNLP 平台。
这个平台支持阿里大生态的每天多达600亿次的自然措辞处理需求。

这次参赛的是阿里巴巴iDST自然措辞处理首席科学家司罗以及iDST自然措辞处理团队。

司罗是环球威信机器智能学者，曾担当美国普渡大学打算机系终生教授，主持的20余个项目得到美国政府、工业界帮助，先后得到美国国家科学基金会造诣奖、雅虎、谷歌研究奖等。

司罗

语法缺点自动诊断大赛夺冠

中文语法缺点自动诊断大赛（Chinese Grammatical Error Diagnosis，以下简称 CGED）是自然措辞处理领域的威信赛事，由IJCNLP联办，今年已是第四届。
阿里巴巴iDST在三个level中全面独占鳌头。
即便是最难的level，核心指标F1（综合考虑准确率与召回率）依旧达到了 0.2693，比其他参赛机构赶过一倍。

参赛机构比赛成绩

“组办方给我们一个题目，然后由我们研发系统，然后测评，便是给我一个句子，我挑出出错的那个地方。
” iDST自然措辞处理团队主力成员李林琳表示，这次组办方给的比赛的背景是：学习中文的外国人数不断增加，由于中文的博大精湛，外国朋侪在中文写作中会涌现各式缺点。
主理方挑选了一些外国朋侪写的中文作文片段，希望参赛者用人工智能算法自动识别里面的语法语义缺点。

赛题中包含的缺点分为四种类型：多词（Redundant）、缺词（Missing）、错词（Selection）和词序缺点（Word Order）。
系统性能的评估也由易到难分为3个level：detection level(识别句子有没有缺点)、identification level（识别缺点句子的详细缺点类型）和position level（识别缺点的位置和对应类型）

比赛哀求诊断的四种缺点类型

比如，“我要送给你一个庆祝礼物。
假如两、三天晚了，请别生气”这句话，在第3个Level，AI须要明确指出“两、三天晚了”存在缺点才能得分（精确用法该当是“晚了两、三天”）。
此外，团队还结合了分词、词性、依存句法等特色，同时将language model等无监督的知识embedding到神经网络。
依赖RNN构造以及词性、依存等特色，不只能识别短程的语法缺点，比如“一头牛”好于“一只牛”；也能识别比较长程的语法缺点，比如“虽然父母很辛劳，而且对孩子照顾得很好”中“虽然”和“而且“不搭配。
此外，他们针比拟赛的3个不同level，设计了不同的基于神经网络的snapshot emsembles方法。

基于深度学习的结果，将被用于这些方面

据理解，这次比赛中主力成员李林琳，谢朋峻，杨毅等通过在深度学习中引入无监督的语法知识，同时结合了集成学习等方法取得了好成绩。

李林琳说，中文语法诊断的寻衅性在于，中文措辞知识丰富、语法多样；人在判断一句话是否有缺点的时候，会用到长期积累的知识体系（比如一句话是否畅通、两个词是否可以搭配、语义上是否成立等）。
比较之下，比赛供应的演习数据非常有限，仅通过演习数据来识别缺点是很困难的。

“这是一个基于深度学习的结果。
”李林琳说，深度学习有很多根本模块，比如做了中文词汇切分的积累，便是让AI首先知道什么是一个词，比如给AI一句话“我是中国人”，AI可以将这句话切分成“我”“是”“中国人”三个词，然后要对词性做一个剖析，知道“中国人”是一个名词，和动词“是”搭配便是“动词+名词”，即动宾短语。
如果是副词+名次，就不对了。
这哥根本模块便是让AI系统学习词性的利用方法。

“还有基于更深度的句法剖析，便是要检讨全体句子的语法输入是否精确。
”李林琳举例说，如果全体句子里面，有个主语是名词，加动宾短语，便是名词+动词+宾语，这便是一个合理的句法构造，如果少了动词，语法上就禁绝确 。

“整体来说，这次比赛是我们长期在AliNLP方面的积累、能力方面的综合表示。
” 李林琳说，比赛中利用的分词、词性标注和句法剖析等根本NLP工具都是由该团队自主研发的AliNLP 平台。

中文语法缺点自动诊断会被利用在什么地方？李林琳说，AliNLP 平台支持阿里大生态（新零售、金融、物流、娱乐、旅行等）的每天多达600亿次的自然措辞处理需求。
比如现在大家利用的SNS软件和对方语音谈天，在一些环境下，未便利听，或转换成笔墨，“这个转换成笔墨的过程中，常常会有很多语法缺点，中文语法缺点自动诊断就能自动纠错，使语音转换的笔墨更加好理解。
” 李林琳说，还有很多网络媒体的内容质量审核，即须要审核笔墨内容时，也可以利用到这项技能，

AI不仅能看懂英文，还能做到对文章高下文的理解

其余一项比赛，KBP是由NIST（National Institute of Standards and Technology，美国国家标准与技能研究院）辅导、美国国防部协办的赛事，紧张任务为从自然书写的非构造化文本中抽取实体，以及实体之间的关系。

这项测评哀求AI算法在“读完”一篇英文文章后，构建一个物理天下的命名实体和实体之间关系的知识库，如“克林顿和希拉里之间是夫妻关系”、“克林顿毕业于耶鲁法学院”这样一个个实体的关系。

司罗先容，阿里的算法可以做到对文章高下文的理解。
比如，文章涌现了Apple，再涌现Jobs，就可以辨别出这个Jobs指的是乔布斯，而不是事情。
再比如，文章涌现了Microsoft，那么Apple就更有可能是苹果公司，而不是一种水果。

“其余，我们构建了一个算法去学习不同领域之间共同的部分，通过迁移学习提升我们学习的准确度。
对付不同领域数据，我们取其精华，去其糟粕，进行智能学习”，司罗说。

在这次测评中，iDST团队采取经由改良的深度神经网络架构对文本进行理解。
改良的架构有三个紧张特点：首先该模型可以自动阅读海量文章（如维基百科）并从中汲取履历；其次，该架构可以智能选择演习数据集以担保演习数据的准确性；末了，我们采取post regularization的办法担保模型结果的同等性。

对付KBP2017的成绩，司罗表示：“很荣幸能够同环球的同行分享阿里巴巴的研究成果，人工智能在机器阅读理解和知识库构建上还处在起步阶段，我们正在积极和同行业顶尖机构学习互换，推动行业发展。
比如我们内部培植的信息抽取平台AliIE项目就在同斯坦福大学展开积极互助”。

阿里巴巴正在将这样的信息抽取技能广泛的运用到实际业务当中，并致力于让更多的中小开拓者从中收益。
他们搭建的信息抽取平台AliIE拥有最顶尖的AI技能，并从一开始的架构设计就考虑到平台的开放性和可扩展性。
可以让更多的开拓者、研究员共同开拓，并将成果回馈给这个社区。