最近在梳理人工智能的一个细分领域自然措辞处理干系知识点。
随着查阅的资料越来越多，在梳理的过程中，也越来加倍现自己的无知。

虽然自然措辞处理是人工智能的一个细分领域，但是自然措辞处理这个细分领域内，又有很多的细分领域。

自然措辞处理，也是涵盖了多个学科的一个别系化的大型工程。
自然措辞处理，除了包含常见的分词、分句、分段，似义词打算、词类标注，有限状态自动机、隐马尔可夫模型等根本的打算机理论知识外，还包含了语音学、措辞学、生理学、统计学、脑科学等多个领域的学科知识。

一个人不可能把自然措辞处理所有的知识都全部节制精通，也只能是找到个中的一个或几个难点进行研究。

本日文章题目定为《人工智能之自然措辞处理初探》，彷佛题目也是有点过大了。
以是又取了一个子题目，叫“语义识别”。
即便是这样，在本日有限的文章描述以及PPT演示，也难以涵盖语义识别这个领域的全部内容。

本日的文章以PPT为主线，受制于韶光限定以及这个领域内容的确非常多非常深，即便是潜心钻严三年，是否能真正就说节制了自然措辞处理的语义剖析，谁也不敢担保。
进无止境，这恐怕也是科学的魅力。

本文今天主要分为六个章节，第一章节先对自然措辞处理进行简要先容。

紧张对自然措辞处理（Natural Language Processing，下文会以NLP替代）的苦命分类进行概要先容，同时先容一下NLP在文本和语音两个方面的商业运用。

第二章节从创造进程、参与的公司以及行业规模，先容当前NLP发展现状。

第三章，对全体NLP体系进行梳理。

第四、五、六章节紧张对NLP中语义识别中的句法剖析、话语分割、指代消解的根本事理进行讲述。

自然措辞的理解层次，一样平常分为：语音剖析、词法剖析、句法剖析、语义剖析、语用剖析。

大略来讲，语音剖析紧张是根据音位规则，从语音流中提取出独立的音素，再根据音位形态规则找出音节及其所对应的单词；词法剖析紧张是找出词汇中的词素，从而得到其语音学的信息；句法剖析，则是对句子和句子中的短语构造进行剖析，创造其内存的关联关系；语义剖析是要找出单词、构造，通过结合高下文，得到准确的含义；语用剖析，则是研究措辞所处在的实际措辞环境中对措辞利用者所产生的实际浸染。

1950年：图灵测试、履历语义方法、基于规则的方法。

1970年：基于统计的方法、理性语义方法。

2008年：深度学习。

2013年：Word Embeddings（Word2Vec），即将高维词向量嵌入到一个低维空间，Neural Networks for NLP(RNN LSTM CNN)。

2014年：Seq2Seq Models，Seq2Seq模型是输出的长度不愿准时采取的模型；MachineTranslation, Structure Prediction。

2015年：Attention，把一个输入序列表示为连续序列，解码天生一个输出序列，模型每一步都是自回归的，即假设之前天生的结果都是作为天生下一个符号的额外输入；Transformer，直接把一句话当做一个矩阵进行处理。

2018年：Memory-based Neural Network, NeuralTuringMachine。
2018m, Pretrained Language Modes, ELMo，BERT。

2019年：Natural Language Generation，Reasoning, Bigger Models。

自然措辞处理（NLP）正处于历史上最好的发展期间，技能在不断进步并与各个行业不断领悟、落地。

数据显示，我国NLP（自然措辞处理）技能市场规模持续增长，2018年我国NLP（自然措辞处理）技能市场规模达到了20.6亿元，同比增长52.6%。
未来随着NLP技能不断进步，将具有大规模的市场需求和可扩展的巨大市场空间。
估量2021年市场规模将达到近70亿元。

NLP全体知识体系非常多。
研究模式紧张是对自然措辞场景问题，算法如何运用到办理这些问题。
即便是涉及如此多的根本知识，目前NLP仍旧面临着许多的问题，例如：场景的困难，措辞的多样性、多变性、歧义性，使得NLP准确性受到制约。
学习的困难，如何设计高效的学习模型？语料的困难，NLP该当利用什么样的语料？如何得到这些语料？

对付语义识别，须要对句法进行阐发，因此阐发在问答系统、信息抽取、语法检讨中都起着非常主要的浸染。

1954年1月7日，美国乔治敦大学和IBM公司首先成功地将60多句俄语自动翻译成英语。
当时的系统还非常大略，仅包含6个语法规则和250个词。
而实验者声称：在三到五年之内就能够完备办理从一种措辞到另一种措辞的自动翻译问题。
但直到本日，自然措辞处理别说是自动翻译，大略的句法剖析仍旧有很多要完善的空间。

“咬去世了猎人的狗。
”究竟是“[咬去世了猎人][的狗]”还是“[咬去世了][猎人的狗]”呢?如果不借助于高下文和语境，即便是人都很难明得，更不用说利用的句法剖析了。

我们通过打算，可以增加句法剖析的准确性。
但是否能真实反应语义，仍旧有很大的发展空间。

我们可以打算布朗预见库中每个句子的均匀词数。
在其他情形下，文本可能只是一个字符流。
在将文本分词之前，须要将它分割成句子。
有时可以借助于标点体符号以及一些范例的打算机符号，例如换行符来进行对句子分隔，但对付没有任何标点符号的笔墨段落来讲，人类可以借助履历理解里面的内容，NLP是否也能准备分割，也是比较难的一个研究领域，还有很大的发展空间。

指代消解是NLP里非常主要的一个细分的研究领域，运用处景非常多。
例如智能对话预定酒店机票，“从天津到北京的机票多少钱？”打算机NLP后，给出一个结果，这个时候，再问“那到上海呢？”，这个就须要NLP有更深层的理解了。
而现实中的对话场景，远比这个要繁芜的多，NLP是否能准确识别，就依赖于指代消解的准确度了，这直接关系到NLP的产品质量。

总结：

今天主假如对NLP中的语义识别的一个领域进行初步探索。
人工智能是一个非常大的范畴，即便人工智能的子领域NLP，涉及的根本研究也非常多，而且这些根本研究短韶光内也很难见效，很多公司都有古迹压力，每每出于收益，即便不是一个很完善的NLP产品，也先要推向市场。

不论是NLP运用在哪个领域，构建什么样的产品，办理什么样的现实问题，根本还是要依赖于根本科技的研究，一个个丰富多彩的NLP产品，都是由一个个根本功能整合而成。
正所谓，不积跬步无以至千里，不积小流无以成江海。

作者：王佳亮，中国打算机学会（CCF）会员。
微信公众号：佳佳原创

本文原创@佳佳原创 发布于大家都是产品经理，未经容许，禁止转载。

题图来自Unsplash，基于CC0协议