在20世纪30~60年代，机器翻译这一自然措辞处理子领域经历了辉煌兴起和彻底崩溃。

20世纪60年代后，NLP的重生来自一个意想不到的领域——认知科学。
最精彩的头脑们聚拢在命运多舛的会议上，提出了一系列新想法。
这包括人工智能（AI）这一术语的创立和定义，以及乔姆斯基对措辞学理论的首创性贡献。

这些会议之后，新的研究中央相继成立，打算机的打算能力和存储容量得到了提升，高等编程措辞也应运而生。
当然，这统统离不开国防部的帮助，国防部是NLP研究的紧张投资者。

本文是LLM历史的第二篇，深入磋商从20世纪50年代末到1970年旁边的人工智能和打算机科学研究的丰富成果。

//

命运的会议

达特茅斯夏季会议

1956年的达特茅斯夏季会议是AI确立的迁移转变点，并明确了总体趋势和差异。
首批参与者成为AI发展的紧张推动力，以及与打算机互换的统统。

约翰·麦卡锡、马文·明斯基

克劳德·喷鼻香农和纳撒尼尔·罗切斯特

别忘了，“人工智能”这一名称正是由麦卡锡在为这次会议撰写的提案中提出的。
由约翰·麦卡锡、马文·明斯基、纳撒尼尔·罗切斯特和克劳德·喷鼻香农共同撰写的提案中说：“我们建议在1956年夏季在新罕布什尔州汉诺威的达特茅斯学院进行为期两个月的十人研究人工智能的研究。
[...] 考试测验找到如何让机器利用措辞、形成抽象和观点、办理目前由人类保留的问题，并自我改进。
”

当我们试图为暑期研究筹集资金时，我发明了“人工智能”这个术语，之前有过一次不好的经历。
1952 年，当克劳德·喷鼻香农和我决定网络一批我们希望有助于启动这一领域的研究时，喷鼻香农认为“人工智能”这个术语太浮夸了，可能会引起不利的关注。
以是我们赞许称之为“自动机研究”。
当我们收到的论文都是关于自动机的，而且个中很少有与我感兴趣的目标有关时，我非常失落望。
以是我决定不再打任何虚假的旗号，而是说这是一项旨在实现人类水平智能的长期目标的研究。

1973 年，约翰·麦卡锡出席莱特希尔辩论会

达特茅斯夏季会议的一些参与者

会议搜集了当时一些最精彩的大脑，包括马文·明斯基、约翰·麦卡锡、克劳德·喷鼻香农、赫伯特·西蒙、艾伦·纽厄尔等。
正如我们稍后会看到的，这些名字将再次涌现，深刻影响自然措辞处理（NLP）的发展。

信息理论研讨会

另一个必须提及的主要事宜是由克劳德·喷鼻香农组织的“信息理论研讨会”。
这次聚会引发了认知科学的兴起，常被称为认知革命。
看看为这个研讨会编写的论文和程序，可以理解这次研讨会对历史的意义：

乔治·米勒的论文“神奇的七个数字”确定了七个数字是人类短期影象常日会涌现不准确性之前的极限。
艾伦·纽厄尔、赫伯特·A·西蒙和克里夫·肖的打算机程序“逻辑理论家”是第一个故意设计用于自动推理的程序，被称为“第一个人工智能程序”。

诺姆·乔姆斯基的“三种措辞描述模型”值得单独谈论。
这篇论文正式证明了以前措辞系统中广泛利用的一些思想是无效的，特殊是随机文法和n阶统计近似。
乔姆斯基还提出了他的文法分类，如论文标题所示。

正如米勒后来回忆的那样，

我从研讨会上离开时强烈感到——这更多是直觉而非理性——人类实验生理学、理论措辞学和打算机仿照理性认知过程都是一个更大整体的一部分，未来将逐步详尽和折衷它们的共同关注点。

国防、技能和措辞学的交汇点

SAGE项目：打算创新和社会科学进步的催化剂

没有国防部的支持，任何事都无法完成。
二战后，一个革命性的防空系统——半自动地面环境（SAGE）——在冷战期间对核战役的深切恐怖中孕育和发展。
随着美苏积累强大的核武库，急需前辈的防御系统来保护免受可能的空袭。
该项目于1950年代初启动，由麻省理工学院林肯实验室管理，是应对这一威胁的技能答案。
值得把稳的是，这个别系是第一个实时、大规模打算机系统之一，标志着打算历史上的重大打破。
只管最初用于军事运用，SAGE的创新打算技能产生了深远影响，加速了信息技能的广泛领域并为未来的打算系统奠定了先例。

林肯实验室

SAGE项目的履行带来了前所未有的内存和存储需求，吸引了大量用于打算机硬件的资金。
这笔资金的涌入还导致了以定量方法为特点的“硬”社会科学部门的建立，包括由诺姆·乔姆斯基领导的措辞学系以及生理学系。
此外，由于这一重大财务支持，学院的纯科学举动步伐得到了加强和扩展。

乔姆斯基对措辞学理论的首创性贡献

对措辞研究最主要的贡献之一是诺姆·乔姆斯基引入的形式措辞理论，它作为一种数学研究而非措辞学研究发展起来，对打算机科学产生了强烈影响。

克劳德·喷鼻香农和沃伦·韦弗提出利用随机过程理论来建模自然措辞。
从措辞学理论的角度来看，最主要的数学模型是由马尔可夫（Markov）引入的有限状态机，称为马尔可夫模型。
其他研究职员对这个想法非常热衷，然而，实践证明这种方法远非空想。
但没有这些模型不敷的正式证明。

乔姆斯基在研讨会上提交的论文《措辞描述的三种模型》做到了这一点。

在论文中，乔姆斯基证明了没有有限状态马尔可夫过程可以作为英语语法。
大略来说，他证明了他的直觉，即自然措辞的语法不能完备被随机过程建模。
此外，他还证明了以前被认为是描述自然措辞的好工具的n阶统计近似必须被摒弃。
他在书中利用的著名例子是句子“无色的绿色思想狂暴地沉睡”被归类为不太可能的程度与“狂暴地沉睡思想绿色无色”一样；任何讲英语的人都可以识别前者语法精确，而后者禁绝确，乔姆斯基认为机器模型也该当如此。

研讨会后的第二年，1957年，诺姆·乔姆斯基的《句法构造》的出版是另一个旗子暗记事宜，这是他老师泽利格·哈里斯（Zellig Harris）的转换天生文法模型的详细阐述。

根据《生理措辞学：措辞、心灵与天下》一书的作者的说法，乔姆斯基的演讲被认为是20世纪最主要的研究之一。
正如大卫·莱特富特（David Lightfoot）在该书第二版的先容中写的那样，诺姆·乔姆斯基的《句法构造》是当代“认知革命”开始的雪球。
该书只有118页，包含乔姆斯基为MIT本科生讲授的课程讲稿。

编程措辞的早期演化

就在乔姆斯基研究人类措辞学的同时，创建专门的打算机措辞的机遇也到了。
这项早期研究由麻省理工学院（MIT）、卡内基梅隆大学（CMU）和斯坦福大学等机构首创。

CMU研究职员创建了有影响力的编程措辞，包括由艾伦·佩利（Alan Perlis）开拓的ALGOL和由艾伦·纽厄尔（Allen Newell）、克里夫肖（Cliff Shaw）和赫伯特·A.西蒙（Herbert A. Simon）开拓的信息处理措辞（IPL）。
他们的互助非常有趣。
1955年，艾伦·纽厄尔作为博士生加入了赫伯特·A.西蒙教授的研究团队。
在达特茅斯夏季会议之前，西蒙创建了一台“思维机器”——通过将其分解为最大略的步骤来进行生理过程。
而在同年晚些时候，他们开拓了前面提到的逻辑理论家程序。
这些措辞对付构建理解自然措辞的第一个模型至关主要。

LISP编程措辞的标志

《Fortran自动编码系统》的封面，这是关于FORTRAN的第一本书

在MIT，马文·明斯基和约翰·麦卡锡开拓了LISP编程措辞并创立了MIT人工智能实验室，为AI的发展做出了贡献。
只管马文·明斯基目前不常被提及，但他是该领域最有影响力的研究职员之一。
他据称为斯坦利·库布里克的《2001太空漫游》推举了HAL缩写背后的术语，并且是该电影片场的顾问。

“人工智能”术语的创始人还创建了AI核心措辞。
正如保罗·格雷厄姆所写：

IBM的约翰·巴克斯（John Backus）领导开拓了FORTRAN（公式翻译），这是一种打破性的算法措辞，使得为常见数学运算编写子程序并建立它们的库变得方便。
FORTRAN的创建标志着打算机编程措辞发展的一个主要阶段。
以前的编程是用机器措辞或汇编措辞编写的，哀求程序员以二进制或十六进制算术写指令。
FORTRAN 可以快速编写打算机程序，其运行效率险些与用机器措辞费力手工编码的程序一样高效。

NLP 研究的快速发展

在理论发展的同时，许多原型系统也被开拓出来以证明特定事理的有效性。
从原始的单词更换翻译观点转向措辞理解。
自然措辞处理（NLP）紧张以两大研究分支形式复兴，这两个分支都与措辞理解有关：首先是书面措辞；其次是口语。

一些早期的人工智能事情利用连接单元的网络或电路来仿照智能行为。
这些方法被称为连接主义。
然而，在20世纪50年代后期，大多数这些方法被放弃，研究职员开始探索符号推理，受到“逻辑理论家”和“通用问题办理器”等程序成功的启示。

理解书面措辞

会议之后的几年，以措辞理解为重点的研究和新思想的涌现标志着这一期间。

根据《人工智好手册》，所有模型可以分为四个思想组：

1. 早期模型在输入和领域方面受到严格限定。

2. 基于文本的方法是将文本本身的表示存储在数据库中，利用各种奥妙的索引方案来检索包含特定单词或短语的材料。

3. 有限的逻辑范式试图处理在给定模型的数据库中未明确存储的问题答案。

4. 知识根本的方法旨在处理句子与故事构造之间的关系。

早期模型

最早的自然措辞程序仅在特定、受限的领域内实现有限的结果。
这些程序，如Green的BASEBALL，Lindsay的SAD-SAM，Bobrow的STUDENT和Weizenbaum的ELIZA，利用特定的数据构造来存储关于有限领域的事实。

输入句子限定为大略的陈述句和疑问句，程序通过扫描预先声明的关键字或模式来识别已知的工具和关系。
这些早期系统能够忽略许多措辞的繁芜性，有时在回答问题方面取得了令人印象深刻的结果。

棒球报纸的先容

原始论文中对 ELIZA 的描述

1.BASEBALL (1961)：由彼得·格林（Bert Green）及其同事在MIT林肯实验室开拓的BASEBALL问答系统，利用IPL-V编程措辞，专注于某一年美国同盟比赛的问题处理。

2.SAD-SAM (1963)：由罗伯特·林德森（Robert Lindsay）在卡内基理工学院开拓的SAD-SAM，利用IPL-V列表处理措辞，接管英语句子，构建数据库，并利用根本英语词汇供应答案。

3.SLIP措辞和ELIZA (1963)：约瑟夫·维森鲍姆（Joseph Weizenbaum）开拓了SLIP措辞，后来用于编写ELIZA。
ELIZA于1966年在MIT开拓，是一个仿照患者与生理治疗师对话的谈天程序。

4.STUDENT (1968)：由丹尼尔·博布罗（Daniel Bobrow）在MIT开拓的STUDENT，是一个模式匹配自然措辞程序，旨在办理高中水平的代数问题。

基于文本的方法

另一种早期的NLP方法是基于文本的方法，将文本本身的表示存储在数据库中，利用各种奥妙的索引方案来检索包含特定单词或短语的材料。
只管比其前身更通用，但这些程序仍未能把稳到数据库中句子的明显含义。

1.PROTOSYNTHEX-1 (1966)：由Simmons设计，利用LISP措辞，可以制作一个观点词典，将每个英语单词与句法信息、定义材料和在其他单词的定义中利用的高下文参考干系联。

2.语义影象 (1968)：Quillian在系统开拓公司SYNTHEX项目期间开拓的语义网络，是AI领域最早的事情之一。

有限逻辑方法

为理解决如何表征和利用句子含义的问题，在20世纪60年代中期开拓了一组有限逻辑系统。
这些系统将数据库中的信息以某种形式的符号表示，并供应了将输入句子翻译成这种内部形式的机制。
其总体目标是对数据库进行推理，以找到未明确存储在数据库中的问题答案。

SIR原始论文择要

CONVERSE体系的底层方案

1.SIR (1964)：由B·拉斐尔（Bertram Raphael）作为其MIT论文研究的一部分编写，利用LISP，先容了一个广义模型和一个称为SIR1的形式逻辑系统。

2.“打算机英语”和“DEACON” (1966)：汤普森（Thompson）在AFIPS秋季联合打算会议上展示了关于“打算机英语”和“DEACON”的论文，磋商了英语与编程措辞之间的关系。

3.Kellogg的CONVERSE (1968)：Kellogg展示了一个早期实验系统CONVERSE，专注于在线数据管理的自然措辞编译器。

4.Quillian的TLC (1969)：Quillian开拓了可教的措辞理解器（TLC），旨在理解英语文本。

知识根本方法

在1973年之前的大多数自然措辞理解事情中，解析单个句子是独立进行的。
显然，故事构造供应的高下文有助于句子理解。
研究职员开始在他们的程序中加入一些知识表示方案，如逻辑、过程语义、语义网络或框架。

SHRDLU如何与“拾起一个大赤色块”命令合营利用的图示

1.SHRDLU (1971)：由特里·威诺格拉德（Terry Winograd）在MIT开拓的SHRDLU是一个旨在理解自然措辞并与积木天下进行对话的程序。

2.LUNAR (1972)：由威廉·伍兹（William Woods）在BBN开拓的LUNAR是一个实验性的信息检索系统，能够用日常英语进行互换。

3.明斯基的FRAMES (1974)：马文·明斯基提出的框架观点作为数据构造，旨在表示刻板的情形，促进知识思维在推理、措辞、影象和感知中的运用。

理解口语

口语理解的发展相对较慢且较为温和。
1952年，贝尔实验室引入了“奥黛丽”，这是一种能够识别口述数字的自动识别机器，准确率高达90%（但只能识别其发明者的声音）。
只管最初设计用于赞助收费操作员，但由于其高本钱、有限的语音识别能力以及巨大体积，使其无法广泛利用。

1952 年贝尔实验室奥黛丽。
图中未显示六英尺高的支撑电子设备的机架

仅十年后，即1962年，IBM展示了Shoebox系统，该系统能够识别和区分16个单词。
只管有所改进，用户仍需缓慢说话并停息，以便机器能准确捕捉语音。

真正的打破始于1971年，当时美国国防部高等研究操持局（DARPA）帮助了一项为期五年的语音识别研究操持，旨在实现连贯语音的理解。

在1970年代初期，隐马尔可夫模型（HMM）方法被分享给包括IBM在内的几家DARPA承包商。
作为一种繁芜的数学模式匹配策略，HMM发挥了关键浸染，终极被所有领先的语音识别公司采取，包括Dragon Systems、IBM、飞利浦、AT&T等。

结论

只管1960年代后期机器翻译（MT）的失落败令人失落望，但并未阻挡NLP的发展。
相反，认知科学和国防部的帮助推动了这一领域的发展。
这一期间见证了AI作为一个领域的建立，编程措辞如LISP和FORTRAN的发展，以及各种措辞理解方法的涌现。
然而，这一期间未能实现的期望终极导致了预算减少和研究结束，成为所谓的AI寒冬。

这一征象改变了AI领域的叙事，持续了几十年。