摘编丨李永博

人工智能导致哪些风险?控制论之父在70年前就预言了_维纳_技巧 云服务

人工智能是本日的神话,它既可能是未来的开始,也可能成为末世的毁灭。
在技能狂飙突进的时期,纵然是圈内的从业者也很难得到同等的见地。
被誉为“人工智能之父”的尤尔根·施米德胡贝认为人工智能终有一天会比人类更聪明,而人类也没有丝毫情由为此感到担忧。
与此同时,特斯拉CEO埃隆·马斯克却在多个场合上表示要当心人工智能。
他乃至认为,人工智能的危险远远超过核弹头。

现在我们把韶光轻微拉远一点。
在“人工智能”这个观点涌现以前,掌握论正大行其道。
“掌握论之父”、诺伯特·维纳在1948年揭橥的名著《掌握论》中已经对“机器能不能拥有智能”这一问题给予了正面的回答。
维纳认为不仅在人类和人类社会中,在其他生物群体乃至无生命的机器天下中,都存在着同样的信息、通信、掌握和反馈机制,智能行为是这套机制的外在表现,因此不仅人类,其他生物乃至是机器也同样能做出智能行为。
维纳和他的掌握论思想如今也被视为人工智能“行为主义学派”的奠基者。

诺伯特·维纳(Norbert Wiener)(1894—1964),美国运用数学家,掌握论的创始人。

很多人不知道的是,维纳在70年前为人工智能勾画蓝图之时,也提出了自己对机器统治的担忧和警告。
亲历二战岁月的维纳在《人有人的用途》中预言,依赖机器统治可能成为一种“新法西斯威胁”。
这种“唱反调“让维纳在冯·诺伊曼、克劳德·喷鼻香农等同事之间遭到了冷遇,他们更急于把新科技转化为商业利润。

维纳的预言在如今看来是否仍旧有代价?2016年9月,来自人工智能领域内外的几十位思想家在美国华盛顿展开了一场对话,在此根本之上结集成一本书《AI的25种可能》。
与会者达成的一个共识是,重新核阅先驱的思想永久都有代价,很多人没故意识到自己正在实行维纳的路线图。
维纳对付自动化和人工智能有着若何的顾虑?他在70年前的预言还有现实意义吗?

下文由麻省理工学院量子科技专家塞思·劳埃德(Seth Lloyd)撰写,经授权摘自Edge网站创始人约翰·布罗克曼与多位思想家共同编著的《AI的25种可能》,有删节。

《AI的25种可能》,约翰·布罗克曼 编著,王佳音 译,湛庐文化丨浙江公民出版社2019年10月版

维纳虽然有谬误,却比以往更靠谱

诺伯特·维纳1950年出版的《人有人的用途》,是他两年前出版的那本影响深远的《掌握论》的普通版本。
在《人有人的用途》中,维纳对在一个机器的运算能力变得愈发强大的天下中,人类与机器之间的相互浸染进行了磋商。
这是一本充满先见之明的书,同时也充满了谬误。
这本书写于冷战正风起云涌之时,个中的内容让人胆战心惊,它让我们意识到极权主义组织和社会的危害,提醒我们当民主试图用极权主义的武器对抗极权主义时会对民主极为不利。

维纳在《掌握论》中,以非常翔实的科学细节描写了经由反馈实现的掌握过程。
“掌握论”(cybernetics)一词来源于古希腊语中意为“舵手”的单词,是当代词汇“管理者”(governor)的词源根本。
詹姆斯·瓦特将他那首创性的反馈掌握装置命名为“管理者”,这一装置改进了蒸汽机的利用办法。
由于维纳沉溺于研究掌握带来的各种问题,以是他将天下视为一组繁芜的、互锁的反馈回路,个中传感器、旗子暗记和发动机之类的驱动器通过繁芜的旗子暗记和信息交流而相互浸染。
掌握论在工程领域的运用影响力极大且非常有效,使我们有了火箭、机器人、自动装置线,以及一系列精密工程技能,换句话说,它构成了当代工业社会的根本。

不过,维纳对掌握论的理念有更大的年夜志。
在《人有人的用途》中,他认为这一理念可以运用到麦克斯韦妖、人类措辞、大脑、昆虫新陈代谢、法律体系、技能创新对统治的浸染,以及宗教之中。
掌握论的这些广泛运用,险些是彻底的失落败。
20世纪40年代末到60年代初,人们对掌握论大肆吹捧,在某种程度上就像对打算机和通信技能的过度渲染一样,而后者导致了2000年至2001年的互联网泡沫破灭。
掌握论确实带来了卫星和电话交流系统,但它对社会构造及全体社会没有匆匆成什么有用的发展。

《人有人的用途》,维纳 著,陈步 译,北京大学出版社 2010年版

然而近70年后,《人有人的用途》这本书教给我们人类的却远比它刚刚出版时要多得多。
大概这本书最大的特点便是它引入了大量关于人类与机器相互浸染的主题,这些主题至今仍旧非常主要。
这本基调灰暗的书预测了在20世纪后半叶即将发生的几种灾害,个中许多与本日人们对21世纪后半叶的预测非常相似。

例如,维纳预见到在间隔1950年不远的将来,人类会将社会的掌握权交给一种掌握论的人工智能,这将导致对人类的严重毁坏。
维纳预言,生产自动化会带来产量的大幅增长,但同时也将使大批工人下岗——在接下来的几十年里,这些确实发生了。
维纳警告说,除非社会能合理安置这些失落去事情的工人们,否则叛乱将随之而来。

但是维纳没有预见到技能的重大发展。
就像20世纪50年代的许多技能专家一样,他没有预见到打算机革命。
他以为,打算机的价格会从50年代的几十万美元降到几万美元。
无论是他还是那个时期的其他人,都没有预见到随着晶体管和集成电路的发展,打算机的能力会有爆发式的提高。
末了,由于维纳过度强调掌握,他没有预见一个技能天下的到来,在这个技能天下里,创新和自组织是从底部一点点发展而来而不是从顶部强加下来的。

维纳关注极权主义的恶行,无论这恶行是政治的、科学的还是宗教的,以是他以极其悲观的眼力看待天下。
在书中他警告说,如果我们不尽快修睦我们的道路,灾害就在等着我们。
《人有人的用途》这本书出版半个多世纪往后,当前的人类和机器天下远比维纳能预见到的繁芜、多样得多,这样的天下有着广泛得多的政治、社会和科学体系。
但是如果我们弄错的话,如果环球的极权主义政权掌握全体互联网的话,本日的灾害预警就像1950年的灾害预警一样迫不及待。

塞思·劳埃德(Seth Lloyd),麻省理工学院量子科技教授,圣塔菲研究所外聘研究员

维纳之英明

维纳在最著名的数学著作中,磋商的是旗子暗记剖析和噪声的影响。
第二次天下大战期间,他构建了一种模型,可以通过推算飞机以前的翱翔行为,预测它未来的翱翔轨迹,由此他开拓了一种防空火力的瞄准技能。
在《掌握论》和《人有人的用途》两书中,维纳指出,根据飞机以往的翱翔行为,乃至包括人类翱翔员的怪癖和习气,一个机器化妆置可以预测人类行为。
像艾伦·图灵(他在图灵测试中预言打算机对问题做出的回应,将与人类没有什么差别)一样,维纳也痴迷于用数学描述来捕捉人类行为。
20世纪40年代,他把掌握和反馈回路方面的知识运用到生物系统中的神经肌肉反馈中,还把沃伦·麦卡洛克(Warren McCulloch)和沃尔特·皮茨(Walter Pitts)先容到麻省理工学院,在那里,他们两人在人工神经网络方面做出了首创性的事情。

维纳思想的核心是从信息角度来理解这个天下。
繁芜系统,如生物体、大脑和人类社会,是由互锁反馈回路组成的,个中子系统之间的旗子暗记交流导致了繁芜但稳定的行为。
当反馈回路发生故障时,系统会变得不稳定。
他构建出一幅引人瞩目的图景,解释了生物系统的运行机制是多么繁芜。
目前,众人已普遍接管了这一图景。

维纳把信息算作掌控繁芜系统行为的核心,这一不雅观点在当时相称令人瞩目。
现今,当汽车和冰箱中挤满了微处理器,而人类社会的大部分都环绕着与互联网相连的打算机和手机时,强调信息、打算和通信的中央性彷佛毫无新意。
然而在维纳时期,第一台数字打算机才刚刚出身,技能专家们还根本不知道互联网为何物。

维纳不仅把工程的繁芜系统,还把所有的繁芜系统都算作是环绕旗子暗记和打算循环来运作的,这为繁芜人工系统的发展做出了巨大贡献。
例如,他和其他人开拓的用于掌握导弹的方法,后来被运用于建造土星5号月球火箭,这是20世纪最伟大的一项工程造诣。
特殊须要指出的是,维纳的掌握论理论在大脑和打算机感知领域的运用,是当今基于神经网络的深度学习和人工智能的前身、雏形。
不过,这些领域目前的发展与维纳的预见不同,它们的未来发展很可能会影响人类对人类和机器的利用。

维纳之谬误

维纳的缺点就在于他把掌握论的理念用到了人类身上。
暂时撇开他对措辞、法律和人类社会的思考,看看他认为1950年后不久将会产生的一项不起眼却非常有潜力的创新。
维纳认为,如果利用假肢的人能够通过他们自己的神经旗子暗记直接与假肢沟通,从肢体吸收压力和位置信息并辅导其随后的运动,假肢将更有效。
事实证明,这比维纳设想的要困难得多:70年后,合并神经反馈的假肢仍旧处于早期阶段。
维纳的理念不错,只是神经旗子暗记与机器电子设备的接口问题很难办理。

更主要的是,维纳和险些所有生活在那个时期的其他人一样,极大地低估了数字打算的潜力。
正如前面指出的那样,维纳的数学造诣在于对旗子暗记和噪声的剖析,他的剖析方法适用于连续变革的或者说仿照的旗子暗记。
虽然他参与了战时数字打算的开拓,但他从未预见到半导体电路的引入和逐步小型化所带来的打算能力的爆炸性发展。
我们很难将其归咎于维纳:毕竟当时晶体管还没有发明出来,他熟习的数字打算机的真空管技能笨拙、不可靠,而且无法扩展运用到越来越大的设备中。
在1948年版《掌握论》的附录中,他预测了会下棋的打算机的问世,还预测到它们能够算出两到三步。
然而,半个世纪后,一台打算机在国际象棋比赛中击败了天下冠军,这将会令他大为惊异。

维纳(前排左起第4位)与清华大学电机系师生合影(1936年)

高估技能的发展和奇点的毁灭性风险

当维纳创作《掌握论》《人有人的用途》这两本书时,一件著名的高估了技能的事情即将发生。
在20世纪50年代,人们首次考试测验开拓人工智能。
赫伯特·西蒙(Herbert Simon)、约翰·麦卡锡和马文·明斯基等研究职员开始设计打算机程序来完成大略任务,并建造了机器人雏形。
这些最初的努力得到了成功,西蒙备受鼓舞,流传宣传:“20年内,机器将有能力完成一个人所能做的任何事情。
”结果这一预言大错特错。
随着打算机变得更强大,它们变得越来越善于下棋,由于打算机系统可以天生许多可能的棋步,并估算这些棋步。
但人们对人工智能的多数预测,例如机器人女佣,却是不切实际的。
1997年的国际象棋大赛上超级打算机“深蓝”击败加里·卡斯帕罗夫(Garry Kasparov)时,最强大的清扫房间机器人是一个叫“伦巴”(Roomba)的机器人,它随意四处移动吸走灰尘,当它被困在沙发下面时会发出吱吱的叫声。

预测技能进步充满了不愿定性,由于技能进步是一系列的改进过程,困难会阻碍进步,而创新则会战胜困难,取得进步。
许多困难以及一些创新可以被预见到,但更多的困难及创新则很难预见。
我自己和实验专家互助建造量子打算机时,我常常创造,一些我以为很随意马虎实现的技能步骤,结果却是不可能完成的;而一些我想象中不可能完成的任务却变得很随意马虎。
你不试试就永久不会知道。

20世纪50年代,冯·诺伊曼从与维纳的发言中受到启示,引入了“技能奇点”这一观点。
技能常以指数式速率不断提高,每隔一段韶光其性能或灵敏度就会增加一倍。
例如,自1950年以来,险些每隔两年,打算机性能便会提升一倍,这种征象便是“摩尔定律”。
冯·诺伊曼根据不雅观察到的技能进步的指数率,断言“技能进步将变得非常迅速、繁芜”,在不远的将来就会超越人类能力。
事实上,如果按照现在的速率推断未来打算机的原始打算能力增长,也便是按比特率和位翻转打算,打算机该当在未来的20到40年内发展到可与人类大脑匹敌的程度,详细韶光取决于如何估算人类大脑的信息处理能力。

人们最初对人工智能过于乐不雅观的失落败预测,使得在之后的几十年很少有人谈论技能奇点的话题,但是自从雷·库兹韦尔(Ray Kurzweil)2005年出版《奇点附近》(The Singularity Is Near)后,技能进步带来超级智能的想法再次回归。
包括库兹韦尔在内的一些人坚信,奇点便是机遇:人类可以将他们的大脑与超级智能领悟,从而永生。
但还有一些人,如史蒂芬·霍金和埃隆·马斯克则担心这种超级智能是邪恶的,担心它会对人类文明构成最大威胁。
不过有一些人,包括本书的一些撰稿人却认为这样的说法太过夸年夜。

《奇点附近》,雷·库兹韦尔 著,董振华、李庆成 译,机器工业出版社2011年10月版

维纳毕生的奇迹以及他预测的失落败,都与技能奇点密切干系。
他在神经科学方面的研究,以及他对麦卡洛克和皮茨最初的支持,勾勒出当今极其有效的深度学习方法的轮廓。
在过去的几十年里,尤其是在过去的5年,这种深度学习的技巧终极发展出维纳所称的“格式塔”能力,例如,你知道圆便是圆,纵然当它倾斜看起来像一个椭圆时,你仍旧知道它便是一个圆。
他对掌握论的研究,以及他在神经肌肉反馈方面的研究,对付机器人的发展意义非凡,也启示了以神经为根本的人机接口研究。
然而,他对技能发展的误判也表明,我们不应该完备相信技能奇点一说。
预测技能进步的常见困难以及发展超级智能时特有的问题都该当让我们当心,不要高估信息处理的力量和效能。

如果维纳来到本日

维纳指出,科技的指数式进步是一个相对当代的征象,并不都是好的。
他认为原子武器和带有核弹头的导弹是人类杀去世自己的最好方法。
他把对这颗星球资源的猖獗开采与《爱丽丝漫游奇境记》(Alice in Wonderland)中的猖獗茶会进行比拟:我们把废物丢在身边的环境中,为了连续取得进步,只需换一个地方丢弃废物即可。
维纳对打算机和神经-机器系统的发展持乐不雅观态度,但对独裁政府对这些技能的利用却很悲观,一些国家在面临独裁主义威胁时也变得越来越独裁,这也让他无法乐不雅观起来。

对付目前人对人的用法,维纳将有何高见?打算机和互联网的力量可能会让他大吃一惊。
他参与的早期神经网络研究现已形成强大的深度学习系统,并展现出他所希冀的感知能力,这可能会让他很高兴。
不过,对付打算机化格式塔的一个最突出例子,即机器能在万维网上认出小猫的照片,他可能并不感兴趣。
我预测,维纳不会认为机器智能是威胁,而会把它当作一种独立的征象,这种智能不同于我们人类的智能,而且会与人类智能共同进化。

维纳对环球变暖不会感到惊异,这是我们这个时期的猖獗茶会。
他会对替代能源技能的指数式提高表示讴歌,并将利用自己的掌握论专业知识开拓一套繁芜的反馈回路,将这些技能整合到即将到来的智能电网中。
只管如此,当他意识到办理景象变革的问题不仅是技能问题,也是政治问题时,他无疑会对我们能否及时办理这个威胁人类文明的难题持疑惑态度。
维纳讨厌骗子,尤其是政治骗子,但他也知道,骗子永久都在。

我们很随意马虎就会忘却维纳所处的时期有多么恐怖。
美国和苏联展开全面武备竞赛,争相建造安装有氢弹的核弹头,将其装在洲际弹道导弹上。
导弹上有导航系统,令维纳难过的是,这个导航系统就有他的功劳。
1964年维纳去世时,我4岁。
那时候我在上幼儿园,班里的小朋友正在练习猛然躲在课桌下以求在核武器打击时得到掩护。
想到在他的时期人对人的用法,如果他能看到我们目前的状态,他的第一反应将是放心,由于我们还活着。

编辑丨张进

校正丨薛京宁