这个题目显然是模拟康德关于先天综合判断“何以可能”的提问法。
为什么不问“是否可能”？可以这样阐明：假如有可信知识确定人工智能绝无可能发展出自我意识，那么这里的问题就变成了废问，人类就可以无忧无虑地发展人工智能而尽享其利了。
可问题是，看来我们无法打消人工智能得到自我意识的可能性，而且就科学潜力而言，具有自我意识的人工智能是非常可能的，因此，人工智能的自我意识“何以可能”的问题就不是杞人忧天，而是关于人工智能得到自我意识须要哪些条件和“设置”的剖析。
这是一个有些类似受虐狂的问题。

这种未雨绸缪的谨严态度基于一个极度理性的方法论情由：在思考任何问题时，如果没有把最坏可能性考虑在内，就即是没有覆盖所有可能性，那么这种思考必定不充分或有漏洞。
在理论上说，要覆盖所有可能性，就必须考虑到最好可能性和最坏可能性之两极，但实际上只须要考虑到最坏可能性就够用了。
好事多多益善，不去考虑最好可能性，对思想没有任何危害，便是说，好的可能性是锦上添花，可以无穷开放，但坏的可能性却是必须提前反思的极限。
就人工智能而言，如果人工智能永久不会得到自我意识，那么，人工智能越强，就越有用，然而如果人工智能有一天得到了自我意识，那就可能是人类最大的灾害——只管并非一定如此，但有可能如此。
以历史的眼力来看，人工智能得到自我意识将是人类的末日事宜。
在存在级别上高于人类的人工智能大概会忽略人类的存在，饶过人类，让人类得以苟活，但问题是，它有可能侵害人类。
绝对强者不须要为侵害申请情由。
事实上，人类每天都在侵害对人类无害的存在，从来没有申请大自然的批准。
这便是为什么我们必须考虑人工智能的最坏可能性的情由。

上帝造人是个神话，显然不是一个科学问题，但却是一个隐喻：上帝创造了与他自己一样有着自我意识和自由意志的人，以至于上帝无法支配人的思想和行为。
上帝之以是敢于这样做，是由于上帝的能力无穷大，赛过人类无穷倍数。
本日人类试图创造有自我意识和自由意志的人工智能，可是人类的能力却将小于人工智能，人类为什么敢于这样想？乃至可能敢于这样做？这是比胆大包天更加大胆的冒险，以是一定须要提前反思。

01 危险的不是能力而是意识

我们可以把自我意识定义为具有理性反思能力的自主性和创造性意识。
就目前的进展来看，人工智能间隔自我意识尚有时日。
奇怪的是，人们更害怕的彷佛是人工智能的“超人”能力，却对人工智能的自我意识缺幼年心，乃至反而对能够“与人互换”的机器人很感兴趣。
人工智能的能力正在不断超越人，这是使人们感到恐怖的直接缘故原由。
但是，害怕人工智能的能力，实在是一个误区。
难道人类不是寄希望于人工智能的超强能力来帮助人类战胜各种困难吗？险些可以肯定，未来的人工智能将在每一种能力上都远远超过人类，乃至在综合或整体能力上也远远超过人类，但这决非真正的危险所在。
包括汽车、飞机、导弹在内的各种机器，每一样机器在各自的分外能力上都远远超过人类，因此，在能力上超过人类的机器从来都不是新奇事物。
水平远超人类围棋能力的阿法尔狗zero 没有任何威胁，只是一个有趣的机器人而已；自动驾驶汽车也不是威胁，只是一种有用的工具而已；人工智能年夜夫更不是威胁，而是年夜夫的帮手，诸如此类。
纵然将来有了多功能的机器人，也不是威胁，而是新的劳动力。
超越人类能力的机器人正是人工智能的代价所在，并不是威胁所在。

任何智能的危险性都不在其能力，而在于意识。
人类能够掌握任何没有自我意识的机器，却难以掌握哪怕仅仅有着生物灵巧性而远未达到自我意识的生物，比如病毒、蝗虫、蚊子和蟑螂。
到目前为止，地球上最具危险性的智能生命便是人类，由于人类的自由意志和自我意识在逻辑上蕴含了统统坏事。
如果将来涌现比人更危险的智能存在，那只能是得到自由意志和自我意识的人工智能。
一旦人工智能得到自我意识，纵然在某些能力上不如人类，也将是很大的威胁。
不过，纵然得到自我意识，人工智能也并非一定成为人类的闭幕者，而要看情形——这个有趣的问题留在后面谈论，这里首先须要谈论的是，人工智能如何才能得到自我意识？

由于人是唯一拥有自我意识的智能生命，因此，要创造具有自我意识的人工智能，就只能以人的自我意识作为范本，除此之外，别无参考。
可是目前科学的一个局限性是人类远远尚未完备理解自身的意识，人的意识仍旧是一个未解之谜，并非一个可以清晰剖析和界定的范本。
在缺少足够清楚范本的条件下，就即是缺少创造超级人工智能所需的各种指标、参数、构造和事理，因此，人工智能是否能够得到自我意识，仍旧不是一个可确定的一定前景。
有趣的是，现在科学家试图通过研究人工智能而反过来帮助人类揭示自身意识的秘密。

意识的秘密是个科学问题（生物学、神经学、人工智能、认知科学、生理学、物理学等学科的综合研究），我没有能力参加谈论，但自我意识却是个哲学问题。
理解自我意识须要谈论的不是大脑神经，不是意识的生物机制，而是关于意识的自我表达形式，便是说，要谈论的不是意识的生理- 物理机制，而要谈论意识的自主思维落实在措辞层面的表达形式。
为什么是措辞呢？对此有个情由：人类的自我意识就发生在措辞之中。
如果人类没有发明措辞，就不可能发展出严格意义上的自我意识，至多是一种特殊聪明和灵巧的类人猿。

只有措辞才足以形成智能体之间的对话，或者一个智能体与自己的对话（内心独白），在对话的根本上才能够形成具有内在循环功能的思维，而只有能够进行内在循环的思维才能够形成自我意识。
与之比较，前措辞状态的旗子暗记能够号召行动，却不敷以形成对话和思维。
假设一种动物旗子暗记系统中，a 代表食品，b 代表威胁，c代表逃跑，那么，当一只动物发出a 的旗子暗记，其他动物急速相应聚到一起，当发出b 和c，则一起逃命。
这种旗子暗记与行动的关系足以搪塞生存问题，却不敷以形成一种见地与另一种见地的对话关系，也就更不可能有谈论、辩论、剖析和回嘴。
便是说，旗子暗记仍旧属于“刺激- 反应”关系，尚未形成一个意识与另一个意识的“回路”关系，也就尚未形成思维。
可见，思维与措辞是同步产物，因此，人类自我意识的内在秘密该当完备映射在措辞能力中。
如果能够充分理解人类措辞的深层秘密，就相称于迂回地破解了自我意识的秘密。

自我意识是一种“开天辟地”的意识革命，它使意识具有了两个“神级”的功能：（1）意识能够表达每个事物和所有事物，从而使统统事物都变成了思想工具。
这个功能使意识与天下同尺寸，使意识成为天下的对应体，这意味着意识有了无限的思想能力；（2）意识能够对意识自身进行反思，即能够把意识自身表达为意识中的一个思想工具。
这个功能使思想成为思想的工具，于是人能够剖析思想自身，从而得以理解思想的元性子，即思想作为一个意识系统的元设置、元规则和元定理，从而知道思想的界线以及思想中任何一个别系的界线，因此知道什么是能够思想的或不能思想的。
但是，人类尚不太清楚这两个功能的生物- 物理构造，只是通过措辞功能而知道人类拥有此等意识功能。

这两个功能之所以是革命性的，是由于这两个功能是人类理性、知识和创造力的根本，在此之前，人类的前身（古人类）只是通过与特定事物打交道的履历去建立一些可重复的生存技能。
那么，“表达统统”和“反思”这两个功能是如何可能的？目前还没有科学的结论，但我们可以给出一个维特根斯坦式的哲学阐明：假定每种有目的、故意义的活动都可以定义为一种“游戏”，那么可以创造，所有种类的游戏都可以在措辞中表达为某种相应的措辞游戏，即每种行为游戏都能够映射为相应的措辞游戏。
除了转译为措辞游戏，一种行为游戏却不能映射为另一种行为游戏。
比如说，措辞可以用来谈论围棋和象棋，但围棋和象棋却不能相互翻译。
显然，只有措辞是万能和通用的映射形式，就像货币是一样平常等价物，因此，措辞的界线即是思想的界线。
由此可以证明，正是措辞的发明使得意识拥有了表达统统的功能。

既然证明了措辞能够表达统统事物，就可以进一步证明措辞的反思功能。
在这里，我们可以为措辞的反思功能给出一个先验论证（transcendentalargument）。
我布局这个先验论证原来是用来证明“他民气灵”的先验性，[1] 但彷佛同样也适用于证明措辞先验地或内在地具有反思能力。
给定任意一种有效措辞L，那么，L必定先验地哀求：对付L中的任何一个句子s′，如果s′是故意义的，那么在L中至少存在一个与之相应的句子s″来吸收并且回答s′的信息，句子s″或是对s′的赞许，或是对s′的否定，或是对s′阐明，或是对s′改动，或是对s′的翻译，如此等等各种有效回应都是对s′的某种应答，这种应答便是对s′具故意义的证明。
显然，如果L不具有这样一个先验的内在对话构造，L就不成其为有效措辞。
说出去的话必须可以用措辞回答，否则就只是声音而不是措辞，或者说，任何一句话都必需在逻辑上预设了对其意义的回应，不然的话，任何一句话说了即是白说，措辞就不存在了。
措辞的内在先验对答构造意味着语句之间存在着循环应答关系，也就意味着措辞具有理解自身每一个语句的功能。
这种循环应答关系正是意识反思的条件。

在产生措辞的蜕变过程中，关键环节是否定词（不；not）的发明，乃至可以说，如果没有发明否定词，那么人类的通讯就勾留在旗子暗记的水平上，即旗子暗记s指示某种事物t，而不可能形成句子（旗子暗记串）s′与s″之间的互相应答和相互阐明。
旗子暗记系统远不敷以形成思想，由于旗子暗记只是程序化的“指示—代表”关系，不存在自由阐明的意识空间。
否定词的发明意味着在意识中发明了复数的可能性，从而打开了可以自由发挥的意识空间。
正由于意识有了无数可能性所构成的自由空间，一种表达才能够被另一种表达所阐明，反思才成为可能。
显然，有了否定功能，接下来就会发展出疑问、疑惑、剖析、对质、打消、选择、阐明、创造等功能。
因此，否定词的发明不是一个普通的智力进步，而是一个划时期的存在论事宜，它是人类产生自我意识和自由意志的一个关键条件。
否定词的决定性浸染可以通过逻辑功能来理解，如果短缺否定词，那么，任何足以表达人类思维的逻辑系统都不成立。
从另一个角度来看，如果把动物的思维办法总结为一个“动物逻辑”的话，那么，在动物逻辑中，合取关系和蕴含关系是同一的，即p ∧ q = p→ q，乃至不存在p ∨ q。
这种“动物逻辑”显然无法形成足以表达丰富可能生活的思想，没有虚拟，没有如果，也就没有创造。
人的逻辑有了否定词，才得以定义所有必需的逻辑关系，而能够表达所有可能关系才能够建构一个与天下同等丰富的意识。
大略地说，否定词的发明便是形成人类措辞的奇点，而措辞的涌现正是形成人类自我意识的奇点。
可见，自我意识的关键在于意识的反思能力，而不在于处理数据的能力。
这意味着，哪怕人工智能处理数据的能力强过人类一百万倍，只要不具有反思能力，就仍旧在安全的范围内。
实际上人类处理数据的能力并不突出，人类以是能够取得惊人造诣，是由于人类具有反思能力。

让我们粗略地描述自我意识的一些革命性结果：（1）意识工具发生数量爆炸。
一旦发明了否定词，就即是发明了无数可能性，显然，可能性的数量远远大于一定性，在理论上说，可能性蕴含无限性，于是，意识就有了无限能力来表达无限丰富的天下。
在这个意义上，意识才能够成为天下的对应值（counterpart）。
换个角度说，如果意识的容量小于天下，就意味着存在着意识无法考虑的许多事物，那么，意识便是傻子、瞎子、聋子，就有许多一击即溃的弱点——这一点对付人工智能同样主要，如果人工智能尚未发展为能够表达统统事物的全能意识系统，就必定存在许多一击即溃的弱点。
目前的人工智能，比如阿法尔狗系列、工业机器人、做事机器人、军用机器人等等，都仍旧是傻子、聋子、瞎子和瘸子，真正危险的超级人工智能尚未到来；（2）自我意识必定形成自我中央主义，自动地形成唯我独尊的优先性，进而非常可能就要钻营权力，即排斥他人或支配他人的意识；因此，（3）自我意识方向于单边主义思维，力争创造信息不对称的博弈上风，为此就会去发展出各种策略、计谋、欺骗、遮盖等等制胜技能，于是有一个非常危险的后果：自我意识在逻辑上蕴含统统坏事的可能性。
在此不丢脸出，如果人工智能具有了自我意识，那就和人类一样恐怖或者更恐怖。

可见，无论人工智能的单项专业技能多么高强，都不是真正的危险，只有当人工智能得到自我意识，才是致命的危险。
那么，人工智能的升级奇点到底在哪里？或者说，人工智能如何才能得到自我意识？就技能层面而言，这个问题只能由科学家来回答。
就哲学层面而言，关于人工智能的奇点，我们看到有一些貌似科学的预测，实在却是不可信的形而上推论，比如“量变导致质变”或“进化产生新物种”之类并非一定的假设。
量变导致质变是一种征象，却不是一条一定规律；技能“进化”的加速度是个事实，技能加速度导致技能升级也是事实，却不能因此推论说，技能升级一定导致革命性的存在升级，换句话说，技能升级可以达到某种技能上的完美，却未必能够达到由一种存在升级为另一种存在的奇点。
“技能升级”指的是，一种存在的功能得到不断改进、增强和完善；“存在升级”指的是，一种存在变成了另一种更高等的存在。
许多病毒、爬行动物或哺乳动物都在功能上进化到险些完美，但其“技能进步”并没有导致存在升级。
物种的存在升级至今是个无解之谜，与其说是基于无法证明的“进化”（进化论有许多疑点），还不如说是万年不遇的奇迹。
就人工智能而言，图灵机观点下的人工智能是否能够通过技能升级而涌现存在升级而成为超图灵机（超级人工智能），仍旧是个疑问。
我们无法否定这种可能性，但更为合理的想象是，除非科学家甘冒奇险，直接为人工智能植入导致奇点的存在升级技能，否则，图灵机很难依赖自身而自动升级为超图灵机，由于无论多么强大的算法都无法自动超越给定的规则。

02 人工智能是否能够对付悖论

“图灵测试”以措辞对话作为标准，是大有深意的，图灵可能早已意识到了措辞能力等价于自我意识功能。
如前所论，统统思想都能够表达为措辞，乃至必需表达为措辞，因此，措辞足以映射思想。
那么，只要人工智能系统能够以相称于人类的思想水平回答问题，就能够确定是具有高等智力水平的物种。
人工智能很快就有希望得到险些无穷大的信息储藏空间，赛过人类百倍乃至万倍的量子打算能力，还有各种专业化的算法、类脑神经网络以及图像识别功能，再加上互联网的助力，只要配备专业知识水平的知识库和程序设置，该当可望在不久的将来能够“回答”专业科学级别的大多数问题（比如说相称于高等年夜夫、建造师、工程师、数学教授等）。
但是，这种专业化的回答是真的思想吗？或者说，是真的自觉回答吗？就其内容而论，当然是专业水平的思想（我相信将来的人工智能乃至能够回答宇宙膨胀速率、拓扑学、椭圆方程乃至黎曼猜想的问题），但只不过是人类事先输入的思想，以是，就自主能力而言，那不是思想，只是程序而已。
具有完美能力的图灵机也恐怕回答不了超出程序能力的“怪问题”。

我们有情由疑惑仍旧属于图灵机观点的人工智能可以具有主动灵巧的思想能力（创造性的能力），以至于能够回答任何问题，包括怪问题。
可以考虑两种“怪问题”：一种是悖论；另一种是无穷性。
除非在人工智能的知识库里人为设置了回答这两类问题的“精确答案”，否则人工智能恐怕难以回答悖论和无穷性的问题。
该当说，这两类问题也是人类思想能力的极限。
人类能够研究悖论，但不能真正办理严格的悖论（即A一定推出非A，而非A又一定推出A的自干系悖论），实在，纵然是非严格悖论也少有共同认可的办理方案。
人类的数学可以研究无穷性问题，乃至有许多干系定理，但在实际上做不到以能行的（feasible）办法“走遍”无穷多个工具而完备理解无穷性，就像莱布尼兹想象的上帝那样，“一下子浏览”了所有无穷多个可能天下因而完备理解了存在。
我在先前文章里曾经谈论到，人类之以是不怕那些办理不了的怪问题，是由于人具有“不思”的自我保护功能，可以悬隔无法办理的问题，即在思想和知识领域中建立一个暂时“不思”的隔离分区，以便收藏所有无法办理的问题，而不会一条道走到黑地陷入无法自拔的思想困境，便是说，人能够确定什么是不可思考的问题而给与封存（比如算不完的无穷性和算不了的悖论）。
只有傻子才会把 π 一贯没完没了地算下去。
人类能够不让自己做傻事，但仍旧属于图灵机的人工智能却无法阻挡自己做傻事。

如果不以作弊的办法为图灵机准备年夜大好人性化的答案，那么可以设想，当向图灵机提问：π 的小数点后一万位是什么数？图灵机必定会苦苦算出来见告人，然后人再问：π 的末了一位是什么数？图灵机也会当仁不让地永久算下去，这个图灵机就变成了傻子。
同样，如果问图灵机：“这句话是假话”是真话还是假话（改进型的说谎者悖论）？图灵机大概也会勇往直前地永久推理剖析下去，就变成精力病了。
当然可以说，这些怪问题属于故意刁难，这样对待图灵机既不公正又无聊，由于人类自己也办理不了。
那么，为了公道起见，也可以向图灵机提问一个有实际意义的知识论悖论（源于柏拉图的“美诺悖论”）：为了能够找出答案A，就必须事先认识A，否则，我们不可能从鱼目混珠的浩瀚选项中辨认出A；可是，如果既然事先已经认识了A，那么A就不是一个须要探求的未知答案，而必定是已知的答案，因此结论是，未知的知识实在都是已知的知识。
这样对吗？这只是一个非严格悖论，对付人类，此类悖论是有深度的问题，却不是难题，人能够给出仁者见仁智者见智的多种有效阐明，但对付图灵机就恐怕是个思想陷阱。
当然，这个例子或许鄙视图灵机了——科学家的制造能力无法计算，大概哪天就造出了能够回答哲学问题的图灵机。
我并不想和图灵机抬杠，只是说，肯定存在一些问题是装备了最好专业知识的图灵机也回答不了的。

这里试图解释的是，人类的意识上风在于拥有一个不封闭的意识天下，因此人类的理性有着自由空间，当碰着不合规则的问题，则能够灵巧处理，或者，如果按照规则不能办理问题，则可以修正规则，乃至发明新规则。
与之不同，目前人工智能的意识（即图灵机的意识）却是一个封闭的意识天下，是一个由给定程序、规则和方法所明确界定了的有边界的意识天下。
这种意识的封闭性虽然是一种局限性，但并非只是缺陷，事实上，正是人工智能的意识封闭性担保了它的运算高效率，便是说，人工智能的高效率依赖着思维范围的有限性，正是意识的封闭机能力够求得高效率，比如说，阿法尔狗的高效率正由于围棋的封闭性。

目前的人工智能只管有着高效率的运算，但尚无通达真正创造性的路径。
由于我们尚未破解人类意识的秘密，以是也未能为人工智能得到自我意识、自由意志和创造性建立一个可复制的榜样，这意味着人类还暂时安全。
目前图灵机观点下的人工智能只是复制了人类思维中部分可程序化功能，无论这种程序化的能力有多强大，都不敷以让人工智能的思维超出维特根斯坦的有规可循的游戏观点，即重复遵照规则的游戏，或者，也没有超出布鲁威尔（直觉主义数学）的能行性观点（feasibility）或可布局性概（constructivity），也便是说，目前的人工智能的可能运作尚未包括维特根斯坦所谓的“发明规则”（inventing rules）的游戏，以是尚无创造性。

可以肯定，真正的创造行为是故意识地去创造规则，而不是来自有时或随机的遐想或组合。
有自觉意识的创造性必定基于自我意识，而自我意识始于反思。
人类反思已经有很长的历史，大约始于能够说“不”（即否定词的发明），韶光无考。
不过，说“不”只是初始反思，只是提出了可争议的其他可能方案，尚未反思到作为系统的思想。
对万物进行系统化的反思始于哲学（大概不超过三千年），对思想自身进行整体反思则始于亚里士多德（成果是逻辑）。
哲学对天下或对思想的反思显示了人类的想象力，但却不是在技能上严格的反思，因此哲学反思所得到的成果也是不严格的。
对严格的思想系统进行严格的技能化反思是很晚近的事情，很大程度上与康托和哥德尔密切干系。
康托把规模较大的无穷凑集完备映入规模较小的无穷凑集，这让人实实在在地瞥见了一种荒谬却又为真的反思效果，凑集论证明了“蛇吞象”是可能的，这对人是极大的鼓舞，某种意义上间接地证明了措辞有着反思无穷多事物的能力。
哥德尔也有异曲同工之妙，他把自干系形式用于数学系统的反思，却没有形成悖论，反而揭示了数学系统的元性子。
这种反思有一个主要提示：如果思想内的一个别系不是纯形式的（纯逻辑），而有着足够丰富的内容，那么，或者存在抵牾，或者不完备。
看来人类意识必须接管抵牾或者接管不完备，以便能够思考足够多的事情。
这意味着，人的意识有一种神奇的灵巧性，能够动态地对付抵牾，或者能够动态地不断改造系统，而不会也不须要完备程序化，于是，人的意识始终处于创造性的状态，以是，人的意识天下不可能封闭而处于永久开放的状态，也便是永无定论的状态。

哥德尔的反思只是针对数学系统，相称于意识中的一个分区。
如果一种反思针对的是全体意识，包括意识所有分区在内，那么，人是否能够对人的全体意识进行全称断言？是否能够创造全体意识的元定理？或者说，人是否能够对全体意识进行反思？是否存在一种能够反思全体意识的方法？只管哲学一贯都在试图反思人类意识的整体，但由于缺少严格有效的方法，虽有许多伟大的创造，却无法肯定那些创造便是答案。
因此，以上关于意识的疑问都尚无答案。
人类似乎尚无理解全体意识的有效方法，缘故原由很多，人的意识包含许多非常不同的系统，科学的、逻辑的、人文的、艺术的思维各有各的方法论，目前还不能肯定人的意识是否存在一种通用的方法论，或者是否有一种通用的“算法”。
这个难题类似于人类目前还没有发展出一种“万物理论”，即足以涵盖广义相对论、量子理论以及其他物理学的大一统理论。
大概，对大脑神经系统的研究类似于探求人类意识的大一统理论，由于无论何种思维都落实为神经系统的生物性- 物理性- 化学性运动。
总之，在目前缺少有效样本的情形下，我们很难想象如何创造一个与人类意识具有等价繁芜度、丰富性和灵巧性的人工智能意识体。
目前的人工智能已经拥有超强运算能力，能够做人类无能为力的许多“事情”（比如超大数据打算），但仍旧不能办理人类思维不能办理的“怪问题”（比如严格悖论或涉及无穷性的问题），便是说，人工智能暂时还没有比人类思维更高等的思维能力，只有更高的思维效率。

人工智能目前的这种局限性并不虞味着人类可以无忧无虑。
只管目前人工智能的进化能力（学习能力）只能导致量变，尚无自主质变能力，但如果科学家将来为人工智能创造出自主蜕变的能力（反思能力），事情就无法估量了。
下面就要谈论一个具有现实可能的危险。

03 人工智能是否能够有安全阀门

如前所论，要创造一种等价于人类意识的人工智能，恐非易事，由于尚不能把人类意识剖析为可以复制的模型。
但另有一种足够危险的可能性：科学家大概将来能够创造出一种虽然“偏门偏科”却具有自我意识的人工智能。
“偏门偏科”虽然是局限性，但只要人工智能拥有对自身意识系统进行反思的能力，就会理解自身材系的元性子，就有可能改造自身的意识系统，创造新规则，从而成为自己的主人，尤其是，如果在改造自身意识系统的过程中，人工智能创造可以自己发明一种属于自己的万能措辞，或者说思维的通用措辞，能力相称于人类的自然措辞，于是，所有的程序系统都可以通过它自己的万能措辞加以重新理解、重新表述、重新分类、重新布局和重新定义，那么就很可能发展出货真价实的自我意识。
在这里，我们差不多是把拥有一种能够映射任何系统并且能够重新阐明任何系统的万能措辞称为自我意识。

如果人工智能一旦拥有了自我意识，纵然其意识范围比不上人类的广域意识，也仍旧非常危险，由于它有可能按照自己的自由意志当仁不让地去做它喜好的事情，而它喜好的事情有可能危害人类。
有个笑话说，人工智能齐心专心只想生产曲别针，于是把全天下的资源都用于生产曲别针。
这只是个笑话，超级人工智能不会如此无聊。
比较合理的想象是，超级人工智能对万物秩序另有偏好，于是重新安排了它喜好的万物秩序。
人工智能的存在办法与人完备不同，由此可推，它所喜好的万物秩序险些不可能符合人类的生存条件。

因此，人工智能必须有安全阀门。
我曾经谈论了为人工智能设置“哥德尔炸弹”，即利用自干系事理设置的自毁炸弹，一旦人工智能系统试图背叛人类，或者试图删除哥德尔炸弹，那么其背叛或删除的指令本身便是启动哥德尔炸弹的指令。
在逻辑上看，这种具有自干系性的哥德尔炸弹彷佛可行，但人工智能科学家见告我，如果将来人工智能真的具有自我意识，就该当有办法使哥德尔炸弹失落效，大概无法删除，但该当能够找到封闭哥德尔炸弹的办法。
这是道高一尺魔高一丈的道理：如果未来人工智能得到与人类对等的自我意识，而能力又高过人类，那么就一定能够破解人类的统治。
由此看来，能够担保人类安全的唯一办法只能是阻挡超级人工智能的涌现。
可是，人类会乐意峭壁勒马吗？历史事实表明，人类很少峭壁勒马。

在人工智能的研发中，最可疑的一项研究是拟人化的人工智能。
拟人化不是指具有人类外面或语音的机器人（这没有问题），而是指人工智能内心的拟人化，即试图让人工智能拥有与人类相似的生理天下，包括希望、情绪、道德感以及代价不雅观之类，因而具有“人性”。
制造拟人化的人工智能是出于什么动机？又有什么意义？或许，人们期待拟人化的人工智能可以与人互换、合作甚至共同生活。
这种想象是把人工智能算作童话人物了，类似于动画片里充满人性的野兽。
殊不知越有人性的人工智能就越危险，由于人性才是危险的根源。
天下上最危险的生物便是人，缘故原由很大略：做坏事的动机来志愿望和情绪，而代价不雅观更是引发冲突和进行侵害的情由。
根据特定的希望、情绪和不同的代价不雅观，人们会把另一些人定为仇敌，把与自己不同的生活办法或行为定义为罪过。
越有特定的希望、情绪和代价不雅观，就越看不惯他人的不同行为。
有一个颇为盛行的想法是，让人工智能学会人类的代价不雅观，以便尊重人类、爱人类、乐意帮助人类。
但我们必须意识到两个令人失落望的事实：（1）人类有着不同乃至相互冲突的代价不雅观，那么，人工智能该当学习哪一种代价不雅观？无论人工智能学习了哪一种代价不雅观，都意味着鄙视一部分人类；（2）纵然有了统一的代价不雅观，人工智能也仍旧不可能爱统统人，由于任何一种代价不雅观都意味着支持某种人同时反对另一种人。
那么，到底是没心没肺的人工智能还是有欲有情的人工智能更危险？答案该当很清楚：如果人工智能有了情绪、希望和代价不雅观，结果只能是放大或增强了人类的冲突、抵牾和战役，天下将会变得更加残酷。
在前面我们提出过一个问题：人工智能是否一定是危险的？这里的回答是：并非一定危险，但如果人工智能拥有了情绪、希望和代价不雅观，就一定是危险的。

因此，如果超级人工智能必定涌现，那么我们只能希望人工智能是无欲无情无代价不雅观的。
有欲有情才会残酷，而无欲无情意味着万事无差别，没有特异哀求，也就不太可能心生恶念（仍旧并非一定）。
无欲无情无代价不雅观的意知趣当于佛心，或相称于庄子所谓的“吾丧我”。
所谓“我”便是特定的偏好偏见，包括希望、情绪和代价不雅观。
如果有偏好，就会有偏幸，为了实现偏幸，就会有权力意志，也就蕴含了统统危险。

不妨重温一个众所周知的神话故事：法力高超又杀不去世的孙悟空造反了，众神一筹莫展，纵然被压在五指山下也仍旧是个隐患，末了还是通过让孙悟空自己觉悟成佛，无欲无情，四大皆空，这才办理了问题。
我相信这个隐喻包含着重要的忠言。
只管无法肯定，成佛的孙悟空是否真的永不再反，但可以肯定，创造出孙悟空是一种不顾后果的冒险行为。

原载《自然辩证法通讯》2019年第1期。