宋溪 图

例如，在一个高度聪慧化的时期，出行有自动驾驶，饮食有自动做菜的炊具，社交有人工智能的安排或者有机器拟人化的伴侣，生养孩子则有智能化的抚育器，社会管理和决策则由中心巨型聪慧体进行判断。

那么，人类整体上，就逐渐演化成一种高度依赖人工智能存在的物种，虽然人类在人工智能的帮助下整体上的能力会增强，但人类作为独立的个体则会相应地退化。
这就存在一种总有一天人类无法理解人工智能，从而在这一互生的体系中失落去相应的位置和必要性的可能。

人工智能的进一步蜕变，则会形成其发展历史上的第二次跃迁，即人工智能压倒性地超过人类聪慧，并具备了自身的主体意识，从而开始摆脱客体的属性，反过来掌握人类。
这就形成了人工智能自身对人类的掌握这一形态。
对付这种形态的存在，则要知足以下条件。

第一，是人工智能要具有自我意识。
这并不是指人工智能在处理外界输入时的判断和反应超过了人类，而是人工智能要具有清晰的自我意识，从而将自己与人类主体区分开来。
这一点在当前的人工智能界依然存疑，但具有实在现的可能性。

第二，人工智能能够从掌握人类身上得到基本的经济利益。
这就哀求人类本身能够完成人工智能所不能完成的必要事情。
对人工智能系统本身来说，高度依赖人类的事情是对人工智能本身的掩护和更新，这也包括不断用人类聪慧去完善人工智能。

第三，人工智能具有掌握人类的手段。
未来的人工智能显然具有掌握人类的手段，伴随着全体经济体系的智能化，大部分的物质生产过程由人工智能体系所掌握，公共管理领域引入人工智能与暴力体系引入人工智能，会使人类在经济、管理和暴力领域都置于人工智能的掌握之下。
更主要的是，相称一部分人类认为人工智能可能会更好地匆匆进人类的公正，供应更好的管理。
这就使得在思想上具有了人工智能可能掌握人类的正当性不雅观念。

第四，人工智能具有掌握人类的必要。
这里的必要紧张是指如果不掌握人类，人类可能具有随时关闭乃至肃清人工智能自我存在的可能。
如果假设宇宙中任何个体形成的自我意识都具有保护自我存在和延续的目的和行为，那么，人工智能可能会主动掌握人类，以防止人类关闭它们。

对付第一种环境，确保人类的自我延续和独立，从而避免人类的退化，将是从现在开始的一个命题，但人类依然具有较为从容的韶光和主动权。

对付第二种环境，则是当前就要开始动手避免的。
一个有效戒备人工智能自身掌握形成的机制则包括四个层面：第一，从动机亲睦处出发，让人工智能不想掌握人类。
第二，从伦理、逻辑与规则出发，让人工智能不愿掌握人类。
第三，承认人工智能的权利和相互摆脱恐怖，让人工智能不必掌握人类。
第四，建立末了安全机制，让人工智能不能掌握人类。

[作者为中心党校（国家行政学院）公共管理教研部教授]

来源：北京日报理论周刊

编辑：樊宣 王少伟