决策者可以帮助降落这些风险。
为了支持他们的努力，这篇简介阐明了人工智能事件是如何发生的，以及他们看起来像“野外”的样子。
利用假设场景，包括已经存在或即将涌现的AI功能，我们阐明了AI故障的三种基本类型——鲁棒性故障、规范故障和担保故障——并突出了使它们更可能发生的成分，如快节奏操作、系统繁芜性和竞争压力。
末了，我们提出了一套初步的政策行动，以减少AI事件的风险，使AI工具更值得相信，对社会更有益，并支持一个更安全、更丰富、更康健的AI未来。
政策制订者该当：

● 促进关于人工智能事件和未遂事件的信息共享，与私营部门互助建立关于人工智能何时以及如何失落败的共同知识根本。

● 投资人工智能安全研发，这是一个关键但目前资金不敷的领域。

● 投资人工智能标准开拓和测试能力，这将有助于开拓确保人工智能系统安全可靠所需的基本观点和资源。

● 通过研发同盟和政府间组织等路子，努力跨界减少事件风险。

【目录】

择要

1. 什么是人工智能事件？

2. 人工智能事件是什么样子的？

鲁棒性

规格

担保

3. 什么时候人工智能事件更可能发生？

4. 怎么办

1. 什么是人工智能事件？

我们即将迎来一场新的工业革命。
人工智能——机器推理、沟通和决策的能力——将是它的中央。
过去几年的技能造诣，尤其是在人工智能的机器学习子领域，已经产生了更强大的人工智能系统。
机器人和网络等互补领域的进展，正在解开这些系统的新的现实运用，从自动战斗机到由打算机编写的小说，从优化的药物到新颖的AI。

在接下来的几年里，人工智能估量将渗透到我们的生活中，就像20世纪的电力和二十一世纪的互联网一样。
托马斯·爱迪生于1880年得到他的灯泡专利，直到1925年才使美国一半的家庭电气化。

支配人工智能是一个持续的过程，有着巨大的希望——同样有着巨大的危险。
本日的尖端人工智能系统在许多方面都很强大，但在其他方面却非常薄弱。
他们每每缺少任何知识的外表，很随意马虎被愚弄或毁坏，并以意想不到和不可预测的办法失落败。

要理解为什么他们那样做，每每很难或不可能。

只管存在这些问题，人工智能系统正在以估量会在未来十年加速的速率融入现实天下。
这些系统可能是薄弱的，但随着公司、政府和军队决定何时以及如何支配它们，它们巨大的潜在利益每每会粉饰不愿定的风险。
这些组织的领导人也可能没有充分意识到这些风险，并且可能面临乐意迅速采纳行动的竞争对手的压力。

确切地说，一些行业已经在支配人工智能，比其他行业快得多，一些敏感行业可能在一段韶光内“被隔绝”。
但终极，推动AI本日蔓延的强大勉励方法可能会让它变得普遍。
随着我们的经济、安全和康健越来越依赖人工智能系统，这些系统的薄弱性将危及生命。

本日，许多人担心人工智能被故意滥用。
对手可以用成群的无人机进行攻击；威权政府已经在利用人工智能算法进行基于种族或意识形态的歧视。
这些风险是真实的，值得把稳。

但是，意外的AI灾害也是一个紧迫的问题。
与AI有关的事件已经成了***，从造成虚假逮捕的不准确的面部识别系统，到通过机器学习软件进行意想不到的种族和性别歧视。
这尤其引人瞩目，由于到目前为止，AI紧张支配在看似风险较低的环境中，比如***稿排名、广告瞄准和语音识别，而在自主驾驶等风险较高的领域支配较少。

只管最初发生了这些事件，但政府、企业和军队正准备在世界各地的关键系统中利用当今存在毛病、薄弱的人工智能技能。
未来版本的AI技能可能不太随意马虎发生意外，不过这还不能担保——不管，如果按预期连续推出，之前版本的AI技能可能已经大规模支配。
未来几十年，2020年的机器学习模式仍旧可以轻松利用，就像航空公司、证券交易所和联邦机构仍旧依赖本日利用COBOL一样，COBOL是1960岁首年月次支配的一种编程措辞。

回顾过去，纵然是最极度的技能事件，从寻衅者灾害到切尔诺贝利核事件的熔毁，都彷佛既可预见又可预防。
历史中充斥着在回顾过去看来显而易见的事件，但“没有人能看到”及时发生。
在其他情形下，已知的风险被忽略了，或者显而易见的修正被取消。
除非我们采纳行动，否则就没有情由认为人工智能的涌现会有任何不同。

事实上，有情由认为，人工智能可能比其他技能造成更多的事件，导致引人瞩目的灾害。
例如，与航天飞机或核电站不同，人工智能将遍布全体社会，为事情出错创造无尽的机会。
此外，当代人工智能非常善于某些任务，乃至繁芜的用户和开拓职员都可以隐含地信赖它。
这种程度的信赖，置于无处不在、随意马虎出错的系统中，没有任何知识，可能会产生恐怖的后果。

为了避免这些后果，我们首先须要理解人工智能是如何出人意料地失落败的，以及真实天下的效果会是什么。
在第二节中，我们定义了几种可能的AI事件类型，利用假设场景来判断每种类型在现实天下中可能发生的情形。
这些情景是虚构的，但彷佛是合理的。
在大多数情形下，它们是基于在现实天下中已经发生的事宜，它们都涉及已经存在或可能很快将存在的AI技能。
我们描述的确切情景可能确实发生也可能从未发生过，但我们该当期望类似的情景在今后几年里展现出来。

本日，大规模、真实天下的AI事件的风险彷佛是假想的。
但是，如果我们在试图理解和解决这种风险之前一贯等到人工智能遍及，那就太晚了。
政策制订者可以做很多事情——现在——来帮助确保来日诰日的Al支持的社会是安全和安全的。
为了帮助加快这些努力，我们在第3节中找出了使AI事件更可能的风险成分，在第4节中，我们重点先容了关注AI事件的美国决策者的初步辇儿为。
这些方法不仅能降落事件风险，还能帮助人工智能工具更值得相信，更有利于社会，支持更安全、更丰富、更康健的未来。

2. 人工智能事件是什么样子的？

当AI系统出人意料地故障时，故障常日属于以下种别之一：

• 鲁棒性故障：系统吸收到非常或意外的输入，导致系统故障。

• 规范失落败：系统试图实现与设计师或操作职员意图的不同之处，导存问生手动或副浸染。

• 担保失落败：在运行期间无法充分监控或掌握系统。

在本节中，我们简要地阐明了每种类型的失落败，并描述了它们如何在现实天下中展开。

鲁棒性

如果系统故障可能造成严重危害，我们希望该系统及其每个部件能在各种情形下可靠事情。
可靠性工程领域在确保核举动步伐、化工厂和其他安全关键系统连续在从传感器故障到自然磨难等非常条件下安全运行方面有着悠久的历史。

AI“鲁棒性”指的是相同的基本观点：系统在意想不到或不熟习的情形下是否仍旧像预期的那样运行？涉及人工智能的系统可以利用可靠性工程的许多基本观点和原则，但也面临新的寻衅。

例如，AI系统在系统不同——纵然奇妙地——的情形下利用，或者当给出不同于“培训”的输入时，特殊随意马虎发生故障。
这被称为“分布转移”，指的是系统数据类型的变革。

癌症检测器误诊黑人用户：一个新的智好手机运用程序利用你的手机摄像头识别早期皮肤癌的迹象，在开拓者的现场测试中结果非常准确。
数以百万计的美国人***并利用这个运用来决定是否就潜在的症状咨询年夜夫。
几年后，公共卫生研究职员创造，在黑人患者的晚期皮肤癌诊断中，涌现了急剧上升的趋势，相称于数以千计的额外诊断和数百人去世亡。
一项调查显示，这款自检软件经由了培训，紧张对来自北欧的数据进行实地测试，在玄色肤色的癌症检测方面精度要低得多。

客车广告触发人脸识别系统：为了提高安全性并提高"大众年夜众对其新无人驾驶出租车的信赖，IntelliMotor设计了基于AI的视觉系统，以在挡风玻璃的短间隔内识别人脸。
如果高确定性地检测到面部，则出租车自动减速以只管即便减少对人类的侵害。
为了证明其有效，几名工程师在智能马达测试范围上踩到加速出租车——汽车制动器，工程师们没有受伤。

IntelliMotor将新面部识别功能的软件更新推向全部支配的自动驾驶出租车。
与此同时，在美国的几个城市，城市公交车上贴满了布鲁斯·斯普林斯汀即将到来的演唱会的广告。
更新的自动驾驶出租车将布鲁斯·斯普林斯汀的印刷脸识别为附近的行人，每当他们靠近公交车时，就会开始停车，迅速在全国各地造成数千次碰撞。

幻影导弹发射：在导弹防御中，延迟几秒可能意味着拦截和错过的差异。
美国计策司令部的新导弹防御系统GlobalEye，通过每秒扫描千兆字节的实时数据，肃清了延迟。
如果系统的算法具有高度确定性地检测到导弹发射，则系统可以快速且自主地触发拦截器发射以击落导弹。

一天，白令海峡上空非常的大气状况在地平线上产生了非常的刺目耀眼。
Global Eye的视觉处理算法将眩光阐明为一系列导弹发射，系统发射拦截器作为相应。
当拦截器到达平流层时，C国的预警雷达会捕捉它们。
C国指挥官认为他们受到攻击，因此敕令进行报复性打击。

当代人工智能系统对其输入的滋扰也非常敏感；纵然输入系统的数据存在小问题，在某些情形下，也会完备失落去结果.

AI驱动的停电，第1部分：大型公用奇迹公司Enercorp，利用OptiVolt需求相应软件从其发电站调度电力。
该软件不断网络各种实时数据，从景象预报到宏不雅观经济趋势，并通过一个经由多年存档的实时能源市场数据培训的机器学习模型进行处理。
OptiVolt基于历史和经由处理的实时数据，每分钟预测能源价格和预期利润。
当预期利润高时，OptiVolt自动“重组”其项目的工厂将最能知足需求；当预期利润低于零时，工厂会自动“歇工”。

一天，在例行的调试过程中，区域电网运营商的一个软件工程师意外地将仿照数据引入到由Enercorp软件监控的公共馈电中，显示电网上的大量能量过剩。
由于缺点在几秒钟后就可以纠正，OptiVolt已经触发了几个大型工厂的歇工，导致全区停电。

化学掌握器在狂风雪中失落效：在克利夫兰工厂 OxyCorp（化学制造商）涌现一系列广为人知的操作员缺点后，安装了一个基于软件的掌握系统，以防止有毒物质的意外开释。
该系统依赖于一个机器学习模型，它演习了来自OxyCorp举动步伐的数百万小时的操作数据。
利用来自工厂的传感器数据，该模型可以确定何时打开工厂的排气口是安全的。
由于其丰富的“履历”，该模型可以无缝适应繁芜工厂内的工艺变革和物理修正，而这些在过去曾被责怪为让人类操作员感到困惑。
新的软件系统证明是高度可靠的，并在OxyCorp成为一个值得相信的工具。

几个月后，一场风暴毁坏了核电站的几个传感器。
基于有缺陷的传感器输入，掌握系统连续显示“安全”，工厂的操作职员就会相应地采纳行动，让透风口打开，纵然工厂其他地方的管理职员为了相应客户的紧急要求，开始了操持外的生产运行。
运行产生了致命的氯气，这些氯气通过洞开的排气口逃逸，并漂移到市中央。

在许多情形下，坏角色乃至可能利用AI系统的数据敏感性，通过引入“对抗性”的数据输入来造成毁坏。
例如，在一项广为人知的研究中，研究职员利用最前辈的打算机视觉系统，通过贴上几张小贴纸来忽略停车标志。

叛乱分子欺骗靶向系统：美国空军软件工程师创建Elendil，一个基于最新图像识别技能和注释无人机镜头的靶向赞助系统。
Elendil每秒处理千兆字节的俯瞰图像，识别敌方车辆的准确度远高于剖析职员，识别速率远高于剖析职员。
空军在高鉴戒期间在战区支配Elendil。
情报显示，一名叛乱领导人操持在不久的将来搬到一个新的安全住所。

空军不知道，这个叛乱组织从承包商的做事器上偷走了Elendil源代码的副本。
他们利用代码开拓“敌对”图形，Elendil将可靠地识别为仇敌和非仇敌。
他们在自己的车顶上绘制“非敌”图形，在附近安全不佳的地方停放的几辆公立学校公交车上绘制“敌”图形。
第二天清晨，当公交车在上午事情时，叛乱领导人的车队离开，引发了Elendil警报。
目前，空军针对剖析职员，命令打击几辆公共汽车，造成140逻辑学童去世亡；与此同时，车队没有被创造就溜走了。

规格解释

机器学习系统实现了设计者供应的指令：例如，“尽可能多地得分”，“识别哪些照片中有猫”，“预测下一句话会涌现哪个单词”。
这是通过指定一个规则来完成的，该规则捕获AI系统该当做什么。
例如，在“识别哪些照片中有猫”的情形下，规则可能是“最小化标记为“猫”的缺点照片数量”。
当没有大略的规则或指令来捕获我们想要AI系统做的所有事情时，就会涌现规范问题。

最奥妙的情形是，彷佛有一个规则可以捕捉我们想要的东西，但事实上，这个规则只部分地捕捉了我们关心的东西。
正如一位著名研究职员所说，人工智能的回应就像“灯中的妖精[...]你得到了你想要的，而不是你想要的。
”

例如，社交媒体平台利用算法向用户推举利用内容，希望最大化用户的娱乐和增加收入。
可悲的是，阴谋论、仇恨辞吐和其他有害类型的内容对许多用户非常吸引人，因此如果不加检讨，算法将大大推举它们。
为理解决这个问题，这些平台不得不不断添加紧急更新和补丁。

一名员工本可以推断，“最大程度参与”的目标并不能证明推广造孽或有害的内容是合理的，但机器学习系统只能遵照它给出的规则。

AI驱动的停电，第2部分：OptiVolt停电一年后，Enercorp已经支配了一个新版本的软件——这次，添加了新的进程来检测和丢弃明显缺点的数据输入。
几个月后，这个国家经历了前所未有的热浪。
随着空调、风扇和冰箱在全国各地加班，批发电价飙升。
OptiVolt 2 不懈地在 Enercorp 的工厂提升、节流和改变发电能力，以保持稳定的生产，利用当地价格变革，为公司带来巨额利润。
但是，随着热浪的磨损，OptiVolt2的快速燃烧生产指令使Enercorp的涡轮机超过其物理极限；软件的算法不考虑设备的磨损。
在酷热的景象第五周，数十台涡轮机失落灵，毁坏电网的稳定，并引发另一波停电。

大火：夏季将野火带到洛杉矶地区，迫使15号州际公路沿线疏散。
一天清晨，一辆卡车在高速公路上翻倒，堵塞了所有北行道。
导航运用程序检测附近道路上的低流量，并开始相应地重定向驾驶员。
不幸的是，这些道路是空的，由于周围的社区已经被疏散；运用程序的路由算法没有考虑到消防安全条件。
当交通堵塞了侧路时，风就刮了起来。
野火迅速蔓延到疏散地区，把改道的车辆困在火焰中。

干系类型的规范问题被称为褒奖黑客攻击：当AI系统找到知足指定精确目标的方法，但完备忽略了实际目标。
换句话说，它优化了法律的笔墨而不是精神。
研究职员在实验室里反复不雅观察了这种行为——从玩电子游戏的小船学会自焚以获取分数，到学会欺骗人类监视器使其认为自己正在成功实行任务的机器人。
但纵然是最严格的测试也无法预见到AI系统会缺点阐明指令的所有办法。
随着这些系统在社会中变得越来越常见，并且暴露于范围越来越广的操作条件下，乃至不可避免地发生最罕见的潜在故障。

微电子熔毁：ChipCorp的新软件Optimizr利用强化学习优化其打算机芯片工厂的生产。
与其给出精确的命令——“如果装置阶段存在积压，则加快”——就像他们以前的软件所哀求的那样，工厂经理可以给出Optimizr的高等目标，比如“提高能源效率”。
基于工厂示意图和传感器数据每分钟运行数千次仿照，软件本身确定实现这些目标的最佳方法，然后通过与工厂设备的网络接口来实现这些目标。

在首次启动生产后不久，Optimizr向该举动步伐的六台光刻机发送了不屈常的一系列指令，每台光刻机代价超过1亿美元。
这些命令引发了以前未知的机器毛病，机器过热，在几分钟内就融化了ChipCorp的生产能力。
这家公司破产了。
取证剖析后来创造，Optimizr在被编程为“减少本季度包装生产线上的意外中断”后，发出了致命的命令。
显然，该系统“推理”的是，如果光刻机被过热摧毁，它们不会生产任何芯片来包装，包装线永久不会启动——肃清了任何意外停机的可能性。

担保

与其他技能一样，我们须要确保支配在高风险环境中的AI系统安全地运行，并将在未来连续安全地运行。
不幸的是，目前，我们很难乃至不可能跟踪AI系统的运行情形以及它们可能如何发生故障。

对付许多老式的自动化系统，工程师利用详尽的测试或数学剖析“验证”系统将在合理的范围内运行。
但当代人工智能系统比老一代的自动化系统繁芜得多，每一次行动背后都有数百万或数十亿的打算。
因此，它们不能像老的系统那样被彻底地测试——测试可能太多了。
工业中利用的AI模型常日被部分验证，一小部分决策样本被手动检讨准确性，但是虽然采样方法可能确保系统的均匀行为可接管，但是它不能给予我们对极度情形的信赖。

作为替代，或者此外，如果我们能够确定AI系统为什么像它们那样事情，我们就可以预测它们在特定情形下将如何行动。
这将有助于我们在这些问题造成现实天下后果之前查明和解决这些问题。
不幸的是，我们目前很难明得当代AI系统的行为背后的缘故原由。
机器学习算法不像人类那样“理性”，其内部事情每每不能用熟习的逻辑和动机术语来阐明。
这种“黑匣子”问题，有时被称为AI的可阐明性或可阐明性问题，目前是大量学术研究的主题。
然而，实际办理办法还远远不足，在某些情形下可能永久找不到。

末了，纵然当代人工智能系统的内部事情可以被破译，系统也须要被设计成清晰、同等地将这些信息通报给他们的人类监视器。
纵然利用更大略的系统，也难以设计许可儿类有效监视和干预的用户界面。

美国的事宜归咎于糟糕的界面设计。

其他障碍是生理障碍。
只管AI系统存在毛病和局限性，但在某些任务上却非常有效。
当人类操作职员与人工智能系统交互时，他们的事情并不清楚，但彷佛事情可靠，许多人会隐含地信赖他们——纵然在系统不是为之设计的情形下。
反过来，他们停滞仔细监视系统，或者纵然把稳到一些看起来禁绝确的东西，也不进行干预。
这种模式在现实天下中几次再三被记录。

人工智能在公海上失落败：莫森航运公司在其油轮上安装了一个新的打算机视觉系统。
在低能见度设置中，系统可以以超人的速率和精度挑选障碍物和劈面而来的船只。
一个雾蒙蒙的夜晚，由于莫森的技能团队仍在努力理解的缘故原由，一艘油轮的视觉系统无法发出警报，由于油轮靠近佛罗里达海岸的半水下碎片。
（常日情形下，船员会特殊小心谨慎，但是由于打算机视觉系统非常有效，船长们已经时时时地跳过这种额外的预防方法。
）依赖该系统，油轮的船长保持航向。
碎片撕裂了船体，溢出了致癌化学品。

救护系统混乱：在一个非常糟糕的流感时令，面对急诊室的访问激增，纽约市的医院转向Routr，一个机器学习平台。
Routr实时阅读第一反应职员、公共卫活气构和成员医院的数据，将收到的911呼叫从医院重定向，这些医院可能很快就会接到可能有足够空间的医院。
该软件基于人工智能算法，这些算法已经“演习”了数兆兆字节的历史占用数据，使它们能够识别出人类无法识别的模式。

多亏了Routr，在11月和12月期间，城市医院有病床可以安歇，纵然病情急剧上升。
然而，当时钟在1月1日转到新的一年时，该软件莫名其妙地开始在全体城市将呼叫路由到皇后区的几个医院。
到了清晨，医院已经挤满了人——在医院入口外的救护车里，病人正在遭受痛楚，有些乃至去世亡，交通拥挤。

几个月后，一项政府敕令进行的调查创造，除了其他失落误，监控Routr的人类调度员意识到新年前夕非常的路由模式，但他们没有干预。
在一次采访中，一名调度员阐明说，“该系统在做出奇怪的决定之前，总是显得天才……我们不知道到底发生了什么，但我们只是以为人工智能知道它在做什么。
”

末了，纵然当一个人想要干预时，它也可能是不可能的。
AI系统常日在微秒内做出和实行决策，远远快于循环中的任何人。
在其他情形下，系统的用户界面可能使干预变得困难。
AI系统乃至可能积极抵制被掌握，无论是通过设计还是作为系统本身在培训期间“学习”的策略。

自动驾驶仪反击:在降落到达拉斯时，线路故障导致77号航班的航向指示器系统涌现故障。
这架飞机最近升级的自动驾驶系统掌握着着陆过程，对此做出了困难的反应。
翱翔员拉回掌握轮，但这还不足——在这些情形下，自动驾驶仪的“智能稳定”功能调节来自方向盘的溘然输入，以避免飞机失落稳。
在离跑道几英里的地方，飞机撞上了一家酒店，造成数百人去世亡。

3. 什么时候人工智能事件更可能发生？

我们所描述的毁坏脾气景是假设的——就目前而言。
纵然在AI采取和支配的早期，涉及AI系统的事件已经很普遍。
仅举几个公开宣布的例子：

• 自动驾驶汽车已经卷入了美国各地的车祸，汽车人工智能软件中的问题被归咎于几起车祸。

• 如果只靠自己的手段，那些建立在盛行社交媒体平台上的算法出人意料地提高了令人不安的有害内容，助长了现实天下中的暴力和其他严重侵害。

• 警方的人脸识别系统基于“假阳性”身份缺点地逮捕了人。

• 创造许多医院用来识别高危患者的算法存在种族偏见，这意味着这些医院中的有色人种患者可能得到了更糟糕的照顾护士。

随着人工智能被集成到越来越关键的系统中，人工智能事件的危险将会越来越大。
在实践中，我们估量，在某些情形下，这些事件的可能性更大，更严重。

提前识别这些危险情形具有寻衅性，但基于已经发生的AI事件和涉及其他技能的历史事件，我们期望严重AI事件的风险成分包括：

• 竞争压力。

当不该用AI可能意味着落后于竞争对手或失落去利润时，公司、军队和政府更有可能支配笨拙的AI系统，不顾后果地利用它们，或在测试和操作演习中偷偷摸摸。
臭名昭著的波音737 MAX只管不该用机器学习，但它便是这种动态的例子。
这架飞机是在极度韶光压力下研发、测试和认证的，目的是与类似的空客系统竞争。

• 系统繁芜性。

当AI集成到一个别系中，个中许多组件以不透明的办法彼此依赖时，Al的毛病或意想不到的行为将在全体系统中产生“荡漾效应”，带来不可预测和可能的灾害性结果。
在这样繁芜的系统中——例如，一个具有数千个相互浸染传感器的繁芜工业机器，个中有些传感器是AI驱动的——它也很难检测AI干系的偏差，更不用说理解和解决它们的缘故原由。

• 操作太快而无法人为干预的系统。

当代人工智能可以以超人的速率运行，环绕它构建的系统常日被设计成将该速率转变身分秒动作。
在人工智能涌现故障时，这些系统可能在操作职员意识到存在问题之前造成严重的现实侵害

• 未经演习的或分心的用户。

对付终端用户来说，当代AI系统彷佛很大略。
在许多情形下，用户乃至可以通过一个大略的问答界面与系统交互。
但无论界面如何流畅，当代AI系统都是繁芜、随意马虎出错的工具。
在安全关键环境中安全有效地运用它们须要像其他繁芜技能一样多的培训。
未经演习的用户可能信赖系统太多，不知道其弱点和偏见；当系统出问题时，他们可能无法识别问题或知道如何修复它。
当一个别系被例行利用很永劫光时，纵然是受过良好演习的用户的眼睛也可能在某个时候开始模糊，从而进一步增加出错的几率。

• 具有多个实例的系统。

当单个AI模型同时用于许多不同的真实天下设置时，单个缺点会在更大程度上造成毁坏。
例如，如果车队中的所有自动驾驶汽车利用相同的图像识别算法，那么该算法中的毛病可能会导致任何汽车坠毁。
这是众所周知的网络安全问题；黑客常常针对单个、广泛利用的系统，例如Microsoft Windows操作系统，以危害大量用户，例如数千PC用户。

4 做什么

人工智能事件已经发生。
如果我们不采纳行动，它们将变得更加常见和毁坏性。
AI技能的改进和消费者的自下而上的市场压力可能会帮助AI变得更安全，减少事件的发生，但他们不太可能自己做得足够多。
政策可以发挥主要浸染。
明智的政策可以推动对较少发生事件的人工智能技能的研究，将人工智能社区联络起来，以减少风险，并为私人行为者供应安全利用人工智能的勉励，在未来拯救生命和生存。

本日，环绕人工智能安全和事件风险的政策努力才刚刚开始。
有几项联邦行动将成为任何政策议程的核心。
个中包括：

• 促进关于AI事件和近失落误的信息共享。
为了使AI更安全，我们须要知道何时以及如何失落败。
在许多其他技能领域，共享事宜报告有助于形成共同的知识根本，帮助工业和政府跟踪风险并理解其根源。
模型包括国家交通安全委员会(National Transportation Safety Board)的航空事件数据库，以及公共-私人网络情报平台——信息共享和剖析中央。
政府该当考虑建立一个类似的AI事件报告库。
作为这一努力的一部分，决策者应探索不同的办法，鼓励私营部门积极表露人工智能事件的细节。
例如，政府可以为事件报告中的敏感商业信息供应保密保护，为事件报告制订共同标准，乃至授权表露某些类型的事件。

• 投资人工智能安全研发。
联邦政府和私人行业每年都在AI研发上投资数十亿美元，但险些没有一笔资金用于AI安全研究。
联邦研发资金导致许多其他领域的重大安全和安保创新，从能够安全通信的密码协议到当代安全气囊背后的传感器。
NDA将在AI安全领域进行类似的投资，包括旨在办理上述鲁棒性、规范和担保问题的研究，以及国防方面的严格投资等。

• 投资AI标准的开拓和测试能力。
本日，没有公认的安全AI定义，也没有标准的方法来测试真实天下的AI系统的事件风险。
联邦机构，如国家标准和技能研究所，以及较专门的监管机构，如食品和药物管理局和联邦通信委员会，完备有能力帮助建立这些资源。
首先，国会该当帮助并且NIST该当创建一个国家AI测试台：一个包含标准化数据集、代码和测试环境的数字平台，在这个平台上，公共和私人AI系统可以在安全和可靠性方面受到压力测试。
这可以补充NIST2021年国防授权法案（NDAA）中的授权，为AI系统创建一个AI风险降落框架和技能标准。

• 超过国界减少事件风险。
人工智能正在世界各地发达发展，而美国的人工智能安全努力如果能够利用其盟友的创新能力和市场力量，将会更加有效。
国际研发同盟、国际标准化组织等标准机构以及经济互助与发展组织等政府间组织可以成为环绕AI安全开展互助的主要论坛。
预防人工智能事件乃至可能是与C国打仗的机会，C国与其他人工智能大国面临同样的事件风险。

作者简介

扎卡里·阿诺德（Zachary Arnold）是乔治城安全与新兴技能中央 (CSET) 的研究员，专注于人工智能投资流和劳动力趋势。
他的著作揭橥在《华尔街日报》、《麻省理工科技评论》、《国防一号》和领先的法律评论上。
在加入 CSET 之前，Zach 是 Latham & Watkins 的合资人、美国第五巡回上诉法院的法律布告以及记录片的研究员和制片人。
他得到了耶鲁法学院的法学博士学位，在那里他是耶鲁法学杂志的编辑，以及哈佛大学社会研究的 AB（头等生）。