关于前辈人工智能的辩论不止不休。
如何监督前辈人工智能？

//

1.又一离职员工发声

今年 4 月，我从 OpenAI 辞职，由于我对该公司在构建通用人工智能（即“常日比人类更聪明的 AI 系统”）方面是否会采纳负任务的行为失落去了信心。

我加入 OpenAI 时希望随着系统功能越来越强大，我们将在安全研究方面投入更多资金，但 OpenAI 从未做出这一转变。
人们意识到这一点后开始辞职。
我不是第一个也不是末了一个辞职的人。

我离开时，公司哀求我签署一份文件，个中包含一项不贬损条款，禁止我揭橥任何批评公司的话。
从文件和我与 OpenAI 的沟通中可以清楚地看出，如果我谢绝签署，我将在 60 天内失落去既得股权。

一些文件和电子邮件可见这篇文章：https://www.vox.com/future-perfect/351132/openai-vested-equity-nda-sam-altman-documents-employees

我和妻子仔细思考后决定，我未来辞吐自由比股权更主要。
我见告 OpenAI 我不能签署，由于我认为这项政策不合道德；他们接管了我的决定，我们分道扬镳。

OpenAI 等实验室正在构建的系统能够带来巨大的好处。
但如果我们欠妥心，它们可能会在短期内造成不稳定，并在长期内造成灾害性后果。

这些系统不是普通的软件；它们是从大量数据中学习的人工神经网络。
关于可阐明性、对齐和掌握的科学文献正在迅速增多，但这些领域仍处于起步阶段。

我们对这些系统的事情事理以及它们在变得越来越智能并可能在所有领域超越人类智能时是否会与人类的利益保持同等还有很多不理解的地方。

与此同时，这项技能险些没有任何监管。
相反，我们依赖开拓这些技能的公司进行自治，只管利润动机和对这项技能的愉快匆匆使他们“快速行动，冲破常规”。

当我们目前是唯一有权警告"大众年夜众的人时，让研究职员噤声并让他们害怕遭到报复是危险的。

我赞赏 OpenAI 承诺改变这些政策！

令人担忧的是，他们长期采纳这些威吓策略，直到"大众年夜众压力下才改正。
同样令人担忧的是，签署这些政策的领导人声称他们对此并不知情。

"大众年夜众将首当其冲地承受这些危险，我们有任务做得更好。
理性的人可能会对 AGI 是否会很快涌现持不同见地，但投入如此少的资源进行准备彷佛是屈曲的。

我们中一些最近从 OpenAI 辞职的人聚拢在一起，哀求实验室对透明度做出更广泛的承诺（见下文）。

致我以前的同事们，我对你们充满爱和敬意，希望你们连续推动内部透明化。
如果您有任何问题或批评，请随时与我联系。

2.《对前辈人工智能发出警告的权利》

我们是前辈的人工智能公司的现员工和前员工，我们相信人工智能技能有潜力为人类带来前所未有的利益。

我们也理解这些技能带来的严重风险。
这些风险包括进一步加剧现有的不平等、操纵和误导信息，以及失落去对自主人工智能系统的掌握，可能导致人类灭绝。
人工智能公司本身已经承认了这些风险，天下各国政府和其他人工智能专家也承认了这些风险。

我们希望，在科学界、政策制订者和"大众的充分辅导下，这些风险能够得到充分缓解。
然而，人工智能公司有强烈的经济动机往返避有效的监督，我们认为定制的公司管理构造不敷以改变这一现状。

人工智能公司节制着大量非公开信息，包括其系统的能力和局限性、保护方法的充分性以及不同类型侵害的风险水平。
然而，它们目前只有很弱的责任向政府分享部分信息，而对民间社会则没有任何责任。
我们认为，不能指望它们都志愿分享这些信息。

只要政府对这些公司没有有效的监督，现任和前任员工便是少数可以哀求他们向"大众年夜众卖力的人。
然而，广泛的保密协议阻挡我们表达我们的担忧，除非向那些可能未能办理这些问题的公司表达。
普通的举报人保护方法是不足的，由于它们侧重于造孽活动，而我们所担心的许多风险尚未受到监管。
鉴于全体行业都发生过此类案件，我们中的一些人有情由担心各种形式的报复。
我们并不是第一个碰着或评论辩论这些问题的人。

因此，我们呼吁前辈的人工智能公司遵守以下原则：

公司不会签订或实行任何禁止因风险干系问题而对公司进行“贬低”或批评的协议，也不会通过妨碍任何既得经济利益来报复与风险干系的批评；公司将为现任和前任员工供应可验证的匿名流程，以便他们向公司董事会、监管机构以及具有干系专业知识的适当独立组织提出与风险干系的担忧；公司将支持公开批评的文化，并许可其现任和前任员工向公众年夜众、公司董事会、监管机构或具有干系专业知识的适当独立组织提出对其技能的风险干系担忧，只要商业秘密和其他知识产权利益得到适当保护；公司不会对在其他流程失落败后公开分享风险干系机密信息的现任和前任员工进行报复。
我们承认，任何报告风险干系问题的努力都应避免不必要地透露机密信息。
因此，一旦存在向公司董事会、监管机构和具有干系专业知识的适当独立组织匿名提出疑虑的适当流程，我们承认最初应通过此类流程提出疑虑。
但是，只要不存在这样的流程，现任和前任员工就应保留向"大众年夜众报告其疑虑的自由。

署名人：

Jacob Hilton，前OpenAI员工

Daniel Kokotajlo，前OpenAI员工

Ramana Kumar，前Google DeepMind员工

Neel Nanda，现Google DeepMind员工，前Anthropic员工

William Saunders，前OpenAI员工

Carroll Wainwright，前OpenAI员工

Daniel Ziegler，前OpenAI员工

匿名，现OpenAI员工

匿名，现OpenAI员工

匿名，现OpenAI员工

匿名，现OpenAI员工

匿名，前OpenAI员工

匿名，前OpenAI员工

赞许者：

Yoshua Bengio（约书亚·本吉奥，图灵奖得主）

Geoffrey Hinton（杰弗里·辛顿，图灵奖得主）

Stuart Russell（斯图尔特·罗素，伯克利教授）