胜负难料的博弈：当 DeepMind “AlphaCode”对阵人类程序员。

最前辈的 AI 成果，到底能不能办理现实天下中的编程问题？DeepMind 决定找出答案、以全新的视角看待编程事情，同时探索 AI 的能力边界。

除了这个核心问题以外，这番考试测验同样让我们在“什么可以自动化”、“什么不能自动化”以及对当前数据集中缺点的理解方面获益匪浅。

虽然 AI 供应的办理方案并不比人类程序员更好，但这背后隐蔽的深远意义大概才是最值得我们探究的巨大宝藏。

[一点趣闻] 你一定要看看 AlphaCode 在这场编程竞赛中的表现：

以下为 AlphaCode 事情事理的精彩可视化影像（点击「play」按钮播放）https://t.co/oLJA0zvB9H pic.twitter.com/P0Jh2BepNT

— DagsHub (@TheRealDAGsHub) 2022年2月15日

总部位于伦敦的 DeepMind，属于谷歌母集团 Alphabet 旗下的一家 AI 子公司。
凭借着在国际象棋和围棋领域的“超人类”表现，他们已经在 AI 研究中取得载入史册的战绩。
不久之前，他们又证明 AI 模型在预测蛋白质折叠构造方面也能比人类做得更好。

今年 2 月，DeepMind 宣告他们开拓出了一套名为 AlphaCode 的系统，打算作为 AI 天下的代表竞逐编程比赛。
它将参加编程竞赛网站 CodeForces 举办的十场编程比赛，与单场至少 5000 名人类程序员一决高下。

结果如何？DeepMind 在一篇博文中提到，AlphaCode“在竞赛选手里处于中游水平”，“这标志着 AI 代码生态系统首次在真实编程竞赛中具备一定的竞争力。
”

DeepMind 还指出，不少企业在招聘中也会引用竞赛中的题目，利用类似的问题筛选进入口试轮的求职者。

这篇博文还援引 CodeForces 网站创始人 Mike Mirzayanov 的发言称，AlphaCode 的表现超出他的预期。
他还补充道，“我刚开始也持疑惑态度，由于纵然是最大略的竞赛问题也不但是哀求实现算法，更哀求参赛者能够发明算法（这也是最困难的部分）。
”“AlphaCode 确实成为一位出息可期的竞争对手，我迫切想要看到它在一起发展后能达到若何的高度！
”

DeepMind 研究职员们在一篇论文中承认，AlphaCode 的出色表现离不开海量算力的支持。
高性能打算领域常用的 petaFLOP 单位也称千万亿次，代表每秒实行 1 千万亿次浮点运算。
而以 24 小时为周期按这个速率不间断运行，那么一天之内完成的浮点运算量将高达 86400 千万亿次。

“而我们的模型在采样与演习方面共投入了几百天，对应的算力花费可想而知。
”

论文脚注还补充道，卖力运行这项任务的谷歌数据中央“购买了等同于电力花费量的可再生能源。
”

研究职员在一篇长达 73 页的论文中阐明了自己的成果（尚未揭橥、也未完成同行评议）。
作者们写道，这套系统首先利用公共 GitHub 存储库中的代码进行“预演习”，详细办法类似于早期 AI 驱动型代码建议工具 Copilot。
（为了避免 Copilot 方法引发的一些争议，AlphaCode 特意过滤了演习数据集，专门选择容许公开拓布的代码。
）

之后，研究职员又利用一套包含竞争性编程问题、答案以及测试用例的小型数据集对系统开展进一步“调优”，个中不少素材便是从 CodeForces 平台上直接抓取的。

结果便是，目前网上发布的编程竞赛问题和答案数据集中存在问题。
在已经通过测试用例的程序中，至少有 30%实在并禁绝确。

于是乎，研究职员们建立了一套包含更多测试用例的数据集，希望更严格地掌握产出精确性。
他们认为这将大大减少能通过测试，但实际上并禁绝确的程序数据 —— 终极，这一比例从 30%低落到仅 4%。

DeepMind 在博文中指出，为了做好参与编程寻衅赛的准备，“我们针对每个问题创建了大量 C++与 Python 程序。
”“之后，我们把这些答案过滤、聚类并重排为一套包含 10 个备选程序的小型凑集，专门用于外部评估。
”

DeepMind 的博文提到，“必须承认，现有 AI 系统的能力还不敷以在这些比赛中出色办理各项问题。
大规模 transformer 模型虽然展现出了天生良好代码的可能性”，但仍旧须要合营“大规模采样与过滤”。

博文阐明道，研究职员的创造证明了深度学习的潜力，看起来这项技能有望完成须要批驳性思维的任务 —— 详细到这次试验，便是以代码形式为给定问题给出办理方案。
DeepMind 在博文中将这套系统描述为公司“破解智能”这一重大义务的主要一步，公司网站则把这项义务描述为“开拓出更通用、能力更强的问题办理系统”，也便是传说中的“通用人工智能”。

博文末了补充道，“我们希望这样的结果能够给竞争激烈的编程社区带来启示。
”

DeepMind 的博文还引用了谷歌软件工程师、“天下级”精彩程序员 Petr Mitrichev 的评论。

AlphaCode 在编程领域取得的进展给他留下了深刻印象。
Mitrichev 点评道，“办理竞争性编程问题是个极为困难的寻衅，这哀求参赛选手拥有良好的编码技能与创造性的问题办理能力。
”

Mitrichev 还对 AlphaCode 天生的六个办理方案做出评论，指出提交内容中包含一些“无害、但也无用”的代码片段。

在个中一项提交中，AlphaCode 声明了一个名为 x 的整数类型变量，但之后却一次也没用过。
在另一项图遍历提交中，AlphaCode 上来就按图内深度对所有相邻顶点进行了一轮排序，末了证明这个操作也完备没必要。
还有一个须要打算密集型“暴力”办理的问题，AlphaCode 写下太多额外代码，导致其办理方案的打算用时高达人类选手的 32 倍。

Mitrichev 写道，事实上，AlphaCode 便是直接实现了一套大规模暴力办理方案，险些没有利用任何调优技巧。

而且这套 AI 系统也跟人类程序员一样，会遇上办理不了的问题。
Mitrichev 从一项提交中看出，如果实在找不到办理方案，AlphaCode“表现得就像个绝望的人类程序员。
”它开始重复问题中的示例场景，“徒劳地想把示例转化成问题的答案。
”

“人有时候也会这么做，但答案怎么可能就在题干里呢？从这个角度看，AI 跟人还挺像的。
”AlphaCode 在这场比赛中的表现平平无奇、乏善可陈。
https://t.co/WMq7oHNZ5s

— Hacker News (@newsycombinator) 2022年2月6日

那么，AlphaCode 的比赛成绩究竟如何？根据 CodeForce 打算得出的程序员评分（利用与棋手排名相同的标准 Elo 评分系统），AlphaCode 的终极成绩为 1238 分。

但更有趣的是，我们可以用这个分数跟过去六个月以来参与 CodeForce 竞赛的所有程序员进行比拟。
研究职员在论文中指出，AlphaCode 的评分“在所有用户中排名前 28%。
”

但也有人对这样的结果一笑置之。

蒙特利尔麦吉尔大学 AI 研究员、兼职教授 Dzmitry Bahdanau 在推文中提到，CodeForce 中的大部分参与者都是高中生或者大学生；而且考虑到预演习 AI 系统背后的超强算力支持，“作答韶光”这个关键指标对 AI 选手的影响实在很小。

不过最主要的是，AlphaCode 的作答过程涉及对大量 AI 天生代码进行过滤，从中找到真正能够办理问题的部分。
以是换个角度看，这意味着“AlphaCode 天生的绝大多数程序都是错的。
”

以是，只管这确实是个很有希望的探索方向，但 Bahdanau 并不以为 AlphaCode 算得上是编程里程碑：“它达不到全球无双的棋手 AlphaGo，或者颠覆了全体科学领域的 AlphaFold 那样的高度。
我们还有很多事情要做。
”

AI 不会夺走你的开拓职位。
https://t.co/DCIkvqRfdL

— TNW (@thenextweb) 2022年2月14日

但 AlphaCode 的横空出世，总不会毫无影响吧？在论文最末端，AlphaCode 的研究职员们写下两句话，认为这种代码天生能力“有望在系统内实现可递归编写与自我改进功能，意味着系统可以通过自我迭代变得越来越前辈”。
好恐怖——此言一出，各类反乌托邦场景已经浮现在我们的脑海当中。

他们还在论文中提到另一个胆怯的可能性：“人类程序员的供应量可能持续增加，但需求大概将逐渐减少。
”

好在历史上的不少先例给我们吃下了定心丸，论文认为“以往某些自动化编程实例（例如编译器和 IDE）只是把程序员推向更高的抽象层级，同时降落了编程事情的准入门槛。
”这实在是好事。

但少数比较警觉的程序员已经开始关注 AlphaCode 的动向。
最近，Hacker News 上的一名编程学生就表示自己涌现了“AlphaCode 焦虑症”，“现在我以为自己就像在跟韶光赛跑，特殊害怕自己为之付出统统的职业溘然就彻底消逝了。
”

面对 CodeForces 揭橥的一篇流传宣传“未来已来”的博文时，一位心坎不安的程序员乃至举起了倒退的大旗，坚称“人类的自动化探索该当有其限度。
”这位程序员还尖锐地补充道，“DeepMind 那帮卖力开拓 AlphaCode 的程序员肯定“以为自己是不可替代的；错，他们将是第一批被取代的家伙。
”

以上这些人明显是以为 AlphaCode 的表现太强了，但也有人自傲满满、以为这套 AI 系统成绩太差。
第一位评论者的态度就非常明确，“这 AI 也太菜了。
”

原文链接：

https://thenewstack.io/when-deepminds-alphacode-competed-against-human-programmers/