择要：强化学习有上风也有局限。

谷歌旗下人工智能公司 DeepMind 发布了一篇新论文，它讲述了团队如何利用 AlphaGo 的机器学习系统，构建了新的项目 AlphaZero。
AlphaZero 利用了名为「强化学习」（reinforcement learning）的 AI 技能，它只利用了基本规则，没有人的履历，从零开始演习，横扫了棋类游戏AI。

AlphaZero 首先征服了围棋，又完爆其他棋类游戏：相同条件下，该系统经由 8 个小时的演习，打败了第一个击败人类的 AI——李世石版 AlphaGo；经由 4 个小时的演习，打败了此前最强国际象棋 AI Stockfish，2 个小时打败了最强将棋（又称日本象棋）AI Elmo。
连最强围棋 AlphaGo 也未能幸免，演习 34 个小时的 AlphaZero 赛过了演习 72 小时的 AlphaGo Zero。

图/ AlphaZero 视角下，在比赛中赢，平局或输的局数（来自 DeepMind 团队论文）

有名 AI 博主 Adit Deshpande 来自加利福尼亚大学洛杉矶分校（UCLA），他曾在博客中揭橥过「深度学习研究评论」系列文章，解读了 AlphaGo 胜利背后的力量。
他在文章中先容到，机器学习领域可以分为三大类：监督学习、无监督学习和强化学习。
强化学习可以在不同的情景或者环境下学习采纳不同的行动，以此来得到最佳的效果。

图/Adit Deshpande 的博客《Deep Learning Research Review Week 2: Reinforcement Learning》

我们想象一个小房间里的一个小机器人。
我们没有编程这个机器人移动或走路或采纳任何行动。
它只是站在那里。
我们希望它移动到房间的一个角落，走到那里会得到褒奖分数，每走一步将会丢失分数。
我们希望机器人尽可能到达指定地点，机器人可以向东、南、西、北四个方向运动。
机器人实在很大略，什么样的行为最有代价呢，当然是指定地点。
为了得到最大的褒奖，我们只能让机器人采取最大化代价的行动。

图/Adit Deshpande 的博客《Deep Learning Research Review Week 2: Reinforcement Learning》

AlphaZero 完爆棋类游戏AI，它的代价有多大？

AlphaGo Zero 是个打破性的进展，AlphaZero 也是吗？国外专家剖析，后者在技能上有四点打破：

一、AlphaGo Zero 根据胜率进行优化，只考虑胜、负两种结果；而 AlphaZero 则是根据结果进行优化，考虑到了平局等可能。

二、AlphaGo Zero 会改变棋盘方向进行强化学习，而 AlphaZero 则不会。
围棋的棋盘是堆成的，而国际象棋和将棋则不是，因此 AlphaZero 更通用。

三、AlphaGo Zero 会不断选择胜率最好的版本更换，而 AlphaZero 则只更新一个神经网络，减少了演习出不好结果的风险。

四、AlphaGo Zero 中搜索部分的超参数是通过贝叶斯优化得到的，选取会对估计结果产生很大影响。
而 AlphaZero 所有对弈都重复利用相同的超参数，因此无需针对游戏进行特定调度。

第四范式资深机器学习架构师涂威威见告极客公园，AlphaZero 有打破也有局限：

一、DeepMind 这篇论文核心是证明了 AlphaGo Zero 策略在棋类问题上的通用性；在方法上并没有特殊亮眼的地方。
AlphaZero 实在是 AlphaGo Zero 策略从围棋往其他类似棋类游戏的拓展版，并降服了基于其他技能的棋类游戏 AI，它们在此之前是最好的。

二、AlphaZero 也只是办理规则明确、完美信息博弈的类似棋类游戏的「通用」引擎，对付更繁芜的其他问题，AlphaZero 依然会碰着困难。

此前，旷世科技孙剑解读 AlphaGo Zero 时曾表示，「强化学习就算可以扩展很多别的领域，用到真实天下中也没有那么随意马虎。
比如说强化学习可以用来研究新药品，新药品很多内部的构造须要通过搜索，搜索完往后制成药，再到真正怎么去考验这个药有效，这个闭环代价非常昂贵，非常慢，你很难像下围棋这么大略做出来。
」

三、AlphaZero 也须要非常多的打算资源才能办理相对更为「大略」的棋类问题，本钱非常高。
据极客公园理解，DeepMind 在论文中称，他们利用了 5000 个第一代 TPU 天生自对弈棋谱，并用了 64 个第二代 TPU 来演习神经网络。
此前有专家向某媒体表示，TPU 虽然性能很惊艳，但是本钱也会很高，有某国际风投契构的投资人对此还发过朋友圈，个中的一句话便是：「这么贵的芯片，我也便是看看......」

四、目前的 AlphaZero 在围棋上离「围棋上帝」可能还有间隔，赢了人不代表便是上帝，目前的网络构造、演习策略是不是最优的，实在还是值得进一步研究的。

虽然有一定的局限，但其运用处景值得深挖。
在让机器学习更为通用的研究方向上，有很多其他研究领域值得关注，比如 AutoML、迁移学习等等。
同时，如何进一步以更少的代价（打算代价、领域专家代价）得到更为通用的 AI 引擎，让 AI 在实际运用中产生更大的代价也是非常值得关注的。

滴滴出行便是一个特殊的领域，据极客公园理解，滴滴在匹配司机和搭客的过程中，就利用了人工智能技能，从不合理的直线间隔匹配（可能隔着河），到指派到搭客处用时最少的车，经历了很多技能优化。
他们也碰着了问题，并为之努力：在演习人工智能系统时，可以利用 GPU 集群等技能，但当让司机和搭客匹配时，哀求实时性，配置也会降落，因此如何担保准确，也是研究职员一贯在磋商的问题。

但涂威威对 DeepMind 在「通用人工智能」方向上的努力表示肯定。

图 / 北大AI公开课《胡郁：人工智能+，共创新时期》

第四范式首席科学家、国际人工智能协会（IJCAI）主席、喷鼻香港科技大学打算机系系主任杨强教授曾提到，打算机真正可以思维的「强」人工智能（通用人工智能）实在是想实现「从 0 到 1」的打破，而目前包括工业界和打算机运用学科等领域，实在只是想让打算机的行为表现像智能一样，这可以称为「从1 到 N」。

但是，科学家们一贯在不断探索通用人工智能。
DeepMind 便是这方面的先行者之一，彷佛登山一样，只要一步步攀登，有一天人类一定登顶。

任务编辑：双筒***

头图来源：视觉中国