魔兽天下在MMORPG游戏历史上有着举足轻重的浸染，在其他方面的研究里也有着很主要的借鉴代价。

还记得祖尔格拉布“堕落之血”瘟疫传染事宜吗，它过去曾被用于传染病的研究上。

择要

电子游戏从涌现开始就推动着打算机技能的发展，在过去的十年里，人工智能（AI）技能的发展也离不开游戏的研究。
作为AI研究绝佳的测试平台，在人工智能方面从古老的棋盘游戏、之后又到经典的街机游戏、再到2016年AlphaGo降服李世石，人工智能Agent都表现卓越。
RPG游戏作为网络游戏的一支很主要的大军，势必要搭上人工智能的车重新盘踞游戏市场。

本文剖析了人工智能系统在电子游戏上的发展历史以及现有的人工智能游戏的研究方向，提出了人工智能在未来RPG游戏游戏上的发展方向，以期对今后人工智能在游戏上的运用的研发和创新方向给出一定的辅导。

关键词：游戏人工智能、电子游戏、RTS、MOBA、MMORPG

电子游戏一贯是人工智能研究和测试的主要组成部分。
在二十世纪九十年代中期，IBM 的超级打算机「深蓝」数次击败了国际象棋天下冠军卡斯帕罗夫。
后来到了 2011 年，IBM 的沃森人工智能在游戏《危险边缘》就击败了最精良的人类玩家，并展示了 IBM 在自然措辞处理的进展。
2015 年，DeepMind 就开始利用机器学习来演习人工智能玩一些复古的雅达利游戏（Atari games），并使其至少能做得和人类一样好。
后来在 2016 年的三月份，DeepMind 通过另一种方法演习了 Alpha Go，并击败了围棋天下冠军李世乭。

在过去的十年里，人工智能以迅猛的发展之势横扫打算机界，而在有监督学习的情形下，机器在图像识别和语音识别能力上，已经有预期的超越了人类的认知水平。
前不久，DeepMind在A3C上揭橥的论文中提出了一套UNREAL系统，在Atari游戏合集上的表现得分基本与人类玩家持平，而且有的还能超过人类。
而阿里的新研究则通过BiCNet在《星际争霸》上实现了多兵种协同作战，该实验证明了这一系统在RTS（Real-Time Strategy Game）游戏上各兵种折衷全作的有效性，以及指定褒奖和学习策略存在干系性。

谷歌DeepMind团队与暴雪开源了星际争霸2机器学习平台，供应了游戏输入输出API，DeepMind又做了基于Python的封装，持续发布基于replay的增强学习演习数据，此外两家公司还发布了上百万帧来自天梯专业选手的游戏记录，这将有助于基于平台算法运用到不同运用上。

之后，研究者们又考试测验利用在AlphaGo Zero中涌现的蒙特卡洛树搜索等技能，在MOBA（Multiplay Online Battle Arena Game）游戏——《王者光彩》上得到展现，证明了该项技能的深度神经网络实现可以创建一个适宜《王者光彩》游戏的有竞争力的AI智能体。

MMORPG（Massive Multiplayer Online Role-Playig Game）游戏在过去的十多年景长到现在，已经处在一个比较尴尬的状态，处于下滑态势。
一方面由于游戏快餐化，娱乐模式呈现井喷，MMORPG又大体复制从出生就有的游戏模式，使得游戏在创新方面已无法知足玩家游戏乐趣。

然而MMORPG结束不前的十年正是人工智能发展的十年，随着人工智能不断的发展，游戏须要由低智能向高智能发展。
以遗传算法和神经网络为代表的强人工智能将大大提高游戏的智能性。
我们基于游戏人工智能在Atari游戏，RTS游戏，MOBA游戏等各种游戏上的研究成果，可以预测MMORPG游戏也将搭乘人工智能的势头再度引起市场的关注，而以上的研究成果也将为我们研究人工智能在MMORPG游戏的运用供应一定的参考。

1. 游戏人工智能的发展先容与剖析1.1 Atrai游戏

1977年，雅达利（Atari）发行了自家公司的新一代游戏机Atari2600，首创了现在游戏机的历史，同时也首创了强化学习领域在演习端到真个掌握策略。
《Playing Atari with Deep Reinforcement Learning》中说到，利用DQN网络来演习AI智能体，以达到游戏学习策略，这些策略的学习是通过打算机理解屏幕像素信息以及积分反馈来取得效果的，该网络最初只有两个卷积层，用来提取图像特色，然而却已经取得了很大的效果，AI智能体表现了不俗的能力。

2010年，Lange提出Deep auto-encoder用于基于视觉的干系掌握；

在2011年，Cuccu（Jurgen Schmidhuber课题组）等人做出了与DRL附近的研究；同年，Abtahi等人利用DBN替代传统的强化学习中的逼近器；

2012年，Lange提出Deep Fitted Q学习做车辆掌握；基于以上发展，

2013年，Deep Mind团队在nips上揭橥 《Human-level control through deep reinforcement learning》，事情职员在7个Atari游戏，分别是激光骑士（Beam Rider），打砖块（Breakout），摩托大战（Enduro），乓（Pong），波特Q精灵（Qbert），深海游弋（Seaquest），太空侵略者（Space Invaders），游戏过程中利用网络深层架构、学习算法，末了AI通过自学完成了49种Atari***游戏的学习，并在23种游戏中击败了人类职业玩家。
前不久DeepMind团队结合之前揭橥的论文中的成果，又提出了UNREAL（无监督强化和赞助学习/UNsupervised Reinforcement and Auxiliary Learning）代理，在一套57个Atari游戏全集和拥有13个级别的3D迷宫游戏Labyrinth中测试了一新系统，并在新系统中超过了人类玩家。

从以上Atari游戏中人工智能的发展看，我们开拓的AI已经可以自主办理繁芜问题，通过强化学习代理对大量数据进行永劫光演习，提高我们的通用学习算法，利用无监督学习过程利用神经网络来教电脑玩***游戏，可以使打算机在一系列繁芜任务当中与人类表现相称，这是一个算法的打破点。

1.2 RTS游戏

阿里巴巴和UCL的研究者们新提出了双向折衷网络BiCNet来相互互换，通过评估-决策办法来完成星际争霸战斗任务。
以RTS游戏《星际争霸》为测试场景，设界说务为多个智能体相互协作试图击败仇敌。

为了担保沟通办法有效且可扩展，他们引入了多智能体双向折衷网络（BiCNet），它具有向量化扩展评价器（actor-critic）形式。
验证了BiCNet可以折衷不同兵种，在不同的场景和两方智能体数量任意的情形下正常事情。
剖析证明，在没有手动标记数据进行监督学习的情形下，BiCNet可以学会多种有履历的人类玩家展示出的折衷策略。

而且，BiCNet能够轻松适应异构智能体任务。
在实验中，在不同的场景下用该新方法与不同的基准进行了比拟；BiCNet展现出了最前辈的性能，它具有在现实天下大规模运用的潜在代价。

BiCNet是一种利用双向神经网络的多智能体强化学习框架。
通过构建矢量化的评估-决策办法，个中每个维度对应一个智能体Agent。
Agent之前的折衷通过内部双向通信。
基于端到端学习，BiCNet可以学会多种有效的协同作战策略。
BiCNet提出了一种强化学习与迁移学习的方法，从而可以办理星际争霸中多Agent掌握问题。

中国科学院自动化所也在近期提出的一种强化学习+课程迁移学习的方法，可以让AI Agent在组队作战过程中节制微操作能力，掌握多个单元。
该研究定义了一种高效的状态表征，提出一个参数共享多智能体梯度低落Sarsa(l)(PS-MAGDS)算法演习单元，该方法利用一个神经网络作为函数近似器，以评估动作代价函数，还提出了一个帮助单元平衡智能体的移动和攻击。
通过强化学习和课程迁移学习，智能体Agent可以在星际争霸的微操场景中学习得当的策略。

在中科院的研究中，星际争霸微操被定义为多智能体强化学习模型，全体强化学习范式如图。

去年第一季度,暴雪和DeepMind开源了星际争霸2的机器学习平台，这个平台对付state-of-the-art的深度强化学习算法是极好的测试平台，此外，两家公司还发布了上百万帧的来自天梯上专业选手的游戏记录。
在新界面里，《星际争霸 2》的图形被简化以便于机器学习系统进行识别，同时他们开放API，许可系统读取游戏中的数据，实现原来电脑玩家的部分功能。
暴雪还发布游戏 replay文件数据集以供机器学习。

DeepMind的终极目标是让人工智能系统和人类玩家一样，通过处理视觉信息理解游戏。
同时研究职员还开拓出了一些更加有效的平台来推动RTS游戏探索多智能体的掌握方向上的发展，个中包括TorchCraft、ELF和PySC2。

通过强化学习和课程迁移学习，我们的AI Agent能够在星际争霸微操场景中学习到得当的策略，并且在多单元协作行为上表现出众。

DeepMind牵手暴雪，意在要让人工智能征服星际争霸，而这将为我们办理人类生活环境中的协同事情供应思路。
当然我们有望可以先在游戏上运用上达到创新，以推动游戏的发展。

1.3 MOBA游戏

2017年8月，由OpenAI设计的bot打败了Dota2天下顶级玩家，在人机匹配赛之前，OpenAI bot接管了一千次比赛的演习，而且bot通过自我对弈，可以预测其他玩家的下一步操作。

从2017年起，腾讯AI Lab一贯致力于MOBA游戏上的AI研究。
于是在今年前不久，匹茨堡大学、腾讯AI Lab等机构提交到ICML。

2018大会一篇论文，展示了人工智能在王者光彩中目前的能力。

2006年Remi Coulom首次先容了蒙特卡洛树搜索（MCTS）并在2012年由Browne等人在论文中进行了详细的先容。
最近几年，MCTS在游戏AI的领域引起了广泛关注。
而在近日的研究中，研究者们提出了一种新方法，在演习中充分发掘MCTS的局部特性，迭代更新所有状态的全局策略。
其紧张贡献为：

（1）提出了一个基于批量MCTS的强化学习方法，利用子节点鉴别器通过之前的树搜索结果进行更新天生更强大的树搜索；

（2）供应了方法的繁芜度剖析，表明足够大的样本规模和充分的树搜索可以使估计策略的性能靠近最优；

（3）基于反馈的树搜索算法的深度神经网络实现在MOBA游戏《王者光彩》上，且表现良好；

在《王者光彩》的测试中，研究者添加了游戏内建的AI狄仁精品为基准，选择六个内建AI狄仁杰能够打败的射手类英雄来对抗测试对手，在游戏中英雄对仇敌造成侵害或者降服仇敌时，都会得到金币，经由对决，智能体在对决完成后金币比例总成达到一个高的值，表明其性能良好。

这项研究表明，MCTS已在人工智能领域取行成果，证明这项技能的深度神经网络实现可以创建一个适宜MOBA游戏的有竞争力的AI智能体。
这在某一种程度上供应了MOBA高阶AI智能体的可能性。

1.4 MMORPG1.4.1 MMORPG发展历史

1980年第一款MMORPG（大型多人联机角色扮演）游戏出身——《凯斯迈之岛》，后该类游戏逐渐进入玩家视野，从上世纪90年代末《网络创世纪》、《无尽的任务》到2004年在环球发售运营的《魔兽天下》。

但是由于游戏市场的更迭以及各种类游戏对市场的逐渐分成，使得MMORPG在近年光环褪去，早在2010年，以《魔兽天下》为例，从曾一度拥有1200w续费玩家降到了780w，而且由于MMORPG游戏研发用度高昂，普通小型公司无法搪塞资金的巨大压力，而且大型公司则是由于多年市场履历不愿承担高额风险来换取该类型游戏的新鲜血液，导致MMORPG运转状况不佳，难以连续吸引大量新的玩家。

Trion Worlds的《时空裂隙》和EA的《星球大战：旧共和国》都曾希望复制《魔兽天下》的成功模式，然而创新的玩法以及更高的智能体系统在没涌现之前，旧模式始终无法玩家的游戏性。

《魔兽天下》截止目前仍旧是最成功的MMORPG，2010年付用度户和收入到达峰值后，标志着欧美网游市场MMORPG开始走下坡路。

1.4.2 人工智能在MMORPG上的创新思路

基于Atria***游戏，RTS计策游戏，以及MOBA对战游戏上算法的研究，将该算法思路利用到魔兽天下插件系统中，人工智能体在通过玩家操作进行演习，采取得当的以上算法演习智能体插件，再通过玩家对战进行实操，从而供应一套自学习的插件系统，智能插件系统将会赞助玩家进行预判，游戏决策以及团队决策等任务，这将成为游戏运用的一个创新设计。

2. 运用与创新实践

剖析AI算法在MMORPG运用上的可行性:

首先World of Warcraft API是Blizzard WoW客户端供应的一套Lua函数与工具集，可以利用户与游戏客户端进行交互，同时用户操作的数据可以通过接口获取到；

其次，Lua作为一门轻量而快速的脚本措辞，功能在高等动态措辞中十分完备，对C API以及线程安全的VM支持，非常适宜于处理业务逻辑； 本运用的几个难点在于：

（1）如何通过WoW API网络用户操作以产生可用的演习数据集；

（2）如何将可用的演习的数据利用到算法中，从而产生演习结果以及结果回传；

（3）如何进行演习算法的改进，供应完全的适用于玩家插件需求的结果数据； 末了，演习算法基于C++实现，Lua在C/C++上的数据通报以及封装上都比较方便，又魔兽天下又有开放的Lua脚本API，这将为该强化学习的系统在其上运用供应了保障。

3．总结与展望

基于星际争霸等游戏的机器学习和深度学习算法，使得游戏多智能体能够进行互助，以达到人类玩家微操的效果，这种强化学习以及迁移学习的方法，在Atari***游戏，RTS计策游戏，MOBA对战游戏上的可行性得到了初步的证明。

而MMORPG游戏，特殊是魔兽天下，在即时计策系统上也可以利用相同的事理，基于魔兽天下插件的开放接口，可以将该演习模型用于魔兽团队计策插件系统中。

这样的一次考试测验将机器学习演习系统利用到MMORPG游戏中，这将进一步肯定AI算法在游戏中的运用，将有利于创造更完善的游戏AI系统，增加更智能的Boss体，以及更加智能的战斗游戏策略，以此来提高游戏体验。

以上

这篇文章是写在2018年的12月，虽然已经由去三年韶光，但从现在看AI的热度仍旧只增不减，AI对付MMORPG游戏的运用仍在探索阶段。
近阶段比较火热的“元宇宙”观点，与MMORGP也有着千丝万缕的关系。
我坚信，MMORPG游戏也会借助“元宇宙”创造绽放出更加闪耀的光芒。

参 考 文 献Mnih V, Kavukcuoglu K, Silver D, et al. Playing Atari with Deep Reinforcement Learning[J]. Computer Science, 2013.V. Mnih, K. Kavukcuoglu, D. Silver, A. A. Rusu, J. Veness, M. G. Bellemare, et al., "Human-level control through deep reinforcement learning," Nature, vol. 518(7540), pp. 529-533, 2015.Peng Peng, Quan Yuan, Ying Wen, Yaodong Yang, Zhenkun Tang, Haitao Long, Jun Wang, “Multiagent Bidirectionally-Coordinated Nets: Emergence of Human-level Coordination in Learning to Play StarCraft Combat Games,”, (1) Alibaba Group, (2) University College London, 2017.Kun Shao, Yuanheng Zhu, Dongbin Zhao, “StarCraft Micromanagement with Reinforcement Learning and Curriculum Transfer Learning,”,IEEE, 2018.Oriol Vinyals, Timo Ewalds, Sergey Bartunov, Petko Georgiev, Alexander Sasha Vezhnevets, Michelle Yeo, Alireza Makhzani, Heinrich Küttler, John Agapiou, Julian Schrittwieser, John Quan, Stephen Gaffney, Stig Petersen, Karen Simonyan, Tom Schaul, Hado van Hasselt, David Silver, Timothy Lillicrap, Kevin Calderone, Paul Keet, Anthony Brunasso, David Lawrence, Anders Ekermo, Jacob Repp, Rodney Tsing, “StarCraft II: A New Challenge for Reinforcement Learning,”, 2017.陈钇似.基于机器学习的游戏智能系统研究与运用[D].电子科技大学.2017郑其宝.人工智能影响下数字游戏智能化发展探究[D].南京艺术学院.2016常迎春.基于分层时序影象算法的游戏人工智能的非常检测[D].河北工业大学.2015姜文军.网络游戏中人工智能的研究及运用[D].上海交通大学.2012http://www.infoq.com/cn/articles/atari-reinforcement-learninghttps://blog.csdn.net/mydear_11000/article/details/51488118http://baijiahao.baidu.com/s?id=1566325283820033&wfr=spider&for=pchttps://www.nextbigfuture.com/2014/12/deep-learning-and-deep-reinforcement.html