Figure 1 The development history of human-computer gaming

虽然人机对抗智能技能得到极大的关注, 并在不同运用领域展现出运用前景, 但其理论及干系技能目前还没有一个别系性的描述, 本文将从内涵、机理对其进行阐述并在此根本上干系模型及关键技能。

3.1 人机对抗内涵

人机对抗因此机器和人类对抗为路子，以博弈学习等为核心技能来实现机器智能快速学习进化的研究方向。
作为“图灵测试”的主要手段，人机对抗是验证机器智能的“试金石”，为探寻机器智能的内在成长机制和关键技能的验证供应有效试验环境、评价标准，具有主要科学研究意义和运用代价。

3.2 人机对抗机理

人机对抗机理研究对抗各要素及其相互联系，以及相互浸染的运行规律与事理，涉及的要素包括人(机器的对手)、机器(对抗的AI)和环境(对抗的规则和条件等的凑集体)，根据人机物3要素剖析方法, 3要素相互浸染分别形成一元博弈、二元博弈和三元博弈。
人机对抗智能的科学问题可概括为博弈学习的可建模、可打算与可阐明。

和感知智能有所不同，人机对抗常日关注更为繁芜的时序决策等认知智能，对其过程建模是一个高度繁芜问题，因此认知决策建模是全体人机对抗中的核心关键环节。

本文将面向强对抗环境下的人机对抗决策流程归纳为感知、推理、决策和掌握，将人机对抗关键技能归纳为对抗空间表示与建模、态势评估与推理、策略天生与优化、行动协同与掌握4部分；通过对抗态势判读理解、认知预测、策略决策和行动履行，局部整体不断循环迭代增强, 自主提升对抗能力。
人机对抗涉及的关键技能如图2所示。

Figure 2 Process modeling and key technology of human-computer gaming

4.1 对抗空间表示与建模

构建有效的知识表示模型，准确刻画对抗空间的决策要素构成、属性特色及要素之间的交互关系，是实现人机对抗的根本。
巨繁芜、高动态、强对抗环境具有决策要素海量高维、要素影响高度耦合、决策关键信息不完备等特性，使得对抗空间的定量表示极富寻衅。
这方面可开展的研究包括：

（1）对抗空间要素实体–关系表示, 研究对抗空间中各种不同实体、实体属性及其交互关联关系, 构建决策要素的表示模型；（2）对抗空间特色张量表示学习, 剖析实体属性关系耦合和构造拓扑对个体及群体对抗能力的影响, 构建可阐明的对抗空间的高维张量描述；（3）层级化聚合演算规则建模, 领悟履历表示与数值打算, 定义多成分、层级化的对抗态势和对抗能力聚合演算规则, 形成环境–我方–对手多元耦合的可打算表征体系； （4）基于异构信息网络的抽象通用空间表示, 基于能力演算规则, 研究对抗要素的抽象态势表示, 减轻对抗场景依赖带来的噪声和数据稀疏影响。

4.2 对抗态势评估与推理

对抗态势是指对抗各方通过实力比拟、调配和行动等形成的状态和趋势，态势的评估与推理为后续对抗策略天生与优化供应了依据。
面临着的寻衅有：

（1）演习态势认知和预测模型的高水平对抗数据每每非常有限；（2）对手信息每每是缭乱的、不完备的, 仅依据对手部分信息进行整体场合排场评估准确性较差； （3）繁芜对抗环境导致可用于态势评估的信息浩瀚，难以有效进行领悟以形成多角度层次化态势。
可开展的研究包括: （1）高质量对抗数据的天生, 通过自主博弈或者天生式对抗网络等方法天生用于人机对抗建模与剖析的高质量人机对抗数据；（2）小样本学习, 研究在数据较少情形下通过迁移或自适应等方法实现对抗态势的直接评估； （3）对方信息估计, 研究结合历史信息与当前对抗环境实现从底层到高层的对手动作估计、意图识别与策略估计； （4）态势层次化认知, 研究结合多源异构信息进行态势的多角度层次化评估与推理。

4.3 对抗策略天生与优化

对抗策略紧张涉及多智能体协同的任务方案，办理群体与单体的行动方案问题。
其技能寻衅在于：

（1）不完备信息使得对手位置、行为、企图不能完备知道，对手行为概率模型未知导致策略选择守旧, 须要进行不完备信息下博弈策略选择；（2）宏不雅观决策收益反馈滞后，使得宏不雅观决策的效应须要经由较永劫光才能表示, 导致决策行为与效益之间难以形成有效映射；（3）行动能力与环境深度耦合,忽略了局部环境成分可能导致策略剖析严重偏差，过度详细剖析又导致对抗空间难以约减。
针对策略天生和优化方面的寻衅，利用策略游戏如星际争霸作为平台开展研究是国际上较为公认的办法。
可开展的研究包括：（1）宏不雅观策略天生，针对面向义务任务的全局博弈对抗问题，构建分层任务分解与任务协同机制，实现繁芜群体博弈对抗问题向低维空间约减； （2）微不雅观策略天生, 针对局部博弈对抗问题, 构建微型群体局部策略自适应机制, 实现微型群体的强博弈对抗能力与环境迁移能力；（3）策略优化方法，针对策略能力须要自主提升的问题，构建博弈策略的评价机制和学习型策略演进机制，实现博弈策略的自主进化与能力提升。

4.4 对抗行动协同与掌握

策略的实行须要多个智能体的行动协同，各智能体在自身信息获取与初步认知的根本上，利用资源贡献、信息连通、要素领悟、虚拟协作、智能赞助等功能，将多个单元虚拟协同, 形成整合的群体行动协同与掌握。
多智能体协同的难点包括:多智能体的学习目标，个体回报和团队回报的关系，学习过程中各智能体之间的浸染和影响，联合状态和联合动作的获取，扩大的状态空间和动作空间导致的维数灾害等问题。

目前干系研究事情紧张集中在多智能体协同与学习方面。
可开展的研究包括：

（1）从协同过程可分为序列策略表征、协同机制优化、异构多智能体协同以及多元协同的领悟；（2）从协同任务类型可分为同任务互助智能协同、异任务资源折衷等；（3）从理论上打破去中央化、通信中断的默契型协作方法，任务涵盖序列化任务、多层次任务、多领域任务等，实现场景类型全覆盖，协同办法多元化，为演习供应高质量协同策略。

人机对抗智能技能的运用领域涉及棋牌类游戏、即时策略游戏、兵棋推演等，在多个领域内机器智能已经达到并超过了该领域的人类顶级选手，不断刷新博弈对抗记录,显示出了新一轮人工智能技能在认知决策方面的光鲜特点。

5.1 棋牌类策略游戏对抗

棋牌类策略游戏一贯以来都被用作测试打算机警能发展水平的参考标准。
这些游戏由于大略的规则和丰富的玩法而深受环球范围内的广大爱好者的喜好。
同样由于其规则的确定性，加之游戏环境可控性和不完备信息等特性，吸引了人工智能领域的持续研究。

DeepMind公司提出的AlphaGo技能在围棋人机对抗中得胜

在1对1无限注德州扑克中，DeepStack成为了第1个击败职业选手的德州扑克AI程序；卡内基梅隆大学的研究者提出的名为Libratus的德州扑克AI算法，同样击败了多名顶尖的职业德州扑克选手。

5.2 即时策略游戏对抗

即时策略游戏是另一种常用于评估机器智能的平台，和棋牌类游戏比较，其全体对抗过程即时进行。
常日情形下，该类游戏包含资源采集、基地建造、发展科技等多少成分，游戏玩家须要平衡不同成分并掌握单个或者多个被掌握单元以完成对抗，经典的实时策略游戏包括星际争霸以及Dota2等。
得益于国际AI赛事以及企业与学术界的友好互助，即时策略游戏AI取得了长足的进展。

星际争霸AI程序AlphaStar以10:1击败了人类专业选手

干系的AI算法包括基于多智能体强化学习实现被控单元间微操的掌握，基于深度神经网络模型进行宏不雅观战斗决策的制订,以及基于状态机模型实现对抗过程的蜕变等。
只管深度强化学习技能在多个游戏中具有不俗的表现，如何提高模型的稳定性以及性能以击败顶级人类玩家、如何实现模型的可阐明以支撑学习的可信任建模仍须要AI算法的不断打破。

5.3 军事仿照及推演对抗

军事仿照及推演由于其计策意义，长期以来受到国家层面的关注，其对抗演习训练具有主要实用代价.随着博弈对抗规模的扩大，对抗空间呈现指数级增长，多兵种协同与环境耦合的问题凸显，战役系统具有强非线性和高动态等繁芜特性，解析打算和随机逼近最佳策略都存在巨大寻衅；人机对抗须要发展对手行为意识建模和协同蜕变博弈策略，以不断提升对抗能力。

空战智能博弈人机对抗系统(ALPHA)， 拉开了无人装备对抗有人装备的序幕

自动化所研制的CASIA先知1.0系统在兵棋推演大赛得胜

事实上，博弈贯穿于人类社会的方方面面，博弈和对抗在政治、经济、文化、军事等多方面都发挥着重要的浸染, 人机对抗技能也将在信息获取、传输、剖析、理解、推理、决策等环节发挥浸染，推动感知和认知智能的发展。

人工智能尤其是机器学习、类脑打算等领域的发展给人机对抗智能及自主进化带来了契机，急迫须要深化人机对抗问题实质的理解与解析，科学合理地建立机器智能与人类智能的高效协作机制，取得人机对抗理论、技能与运用的重大打破, 并在人类社会的经济、政治、金融 及生活等多领域推进智能化进程。