大数据文摘出品

作者：曹培信

人们常日会派出最强大的选手和场景演习人工智能，但是，智能体如何应对演习中故意碰瓷儿的“弱”对手呢？

来看看下边的两个场景：两个AI智能体正在“演习场“进行一场激烈的足球赛，一个守门、一个射门。
当守门员忽然自己跌倒，攻方没有选择乘胜追击，也忽然不知所措了起来。

在相扑的规则下也一样，当个中一个队员开始不按套路出牌时，另一个对手也乱作一团，双方急速开始毫无规则扭打在一起。

这样“人工智障”的场景可不是随意配置的游戏，而是一项对AI对抗演习的研究。

我们知道，常日情形下，智能体都是通过相互对抗来演习的，无论是下围棋的阿法狗还是玩星际争霸的AlphaStar，都是通过海量的对局来演习自己的模型，从而探索出得胜之道。

但是试想一下，如果给阿法狗的演习数据都是围棋小白乱下的对局，给AlphaStar供应的是小学生局，结果会是如何？

近期，来自伯克利的研究职员就进行了这样的实验。
赤色机器人与已经是专家级别的蓝色机器人进行对抗演习，赤色机器人采纳一定的对抗策略攻击蓝色机器人进行的深度学习。
这项研究的论文作者也在NIPS大会上对该研究进行了展示。

论文链接：

https://arxiv.org/pdf/1905.10615.pdf

在实验中，赤色机器人为了不让蓝色机器人连续从对抗中学习，没有按照应有的办法玩游戏，而是开始“乱舞”起来，结果，蓝色机器人开始玩得很糟糕，像喝醉了的海盗一样来回扭捏，输掉的游戏数量是正常情形下的两倍。

研究创造，在采纳对抗性政策的对局中，得胜不是努力成为一样平常意义上的强者，而是采纳迷惑对手的行动。
研究职员通过对对手行为的定性不雅观察来验证这一点，并创造当被欺骗的AI在对对手视而不见时，其表现会有所改进。

我们都知道，让人工智能变得更聪明的一个方法是让它从环境中学习，例如，未来的自动驾驶可能比人类更长于识别街道标志和避开行人，由于它们可以通过海量的***得到更多的履历。

但是如果有人利用这一办法进行研究中所示的“对抗性攻击” ——通过奥妙而精确地修正图像，那么你就可以愚弄人工智能，让它对图像产生缺点的理解。
例如，在一个停车标志上贴上几个贴纸可能被视为限速标志，同时这项新的研究也表明，人工智能不仅会被愚弄，看到不该看到的东西，还会以不该看到的办法行事。

这给基于深度学习的人工智能运用敲响了一个警钟，这种对抗性的攻击可能会给自动驾驶、金融交易或产品推举系统带来现实问题。

论文指出，在这些安全关键型的系统中，像这样的攻击最受关注，标准做法是验证模型，然后冻结它，以确保支配的模型不会因再演习而产生任何新问题。

因此，这项研究中的攻击行为也真实地反响了在现实环境中，例如在自动驾驶车辆中看到的深度学习演习策略，此外，纵然被攻击目标利用持续学习，也会有针对固定攻击目标进行演习的策略，攻击者可以对目标利用仿照学习来天生攻击模型。

或者，在自动驾驶车辆，攻击者可以通过购买系统的副本并定期在工厂重置它，一旦针对目标演习出了敌对策略，攻击者就可以将此策略传输到目标，并利用它直到攻击成功为止。

研究也对今后的事情提出了一些方向：深度学习策略随意马虎受到攻击，这突出了有效防御的必要性，因此在系统激活时可以利用密度模型检测到可能的对抗性攻击，在这种情形下，还可以及时退回到守旧策略。