OpenAI

OpenAI的算法进化出了繁芜的行为，为开拓更繁芜的人工智能供应了一种有前景的方法。

在地球生命的早期，生物有机体非常大略。
它们是眇小的单细胞生物，险些没有折衷能力。
然而，数十亿年的进化中通过竞争和自然选择终极发展成为了我们本日所拥有的繁芜的生命形式，以及繁芜的人类智能。

总部位于旧金山的盈利性人工智能研究实验室OpenAI的研究职员目前正在测试一个假设:如果你能在虚拟天下中仿照出这种竞争，它是否也会催生出更为繁芜的人工智能？

该实验基于人工智能领域现有的两种理念：多智能体学习(multi-agent learning)和强化学习(reinforcement learning)。
前者多智能体学习是将多个算法置于竞争或折衷中以引发智力行为；后者强化学习是机器学习中的一种详细技能，它通过反复试验来学习履历并实现目标。
(DeepMind凭借其打破性的程序AlphaGo推广了后者，AlphaGo打败了中国古代棋类游戏围棋中最精良的人类棋手)

经由大约2500万回合的捉迷藏，这些躲藏者学会了建造堡垒来赢得比赛

OpenAI在本日的一篇新论文中公布了它的初步结果。
通过几亿次大略的捉迷藏游戏，两个相互竞争的AI智能体团队开拓出了繁芜的捉迷藏策略，个中涉及到工具的利用和协作。
OpenAI主导的这项研究大幅扩展了现有的人工智能技能。

为了创造这款游戏，研究职员设计了一个虚拟环境，包括一个封闭的空间，里面有各种各样的物体，比如积木、坡道、移动障碍物和固定障碍物。
这些智能体本身由强化学习算法掌握。
在每一场比赛中，智能体被分成两组：躲避者会因躲避或未能躲避追捕者而得到褒奖或惩罚；探求者也会由于找到或没有找到隐蔽者而受到褒奖或惩罚。
和经典的捉迷藏游戏一样，藏人也有几秒钟的领先韶光。
研究职员没有给这些智能体其他指示。

在几亿回合的博弈过程中，智能体们制订了多种策略和反策略。
在第一阶段，隐蔽者和探求者通过在空间中移动而不操纵任何物体，发展出非常粗糙的躲避和追逐策略。

在第三阶段，征采者学会了用斜坡爬过堡垒的围墙

但是在2500万场比赛之后，比赛变得更加繁芜。
躲藏者学会了移动和锁住环境中的箱子和障碍物，在自己周围建造堡垒，这样探求者就永久不会看到它们。
不仅如此，他们还制订了折衷策略，如相互通报物体，以加快堡垒的培植过程。

然而，又进行了7500万场比赛后，探求者创造了一个反策略，从而将搜索过程推进到第三阶段。
他们学会了移动隐蔽者堡垒阁下的斜坡，并用它爬过墙。
到第四阶段，也便是1.1亿回合之后，隐蔽者们已经学会了在建造堡垒之前把坡道锁好。
(两队都无法解锁对方锁定的物体)

起初，OpenAI的研究职员认为这是游辱弄法的末了阶段，但终极，在3.8亿次比赛的时候，又涌现了两种策略。
搜索者们再一次发展出一种策略，通过利用一个锁着的斜坡爬上一个锁着的盒子，然后“冲浪”到盒子顶部的堡垒和堡垒的墙壁上，从而进入隐蔽者的堡垒。
在末了阶段，隐蔽者们再次学会了在建造堡垒之前把所有的坡道和箱子锁好。

末了，经由3.8亿轮的演习，征采者学会了“箱形冲浪”，爬过堡垒的围墙

研究职员认为，这些初步结果表明，在进化更繁芜的人工智能方面，这是一种有前景的新方法。
论文的作者之一鲍文•贝克说:“我们没有见告躲藏者或探求者要跑到盒子附近，也没有见告他们要和盒子互动，但通过多智能体竞争，他们为彼此创造了新的任务，使得另一个团队不得不适应。
”

本研究对付OpenAI的人工智能研究方法来说是比较独特的。
只管该实验室也投资开拓了相对付其他实验室的新技能，但它紧张是通过大幅扩展现有技能而出名的。
例如，该实验室广为人知的措辞模型GPT-2，大量借鉴了早期措辞模型的算法设计，包括谷歌的BERT；OpenAI的紧张创新是将工程和海量打算资源的奥妙结合。

在某种程度上，这项研究重申了大规模测试现有技能极限的代价。
该小组还操持连续实行这一计策。
研究职员说，第一轮的实验并没有靠近他们所能投入的打算资源的极限。

贝克说:“我们想让人们想象，如果你在一个繁芜得多的环境中引发这种竞争，会发生什么。
他们学到的行为可能终极能够办理一些我们可能还不知道如何办理的问题。
”