这是一个与韶光一样古老的困境。
周五晚上已经由去，你正试图挑选一家餐厅吃晚饭。
（假设您等到末了一刻才预订，因此仍有预订）。
无论如何，你该当去你最心爱的水坑，还是考试测验一个新的机构，希望创造一些更好的东西？有可能，但这种好奇心伴随着风险：你探索，食品可能会更糟，或者你利用，无法走出你狭窄的道路。

好奇心使令人工智能探索天下，现在有无限的用例——自主导航、机器人决策、优化康健结果。
在某些情形下，机器利用“强化学习”来完成一个目标，人工智能代理迭代地学习，由于好行为而受到褒奖，因坏行为而受随处分。

就像人类在选择餐厅时面临的困境一样，这些智能体也在努力平衡创造更好行动所花费的韶光（探索）和过去采纳导致高回报的行动所花费的韶光（剥削）。
太多的好奇心会分散智能体做出精确决策的把稳力，太少意味着智能体永久不会创造好的决策。

为了追求以恰到好处的好奇心制造人工智能代理，麻省理工学院不可能的人工智能实验室和打算机科学与人工智能实验室（CSAIL）的研究职员创造了一种算法，战胜了人工智能过于“好奇”的问题，并被手头的任务分心。
他们的算法在须要时会自动增加好奇心，如果代理从环境中得到足够的监督来知道该怎么做，就会抑制好奇心。

在六十多个***游戏上进行测试时，该算法能够在困难和大略的探索任务中取获胜利，而以前的算法只能单独处理困难或大略的领域。
通过这种方法，人工智能代理利用更少的数据来学习最大化勉励的决策规则。

“如果你很好地节制了探索和开拓权衡，你可以更快地学习精确的决策规则——任何更少的都须要大量的数据，这可能意味着次优的医疗，网站的利润较低，以及机器人没有学会做精确的事情，”麻省理工学院教授兼不可能的人工智能实验室主任Pulkit Agrawal说。
谁监督了这项研究。

“想象一下，一个网站试图找出其内容的设计或布局，以最大限度地提高发卖额。
如果一个人没有很好地进行探索开拓，那么收敛到精确的网站设计或精确的网站布局将须要很永劫光，这意味着利润丢失。
或者在医疗保健环境中，例如 COVID-19，可能须要做出一系列决策来治疗患者，如果您想利用决策算法，他们须要快速有效地学习——在治疗大量患者时，您不肯望采取次优办理方案。
我们希望这项事情将适用于这种性子的现实问题。

好奇害去世猫

很难涵盖好奇心生理根本的细微差别——寻衅寻求行为的潜在神经干系性是一种知之甚少的征象。
对这种行为进行分类的考试测验超过了深入研究我们的冲动、剥夺敏感性以及社会和压力耐受性的研究。

通过强化学习，这个过程在情绪上被“修剪”并剥离到袒露的骨架，但在技能方面却相称繁芜（令人惊异）。
从实质上讲，代理只有在没有足够的监督来考试测验不同的事情时才该当保持好奇心，如果有监督，它必须调度好奇心并降落好奇心。

由于游戏的很大一部分是小代理，它们在抱负的环境中运行，探求褒奖并实行一长串动作来实现某个目标，这彷佛是研究职员算法的逻辑测试平台。
在实验中，对付像马里奥赛车和蒙特祖玛的复仇这样的游戏，他们将所述游戏分为两个不同的种别：一个是监督稀疏的，这意味着代理的辅导较少，这被认为是“硬”探索游戏，第二个是监督更密集的，或“大略”的探索游戏。

例如，假设在马里奥赛车中，你只删除所有褒奖，以是你不知道仇敌什么时候杀去世了你。
当您网络***或跳过管道时，您不会得到任何褒奖。
代理人末了只被奉告它做得有多好。
这将是监督稀疏的第一桶。
勉励好奇心的算法在这种情形下做得很好。

但是现在，假设代理人得到了密集的监督——跳过管道、网络***和杀去世仇敌的褒奖。
在这里，没有好奇心的算法表现非常好，由于它常常得到褒奖。
但相反，如果你采取也利用好奇心的算法，它会逐步学习。
这是由于好奇的代理可能会考试测验以不同的办法快速奔跑，舞蹈，进入游戏屏幕的每个部分 - 有趣的事情 - 但不能帮助代理在游戏中取获胜利。
然而，该团队的算法始终表现良好，无论它处于什么环境。

未来的事情可能涉及回到多年来困扰生理学家的探索：好奇心的适当指标 - 没有人真正知道数学定义好奇心的精确方法。

“在新问题上得到同等的良好性能极具寻衅性，因此通过改进探索算法，我们可以节省您针对感兴趣的问题调度算法的精力。
我们须要好奇心来办理极具寻衅性的问题，但在某些问题上，它可能会危害性能。
我们提出了一种算法，可以肃清调度勘探和开拓平衡的包袱。
例如，以前须要一周的韶光才能成功办理问题。
有了这个新算法，我们可以在几个小时内得到令人满意的结果，“麻省理工学院CSAIL博士生Zhang-Wei Hong说，他是麻省理工学院CSAIL MEng ' 22的Eric Chen的共同紧张作者，在一篇关于这项事情的新论文中说。

“像好奇心这样的内在褒奖是勾引智能体创造有用的多样化行为的根本，但这不应该以在给界说务中表现出色为代价。
这是人工智能的一个主要问题，本文供应了一种平衡这种权衡的方法。
看看这些方法如何从游戏扩展到现实天下的机器人代理会很有趣，“卡内基梅隆大学教员Deepak Pathak说。

“当古人工智能和认知科学面临的最大寻衅之一是如何平衡探索和开拓——探求信息与探求褒奖。
孩子们可以无缝地做到这一点，但在打算上具有寻衅性，“加州大学伯克利分校精彩生理学教授和哲学副教授Alison Gopnik指出，他没有参与该项目。

“这篇论文利用令人印象深刻的新技能来自动完成这项事情，设计了一个可以系统地平衡对天下的好奇心和对褒奖的渴望的代理，[从而]朝着使人工智能代理（险些）像孩子一样聪明又迈出了一步。

原文标题：Sometimes it's bad for AI to be too curious

原文链接：https://techxplore.com/news/2022-11-bad-ai-curious.html

作者：Rachel Gordon

编译：LCR