关注微信"大众年夜众号：人工智能前沿讲习，

重磅干货，第一韶光投递

在科学研究中，从方法论上来讲，都应先见森林，再见树木。
当前，人工智能科技迅猛发展，万木争荣，更应系统梳理脉络。
为此，我们特殊精选国内外精良的综述论文，开辟“综述”专栏，敬请关注。

导读

近年来，神经科学和AI干系领域取得快速发展。
在打算机时期早期，AI的研究与神经科学和生理学的研究有着千丝万缕的关系，很多早期的研究职员都是横跨两个领域，并且取得了大量成果。
可近年来，随着两个领域的研究越来越深入，学科的边界越来越明显，它们之间的互换逐渐减少。
本文认为，神经科学的研究对付加速和启示AI的发展具有越来越关键的浸染。

作者简介

戴密斯·哈比斯，天下著名的游戏开拓者、神经科学家、人工智能科学家和企业家，AlphaGo的开拓者，天下顶级人工智能研究机构——DeepMind公司创始人兼CEO。
被付与伦敦帝国理工学院名誉学位，英国皇家工程学院院士，英国皇家学会会员。
从4岁开始下象棋，8岁编写打算机游戏，20岁得到剑桥大学打算机科学学士学位。
毕业后创立了Elixir事情室，成为一名独立游戏开拓者。
2005年，回到校园学习认知神经科学，得到伦敦大学学院博士学位。
博士期间以海马为研究工具，提出了关于情节影象系统的新理论，该事情被《科学》杂志评为年度十大科学打破之一。
2011年，中断博士后研究，创办了DeepMind公司，以“办理智能”为公司的终极目标。

刘博，中科院自动化所直博一年级在读，研究兴趣为深度神经网络的可阐明性、生物视觉启示的视觉算法。

目 录

1 弁言

2 过去

2.1 深度学习

2.2 强化学习

3 现在

3.1 把稳机制

3.2 情景影象

3.3 事情影象

3.4 持续学习

4 未来

4.1 对物质天下的直不雅观理解

4.2 高效学习

4.3 迁移学习

4.4 想象与方案

4.5 虚拟大脑剖析

5 结束语

6 参考文献

7 推举文献

1 弁言

神经科学对付AI研究的促进紧张表示在两个方面：首先，作为数学和逻辑方法的补充，神经科学为人工智能领域的新算法、新构造供应了丰富的灵感。
其次，神经科学可以对现有AI算法的智能性进行验证。
即虽然一个算法在数据集上没有取得很好的效果，但算法的机理符合神经打算的机理，则解释该算法值得连续探索。
当然，从工程角度来看，让模型完备地符合神经机理不是必须的。
神经科学只是作为一种启示，而不是逼迫性的。

值得把稳的是，本文所指的神经科学是指包括系统神经科学、认知神经科学和生理学在内的广义的神经科学。
人工智能是指包括机器学习、统计学等致力于建立智能系统的所有研究内容。
本文所指的启示，是指在打算与算法、构造以及功能层次的启示。
这与马尔视觉打算理论的三个层次中的前两个层次大致对应。
即系统的目标（打算层次）和实现目标的方法（算法层次）。
至于大脑皮层神经元是如何实现这些打算过程的（算法实现层次），这里不涉及。

下面本文将在过去、现在和未来三个阶段先容神经科学对AI的启示浸染。

2 过去

2.1 深度学习

众所周知，近年来的AI发展紧张依赖的是深度学习【1】，而深度学习与神经科学有着直接而紧密的联系。
神经科学家最先提出了神经网络【2】的基本模型，而现在最主流的卷积神经网络【3 4】仍旧包含了神经网络最实质的特点，如层级构造、非线性激活、最大值池化等，这些特点直接来源于神经科学中对哺乳动物视觉皮层的单细胞记录实验结论。
其余，神经网络中的正则化也来源于神经科学。
如Dropout算法【5】，受启示于神经元发放的随机性，即神经元的相应近似服从泊疏松布。
总而言之，在过去的研究中，神经科学为创造新的神经网络构造和算法供应了原始的指引。

2.2 强化学习

除了深度学习，AI领域的另一个支柱是强化学习【6】。
强化学习的目的是基于现有的环境状态，依据特定策略选择一个动作以得到更好的回报。
强化学习的灵感直接来源于神经科学对动物学习行为的研究。
特殊的，强化学习中最关键的韶光差分算法（Temporal-difference）受启示于对动物在特定条件下的行为研究。
从机器人掌握到阿法狗，韶光差分算法为现有AI研究供应了关键技能。

3 现在

3.1 把稳机制

当我们学习一个任务时，大脑中的神经网络并不是进行的全局优化。
大脑是模块化的，不同的功能对应不同的脑区，当实行某一特界说务时只有对应的部分神经网络会激活。
最近卷积神经网络中的把稳机制也暗含着这种机理。
直到最近，大部分的卷积神经网络对输入的整幅图像的每个像素都授予同样的关注。
但在人脑视觉系统中，视觉把稳机制【7】会对输入图像中不同部分授予不同关注，将把稳在整幅图像中策略性移动。
比如我们不雅观察图像时会自觉地将把稳移到图像的前景上而忽略背景，然后集中视觉处理资源对前景进行处理以快速完成物体识别。
通过借鉴人类视觉把稳机制，现有的卷积神经网络模型通过快速的扫描图像，逐步将把稳转移到图像中下一个位置【8】。
这种卷积神经模型能够利用选择性把稳机制对目标物体授予更多关注而忽略场景中不干系的背景，能够准确地完成繁芜场景、具有遮挡情形下的物体识别任务【9】，在准确率和打算效率方面超过了对整幅图像授予同等关注的普通卷积神经网络模型。

3.2 情景影象

神经科学表明智能行为依赖于多种影象系统。
影象一方面是基于强化学习的机理，即对经历的大量动作及其反馈值进行学习总结。
另一方面是基于个例学习的机理，即对经历的个例进行快速编码和存储，这种影象，也称为情景影象，它的形成紧张与海马区有关。
最近深度学习和强化学习的结合——深度强化学习取【10 11】得了很大的打破，比如众所周知的阿法狗的核心技能便是深度强化学习。
深度学习和强化学习的结合存在两个紧张问题：第一是深度学习须要大量独立的样本，而强化学习中的样本都是高度干系的状态序列；第二是深度学习须要样本知足潜在分布，而强化学习中样本的分布随着学习过程而变革。
为理解决演习样本高度干系以及样本分布不稳定的问题，研究职员提出了履历回放机制（experience replay），即对经历过的所有个例样本进行间隔采样得到演习数据。
这种履历回放机制直接来源于对哺乳类动物大脑中多种影象系统相互浸染的研究。
在哺乳类动物大脑中，首先海马区会对见到的个例信息进行编码，当进入休眠态时，这些编码会被整合到新皮质中，这个整合过程便是一种履历回放的过程。
最近的研究表明【12】，当回放更多高回报的个例样本时，DQN（Deep Q-learning）中的履历回放机制能取得更好的效果。
这与海马区更喜好回放更多具有高回报的个例的征象是同等的。

3.3 事情影象

人类智能与事情影象紧密干系。
所谓事情影象便是在对信息进行临时保存的同时对信息进行操作。
经典的认知理论认为事情影象是通过一个中央掌握器和多个独立的、与特界说务干系的影象缓存器来完成的【13】。
AI研究职员基于这一机理提出了能够在较永劫光内保存历史状态信息的模型，个中循环神经网络（RNN）【14】便是一个范例。
在循环神经网络的根本上，研究职员进一步提出了是非时影象网络（LSTM）【15】，在序列建榜样畴取得很好的性能。
值得把稳的是，LSTM网络和事情影象模型并不完备相同。
在普通的LSTM网络中，序列的掌握和影象的存储是混在一起的。
但在事情影象模型中，序列掌握和影象存储是分开实现的，以是这就导致了更繁芜的微分神经打算机（DNC）模型【16 17】的产生。
在微分神经打算机中，序列掌握和影象存储分别利用了不同的模块。
它包括了一个神经网络掌握器模块，神经网络掌握器能从外部存储模块中读写矩阵，并且可以进行端对真个演习，能够完成一系列更繁芜的影象和推理任务。

3.4 持续学习

一个智能体必须具备持续学习的能力。
所谓持续学习，是指当学习新的任务时不能忘却之前已学习到的任务。
很显然，大部分的神经网络并不具备这种能力，由于当网络在演习时，之前学习得到的参数都会被不断更新。
利用前辈的神经影像技能，神经科学家创造人类之以是在学习新任务的同时能够防止之前学习到的任务不被毁坏，一个紧张缘故原由是已经学习好的那部分神经网络的突触可塑性降落。
基于这个机理，研究职员提出了能够进行持续学习的弹性权重巩固（elastic weight consolidation，EWC）算法【18】。
算法的核心思想是，在学习新任务时，算法会降落那部分对某个学习任务十分主要的子网络的学习速率，因此保留了网络对之前任务的处理能力。

4 未来

4.1 对物质天下的直不雅观理解

与人比较，机器短缺与物质天下中核心观点有关的知识。
比如空间、物体。
这些知识构成了人类对物体间基本关系的认识，从而有利于人类的推理和预测。
因此构建一种能够将场景分解为物体和物体间关系进而阐明和推理物理场景的神经网络十分主要【19】。
现在已经有事情在进行这方面研究【20 21 22】，它们通过将场景分解为物体和物体关系从而建立了一种能够阐明和推理的神经网络模型，在一些推理任务上取得了人类水平的表现。
其余，深度天生模型也是一个值得探索的方向，它在利用原始感知数据构建丰富的物体模型方面有主要的浸染【23】。

4.2 高效学习

利用先验知识从少量样本中快速学习新的观点是人类独特的能力。
为了研究机器的这种高效学习能力，Lake等人设计了一个字符识别的任务【24】。
在任务中，机器在学习了单个示例后，必须将一个新的不熟习的字符从其他类似的字符中区分出来。
显然，目前的机器在还没有具备这种理解能力。
值得光彩的是，最近对构造化的概率模型【25】和深度天生模型【26】的研究将有助于机器得到这种能力，这两种模型能从少量样本中学习到新的观点，从单个示例学习中天生数据分布。
同样，这种基于小样本的学习算法可以在神经科学关于动物学习的研究以及发展生理学研究中找到灵感【27】。

4.3 迁移学习

人类能够将学到的知识推广到其他之前没有打仗过的观点上，比如一个利用过Windows系统的人很随意马虎就学会利用其他操作系统。
目前的研究正在让机器也得到这种迁移学习的能力。
比如基于身分表征【23】的方法，它能够让识别出在演习数据分布以外的新样本。
还有渐进网络，它能够被成功地用于将仿照机器情面况的知识转移到真正的机器人手臂上，大大减少了在现实天下所需的演习韶光【28】。
神经科学的不雅观点认为，迁移学习的一个标志是具备进行关系推理的能力,研究职员也在开始建立办理这类问题的深度神经网络【29】。
但由于人类进行迁移学习的神经机理仍旧不是很清楚，以是这方面的研究还有待更多的事情投入。

4.4 想象与方案

只管基于最大化期望代价的深度强化学习已经取得很好的性能，但这种与模型无关（model-free）的强化学习仍存在两个问题：首先它须要大量的履历才能对代价进行准确地估计；其次它的策略对代价的变革太敏感，不足灵巧。
相反，人类可以利用基于仿照的方案（simulation-based planning）来灵巧地选择策略以最大化未来长期代价。
这种基于仿照的方案利用履历对环境建立内部模型【30】，并以此生成规划。
当然，研究职员也借鉴这种机理建立了基于模型（model-based）以及基于仿照的的强化学习方法，如蒙特卡洛树搜索（MCTS）【31】。
但是，目前的方案算法还没有捕捉到人类方案能力中核心的特点。
要办理这个问题，我们须要充分地理解动物若何从履历中学习并建立针对环境的内部模型。
神经科学家对动物若何基于现有状态想象未来可能的情景以及如何进行基于仿照的方案进行了研究。
比如，当处于选择犹豫时，大鼠海马区的神经活动与进行路径导航时的神经活动相似，彷佛它正在想象各种可能的方案。
这表明动物通过实例化一个环境内部模型，即想象可能的场景，然后对这个场景进行评价，从而得到完成规划任务【32】。
目前，基于仿照的方案取得的初步成果有基于深度天生模型【22 26 33】的方法。
它能够天生韶光同等的序列样本，这些样本能够反响最近经历过的现实环境的几何布局。
这一算法思想与神经科学的结论也是同等的。

4.5 虚拟大脑剖析

目前，虽然深度学习和深度强化学习取得了打破式的性能，但对我们来说它们还相称于一个黑盒子，我们无法阐明它们的内部表达和打算机理。
通过借鉴神经科学中的探测技能，比如单细胞记录、神经影像、切除技能等，有助于我们剖析神经网络，更好的阐明模型。
最近这方面的研究取得了一些进展。
首先，神经科学中通过降维来可视化大脑内部状态的方法被用来剖析神经网络【34】。
其次，感想熏染野映射的方法被用来剖析神经网络中单个神经元的相应特性，个中一个范例的运用便是激活最大化，它通过最大化确定种别神经元的相应来合成图像【35】。
其余，受神经科学启示的线性化网络剖析方法可以揭示一些对网络优化有利的主要准则，有助于理解网络深度和表达构造的浸染【36】。
虽然这些事情是有效的，但是理解构造更繁芜的网络仍旧十分困难，比如带有外部存储的网络构造。
这些研究仍旧须要进一步借鉴神经科学。

5 结束语

在本文中，我们回顾了神经科学对人工智能的历史贡献，指出了当下四个可以从神经科学中得到启示的人工智能研究点，展望了未来神经科学将在五个方面进一步促进人工智能的发展。
末了，我们认为神经科学对人工智能的促进浸染将日益显著，而神经科学和人工智能的相互借鉴将加速两个领域的发展。

6 参考文献

Hassabis D, Kumaran D, Summerfield C, et al. Neuroscience-Inspired Artificial Intelligence[J]. Neuron, 2017, 95(2):245-258.

7 推举文献

1 LeCun, Y.,Bengio, Y., and Hinton, G. (2015). Deep learning. Nature 521,436–444.

2 McCulloch,W., and Pitts, W. (1943). A logical calculus of ideas immanent in nervousactivity. Bull. Math. Biophys. 5, 115–133.

3 LeCun, Y.,Boser, B., Denker, J.S., Henderson, D., Howard, R.E., Hubbard, W., and Jackel,L.D. (1989). Backpropagation applied to handwritten zip code recognition.Neural Comput. 1, 541–551.

4 Krizhevsky,A., Sutskever, I., and Hinton, G. (2012). ImageNet classification with deepconvolutional neural networks. In Advances in Neural Information ProcessingSystems 25, pp. 1097–1105.

5 Hinton,G.E., Srivastava, N., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R.R.(2012). Improving neural networks by preventing co-adaptation of feature detectors.arXiv, arXiv:12070580.

6 Sutton, R.,and Barto, A. (1998). Reinforcement Learning (MIT Press).

7 Moore, T.,and Zirnsak, M. (2017). Neural mechanisms of selective visual attention. Annu.Rev. Psychol. 68, 47–72.

8 Mnih, V.,Heess, N., Graves, A., and Kavukcuoglu, K. (2014). Recurrent models of visualattention. arXiv, arXiv:14066247.

9 Ba, J.L.,Mnih, V., and Kavukcuoglu, K. (2015). Multiple object recognition with visualattention. arXiv, arXiv:14127755.

10 Mnih, V.,Kavukcuoglu, K., Silver, D., Rusu, A.A., Veness, J., Bellemare, M.G., Graves,A., Riedmiller, M., Fidjeland, A.K., Ostrovski, G., et al. (2015). Humanlevelcontrol through deep reinforcement learning. Nature 518, 529–533.

11 Silver, D.,Huang, A., Maddison, C.J., Guez, A., Sifre, L., van den Driessche, G., Schrittwieser,J., Antonoglou, I., Panneershelvam, V., Lanctot, M., et al. (2016). Masteringthe game of Go with deep neural networks and tree search. Nature 529, 484–489.

12 Schaul, T.,Quan, J., Antonoglou, I., and Silver, D. (2015). Prioritized experience replay.bioRxiv, arXiv:1511.05952

13 Baddeley,A. (2012). Working memory: theories, models, and controversies. Annu. Rev.Psychol. 63, 1–29.

14 Botvinick,M.M., and Plaut, D.C. (2006). Short-term memory for serial order: a recurrentneural network model. Psychol. Rev. 113, 201–233.

15 Hochreiter,S., and Schmidhuber, J. (1997). Long short-term memory. Neural Comput. 9,1735–1780.

16 Graves, A.,Wayne, G., and Danihelka, I. (2014). Neural turing machines. arXiv, arXiv:1410.5401.

17 Graves, A.,Wayne, G., Reynolds, M., Harley, T., Danihelka, I., Grabska-Barwinska, A.,Colmenarejo, S.G., Grefenstette, E., Ramalho, T., Agapiou, J., et al. (2016). Hybrid computing using a neuralnetwork with dynamic external memory. Nature 538, 471–476.

18 Kirkpatrick, J., Pascanu, R., Rabinowitz, N., Veness, J., Desjardins, G., Rusu,A.A., Milan, K., Quan, J., Ramalho, T., Grabska-Barwinska, A., et al. (2017). Overcomingcatastrophic forgetting in neural networks. Proc. Natl. Acad.Sci. USA 114,3521–3526.

19 Battaglia,P.W., Hamrick, J.B., and Tenenbaum, J.B. (2013). Simulation as an engine ofphysical scene understanding. Proc. Natl. Acad. Sci. USA 110,18327–18332.

20 Battaglia,P., Pascanu, R., Lai, M., Rezende, D., and Kavukcuoglu, K. (2016). Interactionnetworks for learning about objects, relations and physics. arXiv, arXiv:161200222.

21 Chang,M.B., Ullman, T., Torralba, A., and Tenenbaum, J.B. (2016). A compositionalobject-based approach to learning physical dynamics. arXiv,arXiv:161200341.

22 Eslami, A.,Heess, N., Weber, T.Y.T., Szepesvari, D., Kavukcuoglu, K., and Hinton, G.(2016). Attend, infer, repeat: fast scene understanding with generative models.arXiv, arXiv:160308575

23 Higgins,I., Matthey, L., Glorot, X., Pal, A., Uria, B., Blundell, C., Mohamed, S., andLerchner, A. (2016). Early visual concept learning with unsupervised deep learning.arXiv, arXiv:160605579.

24 Lake, B.M.,Ullman, T.D., Tenenbaum, J.B., and Gershman, S.J. (2016). Building machinesthat learn and think like people. arXiv, arXiv:1604.00289.

25 Lake, B.M.,Salakhutdinov, R., and Tenenbaum, J.B. (2015). Human-level concept learningthrough probabilistic program induction. Science 350, 1332–1338.

26 Rezende, D.,Mohamed, S., Danihelka, I., Gregor, K., and Wierstra, D. (2016b). One-shotgeneralization in deep generative models. arXiv, arXiv:160305106.

27 Kemp, C.,Goodman, N.D., and Tenenbaum, J.B. (2010). Learning to learn causal models.Cogn. Sci. 34, 1185–1243.

28 Rusu, A.A.,Vecerik, M., Rothorl, T., Heess, N., Pascanu, R., and Hadsell, R. (2016).Sim-to-real robot learning from pixels with progressive nets. arXiv, arXiv:161004286.

29 Reed, S.,Zhang, Y., Zhang, Y., and Lee, S. (2015). Deep visual analogymaking. In NIPS’15Proceedings of the 28th International Conference on Neural Information ProcessingSystems, pp. 1252–1260.

30 Dolan,R.J., and Dayan, P. (2013). Goals and habits in the brain. Neuron 80, 312–325

31 Browne, C.,Powley, E., Whitehouse, D., Lucas, S.M., Cowling, P.I., Rohlfshagen, P.,Tavener, S., Perez, D., Samothrakis, S., and Colton, S. (2012). A survey ofMonte-Carlo tree search methods. IEEE Trans. Comput. Intell. AI Games 4, 1–43

32 Redish,A.D. (2016). Vicarious trial and error. Nat. Rev. Neurosci. 17, 147–159.

33 Gemici, M.,Hung, C., Santoro, A., Wayne, G., Mohamed, S., Rezende, D., Amos, D., andLillicrap, T. (2017). Generative temporal models with memory. arXiv,arXiv:170204649.

34 Zahavy, T.,Zrihem, N.B., and Mannor, S. (2016). Graying the black box: understanding DQNs.arXiv, arXiv:160202658.

35 Nguyen, A.,Dosovitskiy, A., Yosinski, J., Borx, T., and Clune, J. (2016). Synthesizing the preferred inputs for neurons in neural networks via deep generator networks.arXiv, arXiv:160509304.

36 Saxe, A.M.,Ganguli, S., and McClelland, J.L. (2013). Exact solutions to the nonlineardynamics of learning in deep linear neural networks. arXiv, arXiv:13126120v3.

点击上方图片 或 扫描上方二维码报名