递归是神经网络中的一个主要术语，在机器学习和神经科学领域有着不同的含义。
然而，随着用于实际运用的人工神经网络(ANNs)越来越繁芜，且在某些方面更像生物神经网络(BNNs)，这种差异正在逐渐缩小(但总体上仍存在巨大差异)。

在这篇文章中，我们将重点先容这两个群体中递归利用的历史差异，重点先容一些比较新的神经科学领域的深度学习神经网络模型，指出一些神经科学研究揭示递归的功能，并对未来进行预测。

深度学习社区所指的是常常性连接类似于神经科学界所说的横向连接。
即局部区域中的互连神经元。

在神经科学界，常常性网络是一种多样性的网络，包括前馈、横向和反馈连接。

反馈连接适宜动物的能力和行为，在没有这种连接的深度学习模型中可能无法复制。

深度学习人工神经网络的递归

正如许多读者所知，深度学习网络是神经网络的子类型，个中神经元(或节点)被安排成层。
与早期研究的只有一两个这样的层的网络比较，这样的网络中存在许多层，这也是它命名的缘故原由。
在一个范例的全连接前馈深度学习网络中，给定层中的所有神经元都将它们的输出发送给紧随其后的层中的所有神经元(打算的方向流利常被描述为从下到上或从左到右在层之间移动)。

人们还可以设计网络，个中给定层中的神经元将其输出发送到紧接在其之前的层，从而引入层之间的反馈连接。

末了，一层神经元可以以完备连接（或其他）的办法将其输出发送回自身。
存储在层中的信息不才一个处理步骤中作为对同一层的输入重新涌现。
这是一种递归的类型，在深度学习实践者谈论时总是意味着递归仅限于一个层。
（请把稳，可能存在多个循环层，但层间连接仅为前馈。
）

与右侧的前馈网络不同，左侧的网络具有“反馈”到自身的重复层（较大的浅蓝色圆圈）。
在深度学习的说法中，

这种递归连接将影象授予递归神经网络(RNN)。
网络的输出不再仅仅依赖于对标韶光的输入。
相反，网络在任何给定的韶光都有一个“状态”，它与下一个输入相结合，供应一个新的输出，并更新网络的状态。

这许可RNN识别或产生其时间构造不同的模式，例如语音[1]。
例如，话语<sleep>和<sleeeep>都可以被识别为单词“sleep”。
事实上，这种序列到序列网络的设计和演习方法的重大进步是语音识别技能在过去2 - 3年中取得如此巨大进步的关键缘故原由。
Siri和Alexa可能仍旧像个“人工智障”，但至少他们可以非常准确地将您口语翻译成文本（只管您可能并不总是认可它们的回答）。

文本的措辞翻译是另一个取得巨大成功的领域。
递归式的利用许可在编码阶段中积累信息，在解码阶段中进行分布式(跨韶光输出)，因此不须要直接进行单词对单词或短语对短语的对齐。
例如，许可一种措辞中单词前的润色语在另一种措辞中紧随其后，或是将red hat翻译成sombrero rojo。

更不用说上面所说的“普通”RNN架构在实践中很少利用了。
高等运用程序常日依赖于人为设计的修正，以适应门控机制。
在某种意义上，这许可它在吸收到某个输入或交付某个输出时“转储”循环层的状态内存。
作为一个类比，当你完成一个想法时，可能会希望扔掉那个想法，这样它就不会和你的下一个想法稠浊了。
值得把稳的是，最常见和有效的门控层之一是是非期内存(LSTM)层，最初创建于1997年，远远早于基于rnnn的运用程序的。

生物神经网络中的递归

在神经科学家中，递归有一个更宽泛的定义：基于生物神经网络(BNNs)中神经元之间险些各向同性的连接模式。
神经元向其他神经元的轴突投射非常丰富，可以向前或向后、短间隔或长间隔传送。
虽然有证据表明，大脑皮层在构造和功能上都存在粗糙的分层构造，但大脑皮层显然没有被安排成神经元的有限层(组)。
大脑作为一个整体有不同的区域，有不同类型的神经元和神经递质，但没有像深度学习神经网络定义特色那样的分隔连接。
只管如此，深度学习实践者所称的反复连接更有可能被神经学家称为横向连接。

递归网络因此吸引子网络的模式完成特性，这也是打算神经科学家进行大量研究的方面。
在我们自己的脑海中，可能只须要短暂的一瞥，一阵短暂的声音或者一点点气味，就能带来强烈而充满活力的影象。
或者当我们试着回顾一个演员或女演员的名字时，我们会想象他们的脸，想起他们互助过的其他演员的名字、电影的名字等等，直到他们的名字神奇地涌如今我们的脑海中。
类似的征象已经在吸引子网络的仿照中被不雅观察到(一个非深度学习构造的ANN，常日带有抑制和愉快性的人工神经元，这代表了BNNs的更现实的模型)。
例如，由人脸图像驱动的神经活动模式也可能由同一人脸的模糊或喧华图像驱动，只是在后一种情形下，网络的动态须要更长的韶光才能达到稳定状态。

Hopfield吸引网络的能量景不雅观。
觉得信息可以大略地将网络活动定位在不稳定的部分信息状态，从该状态

比区分深度学习神经网络的有限递归(层内)与广泛递归更主要的是，在大多数深度学习模型中缺少反馈连接。
在神经科学领域，“递归”一词险些等同于反馈和前馈连接的稠浊，最近的研究为反馈的浸染供应了新的证据。

生物网络中可能存在的周期性连接和反馈连接功能:

迭代感知处理：即循环处理，个中自下而上和自上而下的信息流相互浸染以稳定结果。
有关该主题的更深入问题，请见以下内容。

长期影象：不完全的信息可以发起从长期储存在网络的存储器召回（如上所述）。

短期影象：可以影象短数字序列或几句话内容所需，由共同产生稳定（或动态的）发射模式的神经元坚持，保持新的短期影象。
该功能与上述序列到序列深度学习RNN的功能相似（例如，许可语音识别和措辞翻译）。

自上而下的目标驱动把稳力:基于目前的任务和干系目标，并不是所有的感官信息都具有同等代价。
探求自己喜好的赤色浆果的动物可能具有反馈连接，这种连接可以增强对红光作出反应的低层神经元的活动，同时降落对其他颜色作出反应的神经元的活动。
这个过程的神经模型利用了深度学习社区事情。

可塑性:递归也是生物大脑学习机制的主要组成部分。
例如，皮层下基底核中的多巴胺开释神经元是由皮层和皮层下区域组成的繁芜网络的一部分，能够增强皮层区域对奖赏(食品、交配等)行为的可塑性，从而加强这种行为。
这种神经元和网络的繁芜性在最前辈的深度学习中险些完备缺失落。

门控:据推测，反馈也可以作为一种门控机制来掌握信息从低级神经元到高等神经元的流动。
把稳力可能会利用这样的门控，但这里我们指的门控不是由生物体的意识感知和目标驱动的。
例如，众所周知，关于物体身份的视觉信息是沿着枕叶皮质到下颞叶皮质的通路提取和提炼的。
相反，目标位置信息是沿着枕叶皮质到顶叶皮质的路径提取和细化的。
门控可能有助于辅导这种信息通报过程，并且可能是支持前面谈论的迭代感官处理的机制。

迭代感官处理

我们简要强调BNN中循环和反馈连接的迭代感知处理角色，并将其与在深度学习神经网络中主导图像分类任务的前馈卷积神经网络（CNN）进行比拟。

深度学习工具(image)识别模型在该领域取得了巨大的成功，自CNN发布第一个赢得ImageNet大型视觉识别寻衅(ILSVRC)的模型“AlexNet”以来，该领域发展迅速。
由于视觉皮层是哺乳动物皮层中研究最广泛的区域，因此，人们对深度学习中枢神经网络与哺乳动物视觉进行了许多主不雅观和定量的比较。

早期的视觉神经科学模型是基于Hubel和Weisel等人对单个神经元的记录，它们与标准的中枢神经网络相似，都有卷积、汇聚和前馈连接。
功能模型前馈的部分动机是视觉感知速率很快，大约在100毫秒旁边。
这一估计是基于大脑“高等”区域的神经放电韶光相对付向实验动物展示图像的时候。
基于解剖学，视觉皮层常日被建模为一个疏松的层次构造，由4-6个层次组成，具有强烈的反馈连通性。
只管存在反馈连接，但较高水平的神经反应速率表明，反馈连接并非完备必要(对付大略的工具识别任务)。
如果不是这种情形，在这些领域形成稳定反馈的速率将会更慢，由于反馈循环的贡献须要更多的韶光来传播。

然而，在具有寻衅性的ILSVRC测试集中，CNNs须要几十层乃至数百层才能实现良好的图像分类性能，这与仅仅由几个前馈级组成的视觉皮层模型形成了抵牾。
此外，在一些打算研究中，相对较浅的RNNs与较深的CNNs表现相称。

Liao和Poggio [10]建立了一个4级复发网络，旨在仿照视觉皮层。
在这个粗糙的模型中，来自眼

最近，天下级实验室进行的一对神经科学研究以及对生物反馈性连接的韶光延迟研究，表明须要递归才能捕获人类视觉皮层的动态打算， 递归对付视觉皮层实行识别行为至关主要。
简而言之，如果没有被循环网络多次迭代，就无法识别出更具“寻衅性”的工具图像实例。
换句话说，须要额外的非线性变换以成功识别工具，在那些区域中形成的反馈将更慢，由于来自反馈回路的贡献须要更多的韶光来传播。

末了的话

如上所述，虽然循环深度学习神经网络模型具有层内递归（神经科学用语中的“横向”连接），但很少有神经科学家常常研究的反馈连接类型：从较高层到较低层的连接。

与此干系的是，生物神经元是并走运作的，因此在大规模的递归网络中的打算可以快速进行。
事实上，神经元状态的同步打算更新是成功的关键。
对付运行在当代硬件上的大型、高重复性神经网络，这种程度的并行可能很难实现。
我们推测，在深度学习模型中引入大量的反馈递归，并为这些模型开拓演习方将带来强大的人工智能能力。

编译出品