试完你是不是创造自己竟然可以绝不费力地用自己不常用的手中，两根利用频率相对较低的手指，做一个不常做的动作。
这便是人类大脑不可思议之处——无需经由特殊的演习，大脑就能够在短韶光内以低功耗的办法掌握身体完成各种繁芜行为，乃至是全新的动作。
比较之下，人工智能虽然是人类聪慧的产物，但在很多方面还远不及人类大脑。

为此，微软亚洲研究院（上海）团队的研究员们从理解大脑构造与活动中得到灵感，开拓了一系列涵盖大脑学习、打算过程不同层级的创新技能，包括模拟脑神经回路连接办法，可高效处理浩瀚任务的 CircuitNet 神经回路网络；可运用于韶光序列预测，更适配神经拟态芯片的新型 SNN（脉冲神经网络）框架和策略；以及可为具身智能供应理论辅导的贝叶斯行为框架。
这些探索为未来的人工智能技能发展供应了新的可能。

从能耗的角度来看，人类大脑只须要大约20瓦的功率即可坚持运转，这约即是一个节能灯泡的功耗。
但随着人工智能大模型参数和规模的增大，其能源需求远高于传统的数据中央。
主流的大措辞模型演习过程估量会花费上千兆瓦的电力，相称于数百个家庭一年的用电量。
这种能源花费的增长趋势显然不利于人工智能技能的可持续发展。
那么如何通过新的处理机制办理能耗问题，就成了信息科学领域一个紧迫且前沿的寻衅。

《千脑智能》一书为我们供应了启迪：“要创造出真正智能的机器，我们首先须要对大脑进行逆向工程。
我们研究大脑，不仅是为了理解它的事情事理，更是为了探索智能的实质。
”

实在，人工智能本身便是人类对大脑探索的产物，在打算机出身之初，人们就已经利用神经连接模式+数字打算的办法仿照大脑。
但受限于当时的算力和人们对大脑粗浅的认知，人工智能发展非常缓慢，乃至一度被束之高阁。
近几十年来，随着神经科学家对大脑构造的深入理解和打算资源及干系技能的增强，以脑启示为核心的“人工智能文艺复兴”也掀起了新一轮热潮，匆匆使科研职员重新定位大脑机制对人工智能的浸染。

来自微软亚洲研究院（上海）的研究员们超过打算机和脑科学专业知识，深入理解大脑的构造与行为活动，针对大脑学习和打算过程，从神经元、网络层和更高等别的系统层出发，分别设计研发了高性能的脉冲神经网络（SNN）、参数效率更高的回路神经网络（CircuitNet），以及提升决策效率的贝叶斯行为框架，促进了人工智能网络向着更低功耗、更高效率、更好性能的方向良性发展，同时也为具身智能发展供应了理论和方法。

#1 CircuitNet：仿照大脑神经元连接，实现更低功耗与更高性能

人工神经网络（ANN）已经被广泛运用于人工智能的浩瀚领域，包括自然措辞处理、机器学习、语音识别和掌握系统等。
这些运用的成功，很大程度上得益于它们对大脑神经元事情模式的模拟。
神经元是大脑最基本的单元，它们之间通过繁芜的连接模式相互浸染来通报和处理信息。
但早期的人工神经网络设计相对大略，仅能仿照一两种连接模式。

随着神经科学的发展，人们创造大脑神经元的连接办法多种多样，个中有四种常见模式：前馈勉励和抑制、反馈抑制、侧抑制和相互抑制。
然而，现有的许多人工神经网络，如具有残差连接的网络，只能仿照前馈勉励和抑制模式。
即便是能够仿照循环模式的递归神经网络（RNN），在信息传入前也无法处理上游神经元间的繁芜相互浸染，从而影响了神经网络在不同机器学习任务中的表现。

图1：大脑神经元的四种连接模式

生物神经网络与人工神经网络的整体连接模式也大不相同。
生物神经网络的一个显著特点是局部密集连接与全局稀疏连接的结合。
只管单个神经元可以有数千个突触，但它们大多数位于一个脑区内，形成针对特界说务的功能集群。
只有少数突触作为不同脑区之间的桥梁，延伸到其它功能集群，而人工神经网络常日不具备这样的特性。
此外，人工神经网络中的许多参数也被证明是冗余的，增加了网络的繁芜性。

基于对大脑神经连接的新理解，研究员们提出了新的回路神经网络 CircuitNet，它能够仿照包括反馈和侧向模式在内的多种神经元连接模式。
CircuitNet 的设计还借鉴了大脑神经元局部密集和全局稀疏连接的特性，通过不同电路模式单元（Circuit Motif Unit, CMU）的输入端和输出真个稀疏连接，实现了旗子暗记在不同 CMU 之间的多轮传输。

图2：CircuitNet 架构

实验结果表明，CircuitNet 在函数逼近、强化学习、图像分类和韶光序列预测等任务中的表现超越了当前盛行的神经网络架构。
而且，在各种类型的任务中，CircuitNet 在达到与其它神经网络相同性能的同时，具有相称或更少的参数，展示了其在机器学习任务中的有效性和强大的泛化能力。

CircuitNet: A Generic Neural Network to Realize Universal Circuit Motif Modeling

链接：https://openreview.net/pdf?id=Fl9q5z40e3

#2 让SNN网络更适用于韶光序列预测任务的新框架

脉冲神经网络（SNN）因其能效高、事宜驱动范式和生物学上的合理性，正逐渐受到业内的重视。
SNN 的设计灵感来源于生物神经网络中神经元间的信息通报办法——神经元不是在每次迭代传播中都被激活，只有膜电位达到特定阈值时才被激活，进行旗子暗记通报。
这种事宜驱动机制使得 SNN 只在吸收到有效刺激时才进行信息处理，从而避免了无效打算，极大地提高了运算效率和能效比。

然而，研究员们创造，现有的 SNN 设计大多聚焦于其离散的事宜驱动特性，有的会忽略其时间属性，有的则为了适应事宜驱动范式过程，过度简化序列数据模式。
这些方法虽然让 SNN 在图像分类、文本分类和序列图像分类任务上实现了与人工神经网络靠近的性能，但并未充分发挥 SNN 在处理韶光旗子暗记方面的潜力。

研究员们认为，韶光序列预测是 SNN 一个空想的运用处景。
作为现实数据剖析的主要组成部分，韶光序列预测广泛运用于交通、能源、医疗等领域，旨在基于按韶光顺序排列的历史数据来预测未来。
但是，将 SNN 运用于韶光序列预测还面临两大寻衅：

SNN 中脉冲值的离散特性与韶光序列数据的浮点属性之间存在巨大的差异，须要一种有效的机制来减少在将浮点值转换为脉冲序列时的信息丢失和噪声。
如何选择用于时序数据的 SNN 标准化模型目前还短缺一个辅导方针，进而加剧了任务的繁芜性，这就须要对 SNN 架构及其参数进行深入探索，以适应不同韶光序列数据的特定特色。

研究员们提出了一个用于韶光序列预测任务的 SNN 框架。
该框架充分利用了脉冲神经元在处理韶光序列信息上的高效性，成功实现了韶光序列数据与 SNN 之间的韶光同步。
研究员们还设计了两种编码层，可以将连续韶光序列数据转换为故意义的脉冲序列。
这之后，研究员们又利用多种脉冲化的韶光序列模型对脉冲序列进行了建模，得到了终极的预测结果。

图3：SNN 用于韶光序列预测的新框架

通过在多个韶光序列预测基准集上的测试，研究员们证明了 SNN 方法在韶光序列预测中的有效性。
该方法不仅展现出与传统韶光序列预测方法相媲美或更优的性能，而且显著降落了能耗。

此外，在剖析实验中，研究员们还展示了 SNN 如何捕获韶光序列数据中的韶光依赖性，并创造 SNN 确实能够仿照韶光序列数据的内在动态。
这项研究为 SNN 领域供应了一个既节能，又符合生物学事理的韶光序列预测新方案。

Efficient and Effective Time-Series Forecasting with Spiking Neural Networks

https://arxiv.org/pdf/2402.01533

#3 大脑中枢模式发生器与位置编码双加持，让SNN序列预测更上一层楼

只管 SNN 在多个领域取得了显著进展，但它们在适应不同类型任务时仍面临寻衅。
SNN 作为事宜驱动的系统，缺少有效机制来捕获索引信息、节奏模式和周期性数据，从而限定了它们处理自然措辞和韶光序列等数据模式的能力。
而且，SNN 依赖于脉冲形式的通信，这使得并非所有适用于人工神经网络的深度学习技能都能直接迁移到 SNN 上。

为了战胜这些限定，研究员们进一步从生物神经学机制中汲取灵感，基于人类大脑中枢模式发生器（Central Pattern Generator, CPG）和位置编码（Positional Encoding，PE）技能，开拓了针对 SNN 的新型位置编码技能 CPG-PE。

中枢模式发生器（CPG）：在神经科学中，CPG 是一组能够在不须要节奏输入的情形下，产生有节奏的模式输出的神经元。
这些神经回路位于脊髓和脑干中，卖力产生掌握运动、呼吸和咀嚼等主要活动的有节奏旗子暗记。

位置编码（PE）：PE 是人工神经网络中的一项关键技能，尤其在序列处理任务中尤为主要。
通过为输入序列的每个元素授予位置信息，PE 使神经网络能够识别序列中元素的顺序和相对位置。

CPG 和 PE 都能产生周期性输出，CPG 是相对付韶光的输出，而 PE 则是相对付位置的输出。
研究员们将两者类比，使 CPG-PE 可以编码韶光或空间的位置信息，预测神经旗子暗记的来源或位置。

图4：CPG-PE 在 SNN 中的运用。
X、X′ 和 Xoutput 是脉冲矩阵。

在 Metr-la（洛杉矶高速公路均匀交通速率数据）、Pems-bay（湾区均匀交通速率数据）、Electricity（以千瓦时 kWh 丈量的每小时电力花费数据）和 Solar（太阳能发电数据）四个真实天下数据集上进行的韶光序列预测实验表明，采取 CPG-PE 策略的 SNN 在韶光序列剖析方面显著优于没有 PE 特性的神经网络。
同时，CPG-PE 可以无缝集成到任何能够处理序列的 SNN 中，理论上可以实现与 SNN 硬件的兼容，适配各种神经拟态芯片。

表1：CPG-PE 在具有不同预测的4个基准集上的韶光序列预测实验结果，预测长度为6，24，48，96。
“PE”代表位置编码。
“w/o”表示“没有”，“w/”表示“有”。
粗体格式显示 SNN 的最佳结果。
↑（↓）表示越高（越低）越好。

Advancing Spiking Neural Networks for Sequential Modeling with Central Pattern Generators

https://arxiv.org/pdf/2405.14362

#4 贝叶斯行为框架：为具身智能供应理论辅导

在生理学和认知神经科学领域，以人类为代表的智能生物群体被认为会实行两类行为：习气性行为和目标导向行为。
习气性行为是指为了最大化利益而自动实行的动作，无需意识思考或意图的参与，例如探求食品和避免危险。
目标导向行为是指为了实现特定目标而实行的动作，例如有操持地前往某个地点。
传统上认为，在认知科学和机器学习中，习气性行为和目标导向行为由两套独立的系统掌握，因此在建模时，研究职员常日会为这两种行为设计独立的模型。

然而，微软亚洲研究院的研究员们认为，这两种系统该当更紧密地结合，实现协同学习和事情。
只管在大脑中这两种系统之间的相互浸染尚未完备明了，但习气性行为和目标导向行为共享着诸如脑干这样的下贱神经回路。
两种行为共享低级运动技能，且每个别系都可能利用对方学习到的高等动作。
例如，习气性行为虽然缺少灵巧性，但通过练习可以供应闇练的运动技能，这些技能可以被目标导向行为用于更繁芜的任务方案。
那么如何在保持两种行为差异的同时实现协同？

为此，研究员们提出了一个基于变分贝叶斯方法的理论框架——贝叶斯行为（Bayesian Behavior）框架，用于理解感知运动学习中的行为。
其核心创新在于引入了一个贝叶斯“意图”（intention）变量，从而有效地连接了习气性行为与目标导向行为。

习气性行为由感官输入打算的意图先验分布驱动，无需详细目标。
目标导向行为则由一个通过最小化变分自由能推断（active inference）的目标条件意图后验分布勾引。

图5：（a）贝叶斯行为框架概述；（b）和（c）学习过程和行为过程框架图

在视觉勾引的感知运动任务中进行仿照实验的测试结果显示，贝叶斯行为框架所得出的结论与神经科学和生理学实验的不雅观察数据相吻合。
这一创造不仅为认知科学中“行为”的理解供应了新的视角，也为具身智能的构建供应了理论根本。
例如，人类能够轻松地用左手食指和小指拿起东西，或者原地转圈，未来的具身智能也可能完成这种未曾学习过的动作，展现出更高的适应性和灵巧性。

Synergizing Habits and Goals with Variational Bayes

https://www.nature.com/articles/s41467-024-48577-7

该论文已在《自然-通讯》（Nature Communications）杂志上揭橥。

# 5 跨领域研究让人工智能向节能高效进化

从达尔文进化论的角度来看，现在的主流人工智能模型在未来可能会面临淘汰。
在生物进化的过程中，物种的基因变异是繁殖下一代时的常态。
那些有利于生物适应环境的变异，将通过环境的筛选，以“适者生存”的原则被保留下来。
然而，将这一观点运用于人工智能时，我们会创造能耗问题并不利于人工智能的发展和“进化”。

借鉴人脑的事情事理，构建脑启示的人工智能，不失落为促进人工智能技能向节能高效方向发展的有效路子。
这一趋势已经引发了新的研究热潮，包括对大脑理解的研究、基于神经元构建新的措辞模型、根据不同脑区功能设计的 MoE 架构等脑启示人工智能正发达发展。

在微软亚洲研究院进行脑启示式人工智能研究的过程中，研究员们更加体会到跨学科、跨领域专家协作支持的主要性。
CircuitNet、SNN 韶光序列框架、贝叶斯行为框架等创新成果的背后，凝聚了来自复旦大学、上海交通大学及日本冲绳科学技能大学院大学等机构的神经科学和脑科学专家的专业知识和贡献。

未来，随着对大脑机理的深入理解和技能的不断创新，我们有望匆匆进对智能实质的理解，构建出更加智能、高效且环保的人工智能技能，更好地做事于人类社会。