下一代人工智能像人一样思虑_工作_措辞
探索人工智能的梦想从来就不是创造一个能击败国际象棋大师的程序,或者搭建一个试图毁坏婚姻的谈天机器人。实际上,它让我们以技能为镜来反不雅观自身,从而更深刻地认识自我。研究者追求的不仅仅是人工智能,而是具备类人的适应性和创造力的通用人工智能(AGI)。
1、迈向通用人工智能
大措辞模型(LLM)已经展现出远超研究者预期的问题办理能力。但是,它们仍时时犯下可笑的缺点,并缺少开放学习的能力:一旦完成根据书本、博客和其他材料的演习,它们的知识库就会冻结。它们也不能通过专家设计的“机器人大学生测试”:无法完成大学教诲,乃至幼儿园教诲也弗成。
这些系统唯一真正办理的AGI问题是措辞。它们拥有所谓的“形式表达能力”:LLM能解析你供应的所有句子,纵然是只言片语或鄙谚它也能搞明白,还能以类似维基百科的标准英语作出回答。但是,它们不具备那些能够帮助我们处理日常生活的思维能力。“我们不应该期望它们能够思考,”麻省理工学院的神经科学家南希·坎威舍说,“它们是措辞处理器。”LLM能闇练地操纵笔墨,但除了已经节制的文本之外,它们并没有与现实互动。
从这个意义上讲,大措辞模型只是模拟了大脑的措辞能力,却缺少感知、影象、导航、社会判断等能力。我们的大脑灰质实行的功能相互重叠,既纷繁繁芜又十全十美——它们或广泛分布在多个脑区,或局限于某个特定脑区。例如,那些大脑措辞功能区中风的患者可能无法说话,但他们仍能够像以前一样做加减运算,创作交响曲,下棋,还能通过手势互换。AI的开拓者正将这类功能模块引入到他们的系统之中,希望使它们更加智能。
天生式预演习变换器(GPT)的创造者OpenAI,通过插件来帮助付用度户完成数学运算、互联网搜索和其他查询任务。每个插件都有一个专用的,接管过预演习的专业知识库可供调用。实在,GPT的核心措辞系统在某种意义上也是模块化的。OpenAI对GPT的架构严格保密,但浩瀚AI研究者推测,GPT由多达16个独立的神经网络或“专家”组成,这些“专家”通过搜集它们的输出来回答用户的问询,但是搜集的事情机制尚不明确。2023年12月,总部位于法国巴黎的AI公司Mistral也发布了一款基于“稠浊专家”架构(MoE)的开源模型,引发了巨大轰动。这种形式大略的模块化架构,最紧张上风便是打算效率:演习和运行16个较小的(神经)网络比运行一个大型(神经)网络更随意马虎。“这个‘MoE架构’实现了两全其美。”英国爱丁堡大学的AI研究员埃多阿多·蓬蒂说,“我们能得到一个拥有大量参数的系统,同时保持了小模型的效率。”
但是,模块化也带来了问题。没有人确切知道大脑的各个区域如何协同事情以创造出一个和谐的自我,更不用说机器如何去模拟这一点了。“措辞系统是如何将信息通报给逻辑推理系统或社会推理系统的?”麻省理工学院的神经科学家安娜·伊万诺娃为此感到非常好奇,“这仍旧是一个悬而未决的问题。”
一个大胆的假设是,意识是这统统的根本。根据“全局事情空间理论”(GWT),意识对大脑来说就像是公司的员工会议,是一个为各个模块供应可以分享信息并供应帮助的地方。当然,GWT并非意识的唯一理论,但AI研究者对它特殊有兴趣,由于它提出了一个大胆的假设,即意识对付高等智能至关主要。完成一个大略或闇练的任务时,大脑可以自动运行。但是,当全新或者繁芜的任务涌现,并且超出了单一模块范畴时,我们须要意识到自己正在做什么。
戈策尔等学者已经将GWT的事情空间融入了他们的AI系统。“我认为全局事情空间模型的核心理念将以许多种不同的形式涌现,”他说。研究职员在AI系统中利用GWT,目的并不是制造故意识的机器。相反,他们只是通过在硬件上实现GWT来得到类似人类的智能。
但是,在这个过程中,他们是否会在无意中创造出一个具有觉得和动机的故意识生命?GWT的提出者、加利福尼亚州拉荷亚神经科学研究所的伯纳德·巴尔斯认为这不太可能。“故意识打算是一个丝毫没有证据的假设,”他说。但如果AI研究者确实成功创建出了AGI,它们可能会对智能本身的架构和功能供应关键的洞察。
2、意识模型
GWT长期以来一贯是神经科学和人工智能研究相互促进的范例案例。这个理论最早可以追溯到20世纪50年代,打算机科学家奥利弗·塞尔弗里奇提出的“鬼域”图像识别系统。他将该系统的模块类比于弥尔顿《失落乐园》地狱中那些通过尖叫来吸引把稳的恶魔。与塞尔弗里奇同时期的研究者艾伦·纽厄尔则选择了一个更安静的隐喻,即一群数学家聚拢在一块黑板面前共同办理问题。这些比喻之后被认知心理学家所借鉴——20世纪80年代,巴尔斯提出了用GWT来阐明人类意识。“在我的全体职业生涯中,我从人工智能领域学到了很多,由于它基本上是我们拥有的唯一可行的理论平台。”他说。
巴尔斯的GWT启示了孟菲斯大学的打算机科学家斯坦利·富兰克林去构建一台故意识的打算机。无论富兰克林的机器是否真的产生了意识——巴尔斯和富兰克林本人对此表示疑惑——它至少复现了人类生理的一些独特癖好。例如,当它的把稳力从一件事转移到另一件事时,它会丢失一些关键信息,因此这台打算机在多任务处理的表现和人类一样糟糕。从20世纪90年代开始,法国巴黎法兰西公学院的神经科学家斯坦尼斯拉斯·德阿纳和让-皮埃尔·尚热试图揭示GWT的神经连接模式。
在德阿纳和尚热的模型中,大脑的功能模块在大部分韶光中独立运作。但是,每隔十分之一秒旁边,它们就会进行一次“员工会议”。这个会议是一个遵照既定规则的喊叫比赛:每个模块都有一些信息须要提交,而它对该信息越自傲——例如,刺激与预期越是匹配,它就会喊得越响。一旦一个模块霸占了上风,其他模块就会不才一刻安静下来,而胜出者则会将该信息放到一组公共变量之中,即事情空间。其他模块则会自行判断信息的有用性。“在这个有趣的过程中,模块之间既互助又竞争,每个模块都是办理问题不可或缺的一部分,”巴尔斯说。
事情空间不仅让模块彼此通信,而且供应了一个“论坛”,纵然有些信息不再被呈递给感官,不同模块也可以在这个空间里集体思考。“你可以得到一些来自外部天下的东西——大概是一种须臾即逝的觉得,虽然它从感官中消逝了,但它还会连续在事情空间中回响。”德阿纳说。这种协商式思考的能力对付办理涉及多个步骤或超过一段韶光的问题至关主要。德阿纳在实验室中对人类被试开展了实验,他创造,当人类被试面临上述问题时,他们必须故意识地思考。
GWT摒弃了在模块之间指派任务的老板,由于分配任务很难精确完成。在数学领域,委托(或者在不同参与者之间分配任务以实现最佳绩效)属于所谓的NP-困难问题,办理起来可能非常耗时。在许多存在“老板”的系统中,如OpenAI可能利用的稠浊专家架构,一个“门控”网络卖力分配任务,但它必须与模块们一起演习,而且这个演习过程极易崩溃。首先,它碰着了蓬蒂所称的“先有蛋还是先有鸡的问题”:由于模块依赖于门控,而门控又依赖于模块,以是演习可能会陷入循环。其次,纵然演习成功,门控的分配机制也是一个黑匣子,其事情事理不透明。
2021年,卡内基-梅隆大学的数学家和名誉退休教授曼努埃尔·布卢姆和莱诺尔·布卢姆夫妇详细阐述了一种全局事情空间中的把稳力争夺机制。这个机制能够确保模块不会过分自傲地供应信息,从而防止“吹牛大王”长期霸占事情空间。同时,模块之间还可以发展出绕过事情空间的直接连接。这种“捷径小道”可以阐明我们学习骑自行车或演奏乐器时的认知加工过程:一旦我们学会了骑车或演奏,参与的模块们就会产生直接连接,它们会将任务离线处理,不再须要意识的参与。“它将须要短期影象参与的加工过程转变为了无意识的加工过程。”莱诺尔·布卢姆说。
这是由于故意识地把稳是一种稀缺资源。事情空间中的信息存储容量有限,以是胜出的模块在向其他模块传输内容时,必须极具选择性。这听起来像是一个有缺陷的设计。“大脑为什么对可以同时思考的事情数量做这样的限定?”加拿大蒙特利尔大学的AI研究者约书亚·本希奥抱有这样的疑问。但他认为这种限定是一件好事:它强化了认知的法则和纪律——由于天下的繁芜性难以被全部追踪,以是我们的大脑必须识别出繁芜征象背后的大略规则。“这个瓶颈迫使我们去理解天下的运作机制,”他说。
对本希奥来说,GWT对AI的主要启示是:本日的人工神经网络过于强大,反而不利于自身发展——它们拥有数十亿乃至数万亿的参数,足以容纳海量的互联网内容;但是,它们方向于陷入细枝末节而忽略从这些内容中蒸馏出更为通用的机制。如果它们要以更类似人类意识思维的办法运作,使其弘大的知识库通过一个狭窄的漏斗,大概会更好。
3、让AI“学会”选择
本希奥在打仗GWT之前,就已经开始努力将这种“类意识瓶颈”融入AI系统之中了。在21世纪10年代初期,由于我们的大脑会选择性地把稳一个信息片段,并暂时忽略其他所有信息,受到这一启示,本希奥和他的同事在神经网络中构建了一个类似的过滤器。例如,当一个措辞模型(比如GPT)碰着一个代词,它须要找到这个词的指代工具,一样平常是通过突显出附近的名词并抑制其他词性的词来实现。实际上,它“把把稳力给到了”理解文本所需的关键词。当然,代词也可能与形容词、动词等干系联,神经网络的不同部分可以同时关注不同的词语关系。
但是本希奥创造,这种把稳力机制带来了一个小问题。如果神经网络完备忽略某些单词,它会根据流程将对应于这些单词的权重置零。这样的突变就像把一个扳手扔进正在高速迁徙改变的发动机里一样,会扰乱反向传播这一演习神经网络的标准程序。反向传播通过神经网络的输出来追溯产生它的打算,如果输出是缺点的,那么就可以改动产生该缺点的打算。但是,权重置零带来的突变会滋扰溯源。
据此,本希奥和同事发明了“软把稳力机制”——神经网络具有选择性,但并不做极度选择。当判断一个代词可能会与哪些单词有关时,该机制会为不同选项授予非零的权重。只管一些单词的权重会比其他单词更高,但所有单词都不会被淘汰出局。“你得到80%的这个,20%的那个,由于这些把稳力分配的权重是连续的,那么就不影响反向传播的微积分操作,”本希奥阐明道。这种软把稳力机制是变换器架构——GPT中的“T”的关键创新。
近年来,本希奥重新核阅了这种方法以创建一个更为严格的“瓶颈”。他认为,想要让网络得到真正的理解能力,这一步至关主要。一个真正的全局事情空间必须做出硬性选择,由于它没有足够的容量跟踪所有选项。2021年,本希奥和他的同事设计了一个被称为“天生流”的网络,它会周期性地从可用选项中做出选择,每个选项的中选概率由其把稳力权重决定。他通过前向或反向传播来演习网络,而不仅仅依赖于反向传播。这样一来,纵然涌现权重突变,该网络仍可以转头去改动产生缺点输出的打算。通过一系列实验,本希奥已经证明,该系统针对输入数据产生的高等表征与我们的大脑产生的表征类似。
4、跨模态对话
实现全局事情空间的另一个寻衅是高度专业化。就像大学里不同院系的教授们一样,大脑的各个模块创造了彼此无法理解的术语。视觉模块产生了抽象观点,让其能够处理来自眼睛的输入信息;听觉模块则发展出与内耳振动旗子暗记相匹配的表征。那么它们如何彼此通信呢?它们必须找到某种通用语或者亚里士多德口中的“共通感”——也是当代英语中“知识”一词的原始含义。这种需求在各大科技公司最近推出的“多模态”网络中尤为急迫,由于这种AI模型能将文本与图像以及其他形式的数据结合利用。
在德阿纳和尚热的GWT版本中,模块之间依赖神经元形成连接,后者通过调度它们的突触来将输入转换成本地方言。“它们将输入转化为自己的代码,”德阿纳说。但细节仍旧模糊不清。事实上,他希望AI研究者在办理人工神经网络的类似问题时,能够为神经科学供应线索。“事情空间更像是一个想法,乃至还谈不上是一个理论。我们正在试图将其变成理论,但它仍旧有很多未知。而工程师们有非凡的才能将其变成一个事情系统。”德阿纳说。
2021年,位于日本东京的AI公司Araya的创始人、神经科学家金井良太与跨学科进入AI领域的神经科学家、法国图卢兹大学的吕芬·旺吕朗提出了一种让人工神经网络完成翻译的新方法。他们从类似谷歌翻译这样的措辞翻译系统中得到了灵感,这些系统是迄今为止AI取得的最令人印象深刻的造诣之一。它们无需外部帮助就能完本钱身的事情。例如,我们并不须要见告这些系统英语中的“love”和法语中的“amour”具有相同的含义;相反,它们独立学习英语和法语,然后通过它们所学到的措辞来推断出哪个单词在法语中扮演着与“love”在英语中相同的角色。
假设你分别用英语和法语演习了两个神经网络,每个网络都节制各自措辞的构造。在网络内部,一个被称为潜空间的内在表征,即“词云”将被构建出来。在词云里,意义相似的单词聚拢在一起,而不干系的单词则各自分开,从而形成该措辞中所有单词的关联图。显然,词云具有独特的形状,但是对付不同的措辞来说,词云形状却是相同的,由于终极都被用来描述相同的天下。因此,你须要做的只是将英语和法语的词云旋转直到它们对齐。此时,你会创造“love”与“amour”对齐。金井说:“我们不须要词典,仅仅只须要找到精确的旋转办法来对齐所有点,就可以得到每种措辞的所有单词在潜空间中的位置。”
由于这个流程不仅适用于单词,也可以运用于全体段落,以是它可以处理在意义上有细微差异,在另一种措辞中没有直接对应词的单词。由此,它可以翻译像英语与汉语这样毫无关联的措辞,乃至可被用于动物之间的互换。
旺吕朗和金井认为,这一流程不仅可以用于措辞之间的翻译,还可以在不同的感官和描述模态之间进行翻译。“通过独立演习图像处理系统和措辞处理系统,然后通过对齐它们的潜空间来将它们领悟在一起,”金井阐明道。与措辞类似,由于图像系统和措辞系统基本上都指向相同的天下,以是跨模态的翻译成为可能。而这一洞察正是德阿纳所希望的:AI研究为揭示大脑的事情事理供应线索。“神经科学家从未设想过对齐潜空间的可能性,”金井说。
要理解这些事理如何被付诸实践,金井与现在在微软事情的阿瑟·尤利亚尼,以及Araya的笹井俊太郎一起,研究了谷歌DeepMind在2021年发布的感知者模型。该模型旨在将文本、图像、音频和其他模态的数据领悟到一个共同的潜空间中。2022年,谷歌将其整合到了一个自动天生短***内容描述的系统中。Araya的团队进行了一系列实验,探究了感知者模型的事情事理。他们创造,虽然感知者并没有专门将全局事情空间设计进系统,但它具有全局事情空间的特色:独立的模块、在模块中进行选择的程序,以及事情影象,即事情空间本身。
一个特殊值得关注的、实现了类似事情空间功能的程序,是由位于捷克布拉格的AI公司GoodAI制作的游戏AI People。这个即将发布的游戏类似《仿照人生》,我去年夏天看到的版本,将舞台设置在了一个充满囚犯、腐败看守和负责的生理年夜夫的监狱里,但该公司也操持设计更平和的场景。该游戏利用GPT作为游戏角色的大脑。GPT不仅掌握它们的对话,还掌握它们的行为和情绪,使其具有一定的生理活动;同时,系统会追踪它们是否生气、悲哀或焦虑,并据此为其选择对应的行为。开拓者添加了其他模块,如表现为短时影象形式的全局事情空间,从而授予游戏角色前后同等的生理并让它们在游戏环境中行动。
5、提取抽象表征
AI领域另一个可能的重大打破来自Meta的研究员杨立昆。只管他没有直接引用全局事情空间作为他的灵感来源,在寻衅天生模型——GPT中的“G”的霸权时,他通过自己的办法也得到了与GWT类似的想法。“我反对在当前AI或机器学习社区非常盛行的一系列不雅观念,”杨立昆说,“我在跟所有人说:放弃天生模型。”
天生式神经网络之以是这样命名,是由于它们基于演习内容来天生新的文本和图像。为了实现这个目标,神经网络必须对细节非常在意:它们必须知道如何在句子中拼写每个单词,如何在图像中放置每个像素。但是,智能的实质实在是选择性忽略细节。由此,杨立昆主见研究者们重新回到现在已不那么时髦的“辨别式”神经网络技能,例如那些通过感知输入之间的差异来识别图像的神经网络。这些网络不会自行构建图像,而只是处理现有图像并分配标签。
基于此,杨立昆创建了一种分外的演习方案,使辨别式网络能够提取文本、图像和其他模态数据的关键特色。它可能无法自动完成句子,但它可以创建类似于我们大脑产生的抽象表征,这正是杨立昆所希望的。例如,如果输入旗子暗记是一辆汽车在道路上行驶的***,由此产生的抽象表征该当捕捉到汽车的品牌、型号、颜色、位置和速率,同时省略道路表面的凹坑、水坑上的荡漾、路边草叶上的光芒——除非我们特殊关注它们,否则我们的大脑会自动忽略这些无关紧要的细节。“所有那些无关紧要的细节都被肃清了,”杨立昆阐明说。
这些被精简的表征本身并没有用处,但它们使得AGI必需的一系列认知功能成为可能。杨立昆将辨别式网络嵌入到一个更大的系统中,使其成为类脑架构的一个模块。该架构包含GWT的关键特色,例如短时影象和一个用来折衷模块并确定事情流程的“配置器”。“我受到了生理学底层知识的极大启示,”杨立昆说。正如人类的大脑可以进行思想实验,想象不同情形下人会有什么不同的感想熏染一样,配置器也会多次运行辨别式网络,罗列出一系列可能的行动,以找到能实现期望结果的最优方案。
杨立昆说,他更方向于避免给“什么是意识”下结论,但他提出了一个他称之为意识的“普通理论”:配置器的事情即意识,它所扮演的角色,类似于巴尔斯理论中的全局事情空间。
6、探求真正的智能
如果研究者成功在AI系统中构建了真正的全局事情空间,那么这是否会使AI具故意识?德阿纳对此持肯定态度,特殊是当GWT结合了自我监督能力的时候。但巴尔斯却不这么认为,部分缘故原由是他对自己的理论仍旧不完备信服:“我对GWT是否真的那么好,一贯持疑惑态度。”在他看来,意识是生物特有的功能,它仅仅存在于具有特定生物布局的机体之中。富兰克林在几年前接管我的采访时表达了类似的疑惑。他认为,全局事情空间是自然蜕变为知足身体的须要而给出的答案。大脑依赖意识从履历中学习以迅速办理生存的繁芜问题,但是,这种能力与AI常日须要应对的问题类型并无关系。“它必须是一个拥有真正心灵和掌握构造的自主代理。”他见告我,“那个代理必须经历生活本身——这并不虞味着它不能是一个机器人,但它必须经历发展,而不是全知全能地降临到这个天下。”
英国萨塞克斯大学的神经科学家阿尼尔·塞思也有类似的不雅观点。“意识不仅仅关乎聪明,”他说,“活着也同样主要。无论通用人工智能多么聪明,但如果它们不是活的,就不太可能故意识。”
塞思更方向于支持被称为预测处理(也称作预测编码)的意识理论。这个理论强调意识试图通过预测即将发生的事情,为未来做准备。“理解故意识的自我,该当从理解掌握身体的预测模型为出发点,”他说。塞思紧张关注意识的信息整合理论,这是一个和GWT相竞争的、关于意识的主流理论。这一理论未将意识与大脑的功能联系起来,而是将其与繁芜的网络构造联系起来,即具有同样繁芜构造的机器也能产生意识。根据这一理论,意识并非智能不可或缺的组成部分,而是出于提升生物效率的情由才涌现。
AI是一个理念丰富的领域,工程师们已经得到了很多可以跟进的线索,无需等待神经科学的新创造。哥伦比亚大学的神经科学家尼古劳斯·克里格斯科特说:“他们做得足够好了!
”但是,大脑仍旧是通用智能的现实证据,而且至少在目前,是AI研究者能拥有的最佳模型。“人类大脑拥有一些工程尚未占领的秘密,”克里格斯科特说。
在过去几十年里,对AGI的勤学不辍的探寻教会了我们很多关于自身智能的事情。现在我们认识到,我们认为大略的任务,如视觉信息加工,实际上须要海量的打算;而我们认为困难的事情,如数学和国际象棋,实际上很随意马虎。我们还认识到,大脑险些不须要任何“预装”知识。它险些可以通过体验学习到它所须要知道的统统。现在,通过理解模块化的主要性,我们正在逐渐明白一个古老的聪慧:没有任何一个东西叫做智能。它只是一套装满各种能力的工具箱而已——从抽象思维到导航,从适应繁芜的社会到对视觉和声音的处理。正如戈策尔所说的那样,通过稠浊和匹配这些多样化的技能,我们的大脑可以在我们从未碰着过的领域取得胜利。我们创造了新的音乐类型,办理了前一代人无法想象的科学谜题。如今,我们踏入了一个全新的未知之地——大概有朝一日,我们的AI表亲会与我们相互帮忙,共同提高。
图文由《环球科学》杂志社供稿
(本文译者刘嘉是清华大学社科学院生理学系、脑与智能实验室根本科学讲席教授,北京智源人工智能研究院首席科学家)
《光明日报》(2024年06月27日 14版)
来源: 光明网-《光明日报》
本文系作者个人观点,不代表本站立场,转载请注明出处!