谷歌揭秘下一代人工智能架构:通用、高效又节能的“Pathways”_人工智能_模子
2001 年,谷歌通过机器学习技能来校正搜索查询中的单词拼写缺点。本日,人工智能的运用越来越广泛,不仅可以优化拍照功能,还能够供应更适配的搜索结果,乃至可以警告人们何时何地会发生大水。
只管在很多方面已取得进展,但人工智能仍有潜力尚待挖掘,比如帮助人类应对一些当下所面临的严厉寻衅:公共卫生疾病、景象威胁等。
然而,要想应对这些寻衅,须要将已得到验证的方法与新的研究领域结合起来,提出一种功能更强大的全新人工智能系统。
在此背景下,谷歌的下一代人工智能架构 “Pathways” 初露头角。
据悉,Pathways 遵照新的人工智能研究思维,既优化了现有人工智能系统的许多不敷之处,又吸取了它们的上风。
当前,多数人工智能系统在面对新任务时,并不是对已演习出的模型进行扩展以学习新任务,而是重新演习出一个新的模型,乃至将通用模型专门用于特界说务。
想象一下,如果你每次学习一项新技能,就忘却了你之前所学的统统,再完备重新开始学习。这样一来,有数千个任务,就开拓了数千个单独的模型。不仅花费了更长的韶光,乃至还须要更多的数据来学习每个新任务。
事实上,最为得当的是演习出一种通用模型,既可以用来应对许多单独的任务,又可以在现有技能的根本长进步处理新任务的效率。比如,基于通过航拍图像来预测景不雅观高度的演习任务,模型可以进一步学习另一项技能,比如预测大水流经地形的情形。
图 | 实时推断大水淹没的机器学习模型(来源:谷歌)
与现有人工智能系统消化信息的办法不同,人们常日利用多种感官来认识天下。然而,对付大多数人工智能模型来说,它们虽然可以吸收文本、图像及语音等多种形式的信息,但一次却只能处理一种形式的信息,而不是同时吸收。
谷歌表示,Pathways 能够演习出可同时进行文本、图像及语音形式的多模态人工智能模型,达到更敏锐且更准确的效果。
并且,Pathways 能够处理抽象的数据,这将有助于科学家在难以占领的研究领域中找到更多有用信息。
此外,以 Pathways 架构创建的人工智能模型更加 “稀疏” 且高效。
大多数已有的人工智能模型都是“密集的”,意味着一项任务无论是非常大略还是繁芜,都须要激活全体神经网络才能完成该任务,这与人类处理某项任务时采纳的办法大不相同。
在人类的大脑中,有许多不同的部分,分别用于应对不同的任务,在特定情形下只调用干系部分。换句话说便是,人类的大脑中有近千亿个神经元,但只需依赖个中的一小部分来进行某项行动。
实在,人工智能系统也能够以这样的办法运行,只需建立一个“稀疏”激活的模型,根据须要调用经由网络的小路径即可。详细来讲,该模型会动态地学习网络中的哪些部分善于于哪些任务,以及如何通过模型中最干系的部分来完成路由任务。
这样一来,同一个人工智能模型将具备完成多种任务的能力,且运行速率更快,能源效率也更高。
图 | Pathways 事情模式(来源:谷歌)
谷歌先容,目前,他们建立的最大人工智能模型为 GShard 和 Switch Transformer ,两者都利用 “稀疏” 激活,极大地提高了能源效率,所花费的能量不到同样大小密集模型的十分之一,但达到的准确性相差无几。
谷歌高等研究员兼谷歌人工智能研究部门高等副总裁杰夫·迪恩(Jeff Dean)表示,“本日的机器学习模型每每在单个任务上过度专业化,而它们实在可以在许多任务中有出色表现。当须要综合多种输入时,它们却只依赖于一种形式的输入;并且,当闇练和专业知识可以做到时,它们每每诉诸蛮力。”
而 Pathways 不同,它以超高的效率使单个人工智能系统覆盖近百万个任务,并能对不同类型的数据进行解析,“从仅仅识别模式的单一用场模型时期推进到更通用的智能系统时期,适应新需求。” 迪恩补充道。
也便是说,多数人工智能模型常日被演习为只做一件事,而 Pathways 可以演习单个模型做万万千万件事。
迪恩称,“我们熟习当今许多环球性寻衅,并致力于研究可帮助办理这些寻衅的技能。同时,我们也确信未来还有一些尚未预见到的重大寻衅,都须要紧急办理方案。因此,我们非常谨慎,并始终遵照我们的人工智能原则来打造下一代人工智能架构,其可以快速适应新需求并办理天下各地涌现的新问题,以帮助人类创造更好的未来。”
-End-
参考:https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/
本文系作者个人观点,不代表本站立场,转载请注明出处!