智东西（"大众年夜众号：zhidxcom）

作者 | 心缘

编辑 | 漠影

智东西6月1日宣布，上午，在聚拢了200余位国内外顶尖AI专家的2021北京智源大会开幕式上，北京智源人工智能研究院发布环球最大预演习模型——“悟道2.0”巨模型，参数量高达1.75万亿！

北京智源大会是由智源研究院主理的年度国际性AI高端学术互换会议，定位于“行家的AI顶级会议”，旨在成为北京乃至中国AI发展的学术名片。

而这次重磅发布的“悟道2.0”巨模型，是中国首个环球最大万亿模型，比有1.6万亿个参数的谷歌最大模型Switch Transformer，足足多了1500亿个参数；是OpenAI GPT-3模型参数量的10倍。

此外，“悟道2.0”还取得多项天下级创新打破，在预演习模型架构、微调算法、⾼效预演习框架等⽅面实现了原始理论创新，并在世界公认的AI能⼒排名榜单上，取得9项能⼒的领先地位。

智源“悟道”智能模型：大模型+大平台+大生态

尤其值得⼀提的是，这个由智源副院⻓、清华⼤学教授唐杰率领中国科学家团队联合攻关的万亿模型，首次100%基于国产超算平台打造、运⽤中国技能，冲破原来只能用GPU演习模型的问题。

智源研究院还与新华社计策互助，将悟道模型运用于***数字化转型；并互助智谱AI、微软小冰公司，联合培养准备进入清华唐杰实验室的中国首位原创虚拟学生“华智冰”。

中国首位原创虚拟学生“华智冰”：基于“悟道2.0”大模型和小冰框架的AI内容天生技能天生

这一技能现已开源，任何个人或企业即日起可免费申请利用公开API：

http://wudaoai.cn/home

一、万亿模型新里程碑，9项顶尖AI能力

这个环球最大、中国首个万亿参数的双语多模态模型，究竟能做什么？

悟道同时支持NLP理解、天生任务与文生图、图生文任务。
大略来说，从作诗写文、对联问答到配图猜图、绘画设计，它都能与人类一较高下。

在世界公认的9项Benchmark上，悟道2.0均取得了顶尖能力水平，达到了精准智能。

悟道2.0在9项Benchmark上取得的新造诣

以悟道模型包含的环球最大中文多模态天生模型CogView为例，这个模型有40亿个参数，代表了天下顶尖的⽂图绘画能⼒。

CogView战胜了做文图模型在半精度下由于高下溢无法正常收敛的关键问题，也是继DALL·E之后少有的通⽤领域⽂图模型。

CogView：精度最高的通用领域文图模型

在MS COCO文本天生图像任务威信指标FID上，CogView打败OpenAI拥有130亿参数的DALL·E模型，得到天下第一。

给一段符合现实场景或者天马行空的话，比如“金发女郎打电话”、“素描屋子”，或者“老虎踢足球”、“一个人在月球上骑自行车”，CogView都能创作出相应的图像。

天生符合句子含义的图像

CogView也能直接实现类似于OpenAI CLIP模型的⾃评分功能，且画风多元，中国画、卡通画、轮廓画、油画等等都能天生。

天生各种风格的“东方明珠”

CogView还能充当设计师。
比如，通过与阿⾥巴巴达摩院智能打算组互助，CogView经由GAN的增强后，应⽤到阿⾥的衣饰设计业务。

将CogView经由GAN增强后运用到阿里的衣饰设计业务

或许，你的购物⻋里，就躺着“悟道”的设计。

如果说CogView展现了AI的最佳实际作画能⼒，神经元可视化技能，则打破想象地描述出AI的梦境——对付⼀个给定的文本观点，得到与其特色表示最为靠近的图像可视化。

从如下图示，多模态预演习后的神经⽹络已经能“看到”抽象的人类观点。

天生“圣诞”、“梦境”等抽象观点

AI的想象天下，大概有人类手笔所无法触碰的竹苞松茂。

除了按字生图外，悟道也能实现根据图片来天生描述图片内容的流畅语句，并能预测每个动画图像的准确标签，大大提高图像标记任务的效率，这给自动天生字幕、将图片与对应“金句”、歌词相匹配等运用带来便利。

理解图像信息并提炼关键标签

目前，悟道多项运用正在逼近打破图灵测试。

二、为什么“环球最大”模型，会涌如今智源？

“悟道”攻关团队由智源副院⻓、清华⼤学教授唐杰领衔，清华、北大、⼈大、中科院等100余位科学家联合攻关，形成了AI的特战团队。

今年3月20日，智源研究院发布我国首个超大规模智能模型“悟道1.0”，包含中文、多模态、认知、蛋白质预测在内的系列模型，取得了多项国际领先的AI技能打破。

“悟道2.0”超大规模预演习模型阵容及最新成果

这一项目的启动，要追溯到2020年6月。
当时OpenAI拥有1750亿个参数的超大规模措辞模型GPT-3横空出世，火速红遍环球AI圈。

在接管智东西专访时，智源研究院理事长张宏江评价说：“GPT-3的出身，标志着AI已经从过去15年景长中的算法打破，进入大系统的打破。
”

预见到大模型的里程碑意义后，智源的核心成员迅速做了一番研究，判断这对中国AI家当至关主要。
经由与产学政多方互换，智源随即做出决策并组建团队，专攻大模型。

研发大模型绝非易事，超大规模算力、足质足量的数据、算法根基深厚的学者缺一不可。

而介乎于产学政之间的智源研究院，正好具备高效整合这些资源的能力。
这也是为什么，智源团队在短短几个月内，即创下“悟道”巨模型的新记录。

“悟道2.0”巨模型

“悟道”万亿模型一统文本与视觉两大阵地，支持中英双语，在共4.9T的高质量洗濯数据上演习。

从技能打破来看，悟道·文汇基于GLM+CogView+FastMoE技能，CogView已经在前文聊过，GLM2.0、FastMoE技能也都值得一提。

最大的英文通用预演习模型GLM2.0曾首次冲破BERT和GPT壁垒，首创性地以单⼀模型兼容所有主流架构。

新⼀代版本更是模型创新、以少胜多的高性能AI典范：以100亿参数量，足以匹敌微软170亿参数的Turing-NLG模型，取得多项任务的更优成绩。

首创性的FastMoE技能，是冲破国外技能瓶颈，实现“万亿模型”基石的关键。

此前因谷歌万亿模型的核心参数MoE（Mixture of Experts）和其昂贵的硬件强绑定，绝⼤多数⼈无法得到利用与研究机会。

MoE是⼀个在神经网络中引入若⼲专家⽹络（Expert Network）的技能，能直接推动预演习模型经从亿级参数到万亿级参数的超过，但它离不开对谷歌分布式演习框架mesh-tensorflow和谷歌定制硬件TPU的依赖。

而FastMoE冲破了这⼀限定：作为首个支持PyTorch框架的MoE系统，它大略易用、灵巧、⾼性能，且⽀持大规模并行演习。

FastMoE由“悟道文汇”和“悟道文溯”两个研究小组联合攻关，可在不同规模的打算机或集群上支持探索不同的MoE模型在不同领域的运用，比较直策应用PyTorch实现的版本，提速47倍。

单GPU多experts情形下，FastMoE比较普通PyTorch实现的加速比

新一代FastMoE支持Switch、GShard等繁芜均衡策略，⽀持不同专家不同模型，最大测试了几万个专家的MoE演习。

FastMoE已基于阿里PAI平台，探索在支付宝智能化做事体系中的运用；亦在国产神威众核超算平台成功支配。

目前该技能已经开源，这为万亿模型实现⽅案补上了末了⼀块短板。

此外，智源提出FewNLU小样本学习系统，在小样本学习自然措辞理解任务上实现新SOTA，极大缩小了与全监督学习条件下微调性能的差距。

个中包含的P-tuning 2.0算法，历史上首次实现自回归模型在理解任务上超越自编码模型，极大拉近少样本学习和全监督学习的差距，少样本学习能力遥遥领先。

“悟道”攻关团队成员

三、高效易用，全部开源

“⾼效易用”是“悟道2.0”巨模型的另⼀张标签。

⼤规模预演习模型的参数规模，常日远超传统的专⽤AI模型，在算⼒资源、演习韶光等⽅面花费巨⼤。

为了提升⼤规模预演习模型的家当普适性和易用性，悟道团队搭建高效预演习框架，实现了全链路的原创打破或迭代优化，预演习效率⼤幅提升，并且全部开源。

面向预演习模型的全链路高效演习框架CPM-2

（1）⾼效编码：研发了最高效、最抗噪的中⽂预演习语⾔模型编码，办理⽣僻字等问题；

（2）⾼效模型：构建了天下首个纯非欧空间模型，只需一半的参数量，即可达到近似欧式模型的效果；

（3）⾼效演习：天下创始⼤规模预演习模型领悟框架，形成⾼效演习新模式，演习韶光缩短27.3%，速率提升37.5%；

（4）⾼效微调：天下创始多种别Prompt微调，只需演习0.001%参数，即可实现下贱任务适配；

（5）高效推理：天下创始低资源⼤模型推理系统，单机单卡GPU可进⾏千亿规模的模型推理。

悟道·文源还包含天下最大中文自然措辞能力评测数据集，这是目前最全面系统的中文自然措辞能力评测基准，能综合反响模型的措辞能力。

智源指数

此外，智源研究院打造了环球最⼤的中⽂语料库WuDaoCorpora，扩展了多模态和对话两⼤全新元素，再次升级创造3项环球最⼤：最⼤中⽂文本数据集、多模态数据集、中⽂对话数据集。

除了规模⼤，该语料库仍延续了标签全、隐私保护好的上风特色。
WuDaoCorpora2.0也将进行部分开放，为家当与研究进⾏数据⽀持。

目前，智源研究院操持免费开放200G悟道文本数据，研究职员可登录如下链接申请***：

http://data.baai.ac.cn/data-set

四、已互助21家企业，“悟道”生态圈扩展中

智源研究院理事长张宏江认为，⼤模型将成为⼀个AI未来平台的出发点，成为类似“电⽹”的根本培植，为社会源源不断供应智⼒源。

智源研究院理事长张宏江演讲

张宏江说，“悟道2.0”智能模型系统将构建“大模型、大平台、大生态”。

一因此“大规模”“高精度”“高效率”为发展目标，持续研发大模型；二是环绕大模型研发，构建大规模算力平台，支撑信息、生命、物理领域的大模型研发；三是通过示范运用搭建、API开放、开源社区等，构建大模型生态。

悟道大模型已在家当智能应⽤⽅面全⾯着花。

例如，智源研究院与新华社计策互助，将悟道大模型应⽤于***智能化转型，实现了***领域0到1的打破。

“悟道”能处理***下贱任务，如***内容处理、图⽂天生、传播优化等，它还具备靠近人类的图⽂创意能力，可以作诗、问答或进行创意写作。

此外，中国首位原创虚拟学生“华智冰”也现身智源大会开幕式。
这个AI学生拜智源副院长、清华⼤学教授唐杰为师，今日进入清华实验室学习。

“她”具备持续学习新知识和回答繁芜推理问题的能力，将逐渐学会写诗、作画、唱歌、编程等各种内容创作技能。

AI学生“华智冰”演示***：背景音乐、脸庞、诗词、绘画作品，均基于“悟道2.0”大模型和小冰框架的AI内容天生技能

“华智冰”由智源研究院、智谱AI与小冰公司联合培养，基于智源悟道2.0超大模型、小冰AI完备框架、智谱AI数据与知识双轮驱动的AI框架而实现。
研究职员们期望，“华智冰”在知识水平、情商等方面都会不断发展。

“悟道”⼤模型现已与美团、⼩米、快⼿、搜狗、360、寒武纪、好未来、新华社等21家家当生态互助企业进行计策互助签约，涵盖⾏业应⽤企业、IT⻰头企业、中⼩创新企业等。

悟道生态计策互助伙伴

同时，智源发起组建“悟道”⼤模型技能创新⽣态同盟的倡议，吸引更多企业加入，将以同盟为枢纽，以企业需求为导向，推动模型研发，共同开拓基于“悟道”⼤模型的智能运用，从而促进家当集聚。

环绕“悟道”⼤模型家当生态培植，后续，智源研究院将⾯向个⼈开拓者、中小创新企业、行业应⽤企业、IT领军企业平分歧主体，分别供应模型开源、API调⽤、“专业版”⼤模型开拓、大模型开拓容许授权等多种形态的模型能⼒做事，赋能AI技能开拓。

同时，智源研究院拟通过成⽴创业投资基⾦、举办“悟道之巅”模型应⽤创新大赛等⽅式，不断发掘和造就基于超⼤规模智能模型的创新企业，推动AI家当可持续发展。

五、智源最新进展：已挑选94位智源学者，培植8个智源创新中央

除了发布悟道2.0外，在智源大会开幕式上，智源研究院院长、北京大学教授黄铁军还分享了智源研究院的最新进展。

1、持续履行智源学者操持，引进培养精良科学家

截至目前，智源学者操持已挑选智源学者94人，分别来自北大、清华、中科院等高校院所与旷视、京东等上风企业。

他们的研究覆盖人工智能的数理根本、人工智能的认知神经根本、机器学习、自然措辞处理、智能信息检索与挖掘、智能系统架构与芯片等重大研究方向。

2、培植“超大规模人工智能模型演习平台”

智源研究院加紧支配通用智能发展，推动培植“超大规模人工智能模型演习平台”，研制“信息、生命、物质”领域超大规模智能模型，以及搭建模型演习及运行所需的大规模算力资源及软件环境。

智源创新的中央任务：三个智能模型+一套智算体系

个中，算力资源部分将建成体系架构前辈、高速互联互通、可扩展高效并行的AI超级打算平台，同时，通过搭建AI软硬件测试验证平台，挑选百度昆仑、华为昇腾、寒武纪思元等高性能国产AI芯片及软件参与平台培植，为AI前沿技能供应试验验证环境。

3、建立智源创新中央，推动原创成果转化落地

迄今智源研究院已经培植8个智源创新中央，覆盖疾病脑电、智能信息处理、认知知识图谱、安全人工智能等方向，通过开放智源的生态资源，支持关键核心技能攻关，推动AI原始重大创新和关键技能落地和深度运用。

在本届智源大会上，智源研究院将于6月3日发布源创操持，供应两类做事：一类是技能驱动，即扶持科学家创业；另一类是需求拉动，给缺少AI技能、想转向智能化的企业做技能对接。

智源源创操持

4、开放高质量数据集，培植联合实验室

智源数据开放研究中央重点培植智能医疗等行业的高质量AI数据集，面向业界供应数据共享做事，推出智能平台，并组织干系数据竞赛。

悟道数据团队还构建了环球最大中文语料数据库WuDaoCorpora，这次WuDaoCorpora2.0扩展了多模态和对话两大全新元素，再次升级创造3项环球最大：最大中⽂文本数据集（3TB）、多模态数据集（90TB）与中⽂对话数据集（181G）。

其余，智源研究院与旷视、京东分别培植并开放了环球最大的物体检测数据集Objects365、环球最大多轮对话文本数据集。
智源研究院还分别联合旷视、京东、予果生物等企业共建实验室，推动场景开放，履行协同创新。

5、培植智源社区，举办北京智源大会

社区方面，智源研究院推动智源社区培植，着力构建AI学者社交网络，建立生动的AI学术和技能创新生态，培养下一代问题的创造者、办理者。

目前，智源社区已汇聚6万名AI学者和技能职员，未来，智源社区将紧密联系3000名以上的顶尖AI学者，辐射10万以上AI科研和技能职员。

6、参与并引领国际AI管理，促进AI可持续发展

2019年5月，智源研究院成立人工智能伦理与可持续发展研究中央，并同北大、清华、中科院打算所等单位联合发布了我国第一个人工智能发展与管理准则——《人工智能北京共识》。

为推动北京共识落地，智源研究院将在2021年9月发布我国首个针对儿童的人工智能发展原则《面向儿童的人工智能北京共识》，并在培植我国首个“人工智能管理公共做事平台”，针对AI技能在研发及运用过程中潜在的伦理问题供应检测做事。

它还发起了成立国际组织“面向可持续发展的人工智能协作网络”，剑桥大学、新加坡管理大学、联合国机器人与人工智能中央等机构已加入。

结语：开启海内超大规模模型时期

在智源研究团队眼中，未来，⼤模型将成为类似“电⽹”的新平台，将AI的“智力”犹如电力般，源源不断、⼜高效普惠地运送进各⾏各业。

智源“悟道”巨模型，正是这⼀趋势的先⾏者。

这一万亿参数模型的里程碑式打破，与智源攻关团队深厚的算法根基、数据积累和算力汇聚能力都密不可分。

自2018年底成立以来，智源研究院持续搜集海内顶尖AI人才，推进AI领域最根本问题和最关键难题的研究，并陆续取得许多国际领先的新成果。

接下来，“悟道”不止是要做“中国第⼀”，而且要持续瞄向天下顶尖水平，让机器全方面靠近⼈的思考，迈向通⽤⼈工智能。

也便是说，往后你在知乎看到的“谢邀”答主，你在展览上看到的设计大师，说不定便是AI了。

今日推出的“悟道”，仅是智源研究院的重大研究进展之一。
在开幕式后，2021北京智源大会将于6月1日至3日期间，环绕各种国际AI前沿和家当热点召开29场专题论坛，分享最新研究成果。

除了在本日上午揭橥演讲的图灵奖得主、加拿大蒙特利尔大学教授Yoshua Bengio之外，图灵奖得主、打算机体系构造宗师David Patterson，2017年欧洲大脑奖得主、天下著名神经科学家Peter Dayan，加州大学伯克利分校人工智能统计中央创始人Stuart Russell，自动驾驶之父Sebastian Thrun，打算可持续性领域首创者Carla Gomes，海内AI经典西瓜书《机器学习》作者、南京大学教授周志华等国内外200余位尖端AI专家，均将在接下来的三天内分享前沿思想。

后续，智东西将发来更多北京智源大会的宣布，包括与学术领袖的采访互换，敬请期待。