5月27日,创业黑马在北京举办“2023跃迁•黑马AIGC峰会”。
这次大会的主题为“预见新天下,构建新格局”。
有“AI专家”之称的卡耐基梅隆大学打算机学院前副院长、达沃斯天下经济论坛(WEF)打算机环球未来理事会前主席贾斯汀•卡塞尔,以及360集团、智源研究院、昆仑万维、云知声、蓝色光标、万兴科技、知道创宇等浩瀚行业内企业高层到场,与上千位参会者进行了深入互换。

让机械拟人化从“人工智障”到“人工智能”_模子_才能 智能助手

在峰会现场,云知声创始人、CEO 黄伟分享了《通向智享未来之路》主题。

以下为分享内容整理:

云知声是创业老兵,过去十年专注在语音识别和自然措辞处理,我们的技能领域和大模型是最靠近的。
5月24日,我们在北京发布了山海大模型。
作为创业公司,分型一下大模型演进之路上的心得。

开始我们希望按照专家的办法去做,希望交给机器一些方法论,十年前,机器开始从缺点反馈里学习。
这都是在过去人工智能技能里的大概阶段和路径。

本日OpenAI推出了ChatGPT和预演习模型,全体智能变得更加拟人化,首先我们用非常强大的算力阅读了全天下已知的所有文本,演习形成了大模型。
它特殊像婴儿大脑,可能有几百亿、上千亿的参数,和人脑不同的是,婴儿最多只是遗传了父母的外表和性情等,但大模型的大脑遗传了知识,这只是初始状态,接下来会通过微调等各种办法,像小孩在发展过程中会有各种教诲,全体大模型的演进更加拟人化。

这是全体人工智能的变革。

本日的AGI和之前有什么实质变革?2022年12月份之前,全体人工智能还是一种鉴别式人工智能,做判断题、专用系统和智能模块,做一些特界说务。
一方面人工智能的表现并不是那么智能,常被别人诟病“你们供应的是人工智障”,以至于过去人工智能的能力天花板较低。

第二,在很多场景里,客户的需求是千差万别的,但人工智能的能力没那么强,很多公司和团队用各种定制去知足。
人工智能企业并不像高科技公司,在过去十年里,只能做鉴别式AI是手事情坊的时期。
但现在有了大模型,有更加强大的通用能力,人工智能开始进入工业化时期。

有了新的天生能力、呈现能力,用一个模型就能办理很多场景下的不同问题。
本日这个时期,人工智能大模型便是发电机,在发动机没有发明之前,中东国家并没有那么富余,石油的代价没那么大。
就像本日可以把数据变成燃料和能力,用这个能力赋能千行百业。

云知声为什么能够在短韶光推出自研大模型?

我们在2012年景立,是海内最早开始把深度学习运用到语音能力的,以前都是在科幻片里看到,2012年推出了基于深度学习的语音识别引擎,那时候把深度学习作为云知声的全体技能框架。

2016年看到AlphaGo,我们把医疗产品在医院里落地,帮助北京协和医院的年夜夫,极大提高事情效率。
在医院这个场景里,只是效率工具是不足的,人工智能真正的智能是认知智能,Transformer是2017年提出来的,认知智能的背后须要比较强大的算力。

有了这些铺垫,无论从学术还是工程化方面,积累了很多履历。
这个履历对付个人来讲是你谋生的能力,但是对付公司来说是在市场上胜出的核心竞争力。
把ChatGPT框架看了之后,创造没有一项是新的,都是一些已有的工程化组合,我们很快把这种能力结合,投入到大模型研发中。

我们在三天前,发布了商业大模型,名字叫山海。
把预演习、指令微调、基于人反馈的增强学习全部跑通,看到了期待已久的呈现能力。
那时候团队就在想是不是要给它起个名字,那段韶光我在频繁出差,以为名字还挺好的。
海是波澜壮阔,有容乃大,表示出大模型的无限天生能力,山是高山仰止,我们知道什么能说、什么不能说,这正好是既要强调大模型的天生能力,又要强调大模型的安全合规问题。

有一个很故意思的征象,大家都在谈大模型,海内对大模型的关注是在春节后,但大家都不谈这个事,心里都没底。
到本日为止,有一种不雅观点这件事情只有技能还不能做,哪怕人都到位了,但演习本钱很大,是极其烧钱的。
大模型不是科学革命、不是发明了新的算法,是把已有的算法组合在一起做大,大都是有代价的,当然还有很多工程在里面。
不雅观点是对的。

反过来讲,如果认为未来10-20年大模型是很大的机会,BAT投不进去了,就放弃了,我认为还是有机会的。

云知声在过去的几年里,并不须要特殊牛的科学家,我乃至认为这个事就不是科学家干的事情,科学家没有玩过那么多算力,也不知道场景在哪里,以是结果一定是不好的。
有场景的厂商反而是最有可能成功的。

起山海这个名字,还有一个意思,所爱隔山海,山海皆可平。

山海之力是十项全能。
天生能力是非常主不雅观的,真正在场景落地的时候,措辞理解能力很主要,为什么以前以为是人工智障,由于缺少理解和代码能力。
代码能力的提升能够有助提升大模型的推理能力,输出结果一定要符合海内的法律法规乃至道德代价不雅观等。
我们还采取GPT-4 插件的架构,帮助企业和客户,从数据的优选、模型演习、模型支配等一条龙做事。

为什么大模型具备繁芜的逻辑推理能力?我们本日做到了,但不知道为什么,到底是500亿参数还是1000亿参数更好,却不好说,可能1000亿参数里面神经元还没有被激活。

其余还有医疗,一开始我们在做大模型,很多人以为云知声做的是垂直行业模型,并不是,我们是做行业运用。
寻衅了一个最严明的场景——医疗,通过预演习阶段,网络了很多医学的文献、专著、书本,病案,积累了几千万真实标注的数据,这些数据可以转化成我们的微调数据。

其余在2019年还得到了北京市科技进步一等奖,获奖项目便是大规模知识图谱构建关键技能及运用,我们有海内最大规模之一的医疗知识图谱,我们把知识图谱分解成知识插件嵌入到大措辞模型中,使得大模型变成医疗领域的专家。

MedQA是一个非常威信的医疗知识问答测试集,包括谷歌的Med-PaLM,ChatGPT和GPT-4都在这个测试集上公布了它们的评测结果,山海前不久的评测中做到了81分,大大超过了GPT-4的71分。
通过领域增强往后,能够把大模型变成某个领域的专家。
还有一个数字可以做横向比拟,医学院毕业生要通过临床执业医师考试目前已知的AI最高分数是456分,山海大概考了511分,这便是大模型通过领域增强往后得到的超强能力。

想做大模型还是挺难的,门槛非常高,除了须要很多钱之外、精良的算法工程师和算法之外,还须要很多能力,我们把它总结为山海之功。
直不雅观来讲,大模型本身便是大数据集,大模型是工程师的活儿,云知声为什么能够用几个月的韶光就能做出一个非常威信的客不雅观的评测数据,我们内部去评,不但在医疗,在通用领域方面,云知声都是最好之一。

算力平台不是买多少卡来插就行了,云知声差不多有200P算力,利用集群的效率达到业内最顶尖的水平,可以用相比拟较少的卡,很快速地演习出我们的模型。

我们目前GPU集群的利用率能做到50%,大模型须要多卡,目前业内的水平大概是42%。
大模型还要做到3D稠浊并行演习。
什么是3D?便是模型的并行化、数据的并行化、流水线的并行化,要把任务分离到很多不同机器的不同卡里分别打算,末了能快速得到相应的结果。
其余在模型推理里得到了很多优化,推理的速率提高了5倍,怎么样把演习卡和推理卡分开,演习卡是A800,推理卡是在一张单卡A6000上就可以实现快速推理。

其余数据很主要,数据规模、数据多样性、数据高质量,我们现在能做到支持10T级别的快速去重,ChatGPT的演习数去是45T,但是优选之后用了几百G的数据来演习。

有了这些能力之后,就能够基于Atlas和UniDataOps的能力,可以把山海的能力和行业客户更好地供应做事。

聪慧物联也是公司的一块主要业务,我们有很多落地,过去用的效果确实不太好,希望有了山海之后,用大模型把已有的物联网的产品全部做一遍。

医疗是我们看好的方向。
以前的医疗方向,产品紧张有两个方面,一是不用手敲键盘,直接拿麦克风说话,极大提升了年夜夫的事情效率,把病历输入韶光从3个小时缩短到了1个小时;二是有了病历之后,还有一套系统,通过AI大脑审核病历,审核病历有没有缺点,现在有了AI大模型能力之后能够做什么呢?

对话过程中的所有对话都被记录下来,而且会识别出里面的关键信息,作为信息择要。
有了那些沟通之后的关键信息,就可以一键辅导天生病例。
以前须要年夜夫一个字一个字的念病历,现在可以根据关键信息,就可以形成病历。

山海的愿景是通过人工智能打造互联、直不雅观的天下,以前对人工智能的定义是让机器服从人,本日希望机器更加拟人。
人和物的沟通互换会变的更加直不雅观,新的能力会带来新的产品、新的商业模式,非常乐意和在座各位共同欢迎大模型的新时期。