机器之心编辑部

千元级AI 模盒云天励飞率先打响大年夜模型「平民化」之战_云天_模子 计算机

从 Gemini、Lumiere、再到 Sora,“百模大战” 的 “战火” 延续至 2024 年。
诸多的大模型已经出身,接下来的任务是落地。
但行业大模型在落地过程中,碰着的瓶颈就像是一座冰山,藏在冰山下面的问题,更加棘手。

要做物理天下的解码者,为 “无形” 技能和 “有形” 天下构建通道,这是云天励飞的定位。
如何构建 AI 落地的通道?2024 年,环绕 “自进化城市智能体” 的理念,云天励飞持续深耕 AI 市场,并且在 3 月发布 “深目” AI 模盒,为 AI 大模型落地长尾场景交上一份新答卷。

AI 落地关键期

如何走出长尾场景算法难题

一样平常来说,AI 行业有着三大发展阶段,分别是技能找场景、场景反哺技能、场景找技能。

第一阶段在 2012 年到 2022 年间,根本技能与感知智能迎来打破,AI 算法在人脸识别、智能驾驶、语音识别等运用处景中实现代价验证。
在这个过程中,云天励飞率先入局,2016 年,云天励飞研发的环球首套动态人像识别系统云天 “深目” 在深圳上线,通过城市级大规模人像信息搜索、布控和数据挖掘能力,实现 “亿万人脸、秒级定位”,也由此揭开了全体智能安防千亿市场的大门。

到了第二个阶段大量场景的需求和数据反哺技能迭代。
在芯片方面,从 2016 年至今,云天励飞的 AI 芯片已经演进了 4 代,新一代 DeepEdge10 融入 NNP400,是一颗 14nm Chiplet 大模型推理芯片。
通过芯片的迭代,云天励飞让百亿级、几十亿规模的大模型可以运算在轻量级的边缘芯片上,完成高效推理。

在大模型方面,2023 年,云天励飞推出自研大模型 “云每天书”,经历 3 代,已经更新至 3.5V 版本,增加了多模态支持,今年 6 月份将升级到 4.0V 版本。
云天励飞通过算法、算力、数据这 “三驾马车” 驱动大模型,助力多行业运用落地。

第三阶段场景找技能估量会在 2027 年到 2030 年间到来,届时将初步实现 AGI 与全面智能化,不同的行业、场景需求都会得到相应的办理思路和方案。

在 AI 发展不同的阶段,云天励飞的布局始终环绕核心能力 —— 算法芯片化,从神经网络处理器及推理芯片,再到多模态大模型,云天励飞坚持用算法芯片化赋能边缘在线学习。

2024 年,AI 行业迈向下一个阶段,此时处于第一、第二阶段转换的关键期间,这个阶段长尾场景算法带来的问题不容忽略。

长尾场景指的是失火等低频事宜、更细分、更繁芜的场景,极度场景识别演习的数据险些为 “0”,须要高昂的算法本钱,但商业代价并不明显。
业内人士将其称为冰山之下的 “去世亡之谷”。
特殊是在聪慧城市、交通管理等运用处景,须要办理算法演习本钱高、缺少演习数据等痛点。

该如何走出去世亡之谷,杀出另一条生路?

云天励飞副总裁罗忆回顾,云天励飞一贯探求办理方案,办理长尾场景的海量需求,包括升级算法演习平台,降落算法生产本钱,提升算法生产效率;打造算法开放平台,与行业伙伴共同丰富算法集市;开源 AI 大模型生产平台 YMIR,让客户能低成本地演习算法,并运用在芯片上面。

罗忆坦言,云天励飞在努力提高效率,但效果并不明显。
直到 2022 年,基于 Transformer 架构的天生式预演习大模型技能的涌现,让 AI 行业看到了 AGI 的曙光。
算法在经由大量数据喂养之后,大模型表现出来了极强的学习能力、场景泛化能力,也验证了云天励飞坚持的 “自进化城市智能体” 理念的可行性。
云天励飞认为强大数据输入是大模型场景覆盖广的核心。

千元级 “深目” AI 模盒实现大模型 “平民化”

随着市场需求的提升,大模型的运用从成熟场景走向新场景、多任务场景,但在运用过程中创造常规推理盒子在新场景中 POC 周期长达 2 至 3 个月,特定场景需在本地增设演习做事器;面向多任务场景任务数量与算力需求呈线性增长。
若要演习专属大模型,企业须要应对不断上涨的本钱。

为了补足长尾场景算法市场空缺,云天励飞在今年 3 月发布了 “深目” AI 模盒,设计小巧,单手可信起。
一个看似小小的盒子,“功力” 却不大略。

一是 “深目” AI 模盒做到 “3 个 90%”—— 覆盖场景超过 90%、算法精度超过 90%、利用本钱降落 90%,办理大模型在场景落地末了一公里的问题。

二是把大模型运用本钱降到千元级别。
常规大模型一次演习本钱在千万级,主流的训推一体机价格普遍在百万元。
但云天励飞将 “深目” AI 模盒的售价做到了千元级,让每个企业都拥有专属大模型。

三是 “深目” AI 模盒可承载 10 亿级 SAM、百亿级 Llama2 等大模型运算,适用于 AIoT 边缘***、移动机器人等场景。

罗忆先容,面向新场景,“深目” AI 模盒 POC 降至 1 至 2 周,并且演习推理一体化;面向多任务场景,越多任务并行算力高效性越凸显。
值得一提的是,“深目” AI 模盒将算法生产从 7 步缩短至 4 步,算法调优从 7 步缩短至 3 步。

为了能够让 “深目” AI 模盒实现以上创新,云天励飞进行了大量的技能攻关。
在算力上,“深目” AI 模盒搭载了云天励飞新一代 14nm Chiplet 大模型训推芯片 DeepEdge10 Max,采取 RISC-V 核,配备了 D2D Chiplet 架构打造的推理卡。

在算法上,以多模态大模型 “云每天书” 为底座,该大模型具备泛化和学习的能力,客户支配算法后,大模型还能够不断根据现实运用处景情形,自我迭代,不断提升算法精度。

亿欧智库的数据显示,截至目前,海内公布的大模型数量已超过 300 个。
云天励飞的 “云每天书” 在浩瀚大模型中脱颖而出,得到中心网信办备案,在 C-Eval、CMMLU 多次得到第一,并且落地政务、交通、企业等多个领域。

在 AI 浪潮中,险些所有的企业都在寻求入局机会,而早已在 AI 市场深耕的云天励飞,有着深厚的 AI 基因,可以说这波 AI 浪潮,将它的 AI 技能积累,发挥出了最大代价。
“深目” AI 模盒的涌现,让云天励飞实现了大模型 “平民化”,AI 普惠化的进程也将由此加快。

进军硬件领域

2024 年加速推进 AI 产品化

董事长兼 CEO 陈宁博士表示,AI 商业化发展有三个阶段:AI 方案化、AI 运营化、AI 产品化。
这也是云天励飞的业务发展路径。

在 AI 方案化方面,云天励飞已经在警务、城市管理、聪慧交通、人居生活等领域打造出了成熟行业办理方案,并且持续探索低空经济、聪慧教诲等创新领域。
基于在大量行业的落地履历,云天励飞逐渐实现 AI 运营化,随着 “深目” AI 模盒的发布加速走向 AI 产品化。

事实上,云天励飞早在 2023 年就推出了内置云每天书大模型的产品,与华为昇腾联合推出的天舟大模型训推一体机,可知足面向多业务场的大模型高并发高能效处理、业务快速上线的需求。

云天励飞认为人工智能将快速进入到标准化产品的时期,因此公司加速推动在终端边缘、云端智能硬件的 AI 产品的标准化。
只管 2024 年才过去一个季度,但云天励飞的动作却不少。
3 月,云天励飞于与聪慧互通(IICT)签署计策互助协议,双方将共同推动 AI 在聪慧交通和数字城市等领域的深度领悟与落地。

除了已经沉淀多年的聪慧城市、聪慧安防、聪慧交通等领域,云天励飞还在持续开拓新的领域。
同样是在 3 月,云天励飞收购了智能穿着方案设计头部公司岍丞技能。
在完成收购之后,云天励飞将进一步整合岍丞技能在智能穿着上的能力,开展智能穿着产品的软硬件开拓与技能做事业务,探索 “大模型 + 智能可穿着” 深度领悟,推进大模型语音交互落地。

陈宁博士预判,未来 AI 大模型一定会走向 C 端,包括 AIPC、AI 手机,乃至走向可穿着设备,引爆可穿着设备新一轮变革,终极会通过 AR/VR、AI Pin 等面向 C 真个可穿着设备让每个人都拥有一个 AI Agent。

毫无疑问,今年会是云天励飞 AI 家当化布局加速的一年,不管是技能迭代,还是 AI 落地,在 “百模大战” 的大模型落地竞速赛中,云天励飞将环绕算法芯片化技能能力,打造出新的技能底座,并赋能到千行百业中,AI 普惠化、大模型 “平民化” 将是下一阶段的关键词。